JP3910510B2 - Frame interpolation system and frame interpolation method - Google Patents

Frame interpolation system and frame interpolation method Download PDF

Info

Publication number
JP3910510B2
JP3910510B2 JP2002270643A JP2002270643A JP3910510B2 JP 3910510 B2 JP3910510 B2 JP 3910510B2 JP 2002270643 A JP2002270643 A JP 2002270643A JP 2002270643 A JP2002270643 A JP 2002270643A JP 3910510 B2 JP3910510 B2 JP 3910510B2
Authority
JP
Japan
Prior art keywords
pixel
frame
value
interpolation
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002270643A
Other languages
Japanese (ja)
Other versions
JP2004112229A (en
Inventor
直 三島
伊藤　　剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002270643A priority Critical patent/JP3910510B2/en
Publication of JP2004112229A publication Critical patent/JP2004112229A/en
Application granted granted Critical
Publication of JP3910510B2 publication Critical patent/JP3910510B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像処理技術に関し、特に、動画像信号におけるフレーム間を補間するフレーム補間システム及びフレーム補間方法に関する。
【０００２】
【従来の技術】
フレーム補間方法とは、図１７に示すように、複数フレームからなる画像信号に対して、フレーム（参照フレーム）２０１ａと２０１ｂ間に補間フレーム２００ａ、２００ｂを、フレーム２０１ｂ、２０１ｃ間に補間フレーム２００ｃ、２００ｄを効率的に補間して時間当たりの表示フレーム数を増大させる方法である。これにより動画像、特に圧縮画像の高画質化を実現することが出来る。また、フレーム補間方法としては、動き推定の基本的技術であるブロックマッチング法が基本となる。ここで、ブロックマッチング法とは、フレーム２０１ａ、２０１ｂ、２０１ｃを小ブロックに分割し、それら小ブロックに対して、フレームの画像領域から最も相関度の高いブロックを探索して動きベクトルを求める方法である。このブロックマッチング法により得られた動きベクトルに基づき、補間フレーム２００ａ、２００ｂ、２００ｃ、２００ｄ・・・・・が生成される（以下において「第１の従来技術」という。）。
【０００３】
また、特許文献１には、補間フレームの対象ブロックを中心として、幾何対照的に前後のフレームの相関を求めてフレーム補間を行う方法が開示されている（以下において「第２の従来技術」という。）。この方法は、第１の従来技術のように動きベクトルを求めた後の処理が不要な為、直接的に補間フレーム２００を求めることが出来る。
【０００４】
特許文献２には、ブロックマッチング法をベースにしながら、ブロック内で更に領域を分割することによって、より精度の高いフレーム補間を行う技術が開示されている（以下において「第３の従来技術」という。）。
【０００５】
【特許文献１】
特許２５２８１０３号公報
【特許文献２】
特開２０００−２２４５９３公報
【０００６】
【発明が解決しようとする課題】
第１の従来技術においては、動き補償を行って補間フレームを生成する際に、動きベクトルの終点を固定し、終点が指す画像データを始点に対して動き補償を行う。しかし、補間を行うために動きベクトルの操作が行われているので、始点の位置が本来の位置と異なる。この為に、第１の従来技術においては、図１８に示すように、生成される補間フレームに隙間及び重なりが生じる問題があった。
【０００７】
第２の従来技術においては、補間フレーム上に一様格子を考えるため、重なりや隙間が生じないが、ブロックと他のブロックとの間にブロック歪みが生じる問題があった。第３の従来技術においては、ブロック内の３以上の複数の動きに対応できないという問題があった。このように、単純なブロックベースの手法ではブロックの境界においてブロック歪みが発生する問題があった。ブロック歪みを無くす為には、ブロック内を分割し、反復的に一致領域と不一致領域を分けていけばよいが、画像の標本化及び揺らぎによってエッジにノイズが残ってしまう。
【０００８】
上記問題点を鑑み、本発明は、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の特徴は、第１のフレームの第１画素の各々がエッジ部分の画素であるか否かを示すエッジ情報を求めるエッジ検出手段と、初期値が第１の値である複数の要素を有し、各要素は第１画素の各々に対応づけられている不一致フィルタのデータを記憶する不一致フィルタ記憶手段と、第１の値の要素に対応づけられた第１画素のみを用いて、第１のフレームとこの第１のフレームの次のフレームである第２のフレームとの間の動きベクトルを求める動き検出手段と、第１の値を有する要素に対応づけられた第１画素と動きベクトルによりこの第１画素に対応付けられた第２のフレーム上の第２画素との対象画素対の画素値の差分値を求める差分計算手段と、第１のフレーム上でエッジ部分の第１画素に関する対象画素対の閾値が非エッジ部分の第１画素関する対象画素対の閾値より高くなるようにエッジ情報に基づいて設定された閾値と、対象画素対の画素値の差分値とを比較する比較手段と、画素値の差分値が閾値より小さい対象画素対の第１画素に対応づけられた要素に第１の値とは異なる第２の値を設定する不一致フィルタ更新手段と、動き検出手段、差分計算手段、比較手段及び不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される不一致フィルタ及び動きベクトルを記憶する繰り返し制御手段と、第２の値を有する要素に対応づけられた第１画素に関する対象画素対を用いて、第１のフレームと第２のフレームとの間の補間フレーム上で動きベクトルによって指し示される位置の画素値を求める動き補償手段とを備えるフレーム補間システムであることを要旨とする。
【００１０】
本発明の第２の特徴は、第１のフレームの各画素のエッジ強度を示す第１エッジ画像を求めるエッジ検出手段と、初期値が第１の値である複数の要素を有し、各要素は第１のフレームと第１のフレームの次のフレームである第２のフレームとの間にある補間フレームの補間画素の各々に対応づけられている不一致フィルタのデータを記憶する不一致フィルタ記憶手段と、補間フレームを分割した複数の補間ブロックの各々を基準にして、第１のフレームと第２のフレームとの間で点対称に、第１のフレームの第１ブロックと第２のフレームの第２ブロックとのブロック対を、第１の値の要素に対応づけられた補間画素の補間ブロック内での相対座標と同じ相対座標を持つ第１及び第２ブロック内の画素のみを用いて探索することにより、第１のフレームと第２のフレームとの間の補間ブロックに関する動きベクトルを検出する動きベクトル検出手段と、補間ブロック内で第１の値の要素に対応づけられた補間画素に関して、動きベクトルによってこの補間画素に対応付けられた第１のフレーム上の第１画素と第２のフレーム上の第２画素の画素値との対象画素対の差分値を求める差分計算手段と、第１エッジ画像を用いて第１画素がエッジ部分であるか非エッジ部分であるかを判定して、第１画素がエッジ部分である場合にはこの第１画素に関する対象画素対がエッジ部分であると判定し、第１画素が非エッジ部分である場合にはこの第１画素に対応する対象画素対が非エッジ部分であると判定するエッジ判定手段と、エッジ部分の対象画素対の閾値が非エッジ部分の対象画素対の閾値よりも高くなるように設定された閾値と、対象画素対の画素値の差分値とを比較する比較手段と、差分値が閾値より小さい対象画素対の第１画素に対応づけられた要素に第１の値とは異なる第２の値を設定する不一致フィルタ更新手段と、動き検出手段、差分計算手段、比較手段及び不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される不一致フィルタ及び動きベクトルを記憶する繰り返し制御手段と、第２の値を有する要素に対応づけられた補間画素に関する動きベクトルによって対応付けられた対象画素対を用いて、補間画素の画素値を求める動き補償手段とを備えるフレーム補間システムであることを要旨とする。
【００１１】
本発明の第３の特徴は、第１のフレームの第１画素の各々がエッジ部分の画素であるか否かを示すエッジ情報を求めるステップと、初期値が第１の値である複数の要素を有し、各要素は第１画素の各々に対応づけられている不一致フィルタのデータを記憶するステップと、第１の値の要素に対応づけられた第１画素のみを用いて、第１のフレームとこの第１のフレームの次のフレームである第２のフレームとの間の動きベクトルを求めるステップと、第１の値を有する要素に対応づけられた第１画素と動きベクトルによりこの第１画素に対応付けられた第２のフレーム上の第２画素との対象画素対の画素値の差分値を求めるステップと、第１のフレーム上でエッジ部分の第１画素に関する対象画素対の閾値が非エッジ部分の第１画素関する対象画素対の閾値より高くなるようにエッジ情報に基づいて設定された閾値と、対象画素対の画素値の差分値とを比較するステップと、画素値の差分値が閾値より小さい対象画素対の第１画素に対応づけられた要素に第１の値とは異なる第２の値を設定するステップと、動き検出手段、差分計算手段、比較手段及び不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される不一致フィルタ及び動きベクトルを記憶するステップと、第２の値を有する要素に対応づけられた第１画素に関する対象画素対を用いて、第１のフレームと第２のフレームとの間の補間フレーム上で動きベクトルによって指し示される位置の画素値を求めるステップとを備えるフレーム補間方法であることを要旨とする。
【００１２】
本発明の第４の特徴は、第１のフレームの各画素のエッジ強度を示す第１エッジ画像を求めるステップと、初期値が第１の値である複数の要素を有し、各要素は第１のフレームと第１のフレームの次のフレームである第２のフレームとの間にある補間フレームの補間画素の各々に対応づけられている不一致フィルタのデータを記憶するステップと、補間フレームを分割した複数の補間ブロックの各々を基準にして、第１のフレームと第２のフレームとの間で点対称に、第１のフレームの第１ブロックと第２のフレームの第２ブロックとのブロック対を、第１の値の要素に対応づけられた補間画素の補間ブロック内での相対座標と同じ相対座標を持つ第１及び第２ブロック内の画素のみを用いて探索することにより、第１のフレームと第２のフレームとの間の補間ブロックに関する動きベクトルを検出するステップと、補間ブロック内で第１の値の要素に対応づけられた補間画素に関して、動きベクトルによってこの補間画素に対応付けられた第１のフレーム上の第１画素と第２のフレーム上の第２画素の画素値との対象画素対の差分値を求めるステップと、第１エッジ画像を用いて第１画素がエッジ部分であるか非エッジ部分であるかを判定して、第１画素がエッジ部分である場合にはこの第１画素に関する対象画素対がエッジ部分であると判定し、第１画素が非エッジ部分である場合にはこの第１画素に対応する対象画素対が非エッジ部分であると判定するステップと、エッジ部分の対象画素対の閾値が非エッジ部分の対象画素対の閾値よりも高くなるように設定された閾値と、対象画素対の画素値の差分値とを比較するステップと、差分値が閾値より小さい対象画素対の第１画素に対応づけられた要素に第１の値とは異なる第２の値を設定するステップと、動き検出手段、差分計算手段、比較手段及び不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される不一致フィルタ及び動きベクトルを記憶するステップと、第２の値を有する要素に対応づけられた補間画素に関する動きベクトルによって対応付けられた対象画素対を用いて、補間画素の画素値を求めるステップ
とを備えるフレーム補間方法であることを要旨とする。
【００１３】
【発明の実施の形態】
次に、図面を参照して、本発明の第１及び第２の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態に係るフレーム補間システムは、図１に示すように、画像信号を入力するエッジ検出手段１１ａ、エッジ検出手段１１ａの出力を受け取るフレーム情報生成手段７１ａ、フレーム情報生成手段７１ａの出力を受け取るベクトルスケール変換手段１６、ベクトルスケール変換手段１６の出力を受け取り、補間画像を出力する動き補償手段１７ａを備える。更に、第１の実施の形態に係るフレーム補間システムは、入力された画像信号を一旦記憶するフレームメモリ１２ａを備える。入力された動画像信号を構成するフレームのうち、現フレームを「第１のフレーム」と呼ぶ。現フレームの次のフレームであり、フレームメモリ１２ａに一旦蓄えられるフレームを「第２のフレーム」と呼ぶ。エッジ検出手段１１ａは、画像信号として、図５に示す第１のフレーム２１及び第２のフレーム２２からエッジ画像を検出する。フレーム情報生成手段７１ａは、エッジ画像に基づいて動きベクトルを生成する。そして、動きベクトルにより定まる対象画素がエッジか否かにより異なった差分処理を施して不一致フィルタのデータを生成する。ベクトルスケール変換手段１６は、動きベクトルのスケールを変換する。動き補償手段１７ａは、動きベクトルと不一致フィルタのデータとにより、第１のフレームと第２のフレームとの間の補間フレームの位置に動き補償をする。
【００１５】
フレーム情報生成手段７１ａは、図１に示すように、エッジ画像を入力するエッジ判定手段１３ａ、エッジ判定手段１３ａの出力を受け取る動き推定手段１４ａ、動き推定手段１４ａの出力を受け取る一致判定手段１５ａを備える。エッジ判定手段１３ａは、エッジ画像から対象画素がエッジか否かを判定し、エッジ情報を出力する。一致判定手段１５ａは、動きベクトルに基づいて不一致フィルタのデータを生成する。動き推定手段１４ａは、エッジ情報に基づき、グループ化された動きベクトル及び不一致フィルタのデータを出力する。一致判定手段１５ａは、エッジ部分の対象画素に差分処理を施す第１の差分処理手段１８ａ、非エッジ部分の対象画素に差分処理を施す第２の差分処理手段１９ａを備える。
【００１６】
エッジ検出手段１１ａは、図２（ａ）に示すようなフレーム情報に基づいて、図２（ｂ）に示すエッジ画像を出力する。図２（ａ）に示す画像ブロック３ａ、３ｂの境界部分がエッジとなる。図３においては、画素の輝度（強度）である画素値が１００の画素と画素値が５の画素との境界がエッジとなる。つまり、差分が大きいために、人の目にはエッジと認識される。尚、第１のフレーム２１及び第２のフレーム２２内の各画素は、０〜２５５の２５６段階の画素値を有している。また、第１の小ブロック３１と第２の小ブロック３２は、それぞれ第１のフレーム２１及び第２のフレーム２２の同じ画像位置を表しているとする。図１に示すエッジ判定手段１３ａは、エッジ検出手段１１ａが出力するエッジ画像に含まれるそれぞれの画素がエッジ部分であるか非エッジ部分であるかを判定する。エッジ判定手段１３ａには第１の閾値Ｔ１が設定されている。第１の閾値Ｔ１は、例えば、３０〜５０程度に設定されている。第１の閾値Ｔ１よりも大きな値の画素値の画素をエッジ部分として１を、第１の閾値Ｔ１よりも小さな値の画素値の画素を非エッジ部分として０をそれぞれエッジフィルタの行列成分に格納する。尚、エッジフィルタは、行列で表現され、例えば、第１のフレームと等しい大きさを有する論理フィルタで構成される。
【００１７】
第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、第１の小ブロック３１と第２の小ブロック３２の対象画素に差分処理を施し、対象画素の一致・不一致を判定する。第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、差分処理により得られる差分値が閾値よりも大きい対象画素を不一致と判定する。一方、差分値が閾値よりも小さい対象画素を一致と判定する。画像の量子化、揺らぎ等によって、画像内のエッジにノイズが発生した場合、画像ブロック３ａと画像ブロック３ｂとの境界部分の画素の画素値が微妙に変化することがある。このように、画像内のエッジにノイズが発生した場合、第１の小ブロック３１と第２の小ブロック３２との差分処理を行うと、図３に示すように、一致判定手段１５ａは差分値の大きい画素を不一致と判定してしまう。この結果、補間フレーム２３のエッジ部分に"虫食い"というノイズが発生する。このような微小な画素変動に対応すべく、第１の差分処理手段１８ａの閾値は、第２の差分処理手段１９ａの閾値と比して高く設定されている。
【００１８】
次に、図１〜図９を用いて、第１の実施の形態に係るフレーム補間方法について説明する。但し、６０Ｈｚのノンインタレースの画像信号を１２０Ｈｚのノンインタレースの画像信号にアップコンバートする場合の一例を説明する。
【００１９】
（イ）先ず、図４に示すステップＳ１１１において、図１に示すエッジ検出手段１１ａは、第１のフレーム２１のエッジを検出する。検出されたエッジは、エッジの強度を画像にしたエッジ画像に変換される。ステップＳ１１２において、エッジ画像に基づいてエッジの有無が判定される。エッジの有無を表す１、０のエッジ情報は、エッジフィルタの行列成分に格納されて動き推定手段１４ａに入力される。次に、ステップＳ１１３において、図５に示すように、動き推定手段１４ａは、第１のフレーム２１を一様格子の小ブロックに分割する。
その後、ステップＳ１１４において、第１のフレーム２１内の小ブロックの走査が開始され、図５に示す第１の小ブロック３１ａが選択されたとする。次に、ステップＳ１１５の動き推定サブルーチンに進む。
【００２０】
（ロ）図６に示すステップＳ１２１において、図７に示す不一致フィルタ４１の行列成分にすべて１が代入される。ステップＳ１２２において、図５に示す第１の小ブロック３１ａと最も相関度の高い第２のフレーム２２中の第２の小ブロック３２ａを検索する。相関度の尺度としては、一致画素数和を用いることが出来る。「一致画素数和」とは、第１の小ブロック３１ａ及び第２の小ブロック３２ａの画素について、ブロック内相対位置が等しい画素同士の差分処理を行い、差分値が閾値以下の画素を一致画素、閾値より大きいものを不一致画素とし、一致画素数の和が大きいものほど相関が高いと判断する方法である。そして、第１の小ブロック３１ａ及び第２の小ブロック３２ａに基づいて、第１の動きベクトル３５ａを求める。ステップＳ１２２で第１の動きベクトル３５ａを求めた後は、ステップＳ３０１に進む。
【００２１】
（ハ）ステップＳ１２３において、図１に示す一致判定手段１５ａは、図７の第１の小ブロック３１ａ及び第２の小ブロック３２ａ内の画素の走査を開始する。次に、ステップＳ１２４において、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれの画素に差分処理が施される。ステップＳ１２４における差分処理は、第１の小ブロック３１ａ及び第２の小ブロック３２ａのそれぞれのブロック内の相対位置が等しい画素同士に対して行われる。即ち、図７に示すように、第１の小ブロック３１ａの画素５ａは第２の小ブロック３２ａの画素６ａと差分処理が施される。同様に、画素５ｂ〜５ｉは画素６ｂ〜６ｉとそれぞれ差分処理が施される。次に、ステップＳ１２５において、対象画素位置がエッジであるか否かの判断が行われる。図１に示す第１の差分処理手段１８ａ及び第２の差分処理手段１９ａは、エッジフィルタの行列成分に格納された０、１の値に基づき、対象画素位置がエッジであるか否か判断する。対象画素位置のエッジフィルタの行列成分の値が０の場合、その画素はエッジではないと判断される。一方、対象画素位置のエッジフィルタの行列成分の値が１の場合、その画素はエッジであると判断される。ステップＳ１２５において、対象画素位置がエッジでないと判断された場合はステップＳ１２７に進む。一方、対象画素位置がエッジであると判断された場合はステップＳ１２６に進む。
【００２２】
（ニ）ステップＳ１２７においては、第２の差分処理手段１９ａは、ステップＳ１２４で得られた差分値が、第２の閾値Ｔ２よりも小さいか否か判定する。第２の閾値Ｔ２は、例えば５程度に設定されている。差分値が第２の閾値Ｔ２以下の画素を一致画素とする。一方、第２の閾値Ｔ２より大きい画素を不一致画素とする。差分値が第２の閾値Ｔ２よりも小さいと判定された場合、ステップＳ１２８に進む。差分値が第２の閾値Ｔ２以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２９においては、図７に示す不一致フィルタ４１内の対応するカラムに１が代入される。次に、ステップＳ１３０に進む。
【００２３】
（ホ）ステップＳ１２６においては、第１の差分処理手段１８ａは、ステップＳ１２４で得られた差分値が、第３の閾値Ｔ３よりも小さいか否か判定される。第３の閾値Ｔ３は、例えば、第２の閾値Ｔ２を実数倍（整数倍）することにより算出される。よって、第２の閾値Ｔ２の４〜５倍であれば、第３の閾値Ｔ３は２０〜２５程度に設定されることとなる。ステップＳ１２４で得られた差分値が第３の閾値Ｔ３の値よりも小さいと判定された場合、ステップＳ１２８に進む。一方、差分値が第３の閾値Ｔ３以上であると判定された場合、ステップＳ１２９に進む。ステップＳ１２８においては、図７に示す不一致フィルタ４１内の対応するカラムに０が代入される。次にステップＳ１３０に進む。ステップＳ１３０においては、ブロック内を全部走査したか否かの判断が行われる。ブロック内を全部走査したと判断された場合、ステップＳ１３１に進む。ブロック内を全部走査していないと判断された場合、ステップＳ１２４に処理が戻る。ステップＳ１３０でブロック内の画素をすべて走査したと判断された場合は、一致判定処理を終了する。
【００２４】
（ヘ）ステップＳ１３１においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ１３１における演算により、相関度の近いもの同士の分割が行えるようになる。ステップＳ１３２においては、第１のカウンタｉｔｅに１が加算される。ステップＳ１３３においては、第１のカウンタｉｔｅがｎを超えたか否かの判定が行われる。第１のカウンタｉｔｅがｎを超えない場合は、ステップＳ１２２に戻る。ステップＳ１２２に処理が戻った場合、第１の小ブロック３１ａに対して最も相関度の高い第２の小ブロック３２ａを第２のフレーム２２から再帰的に探索する。探索の際には、不一致フィルタ４１内で値が０のカラムの位置では相関度演算は行わず、不一致フィルタ内で値が１のカラムの位置で相関度演算を行うようにする。即ち、不一致画素についてのみ再度、相関度演算を行う。このような（ハ）〜（ヘ）の処理を、所望の反復回数ｎまで、再帰的に行うことによって、第１の動きベクトルグループ（第１の動きベクトル３５ａ［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））及び不一致フィルタグループ（不一致フィルタ４１［ｉｔｅ ｍ］（ｍ＝１〜ｎの整数））を求める。ステップＳ１３３において、動き推定サブルーチンの繰り返し回数がｎ回を超えたと判断された場合、図４に示すステップＳ１１６に進む。
【００２５】
（ト）ステップＳ１１６においては、図１に示すベクトルスケール変換手段１６は、第１の動きベクトルグループを第２のベクトルグループに変換する。具体的には、図９に示すように第１の動きベクトル３５ａの始点を第１の画像ブロック５１と同位置の補間ブロック５３に同定し、長さを１／２にして第２の動きベクトル３５ｂを求めることが出来る。これにより、補間フレーム２３の時間的な位置を６０Ｈｚ信号の中央に生成することができる。
【００２６】
（チ）次に、図４に示すステップＳ１１７において、図１に示す動き補償手段１７ａは、不一致フィルタグループと第２の動きベクトルグループとを用いて、補間フレーム２３を作成する。ステップＳ１１７は、具体的には図８に示すような処理を備える。先ず、図８に示すステップＳ１４１において第２のカウンタｌｔｅが１に設定される。次に、図９に示すように、ステップＳ１４３において、第２の動きベクトル３５ｂによって定まる第２のフレーム２２上の第２の画像ブロック５２を求める。ステップＳ１４５においては、第２の動きベクトル３５の始点によって定まる補間フレーム２３上の補間ブロック５３の位置が求められる。ステップＳ１４６においては、ブロック内の走査が開始される。ステップＳ１４７においては、不一致フィルタ４１の値が０であるか否かの判定が行われる。このように、コピーするのは、図７に示すように、画素位置が不一致フィルタ４１内で値が０のカラムの位置に対応する画素のみである。ステップＳ１４８においては、第２の画像ブロック５２の画素が補間フレーム２３上にコピーされる。ステップＳ１４９においては、ブロック内の全画素を走査したか否かの判断が行われる。ブロック内の全画素を走査したと判断された場合は、ステップＳ１５０に進む。一方、ブロック内の全画素を走査していないと判断された場合は、ステップＳ１４７に処理が戻る。ステップＳ１５０においては、第２のカウンタｌｔｅに１が加算される。そして、ステップＳ１５１において第２のカウンタｌｔｅがｎを超えたか否かの判定が行われる。以上の処理を、ｍ＝１〜ｎまで繰り返す。この（ロ）から（チ）の処理を、（イ）で分割した小ブロック全体について行うことで、補間フレーム２３を作成する。
【００２７】
（リ）動き補償処理が終了すると図４のステップＳ１１８に進み、全ブロックを走査したか否かの判断が行われる。全ブロックを走査したと判断された場合は、フレーム補間処理を終了する。一方、未だ全ブロックを走査していないと判断された場合は、ステップＳ１１５に処理が戻る。
【００２８】
このように、第１の実施の形態によれば、複雑な装置を用いることなく隙間や重なりのできないような補間フレーム２３を作成する方法を実現することが出来る。また、ブロック歪みを抑え、エッジ部におけるノイズを除去することが出来るので、画像の高画質化を実現することが出来る。
【００２９】
更に、第１の実施の形態においては、補間する時間の間隔を２等分とする一例を示したが、特に２等分に限るわけではない。したがって、ｎ等分してフレーム数がｎ−１の補間フレーム２３を内挿する動き補償を行うことも可能である。このように補間する時間の間隔を短くすることで、更にフレーム間の補間の効率を上げることが出来る。この結果、表示される動画像を、動きが滑らかでより鮮明にすることが出来る。
【００３０】
（第２の実施の形態）
本発明の第２の実施の形態に係るフレーム補間システムは、図１０に示すように、フレーム情報生成手段７１ｂのエッジ判定手段１３ｂが、一致判定手段１５ｂが出力する第１のエッジ画像ブロック及び第２のエッジ画像ブロックを入力し、エッジ情報を一致判定手段１５ｂに出力する点が図１と異なる。また、ベクトルスケール変換手段１６を備えていない点が図１と異なる。その他の構成については、図１と同様である。
【００３１】
次に、図１０〜図１６を用いて、本発明の第２の実施の形態に係るフレーム補間方法について説明する。但し、第１の実施の形態に係るフレーム補間方法と同一の処理については、重複する説明を省略する。
【００３２】
（イ）先ず、図１１に示すステップ２１１において、図１０に示すエッジ検出手段１１ｂは、図１２に示す第１のフレーム２１及び第２のフレーム２２のエッジを検出し、エッジの強度を画像にした第１のエッジ画像及び第２のエッジ画像をそれぞれ出力する。その後、ステップＳ４００の動き推定処理に進む。ステップＳ２１２において、動き推定手段１４ｂは、図１２に示すように補間フレーム２３を一様格子の小ブロックに分割する。次に、ステップＳ２１３において、動き推定手段１５ｂは、補間フレーム２３上の小ブロックの走査を開始する。その後、ステップＳ２１４に示す動き推定サブルーチンに進む。
【００３３】
（ロ）図１３に示すステップＳ２２１においては、第１のカウンタiteが１に設定される。また、図１４に示す不一致フィルタ４１のすべてのカラムに１が代入される。ステップＳ２２２においては、不一致フィルタ４１のカラムの値が１の画素のみを用いて、補間ブロック３３を中心として、第１のフレーム２１及び第２のフレーム２２上を点対象に探索する。そして、図１４に示すように、最も相関の高い第１の小ブロック３１ｂ及び第２の小ブロック３２ｂを得る。次に、第１の小ブロック３１ｂ及び第２の小ブロック３２ｂに基づいて動きベクトル３６ａを求める。ステップＳ２２３においては、第１のエッジ画像から、第１の小ブロック３１ｂの位置に当たるブロックを第１のエッジ画像ブロックとして求める。ステップＳ２２４においては、第２のエッジ画像から、第２の小ブロック３２ｂの位置に当たるブロックを第２のエッジ画像ブロックとして求める。次に、ステップＳ２２５において、第１のエッジ画像ブロックと第２のエッジ画像ブロックとの平均を求める。ステップＳ２２５において平均を求めた後は、ステップＳ４０１の一致判定処理に進む。
【００３４】
（ハ）一致判定処理においては、ステップＳ２２６で、図１４に示す第１の小ブロック３１ｂと第２の小ブロック３２ｂ内の画素の走査を開始する。次に、ステップＳ２２７において、図１０に示す第１の差分処理手段１８ｂ及び第２の差分処理手段１９ｂは、第１の小ブロック３１ｂ中の画素と第２の小ブロック３２ｂ中の画素とに差分処理を施し、差分値を求める。次に、ステップＳ２２８において、第１のエッジ画像ブロック及び第２のエッジ画像ブロックをエッジ判定手段１３ｂに入力する。エッジ判定手段１３ｂは、第１のエッジ画像ブロック及び第２のエッジ画像ブロック中のエッジの有無をそれぞれ判定する。具体的には、第１の閾値Ｔ１を設けて、第１のエッジ画像ブロックと第２のエッジ画像ブロックの画素値の平均を求め、第１の閾値Ｔ１より大きな画素をエッジ画素として１を、第１の閾値Ｔ１より小さな画素を非エッジ画素として０を出力する。エッジ判定手段１３ｂが出力する１、０のエッジ情報は、一致判定手段１５ｂに入力される。一致判定手段１５ｂは、エッジ判定手段１３ｂが出力するエッジ情報が１の場合、エッジ画素であると判断する。一方、エッジ判定手段１３ｂが出力するエッジ情報が０の場合、非エッジ画素であると判断する。エッジ画素であると判断された場合、ステップＳ２２９に進む。非エッジ画素であると判断された場合、ステップＳ２３０に進む。
【００３５】
（ニ）ステップＳ２３０においては、ステップＳ２２７で求めた差分値と第２の閾値Ｔ２とに基づいて、対象画素の一致及び不一致を判定する。差分値が第２の閾値Ｔ２以上の場合、ステップＳ２３２に進む。差分値が第２の閾値Ｔ２よりも小さい場合、ステップＳ２３１に進む。また、ステップＳ２２９においては、ステップＳ２２７で求めた差分値と第３の閾値Ｔ３とに基づいて、対象画素の一致及び不一致を判定する。差分値が第３の閾値Ｔ３以上の場合、ステップＳ２３２に進む。差分値が第３の閾値Ｔ３よりも小さい場合、ステップＳ２３１に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに１が格納され、その後ステップＳ２３３に進む。ステップＳ２３１においては、不一致フィルタ４１のカラムに０が格納され、その後ステップＳ２３３に進む。ステップＳ２３３においては、ブロック内をすべて走査したか否か判定される。
【００３６】
（ホ）次に、対象の補間ブロックを再帰的に探索する。探索の際には、不一致フィルタ４１の対応するカラムの位置の値が０の位置では相関度演算は行わず、値が１の位置で相関度演算を行うようにする。更に、ステップＳ２３４においては、１つ前のイテレーションの不一致フィルタ４１と、現在のイテレーションの不一致フィルタ４１との論理積を取り、それを現在のイテレーションの不一致フィルタ４１とする。ステップＳ２２２〜ステップＳ２３５の処理を反復回数nまで、再帰的に行うことによって、動きベクトルグループ（動きベクトル３６ａ[ite ｍ](ｍ=１〜ｎの整数)）と不一致フィルタグループ（不一致フィルタ４１[ite ｍ](ｍ=１〜ｎの整数)）とを求める。図１１のステップＳ２１５は、具体的には以下のようになる。
【００３７】
（へ）図１５に示すステップＳ２４１において、第２のカウンタlteが１に設定される。ステップＳ２４２においては、動きベクトル３６ａ×（−１）によって定まる第１のフレーム２１上の第１の画像ブロック５１が求められる。ステップＳ２４３においては、動きベクトル３６ａによって定まる第２のフレーム２２上の第２の画像ブロック５２が求められる。ステップＳ２４４においては、第１の画像ブロック５１と第２の画像ブロック５２の平均が求められる。ステップＳ２４５においては、ブロック内の画素の走査が開始される。ステップＳ２４６においては、不一致フィルタ４１のカラムの値が０か否か判定される。不一致フィルタ４１のカラムの値が０であると判定された場合、ステップＳ２４７に進む。一方、不一致フィルタ４１のカラムの値が１であると判定された場合、ステップＳ２４８に進む。ステップＳ２４７においては、平均画像ブロックの画素を補間フレーム２３上にコピーする。ステップＳ２４８においては、ブロック内の画素をすべて走査したか否か判定される。ブロック内の画素をすべて走査したと判定された場合、ステップＳ２４９に進む。ブロック内の画素をすべて走査していないと判定された場合、ステップＳ２４６に処理が戻る。ステップＳ２４９においては、第２のカウンタlteに１が加算される。ステップＳ２５０においては、第２のカウンタlteがｎを超えたか否か判定される。第２のカウンタlteがｎを超えたと判定された場合、動き補償処理を終了する。一方、第２のカウンタlteがｎを超えていないと判定された場合、ステップＳ２４２に処理が戻る。
【００３８】
（ト）動きベクトル３６ａ[ite ｍ]の終点によって定まる第２の画像ブロック５２と、動きベクトル３６ａ[ite ｍ]の終点位置の点対称位置によって定まる第１の画像ブロック５１の平均を取り、その平均画像ブロックを、補間フレーム２３上にコピーする。実際にコピーするのは、図１６のように、画素位置が不一致フィルタ４１[ite ｍ]において０の画素のみである。以上の処理を、ｍ=１〜ｎまで繰り返す。このような処理をブロック全体について行うことで、補間フレーム２３を作成する。
【００３９】
このように、第２の実施の形態によれば、動きベクトル３６ａをスケール変換することなく動き補償処理を行うことが出来る。また、ブロック歪みの無い画像が得られ、エッジのノイズが減少する為、画像の高画質化を実現することが出来る。
【００４０】
（その他の実施の形態）
上記のように、本発明は第１及び第２の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００４１】
第１及び第２の実施の形態においては、相関度の尺度として、一致画素数和を用いるとして説明した。しかし、相関度の尺度として、絶対値差分和（Suｍ of Absolute Difference；ＳＡＤ）を用いることが出来る。また、第１の実施の形態及び第２の実施の形態においては、ノンインタレース画像にフレーム補間を行う場合の一例を説明した。しかし、インターレス画像にフレーム補間を行う場合においても第１及び第２の実施の形態に係るフレーム補間方法を応用出来ることは言うまでもない。
【００４２】
第１及び第２の実施の形態においては、フレームメモリ１２ａ、１２ｂは１つとして説明した。しかし、必ずしも１つに限定されるものではなく、フレームが表示されるまでの処理時間とフレームメモリ１２ａ、１２ｂに蓄積する時間との関係が最適になるようにフレームメモリ１２ａ、１２ｂの個数は調整してかまわない。更に、第１の実施の形態では、時間的に前のフレームから時間的に後のフレームに対する第１の動きベクトル３５ａを推定する前方動き推定について述べた。しかし、時間的に後のフレームから時間的に前のフレームに対する第１の動きベクトル３５ａを推定する後方動き推定でも、前方動き推定、後方動き推定におけるより信頼度の高い方を選択する双方向動き推定を用いてもかまわない。或いは、更に動き推定方式選択手段を設けて、入力されるフレーム画像がフレームインしようとしているのか、逆にフレームアウトしようとしているのか等の画像の移動性や移動速度から、"前方動き推定"、"前方動き推定"、"双方向動き推定"のいずれの推定方式を採用し、どれだけの間隔に分割して補間すれば最も最適な画像が得られるかを決定し、それに従って他の手段を制御する。こうすることで、種々の動画像に対して、自動で最適な動き補償をすることができるようになる。
【００４３】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。
【００４４】
【発明の効果】
本発明によれば、隙間や重なりが発生せず、ブロック歪みを抑え、エッジにノイズの発生しないフレーム補間システム及びフレーム補間方法を提供出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図３】本発明の第１の実施の形態に係る一致判定手段の機能を説明する図である。
【図４】本発明の第１の実施の形態に係るフレーム補間方法の全体を示すフローチャート図である。
【図５】本発明の第１の実施の形態に係るフレーム補間方法の原理を示す図である。
【図６】本発明の第１の実施の形態に係る動き推定処理を示すフローチャート図である。
【図７】本発明の第１の実施の形態に係る動き推定処理を説明する図である。
【図８】本発明の第１の実施の形態に係る動き補償処理を示すフローチャート図である。
【図９】本発明の第１の実施の形態に係る動き補償処理を説明する図である。
【図１０】本発明の第２の実施の形態に係るフレーム補間システムの構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係るフレーム補間方法の全体のフローチャート図である。
【図１２】本発明の第２の実施の形態に係るフレーム補間方法の原理を示す図である。
【図１３】本発明の第２の実施の形態に係る動き推定処理のフローチャート図である。
【図１４】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１５】本発明の第２の実施の形態に係る動き補償処理のフローチャート図である。
【図１６】本発明の第２の実施の形態に係る動き補償処理を説明する図である。
【図１７】従来のフレーム補間方法を説明する図である。
【図１８】従来のフレーム補間方法を説明する図である。
【符号の説明】
１、２…動きベクトルイテレーション
３ａ、３ｂ…画像ブロック
５ａ〜５ｉ、６ａ〜６ｉ…画素
１１ａ、１１ｂ…エッジ検出手段
１２ａ、１２ｂ…フレームメモリ
１３ａ、１３ｂ…エッジ判定手段
１５ａ、１５ｂ…一致判定手段
１６…ベクトルスケール変換手段
１７ａ、１７ｂ…動き補償手段
１８ａ、１８ｂ…第１の差分処理手段
１９ａ、１９ｂ…第２の差分処理手段
２１…第１のフレーム
２２…第２のフレーム
２３…補間フレーム
３１、３１ａ、３１ｂ…第１の小ブロック
３２、３２ａ、３２ｂ…第２の小ブロック
３３、５３…補間ブロック
３５ａ…第１の動きベクトル
３６ａ…動きベクトル
４１…不一致フィルタ
５１…第１の画像ブロック
５２…第２の画像ブロック
７１ａ、７１ｂ…フレーム情報生成手段
２００ａ〜２００ｄ…補間フレーム
２０１ａ〜２０１ｃ…フレーム[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing technique, and more particularly to a frame interpolation system and a frame interpolation method for interpolating between frames in a moving image signal.
[0002]
[Prior art]
As shown in FIG. 17, the frame interpolation method is a method of interpolating frames 200a and 200b between frames (reference frames) 201a and 201b and an interpolating frame 200c between frames 201b and 201c. This is a method of increasing the number of display frames per time by efficiently interpolating 200d. As a result, it is possible to improve the quality of moving images, particularly compressed images. As a frame interpolation method, a block matching method, which is a basic technique for motion estimation, is fundamental. Here, the block matching method is a method in which the frames 201a, 201b, and 201c are divided into small blocks, and a motion vector is obtained by searching for a block having the highest degree of correlation from the image area of the frame. is there. Interpolated frames 200a, 200b, 200c, 200d,... Are generated based on the motion vector obtained by this block matching method (hereinafter referred to as “first prior art”).
[0003]
Patent Document 1 discloses a method of performing frame interpolation by obtaining a correlation between frames before and after the object block of the interpolation frame in a geometrical contrast (hereinafter referred to as “second prior art”). .) Since this method does not require the processing after obtaining the motion vector as in the first prior art, the interpolation frame 200 can be obtained directly.
[0004]
Patent Document 2 discloses a technique for performing frame interpolation with higher accuracy by further dividing a region in a block while using a block matching method as a base (hereinafter referred to as “third conventional technique”). .)
[0005]
[Patent Document 1]
Japanese Patent No. 2528103
[Patent Document 2]
JP 2000-224593 A
[0006]
[Problems to be solved by the invention]
In the first prior art, when generating an interpolation frame by performing motion compensation, the end point of the motion vector is fixed, and motion compensation is performed on the image data pointed to by the end point. However, since the motion vector is manipulated to perform interpolation, the position of the start point is different from the original position. For this reason, the first prior art has a problem that gaps and overlap occur in the generated interpolation frame as shown in FIG.
[0007]
In the second prior art, since a uniform grid is considered on the interpolation frame, no overlap or gap occurs, but there is a problem that block distortion occurs between the block and another block. The third prior art has a problem that it cannot cope with a plurality of movements of three or more in a block. As described above, the simple block-based method has a problem that block distortion occurs at a block boundary. In order to eliminate block distortion, it is only necessary to divide the inside of the block and repeatedly separate the matching area and the mismatching area, but noise remains at the edge due to sampling and fluctuation of the image.
[0008]
In view of the above problems, an object of the present invention is to provide a frame interpolation system and a frame interpolation method in which no gap or overlap occurs, block distortion is suppressed, and noise is not generated at an edge.
[0009]
[Means for Solving the Problems]
  In order to achieve the above object, a first feature of the present invention is the first frame.Edge information indicating whether or not each of the first pixels is an edge pixelEdge detection means;The initial value has a plurality of elements having a first value, and each element has a mismatch filter storage means for storing mismatch filter data associated with each of the first pixels, and an element of the first value Using only the associated first pixel,FirstAnd the next frame after this first frameSecond frameWithwhileofMotion vectorA motion detection means to be obtained; a first pixel associated with an element having a first value;By motion vectorWith the second pixel on the second frame associated with this first pixelTarget pixelA difference calculating means for obtaining a difference value of a pair of pixel values, and a first pixel of an edge portion on the first frameTarget pixelTwinThresholdButNon-edge partFirstPixelOf the target pixel pairAbove thresholdThe comparison means for comparing the threshold value set based on the edge information with the difference value of the pixel value of the target pixel pair, and the first pixel of the target pixel pair whose pixel value difference value is smaller than the threshold value A mismatch filter update unit that sets a second value different from the first value to the given element, and a control that repeats a series of processes by the motion detection unit, the difference calculation unit, the comparison unit, and the mismatch filter update unit a plurality of times. And a repetitive control means for storing a mismatch filter and a motion vector generated in each processing, and a target pixel pair relating to the first pixel associated with the element having the second value.An interpolated frame between the first frame and the second framePointed by the motion vector abovepositionThe pixel value ofThe gist of the present invention is a frame interpolation system including motion compensation means.
[0010]
  First of the present invention2Features ofHas edge detection means for obtaining a first edge image indicating the edge strength of each pixel of the first frame, and a plurality of elements having an initial value of the first value, and each element includes the first frame and the first frame. A mismatch filter storage means for storing mismatch filter data associated with each of the interpolation pixels of the interpolation frame between the second frame which is the next frame of one frame, and a plurality of divided interpolation frames The block pair of the first block of the first frame and the second block of the second frame is point-symmetric between the first frame and the second frame with respect to each of the interpolation blocks of By searching using only the pixels in the first and second blocks having the same relative coordinates as the relative coordinates in the interpolation block of the interpolation pixel associated with the element of the first value, Second A motion vector detecting means for detecting a motion vector related to the interpolation block between the frame and the interpolation pixel associated with the element of the first value in the interpolation block; A difference calculating means for calculating a difference value of a target pixel pair between a pixel value of a first pixel on one frame and a second pixel on a second frame, and the first pixel is an edge portion using the first edge image. It is determined whether it is a non-edge portion, and if the first pixel is an edge portion, it is determined that the target pixel pair related to the first pixel is an edge portion, and the first pixel is a non-edge portion In this case, the edge determination means for determining that the target pixel pair corresponding to the first pixel is a non-edge portion, and the threshold value of the target pixel pair in the edge portion is higher than the threshold value of the target pixel pair in the non-edge portion. The comparison means for comparing the threshold value set in this way with the difference value of the pixel value of the target pixel pair, and the first value in the element associated with the first pixel of the target pixel pair whose difference value is smaller than the threshold value Inconsistency filter update means for setting different second values, motion detection means, difference calculation means, comparison means, and mismatch filter update means are controlled to repeat a series of processes a plurality of times, and mismatches generated in each process Motion compensation for obtaining a pixel value of an interpolated pixel using a repetitive control means for storing a filter and a motion vector, and a target pixel pair associated with the motion vector related to the interpolated pixel associated with the element having the second value And a frame interpolation system comprising means.
[0011]
  First of the present invention3Features of the first frameEdge information indicating whether or not each of the first pixels is an edge pixelSteps,A plurality of elements having an initial value as a first value, each element storing a mismatch filter data associated with each of the first pixels; and an element of the first value Using only the first pixel,FirstAnd the next frame after this first frameSecond frameWithwhileofMotion vectorObtaining a first pixel associated with an element having a first value;By motion vectorWith the second pixel on the second frame associated with this first pixelTarget pixelA step of obtaining a difference value of a pair of pixel values, and a first pixel of an edge portion on the first frameTarget pixelTwinThresholdButNon-edge partFirstPixelOf the target pixel pairAbove thresholdThe threshold value set based on the edge information is compared with the difference value of the pixel value of the target pixel pair, and the difference value of the pixel value is associated with the first pixel of the target pixel pair smaller than the threshold value. A step of setting a second value different from the first value to the first element, and a series of processes by the motion detection means, the difference calculation means, the comparison means, and the mismatch filter update means are repeated a plurality of times. Stores mismatch filters and motion vectors generated by processingSteps,Using the target pixel pair for the first pixel associated with the element having the second valueAn interpolated frame between the first frame and the second framePointed by the motion vector abovepositionThe pixel value ofAnd a frame interpolation method comprising steps.
[0012]
  First of the present invention4Features ofHas a step of obtaining a first edge image indicating an edge strength of each pixel of the first frame, and a plurality of elements having an initial value of the first value, and each element includes the first frame and the first frame. Storing data of a mismatch filter associated with each of the interpolation pixels of the interpolation frame between the second frame, which is the next frame of the frame, and each of the plurality of interpolation blocks obtained by dividing the interpolation frame With respect to the block pair of the first block of the first frame and the second block of the second frame in a point-symmetric manner between the first frame and the second frame. By using only the pixels in the first and second blocks having the same relative coordinates as the relative coordinates in the interpolation block of the interpolated pixels associated with the element, the first frame and the second frame are searched. Interpolation between Detecting a motion vector associated with the lock, and for an interpolated pixel associated with an element of the first value in the interpolation block, a first pixel on the first frame associated with the interpolated pixel by the motion vector; A step of obtaining a difference value of a target pixel pair with a pixel value of a second pixel on the second frame, and determining whether the first pixel is an edge portion or a non-edge portion using the first edge image When the first pixel is an edge portion, it is determined that the target pixel pair related to the first pixel is an edge portion. When the first pixel is a non-edge portion, the target corresponding to the first pixel is determined. A step of determining that the pixel pair is a non-edge portion, a threshold value set so that a threshold value of the target pixel pair in the edge portion is higher than a threshold value of the target pixel pair in the non-edge portion, and a pixel value of the target pixel pair A step of comparing the difference value, a step of setting a second value different from the first value to an element associated with the first pixel of the target pixel pair whose difference value is smaller than a threshold value, motion detection means, A step of repeating a series of processes by the difference calculation means, the comparison means, and the mismatch filter update means a plurality of times, a step of storing the mismatch filter and motion vector generated by each process, and an element having a second value A step of obtaining a pixel value of an interpolation pixel using a target pixel pair associated with a motion vector relating to the associated interpolation pixel
And a frame interpolation method comprising:
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Next, first and second embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
[0014]
  (First embodiment)
  As shown in FIG. 1, the frame interpolation system according to the first embodiment of the present invention includes an edge detection unit 11a that receives an image signal, a frame information generation unit 71a that receives the output of the edge detection unit 11a, and a frame information generation unit. A vector scale conversion unit 16 that receives the output of the unit 71a and a motion compensation unit 17a that receives the output of the vector scale conversion unit 16 and outputs an interpolation image are provided. Furthermore, the frame interpolation system according to the first embodiment includes a frame memory 12a that temporarily stores an input image signal. Of the frames constituting the input moving image signal, the current frame is referred to as a “first frame”. The frame that is the next frame after the current frame and is temporarily stored in the frame memory 12a is referred to as a “second frame”. The edge detection unit 11a detects an edge image from the first frame 21 and the second frame 22 shown in FIG. 5 as an image signal. The frame information generation unit 71a generates a motion vector based on the edge image. Then, different difference processing is performed depending on whether the target pixel determined by the motion vector is an edge or not.Filter dataIs generated. The vector scale conversion means 16 converts the scale of the motion vector. The motion compensation means 17a does not match the motion vectorFilter dataBetween the first frame and the second frameofInterpolated frameMotion compensation at the positionTo do.
[0015]
  As shown in FIG. 1, the frame information generation means 71a includes an edge determination means 13a that receives an edge image, a motion estimation means 14a that receives the output of the edge determination means 13a, and a coincidence determination means 15a that receives the output of the motion estimation means 14a. Prepare. The edge determination unit 13a determines whether the target pixel is an edge from the edge image, and outputs edge information. The coincidence determination means 15a does not match based on the motion vectorFilter dataIs generated. The motion estimator 14a uses the grouped motion vectors and mismatch based on the edge information.Filter dataIs output. The coincidence determination unit 15a includes a first difference processing unit 18a that performs a difference process on a target pixel in an edge portion and a second difference processing unit 19a that performs a difference process on a target pixel in a non-edge portion.
[0016]
  The edge detection unit 11a outputs the edge image shown in FIG. 2B based on the frame information as shown in FIG. The boundary portions of the image blocks 3a and 3b shown in FIG. In FIG. 3, the boundary between a pixel having a pixel value of 100, which is the luminance (intensity) of the pixel, and a pixel having a pixel value of 5 is an edge. That is, since the difference is large, it is recognized as an edge by human eyes. Each pixel in the first frame 21 and the second frame 22 has 256-level pixel values from 0 to 255. Further, it is assumed that the first small block 31 and the second small block 32 represent the same image position of the first frame 21 and the second frame 22, respectively. The edge determination means 13a shown in FIG. 1 is an edge image output from the edge detection means 11a.Whether each pixel contained in is an edge or non-edge partDetermine. A first threshold T1 is set in the edge determination means 13a. The first threshold T1 is set to about 30 to 50, for example. A pixel having a pixel value greater than the first threshold T1 is 1 as an edge portion, and a pixel having a pixel value smaller than the first threshold T1 is a non-edge portion and 0 is an edge.Matrix component of the filterTo store. The edge filter isRepresented by a matrix,For example, it is composed of a logical filter having the same size as the first frame.
[0017]
The first difference processing means 18a and the second difference processing means 19a perform difference processing on the target pixels of the first small block 31 and the second small block 32, and determine whether or not the target pixels match. The first difference processing unit 18a and the second difference processing unit 19a determine that the target pixel whose difference value obtained by the difference processing is larger than the threshold value is inconsistent. On the other hand, the target pixel whose difference value is smaller than the threshold value is determined as matching. When noise occurs at the edge in the image due to image quantization, fluctuation, or the like, the pixel value of the pixel at the boundary between the image block 3a and the image block 3b may slightly change. As described above, when noise is generated at the edge in the image, when the difference process between the first small block 31 and the second small block 32 is performed, the coincidence determination unit 15a displays the difference value as shown in FIG. A pixel having a large size is determined to be inconsistent. As a result, noise “worm-eaten” is generated at the edge portion of the interpolation frame 23. In order to cope with such minute pixel fluctuations, the threshold value of the first difference processing unit 18a is set higher than the threshold value of the second difference processing unit 19a.
[0018]
Next, a frame interpolation method according to the first embodiment will be described with reference to FIGS. However, an example of up-converting a 60 Hz non-interlaced image signal to a 120 Hz non-interlaced image signal will be described.
[0019]
  (A) First, in step S111 shown in FIG. 4, the edge detection means 11a shown in FIG. 1 detects the edge of the first frame 21. The detected edge is converted into an edge image having an edge strength as an image. In step S112, the presence or absence of an edge is determined based on the edge image. 1 and 0 edge information indicating the presence or absence of an edge is an edge filter.Matrix components ofAnd input to the motion estimation means 14a. Next, in step S113, as shown in FIG. 5, the motion estimation means 14a divides the first frame 21 into small blocks of a uniform grid.
Thereafter, in step S114, it is assumed that scanning of the small block in the first frame 21 is started and the first small block 31a shown in FIG. 5 is selected. Next, the process proceeds to the motion estimation subroutine of step S115.
[0020]
  (B) In step S121 shown in FIG. 6, the mismatch filter 41 shown in FIG.Matrix components of1 is assigned to all. In step S122, the second small block 32a in the second frame 22 having the highest correlation with the first small block 31a shown in FIG. 5 is searched. As a measure of the degree of correlation, the number of coincident pixels can be used. “Same number of coincidence pixels” means that for the pixels of the first small block 31a and the second small block 32a, a difference process between pixels having the same relative position in the block is performed, and pixels whose difference values are equal to or less than a threshold value are matched pixels. In this method, pixels that are larger than the threshold value are set as unmatched pixels, and the larger the sum of the number of matching pixels is, the higher the correlation is determined. Then, the first motion vector 35a is obtained based on the first small block 31a and the second small block 32a. After obtaining the first motion vector 35a in step S122, the process proceeds to step S301.
[0021]
  (C) In step S123, the coincidence determination unit 15a shown in FIG. 1 starts scanning the pixels in the first small block 31a and the second small block 32a in FIG. Next, in step S124, difference processing is performed on each pixel of the first small block 31a and the second small block 32a. The difference processing in step S124 is performed on pixels having the same relative position in each of the first small block 31a and the second small block 32a. That is, as shown in FIG. 7, the pixel 5a of the first small block 31a is subjected to difference processing with the pixel 6a of the second small block 32a. Similarly, the pixels 5b to 5i are subjected to difference processing with the pixels 6b to 6i, respectively. Next, in step S125, it is determined whether the target pixel position is an edge. The first difference processing means 18a and the second difference processing means 19a shown in FIG.Matrix components ofWhether or not the target pixel position is an edge is determined based on the values of 0 and 1 stored in. Edge filter at target pixel positionMatrix components ofIf the value of is 0, it is determined that the pixel is not an edge. On the other hand, the edge filter at the target pixel positionMatrix components ofIf the value of is 1, the pixel is determined to be an edge. If it is determined in step S125 that the target pixel position is not an edge, the process proceeds to step S127. On the other hand, if it is determined that the target pixel position is an edge, the process proceeds to step S126.
[0022]
(D) In step S127, the second difference processing means 19a determines that the difference value obtained in step S124 is the second threshold T2Or less. Second threshold T2Is set to about 5, for example. The difference value is the second threshold T2The following pixels are designated as matching pixels. On the other hand, the second threshold T2A larger pixel is set as a non-matching pixel. The difference value is the second threshold T2If it is determined that the value is smaller, the process proceeds to step S128. The difference value is the second threshold T2When it determines with it being above, it progresses to step S129. In step S129, 1 is assigned to the corresponding column in the mismatch filter 41 shown in FIG. Next, the process proceeds to step S130.
[0023]
  (E) In step S126, the first difference processing means 18a determines whether or not the difference value obtained in step S124 is smaller than the third threshold T3. The third threshold T3 is calculated, for example, by multiplying the second threshold T2 by a real number (integer multiple). Therefore, if it is 4 to 5 times the second threshold value T2, the third threshold value T3 is set to about 20 to 25. When it is determined that the difference value obtained in step S124 is smaller than the value of the third threshold value T3, the process proceeds to step S128. On the other hand, if it is determined that the difference value is greater than or equal to the third threshold T3, the process proceeds to step S129. In step S128, 0 is assigned to the corresponding column in the mismatch filter 41 shown in FIG. Next, the process proceeds to step S130. In step S130, it is determined whether or not the entire block has been scanned. If it is determined that the entire block has been scanned, the process proceeds to step S131. If it is determined that the entire block has not been scanned, the process returns to step S124.In step S130If it is determined that all the pixels in the block have been scanned, the match determination process ends.
[0024]
  (F) In step S131, the logical product of the mismatch filter 41 of the previous iteration and the mismatch filter 41 of the current iteration is obtained and set as the mismatch filter 41 of the current iteration. By the calculation in step S131, it is possible to divide those having close correlations. In step S132, 1 is added to the first counter it. In step S133, it is determined whether or not the first counter it has exceeded n.If the first counter it does not exceed n, the process returns to step S122. When the process returns to step S122, the second small block 32a having the highest degree of correlation with the first small block 31a is recursively searched from the second frame 22. In the search, the correlation degree calculation is not performed at the column position where the value is 0 in the mismatch filter 41, and the correlation degree calculation is performed at the column position where the value is 1 in the mismatch filter. That is, the correlation degree calculation is performed again only for the mismatched pixels.By performing the processes (c) to (f) recursively up to a desired number of iterations n, the first motion vector group (first motion vector 35a [item m] (m = 1 to m) n integer))) and mismatch filter group (mismatch filter 41 [item m] (m = 1 to n)). If it is determined in step S133 that the number of repetitions of the motion estimation subroutine has exceeded n, the process proceeds to step S116 shown in FIG.
[0025]
(G) In step S116, the vector scale conversion means 16 shown in FIG. 1 converts the first motion vector group into the second vector group. Specifically, as shown in FIG. 9, the start point of the first motion vector 35a is identified as the interpolation block 53 at the same position as the first image block 51, the length is halved, and the second motion vector is set. 35b can be obtained. Thereby, the temporal position of the interpolation frame 23 can be generated at the center of the 60 Hz signal.
[0026]
  (H) Next, in step S117 shown in FIG. 4, the motion compensation means 17a shown in FIG. 1 creates an interpolation frame 23 using the mismatch filter group and the second motion vector group. Step S117 specifically includes processing as shown in FIG. First, the second counter lte is set to 1 in step S141 shown in FIG. Next, as shown in FIG. 9, in step S143, the second image block 52 on the second frame 22 determined by the second motion vector 35b is obtained. In step S145, the position of the interpolation block 53 on the interpolation frame 23 determined by the start point of the second motion vector 35 is obtained. In step S146, scanning within the block is started. In step S147, it is determined whether or not the value of the mismatch filter 41 is zero. Thus, as shown in FIG. 7, only the pixel corresponding to the position of the column whose value is 0 in the mismatching filter 41 is copied. In step S148,Second imageblock52Are copied onto the interpolation frame 23. In step S149, it is determined whether or not all the pixels in the block have been scanned. If it is determined that all the pixels in the block have been scanned, the process proceeds to step S150. On the other hand, if it is determined that all the pixels in the block have not been scanned, the process returns to step S147. In step S150, 1 is added to the second counter lte. In step S151, it is determined whether or not the second counter lte has exceeded n. The above processing is repeated from m = 1 to n. The interpolation frame 23 is created by performing the processing from (B) to (H) for the entire small block divided in (A).
[0027]
(I) When the motion compensation process is completed, the process proceeds to step S118 in FIG. 4 to determine whether or not all blocks have been scanned. If it is determined that all blocks have been scanned, the frame interpolation process is terminated. On the other hand, if it is determined that all the blocks have not been scanned yet, the process returns to step S115.
[0028]
As described above, according to the first embodiment, it is possible to realize a method of creating the interpolation frame 23 that does not allow gaps and overlaps without using a complicated device. In addition, since block distortion can be suppressed and noise at the edge portion can be removed, high image quality can be achieved.
[0029]
Furthermore, in the first embodiment, an example in which the interval of interpolation time is divided into two equal parts has been shown, but it is not particularly limited to two equal parts. Therefore, it is also possible to perform motion compensation by interpolating the interpolation frame 23 in which the number of frames is equal to n and the number of frames is n-1. By shortening the time interval for interpolation in this way, the efficiency of interpolation between frames can be further increased. As a result, the displayed moving image can be made clearer and clearer.
[0030]
(Second Embodiment)
As shown in FIG. 10, in the frame interpolation system according to the second exemplary embodiment of the present invention, the edge determination unit 13b of the frame information generation unit 71b outputs the first edge image block output from the match determination unit 15b and the first edge image block. 2 is different from FIG. 1 in that two edge image blocks are input and edge information is output to the coincidence determination means 15b. Moreover, the point which is not provided with the vector scale conversion means 16 differs from FIG. Other configurations are the same as those in FIG.
[0031]
Next, a frame interpolation method according to the second embodiment of the present invention will be described with reference to FIGS. However, overlapping description of the same processing as that of the frame interpolation method according to the first embodiment is omitted.
[0032]
(A) First, in step 211 shown in FIG. 11, the edge detecting means 11b shown in FIG. 10 detects the edges of the first frame 21 and the second frame 22 shown in FIG. The first edge image and the second edge image are output. Thereafter, the process proceeds to the motion estimation process in step S400. In step S212, the motion estimation means 14b divides the interpolation frame 23 into small blocks of a uniform grid as shown in FIG. Next, in step S213, the motion estimation unit 15b starts scanning a small block on the interpolation frame 23. Thereafter, the process proceeds to a motion estimation subroutine shown in step S214.
[0033]
(B) In step S221 shown in FIG. 13, the first counter ite is set to 1. Further, 1 is assigned to all the columns of the mismatch filter 41 shown in FIG. In step S222, a search is performed on the first frame 21 and the second frame 22 with the interpolation block 33 as a center, using only the pixels whose column value of the mismatch filter 41 is 1. Then, as shown in FIG. 14, the first small block 31b and the second small block 32b having the highest correlation are obtained. Next, a motion vector 36a is obtained based on the first small block 31b and the second small block 32b. In step S223, a block corresponding to the position of the first small block 31b is obtained as a first edge image block from the first edge image. In step S224, a block corresponding to the position of the second small block 32b is obtained as a second edge image block from the second edge image. Next, in step S225, an average of the first edge image block and the second edge image block is obtained. After obtaining the average in step S225, the process proceeds to the match determination process in step S401.
[0034]
(C) In the coincidence determination process, scanning of the pixels in the first small block 31b and the second small block 32b shown in FIG. 14 is started in step S226. Next, in step S227, the first difference processing means 18b and the second difference processing means 19b shown in FIG. 10 make a difference between the pixels in the first small block 31b and the pixels in the second small block 32b. Processing is performed to obtain a difference value. Next, in step S228, the first edge image block and the second edge image block are input to the edge determination unit 13b. The edge determination unit 13b determines whether or not there is an edge in the first edge image block and the second edge image block. Specifically, the first threshold T1To obtain an average of the pixel values of the first edge image block and the second edge image block, and a first threshold value T11 for a larger pixel as an edge pixel, the first threshold T10 is output with a smaller pixel as a non-edge pixel. The 1 and 0 edge information output by the edge determination unit 13b is input to the coincidence determination unit 15b. When the edge information output from the edge determination unit 13b is 1, the coincidence determination unit 15b determines that the pixel is an edge pixel. On the other hand, when the edge information output by the edge determination unit 13b is 0, it is determined that the pixel is a non-edge pixel. If it is determined that the pixel is an edge pixel, the process proceeds to step S229. If it is determined that the pixel is a non-edge pixel, the process proceeds to step S230.
[0035]
(D) In step S230, the difference value obtained in step S227 and the second threshold T2Based on the above, it is determined whether the target pixel matches or does not match. The difference value is the second threshold T2In the above case, the process proceeds to step S232. The difference value is the second threshold T2If smaller, the process proceeds to step S231. In step S229, the difference value obtained in step S227 and the third threshold T3Based on the above, it is determined whether the target pixel matches or does not match. The difference value is the third threshold T3In the above case, the process proceeds to step S232. The difference value is the third threshold T3If smaller, the process proceeds to step S231. In step S231, 1 is stored in the column of the mismatch filter 41, and then the process proceeds to step S233. In step S231, 0 is stored in the column of the mismatch filter 41, and then the process proceeds to step S233. In step S233, it is determined whether the entire block has been scanned.
[0036]
(E) Next, the target interpolation block is recursively searched. In the search, the correlation calculation is not performed at the position where the value of the corresponding column of the mismatch filter 41 is 0, and the correlation calculation is performed at the position where the value is 1. Further, in step S234, the logical product of the mismatch filter 41 of the previous iteration and the mismatch filter 41 of the current iteration is obtained, and this is set as the mismatch filter 41 of the current iteration. By performing the processing of step S222 to step S235 recursively up to the number of iterations n, a motion vector group (motion vector 36a [item m] (m = integer of 1 to n)) and a mismatch filter group (mismatch filter 41 [ ite m] (m = integer from 1 to n)). Step S215 in FIG. 11 is specifically as follows.
[0037]
(F) In step S241 shown in FIG. 15, the second counter lte is set to 1. In step S242, the first image block 51 on the first frame 21 determined by the motion vector 36a × (−1) is obtained. In step S243, the second image block 52 on the second frame 22 determined by the motion vector 36a is obtained. In step S244, the average of the first image block 51 and the second image block 52 is obtained. In step S245, scanning of the pixels in the block is started. In step S246, it is determined whether or not the column value of the mismatch filter 41 is zero. If it is determined that the column value of the mismatch filter 41 is 0, the process proceeds to step S247. On the other hand, when it is determined that the column value of the mismatch filter 41 is 1, the process proceeds to step S248. In step S247, the pixels of the average image block are copied onto the interpolation frame 23. In step S248, it is determined whether all the pixels in the block have been scanned. If it is determined that all the pixels in the block have been scanned, the process proceeds to step S249. If it is determined that all the pixels in the block have not been scanned, the process returns to step S246. In step S249, 1 is added to the second counter lte. In step S250, it is determined whether the second counter lte has exceeded n. If it is determined that the second counter lte has exceeded n, the motion compensation process is terminated. On the other hand, if it is determined that the second counter lte does not exceed n, the process returns to step S242.
[0038]
(G) An average of the second image block 52 determined by the end point of the motion vector 36a [ite m] and the first image block 51 determined by the point symmetry position of the end point position of the motion vector 36a [ite m] The average image block is copied onto the interpolation frame 23. As shown in FIG. 16, only the pixel whose pixel position is 0 in the mismatching filter 41 [item] is actually copied. The above processing is repeated until m = 1 to n. By performing such processing for the entire block, the interpolation frame 23 is created.
[0039]
Thus, according to the second embodiment, motion compensation processing can be performed without scaling the motion vector 36a. Further, since an image without block distortion is obtained and edge noise is reduced, the image quality can be improved.
[0040]
(Other embodiments)
As described above, the present invention has been described according to the first and second embodiments. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
[0041]
In the first and second embodiments, it has been described that the sum of coincidence pixel numbers is used as a measure of the degree of correlation. However, Sum of Absolute Difference (SAD) can be used as a measure of the degree of correlation. In the first embodiment and the second embodiment, an example in which frame interpolation is performed on a non-interlaced image has been described. However, it goes without saying that the frame interpolation methods according to the first and second embodiments can be applied even when frame interpolation is performed on an interlaced image.
[0042]
In the first and second embodiments, the frame memories 12a and 12b are described as one. However, the number of frame memories 12a and 12b is not limited to one, and the number of frame memories 12a and 12b is adjusted so that the relationship between the processing time until a frame is displayed and the time accumulated in the frame memories 12a and 12b is optimized. It doesn't matter. Furthermore, in the first embodiment, the forward motion estimation for estimating the first motion vector 35a for the temporally subsequent frame from the temporally previous frame has been described. However, in the backward motion estimation in which the first motion vector 35a is estimated from the temporally subsequent frame to the temporally previous frame, the bidirectional motion that selects the more reliable one in the forward motion estimation and the backward motion estimation. An estimation may be used. Alternatively, a motion estimation method selection means is further provided, and from the mobility and moving speed of the image such as whether the input frame image is going to be framed in or vice versa, "forward motion estimation", Use either “forward motion estimation” or “bidirectional motion estimation” to determine how many intervals you want to interpolate to determine the most optimal image, and use other means accordingly. Control. This makes it possible to automatically perform optimal motion compensation for various moving images.
[0043]
Thus, it should be understood that the present invention includes various embodiments and the like not described herein. Therefore, the present invention is limited only by the invention specifying matters in the scope of claims reasonable from this disclosure.
[0044]
【The invention's effect】
According to the present invention, it is possible to provide a frame interpolation system and a frame interpolation method in which gaps and overlaps do not occur, block distortion is suppressed, and noise is not generated at edges.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a frame interpolation system according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a function of a coincidence determination unit according to the first embodiment of the present invention.
FIG. 3 is a diagram for explaining a function of a coincidence determination unit according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing the entire frame interpolation method according to the first embodiment of the present invention.
FIG. 5 is a diagram showing the principle of a frame interpolation method according to the first embodiment of the present invention.
FIG. 6 is a flowchart showing motion estimation processing according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating motion estimation processing according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing motion compensation processing according to the first embodiment of the present invention.
FIG. 9 is a diagram illustrating motion compensation processing according to the first embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a frame interpolation system according to a second embodiment of the present invention.
FIG. 11 is an overall flowchart of a frame interpolation method according to a second embodiment of the present invention.
FIG. 12 is a diagram illustrating the principle of a frame interpolation method according to a second embodiment of the present invention.
FIG. 13 is a flowchart of motion estimation processing according to the second embodiment of the present invention.
FIG. 14 is a diagram illustrating motion compensation processing according to the second embodiment of the present invention.
FIG. 15 is a flowchart of motion compensation processing according to the second embodiment of the present invention.
FIG. 16 is a diagram illustrating motion compensation processing according to the second embodiment of the present invention.
FIG. 17 is a diagram illustrating a conventional frame interpolation method.
FIG. 18 is a diagram illustrating a conventional frame interpolation method.
[Explanation of symbols]
1, 2, ... motion vector iteration
3a, 3b ... image blocks
5a-5i, 6a-6i ... Pixel
11a, 11b ... edge detection means
12a, 12b ... Frame memory
13a, 13b ... edge determination means
15a, 15b ... coincidence determining means
16: Vector scale conversion means
17a, 17b ... motion compensation means
18a, 18b ... 1st difference processing means
19a, 19b ... second difference processing means
21 ... 1st frame
22 ... 2nd frame
23 ... Interpolation frame
31, 31a, 31b ... 1st small block
32, 32a, 32b ... 2nd small block
33, 53 ... Interpolation block
35a ... first motion vector
36a ... motion vector
41 ... Mismatch filter
51. First image block
52 ... Second image block
71a, 71b ... Frame information generating means
200a to 200d ... interpolation frame
201a-201c ... Frame

Claims (8)

第１のフレームの第１画素の各々がエッジ部分の画素であるか否かを示すエッジ情報を求めるエッジ検出手段と、
初期値が第１の値である複数の要素を有し、前記各要素は前記第１画素の各々に対応づけられている不一致フィルタのデータを記憶する不一致フィルタ記憶手段と、
前記第１の値の前記要素に対応づけられた前記第１画素のみを用いて、前記第１のフレームと該第１のフレームの次のフレームである第２のフレームとの間の動きベクトルを求める動き検出手段と、
前記第１の値を有する前記要素に対応づけられた前記第１画素と前記動きベクトルにより当該第１画素に対応付けられた第２のフレーム上の第２画素との対象画素対の画素値の差分値を求める差分計算手段と、
前記第１のフレーム上でエッジ部分の前記第１画素に関する対象画素対の閾値が前記非エッジ部分の前記第１画素関する対象画素対の閾値より高くなるように前記エッジ情報に基づいて設定された閾値と、前記対象画素対の前記画素値の差分値とを比較する比較手段と、
前記画素値の差分値が前記閾値より小さい前記対象画素対の前記第１画素に対応づけられた前記要素に前記第１の値とは異なる第２の値を設定する不一致フィルタ更新手段と、
前記動き検出手段、前記差分計算手段、前記比較手段及び前記不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される前記不一致フィルタ及び前記動きベクトルを記憶する繰り返し制御手段と、
第２の値を有する前記要素に対応づけられた前記第１画素に関する前記対象画素対を用いて、前記第１のフレームと前記第２のフレームとの間の補間フレーム上で前記動きベクトルによって指し示される位置の画素値を求める動き補償手段
とを備えることを特徴とするフレーム補間システム。Edge detection means for obtaining edge information indicating whether or not each of the first pixels of the first frame is a pixel of an edge portion ;
A mismatch filter storage means for storing a plurality of elements whose initial values are first values, each element storing data of a mismatch filter associated with each of the first pixels;
Using only the first pixel associated with the element of the first value, a motion vector between the first frame and a second frame that is the next frame of the first frame is obtained. A desired motion detection means;
The pixel value of the target pixel pair of the first pixel associated with the element having the first value and the second pixel on the second frame associated with the first pixel by the motion vector A difference calculation means for obtaining a difference value;
Set based on the first frame on the said first pixel relates target pixel to said edge information to be higher than the threshold value of the threshold the non-edge portion of the pixel pair for the first pixel of an edge portion Comparing means for comparing a threshold value and a difference value of the pixel values of the target pixel pair;
A mismatch filter update unit that sets a second value different from the first value to the element associated with the first pixel of the target pixel pair whose difference value of the pixel value is smaller than the threshold;
A control that repeats a series of processes by the motion detection unit, the difference calculation unit, the comparison unit, and the mismatch filter update unit a plurality of times, and stores the mismatch filter and the motion vector generated in each process. Control means;
Pointed by the motion vector on the interpolated frame between the first frame and the second frame, using the target pixel pair for the first pixel associated with the element having a second value. A frame interpolation system comprising: motion compensation means for obtaining a pixel value at the indicated position. 第１のフレームの各画素のエッジ強度を示す第１エッジ画像を求めるエッジ検出手段と、  Edge detecting means for obtaining a first edge image indicating the edge intensity of each pixel of the first frame;
初期値が第１の値である複数の要素を有し、前記各要素は前記第１のフレームと前記第１のフレームの次のフレームである第２のフレームとの間にある補間フレームの補間画素の各々に対応づけられている不一致フィルタのデータを記憶する不一致フィルタ記憶手段と、  Interpolating an interpolated frame having a plurality of elements whose initial values are first values, each element being between the first frame and a second frame that is the next frame of the first frame Mismatch filter storage means for storing mismatch filter data associated with each of the pixels;
前記補間フレームを分割した複数の補間ブロックの各々を基準にして、前記第１のフレームと前記第２のフレームとの間で点対称に、前記第１のフレームの第１ブロックと前記第２のフレームの第２ブロックとのブロック対を、前記第１の値の前記要素に対応づけられた前記補間画素の前記補間ブロック内での相対座標と同じ相対座標を持つ前記第１及び第２ブロック内の画素のみを用いて探索することにより、前記第１のフレームと前記第２のフレームとの間の前記補間ブロックに関する動きベクトルを検出する動きベクトル検出手段と、  The first block of the first frame and the second block are symmetrical with respect to each of the plurality of interpolation blocks obtained by dividing the interpolation frame between the first frame and the second frame. In the first and second blocks, the block pair with the second block of the frame has the same relative coordinates as the relative coordinates in the interpolation block of the interpolation pixel associated with the element of the first value. Motion vector detection means for detecting a motion vector related to the interpolation block between the first frame and the second frame by searching using only the pixels of
前記補間ブロック内で前記第１の値の前記要素に対応づけられた前記補間画素に関して、前記動きベクトルによって当該補間画素に対応付けられた前記第１のフレーム上の第１画素と前記第２のフレーム上の第２画素の画素値との対象画素対の差分値を求める差分計算手段と、  With respect to the interpolation pixel associated with the element of the first value in the interpolation block, the first pixel on the first frame and the second pixel associated with the interpolation pixel by the motion vector A difference calculating means for obtaining a difference value of a target pixel pair with a pixel value of a second pixel on the frame;
前記第１エッジ画像を用いて前記第１画素がエッジ部分であるか非エッジ部分であるかを判定して、前記第１画素がエッジ部分である場合には当該第１画素に関する前記対象画素対がエッジ部分であると判定し、前記第１画素が非エッジ部分である場合には当該第１画素に対応する前記対象画素対が非エッジ部分であると判定するエッジ判定手段と、  The first edge image is used to determine whether the first pixel is an edge portion or a non-edge portion, and when the first pixel is an edge portion, the target pixel pair related to the first pixel Edge determination means for determining that the target pixel pair corresponding to the first pixel is a non-edge portion when the first pixel is a non-edge portion,
エッジ部分の前記対象画素対の閾値が非エッジ部分の前記対象画素対の閾値よりも高くなるように設定された閾値と、前記対象画素対の前記画素値の差分値とを比較する比較手段と、  Comparison means for comparing a threshold value set so that a threshold value of the target pixel pair in the edge portion is higher than a threshold value of the target pixel pair in the non-edge portion and a difference value of the pixel value of the target pixel pair; ,
前記差分値が前記閾値より小さい前記対象画素対の前記第１画素に対応づけられた前記要素に前記第１の値とは異なる第２の値を設定する不一致フィルタ更新手段と、  A mismatch filter update unit that sets a second value different from the first value to the element associated with the first pixel of the target pixel pair whose difference value is smaller than the threshold;
前記動き検出手段、前記差分計算手段、前記比較手段及び前記不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される前記不一致フィルタ及び前記動きベクトルを記憶する繰り返し制御手段と、  A control that repeats a series of processes by the motion detection unit, the difference calculation unit, the comparison unit, and the mismatch filter update unit a plurality of times, and stores the mismatch filter and the motion vector generated in each process. Control means;
前記第２の値を有する前記要素に対応づけられた前記補間画素に関する前記動きベクトルによって対応付けられた前記対象画素対を用いて、前記補間画素の画素値を求める動き補償手段  Motion compensation means for obtaining a pixel value of the interpolation pixel using the target pixel pair associated with the motion vector related to the interpolation pixel associated with the element having the second value
とを備えることを特徴とするフレーム補間システム。  A frame interpolation system comprising: 前記エッジ検出手段は、更に第２フレームの各画素のエッジ強度を示す第２エッジ画像を求め、  The edge detection means further obtains a second edge image indicating the edge intensity of each pixel of the second frame,
前記第１エッジ画像上で前記対象画素の前記第１画素に対応する画素の画素値と前記第２エッジ画像上で前記対象画素の前記第２画素に対応する画素の画素値との平均値に基づいて、前記対象画素対がエッジ部分であるか非エッジ部分であるかを判定するエッジ判定手段  An average value of a pixel value of the pixel corresponding to the first pixel of the target pixel on the first edge image and a pixel value of the pixel corresponding to the second pixel of the target pixel on the second edge image. Edge determining means for determining whether the target pixel pair is an edge portion or a non-edge portion based on
を更に備えることを特徴とする請求項２に記載のフレーム補間システム。  The frame interpolation system according to claim 2, further comprising: 前記動きベクトルのスケールを変換して前記補間フレームの動きベクトルを求めるベクトルスケール変換手段を更に備え、
前記動き補償手段は、前記ベクトルスケール変換手段で求められた前記補間フレームの動きベクトルを用いることを特徴とする請求項１〜３のいずれか１項に記載のフレーム補間システム。A vector scale converting means for converting the scale of the motion vector to obtain a motion vector of the interpolated frame;
The frame interpolation system according to any one of claims 1 to 3, wherein the motion compensation means uses a motion vector of the interpolation frame obtained by the vector scale conversion means. 第１のフレームの第１画素の各々がエッジ部分の画素であるか否かを示すエッジ情報を求めるステップと、
初期値が第１の値である複数の要素を有し、前記各要素は前記第１画素の各々に対応づけられている不一致フィルタのデータを記憶するステップと、
前記第１の値の前記要素に対応づけられた前記第１画素のみを用いて、前記第１のフレームと該第１のフレームの次のフレームである第２のフレームとの間の動きベクトルを求めるステップと、
前記第１の値を有する前記要素に対応づけられた前記第１画素と前記動きベクトルにより当該第１画素に対応付けられた第２のフレーム上の第２画素との対象画素対の画素値の差分値を求めるステップと、
前記第１のフレーム上でエッジ部分の前記第１画素に関する対象画素対の閾値が前記非エッジ部分の前記第１画素関する対象画素対の閾値より高くなるように前記エッジ情報に基づいて設定された閾値と、前記対象画素対の前記画素値の差分値とを比較するステップと、
前記画素値の差分値が前記閾値より小さい前記対象画素対の前記第１画素に対応づけられた前記要素に前記第１の値とは異なる第２の値を設定するステップと、
前記動き検出手段、前記差分計算手段、前記比較手段及び前記不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される前記不一致フィルタ及び前記動きベクトルを記憶するステップと、
第２の値を有する前記要素に対応づけられた前記第１画素に関する前記対象画素対を用いて、前記第１のフレームと前記第２のフレームとの間の補間フレーム上で前記動きベクトルによって指し示される位置の画素値を求めるステップ
とを備えることを特徴とするフレーム補間方法。 Obtaining edge information indicating whether each of the first pixels of the first frame is a pixel of an edge portion ;
Storing a plurality of elements whose initial values are first values, each element storing data of a mismatch filter associated with each of the first pixels;
Using only the first pixel associated with the element of the first value, a motion vector between the first frame and a second frame that is the next frame of the first frame is obtained. Seeking steps,
The pixel value of the target pixel pair of the first pixel associated with the element having the first value and the second pixel on the second frame associated with the first pixel by the motion vector Obtaining a difference value;
Set based on the first frame on the said first pixel relates target pixel to said edge information to be higher than the threshold value of the threshold the non-edge portion of the pixel pair for the first pixel of an edge portion Comparing a threshold value and a difference value of the pixel values of the target pixel pair;
Setting a second value different from the first value to the element associated with the first pixel of the target pixel pair whose difference value of the pixel value is smaller than the threshold;
A step of performing a control of repeating a series of processes by the motion detection unit, the difference calculation unit, the comparison unit, and the mismatch filter update unit a plurality of times, and storing the mismatch filter and the motion vector generated in each process. When,
Pointed by the motion vector on the interpolated frame between the first frame and the second frame, using the target pixel pair for the first pixel associated with the element having a second value. Obtaining a pixel value at the indicated position. A frame interpolation method comprising: 第１のフレームの各画素のエッジ強度を示す第１エッジ画像を求めるステップと、  Obtaining a first edge image indicating the edge strength of each pixel of the first frame;
初期値が第１の値である複数の要素を有し、前記各要素は前記第１のフレームと前記第  A plurality of elements having an initial value of a first value, wherein each element includes the first frame and the first value; １のフレームの次のフレームである第２のフレームとの間にある補間フレームの補間画素の各々に対応づけられている不一致フィルタのデータを記憶するステップと、Storing mismatch filter data associated with each of the interpolated pixels of the interpolated frame between the second frame which is the next frame of the one frame;
前記補間フレームを分割した複数の補間ブロックの各々を基準にして、前記第１のフレームと前記第２のフレームとの間で点対称に、前記第１のフレームの第１ブロックと前記第２のフレームの第２ブロックとのブロック対を、前記第１の値の前記要素に対応づけられた前記補間画素の前記補間ブロック内での相対座標と同じ相対座標を持つ前記第１及び第２ブロック内の画素のみを用いて探索することにより、前記第１のフレームと前記第２のフレームとの間の前記補間ブロックに関する動きベクトルを検出するステップと、  The first block of the first frame and the second block are symmetrical with respect to each of the plurality of interpolation blocks obtained by dividing the interpolation frame between the first frame and the second frame. In the first and second blocks, the block pair with the second block of the frame has the same relative coordinates as the relative coordinates in the interpolation block of the interpolation pixel associated with the element of the first value. Detecting a motion vector for the interpolated block between the first frame and the second frame by searching using only the pixels of
前記補間ブロック内で前記第１の値の前記要素に対応づけられた前記補間画素に関して、前記動きベクトルによって当該補間画素に対応付けられた前記第１のフレーム上の第１画素と前記第２のフレーム上の第２画素の画素値との対象画素対の差分値を求めるステップと、  With respect to the interpolation pixel associated with the element of the first value in the interpolation block, the first pixel on the first frame and the second pixel associated with the interpolation pixel by the motion vector Obtaining a difference value of a target pixel pair from a pixel value of a second pixel on the frame;
前記第１エッジ画像を用いて前記第１画素がエッジ部分であるか非エッジ部分であるかを判定して、前記第１画素がエッジ部分である場合には当該第１画素に関する前記対象画素対がエッジ部分であると判定し、前記第１画素が非エッジ部分である場合には当該第１画素に対応する前記対象画素対が非エッジ部分であると判定するステップと、  The first edge image is used to determine whether the first pixel is an edge portion or a non-edge portion, and when the first pixel is an edge portion, the target pixel pair related to the first pixel Determining that the target pixel pair corresponding to the first pixel is a non-edge portion when the first pixel is a non-edge portion;
エッジ部分の前記対象画素対の閾値が非エッジ部分の前記対象画素対の閾値よりも高くなるように設定された閾値と、前記対象画素対の前記画素値の差分値とを比較するステップと、  Comparing a threshold value set so that a threshold value of the target pixel pair in the edge portion is higher than a threshold value of the target pixel pair in the non-edge portion, and a difference value of the pixel value of the target pixel pair;
前記差分値が前記閾値より小さい前記対象画素対の前記第１画素に対応づけられた前記要素に前記第１の値とは異なる第２の値を設定するステップと、  Setting a second value different from the first value to the element associated with the first pixel of the target pixel pair whose difference value is smaller than the threshold;
前記動き検出手段、前記差分計算手段、前記比較手段及び前記不一致フィルタ更新手段による一連の処理を複数回繰り返す制御を行うとともに、各回の処理で生成される前記不一致フィルタ及び前記動きベクトルを記憶するステップと、  A step of performing a control of repeating a series of processes by the motion detection unit, the difference calculation unit, the comparison unit, and the mismatch filter update unit a plurality of times, and storing the mismatch filter and the motion vector generated in each process. When,
前記第２の値を有する前記要素に対応づけられた前記補間画素に関する前記動きベクトルによって対応付けられた前記対象画素対を用いて、前記補間画素の画素値を求めるステップ  Obtaining a pixel value of the interpolated pixel using the target pixel pair associated with the motion vector associated with the interpolated pixel associated with the element having the second value.
とを備えることを特徴とするフレーム補間方法。  A frame interpolation method comprising: 第２フレームの各画素のエッジ強度を示す第２エッジ画像を求めるステップと、  Obtaining a second edge image indicating the edge strength of each pixel of the second frame;
前記第１エッジ画像上で前記対象画素の前記第１画素に対応する画素の画素値と前記第２エッジ画像上で前記対象画素の前記第２画素に対応する画素の画素値との平均値に基づいて、前記対象画素対がエッジ部分であるか非エッジ部分であるかを判定するステップ  An average value of a pixel value of the pixel corresponding to the first pixel of the target pixel on the first edge image and a pixel value of the pixel corresponding to the second pixel of the target pixel on the second edge image. And determining whether the target pixel pair is an edge portion or a non-edge portion based on
を更に備えることを特徴とする請求項６に記載のフレーム補間方法。  The frame interpolation method according to claim 6, further comprising: 前記動きベクトルのスケールを変換して前記補間フレームの動きベクトルを求めるステップを更に備え、
前記補間画素の画素値を求めるステップでは、前記前記補間フレームの動きベクトルを用いることを特徴とする請求項５〜７のいずれか１項に記載のフレーム補間方法。Converting the motion vector scale to obtain a motion vector of the interpolated frame;
The frame interpolation method according to any one of claims 5 to 7 , wherein a step of obtaining a pixel value of the interpolation pixel uses a motion vector of the interpolation frame.
JP2002270643A 2002-09-17 2002-09-17 Frame interpolation system and frame interpolation method Expired - Lifetime JP3910510B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002270643A JP3910510B2 (en) 2002-09-17 2002-09-17 Frame interpolation system and frame interpolation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002270643A JP3910510B2 (en) 2002-09-17 2002-09-17 Frame interpolation system and frame interpolation method

Publications (2)

Publication Number Publication Date
JP2004112229A JP2004112229A (en) 2004-04-08
JP3910510B2 true JP3910510B2 (en) 2007-04-25

Family

ID=32268210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002270643A Expired - Lifetime JP3910510B2 (en) 2002-09-17 2002-09-17 Frame interpolation system and frame interpolation method

Country Status (1)

Country Link
JP (1) JP3910510B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005109899A1 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
CN101010964B (en) 2004-07-01 2012-01-04 高通股份有限公司 Method and apparatus for using frame rate up conversion techniques in scalable video coding
MX2007000810A (en) 2004-07-20 2007-04-02 Qualcomm Inc Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression.
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8472524B2 (en) 2006-04-03 2013-06-25 Intel Corporation Motion compensated frame rate conversion with protection against compensation artifacts
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP5100495B2 (en) 2008-05-09 2012-12-19 株式会社東芝 Image processing device

Also Published As

Publication number Publication date
JP2004112229A (en) 2004-04-08

Similar Documents

Publication Publication Date Title
US11809975B2 (en) System and method for end-to-end-differentiable joint image refinement and perception
JP4080951B2 (en) Frame interpolation method and apparatus, and image display system
JP4666706B2 (en) Moving image real-time conversion method, key frame selection method, and moving image conversion system
Giachetti Matching techniques to compute image motion
US6628715B1 (en) Method and apparatus for estimating optical flow
US7403234B2 (en) Method for detecting bisection pattern in deinterlacing
US20020093587A1 (en) Image processing apparatus and method, program, and recording medium
JPH08307820A (en) System and method for generating high image quality still picture from interlaced video
JPH0884321A (en) Video data processing method
US9014490B2 (en) Method to measure local image similarity and its application in image processing
JP2000032465A (en) Nonlinear adaptive image filter eliminating noise such as blocking artifact or the like
KR20030029933A (en) Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit
JP3910510B2 (en) Frame interpolation system and frame interpolation method
CN113269086A (en) Vilog editing method and system
JPH06326971A (en) Method and equipment for animation evaluation
JPH11203483A (en) Image processor, its method and providing medium
JP4550398B2 (en) Method for representing movement of objects appearing in a sequence of images, method for identifying selection of objects in images in a sequence of images, method for searching a sequence of images by processing signals corresponding to the images, and apparatus
JP4463171B2 (en) Autocorrelation value calculation method, interpolation pixel generation method, apparatus thereof, and program thereof
JP5309097B2 (en) Motion estimation apparatus and program
JP4378801B2 (en) Image processing method and image processing apparatus
JP4161440B2 (en) Motion vector estimation method and motion vector estimation apparatus
JP3408141B2 (en) Camera parameter estimation method using order statistics and its program recording medium
KR100318065B1 (en) Method for generating a corrected motion video output in an interlaced frame
GB2407886A (en) Signal enhancement by finding an optimal mapping.
JP3524261B2 (en) Image processing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070124

R151 Written notification of patent or utility model registration

Ref document number: 3910510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140202

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term