JP5448983B2 - 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 - Google Patents

Description

本発明は、テレビやディスプレイなどの表示機器おいて用いる解像度変換装置及び方法、走査線補間装置及び方法、並びに該解像度変換装置又は方法を備える映像表示装置及び方法に関する。

高解像度の表示性能を持つ表示機器に低解像度の映像コンテンツを表示する場合、表示機器は一般的に映像コンテンツの解像度を表示機器の性能に合わせた解像度に変換して表示する。
解像度変換の従来技術としては動き補償による解像度変換が知られている。この方法では、時間軸上で隣接する複数枚の画像間における画素の動きを推定し、この動き情報を基に異なる画像から画素情報を取得し補間画素を生成する。このとき、動き推定の精度により、出力結果として得られる高解像度画像の画質が変わる。

動き推定の一例としては、ブロックマッチングによる動き推定が挙げられる。ブロックマッチングによる動き推定は、２枚の画像間で動きを推定する方法である。一般的な方法としては、まず、動き推定の対象となる画像（以下、基準画像）上に複数の画素から成るブロックを設定し、次に、このブロックと類似するブロックをもう一方の画像（以下、参照画像）から見つけ出す。このとき、対応付けられた２つのブロックの相対位置を動き推定結果する。以上のように、一般的なブロックマッチングによる動き推定では、基準画像上に設定したブロックと類似するブロックを参照画像上から見つけて動きを推定する方法であるため、基準画像上に設定したブロックに類似するブロックが参照画像上に多数ある場合はブロックの対応付けに誤り、適切な動き推定ができないことがある。

このようなブロックの対応付けの誤りは、各画素の動きを等速直線運動と仮定することで低減することができる。映像を構成する複数枚の画像において時間軸上で隣接する画像間では一般的に時間間隔が短いため、この画像間での各画素の動きの変化は小さく、各画素の動きは等速直線運動と近似できる。そのため、上記の仮定を動き推定に導入することで等速直線運動から外れた不自然な対応付けが行われず、ブロックの対応付けの誤りが低減される。

等速直線運動を仮定して動き推定を行う場合、フレームレート変換において用いられる技術が利用できる。例えば、特許文献１では現在フレームと現在フレームの１つ前のフレーム（以下、過去フレーム）から中間フレームを生成する場合に、中間フレームにおいて動き推定の対象となる画素（以下、注目画素）に関して点対称となる現在フレームの画素と過去フレームの画素をペアとし、最も類似するペアを見つける。このため、画素ペアの過去フレーム上の画素から注目画素への動きと、注目画素から画素ペアの現在フレーム上の画素への動きは等しく、この３フレーム間では等速直線運動となっている。ここで、中間フレームを動き推定の対象となる基準画像とし、現在フレームを基準画像の１つ後の画像（以下、未来画像）、過去フレームを基準画像の１つ前の画像（以下、過去画像）とすれば、過去画像、基準画像、未来画像の３画像間で等速直線運動を仮定した動き推定が実現できる。このとき、画素ペアの代わりにブロックペアを見つけるようにすれば、ブロックマッチングでも同様の推定が可能である。以下、このような注目画素に関して点対称の位置関係にある画素やブロックのペアから動きを推定する方法を線形動き推定と呼ぶ。

特許第４３５９２２３号公報

しかし、線形動き推定では、隣接する画素間の輝度の変化が小さい領域（以下、平坦領域）がある場合、その近傍においてブロックの対応付けに失敗し、誤った動きベクトルが推定される可能性がある。そのため、線形動き推定を用いた解像度変換では、出力画像の一部において誤った動きベクトルを基に画素情報を取得したことに因る破綻が生じ、画質が低下するという問題がある。

この発明の解像度変換装置は、
連続する複数枚の画像において、高解像度化の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像を入力画像とし、
動きベクトルの探索範囲を決定する探索範囲決定部と、
前記探索範囲決定部で決定された探索範囲内の動きベクトル候補と基準画像上の補間すべき画素の座標を基に、未来画像から複数の画素で構成されるブロックを該探索範囲の広さ以上に設定された所定のサイズで切り出す未来画像切り出し部と、
基準画像上の補間すべき画素に関して前記未来画像切り出し部によって切り出されたブロックと点対称の位置にあるブロックを過去画像から切り出す過去画像切り出し部と、
前記未来画像切り出し部と前記過去画像切り出し部によって切り出された２つのブロック間の非類似度を算出する非類似度算出部と、
前記非類似度算出部で算出された非類似度に基づいて求めた動きベクトル評価値を最小とする動きベクトルを出力する動き推定部と、
前記動き推定部から出力される動きベクトルに基づいて未来画像と過去画像から画素情報を取得し、該画素情報から補間画素を生成することで補間画像を生成する動き補償補間処理部と、
基準画像と前記動き補償補間処理部で生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理部とを備え、
前記探索範囲決定部は、各画像を基準画像としたときの前記動き推定部から出力される動きベクトルに基づいて次の画像を基準画像とするときの高解像度化処理における探索範囲を決定する
ことを特徴とする。

本発明によれば、平坦領域の近傍において線形動き推定による誤ったブロックの対応付けを防ぐことが可能となる。これにより、適切な動き補償ができ、高画質な高解像度画像を生成することができる。また、探索範囲決定部を設けることにより、探索範囲を小さくできるため、計算量の増加を抑えることができる。

この発明の実施の形態１の解像度変換装置を示すブロック図である。 実施の形態１における動き推定を説明する上で用いる画像について説明する図である。 実施の形態１におけるブロックサイズが要求サイズ以下に設定された場合の理想的なブロック対応付けの例を示す図である。 実施の形態１におけるブロックサイズが要求サイズ以下に設定された場合の誤ったブロック対応付けの例を示す図である。 実施の形態１におけるブロックサイズを要求サイズに設定することの効果を説明する図である。 実施の形態１における探索範囲決定方法を説明する図である。 実施の形態１における有効範囲を設定する効果を説明する図である。 実施の形態１における解像度変換の例を説明する図である。 実施の形態１におけるサブピクセルの動き推定の探索範囲の設定を説明する図である。 実施の形態１におけるサブピクセルの動き推定のブロックの切り出しを説明する図である。 この発明の実施の形態２の解像度変換装置を示すブロック図である。 （ａ）〜（ｄ）は、実施の形態２における平坦領域ペナルティ導入の効果を説明する図である。 この発明の実施の形態３の解像度変換装置を示すブロック図である。 この発明の実施の形態４の映像表示装置を示すブロック図である。 （ａ）及び（ｂ）は、実施の形態４におけるインターレース画像のフィールドの種類を説明する図である。 （ａ）〜（ｃ）は、実施の形態４における動きベクトル候補を説明する図である。 この発明の実施の形態５の映像表示装置を示すブロック図である。

実施の形態１．
図１はこの発明の実施の形態１の解像度変換装置の構成を示すブロック図である。
本実施の形態の解像度変換装置１００は、解像度変換の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像の３枚の画像を入力とし、未来画像と過去画像から取得した画素情報を基に基準画像に対して縦・横におよそ２倍のサイズの高解像度画像を出力する装置であり、未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、動き推定部１０４、探索範囲決定部１０５、動き補償補間処理部１０６、及び組合せ部１０７を備える。
この装置はテレビやモニターなどの映像表示装置、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

未来画像切り出し部１０１では、複数の画素から構成されるブロックを未来画像から切り出し、非類似度算出部１０３に出力する。ブロックサイズは、予め定められる探索範囲の広さが縦（図２で垂直方向、即ち列方向）Ｈ（ただしＨは奇数）画素、横（図２で水平方向、即ち行方向）Ｗ（ただしＷは奇数）画素であるとすると、縦のサイズＢＨを（２×Ｈ−１）画素、横のサイズＢＷを（２×Ｗ−１）画素とする。この理由については動き推定部１０４の説明において詳述する。ブロックの切り出し位置は、基準画像上の補間すべき画素である注目画素の座標と後述する探索範囲決定部１０５によって決定される探索範囲内の動きベクトル候補によって決まる。具体的には、注目画素の座標が（ｘ_ｂ，ｙ_ｂ）、動きベクトル候補のｘ成分（水平方向成分）がｍｖ_ｘ、ｙ成分（垂直方向成分）がｍｖ_ｙであるとき、未来画像切り出し部で切り出されるブロックの中心座標（ｘ_ｎ，ｙ_ｎ）は式（１）のように表わされる。

過去画像切り出し部１０２では、複数の画素から構成されるブロックを過去画像から切り出し、非類似度算出部１０３に出力する。ブロックサイズは、未来画像切り出し部１０１で切り出されるブロックと同じである。ブロックの切り出し位置は、注目画素の座標に関して未来画像切り出し部１０１におけるブロック切り出し位置とは点対称の位置である。具体的には、注目画素の座標が（ｘ_ｂ，ｙ_ｂ）、動きベクトル候補のｘ成分がｍｖ_ｘ、ｙ成分がｍｖ_ｙであるとき、過去画像切り出し部で切り出されるブロックの中心座標（ｘ_ｐ，ｙ_ｐ）は式（２）のように表わされる。

非類似度算出部１０３では、未来画像切り出し部１０１と過去画像切り出し部１０２によって切り出された２つのブロックの非類似度を算出し、動き推定部１０４に出力する。非類似度は、ブロック同士が似ているときに小さくなり、ブロック同士が似ていないときに大きくなる値である。本実施の形態では、非類似度を式（３）で示される輝度の差分絶対値和ＳＡＤとして算出する。ただし、Ｂ_ｎ（ｉ，ｊ）は未来画像切り出し部１０１で切り出されたブロック上の座標（ｉ，ｊ）における輝度値、Ｂ_ｐ（ｉ，ｊ）は過去画像切り出し部１０２で切り出されたブロック上の座標（ｉ，ｊ）における輝度値とする。ブロック上の座標（ｉ，ｊ）は各ブロックの左上の座標を（０，０）とした値であり、このとき右下の座標はブロックサイズから（ＢＨ−１，ＢＷ−１）となる。また、｜α｜はαの絶対値である。

動き推定部１０４では非類似度算出部１０３から出力された動きベクトル候補ごとの非類似度を動きベクトル評価値とし、最小の動きベクトル評価値を与える動きベクトル候補を動き推定結果として探索範囲決定部１０５と動き補償補間部１０６に出力する。動き推定結果は、基準画像上の補間すべき画素ごとに、探索範囲内の動きベクトル候補の中から１つ選ばれる。

ここで、未来画像切り出し部１０１と過去画像切り出し部１０２において切り出すブロックのサイズを縦（２×Ｈ−１）画素、横（２×Ｗ−１）画素（以下、このブロックサイズを要求サイズと呼称する）に設定した理由について説明する。線形動き推定は上述した課題の通り、平坦領域の近傍においてブロック対応付けに失敗する可能性がある。これは、２つのブロックのどちらもが平坦領域内に設定されることにより、非類似度が小さくなることが原因である。しかし、ブロックサイズを要求サイズに設定することによって、この問題が解決する。

これは、ブロックサイズを要求サイズに設定することで探索範囲全域をブロック内に収めることができるためである。このことを、横方向の場合を例に示す。
注目画素のｘ座標がｘ_ｂ、探索範囲が横方向に±ｎ画素である場合（ただしｎは正の整数）、探索範囲の左端の座標はｘ_ｂ−ｎ、右端の座標はｘ_ｂ＋ｎであり、探索範囲の広さは２ｎ＋１画素となる。このとき、ブロックの要求サイズは４ｎ＋１画素である。また、ブロックの左端は中心から−２ｎ画素、右端は中心から＋２ｎ画素に位置する。動きベクトル候補のｘ成分がｎのとき、未来画像において切り出されるブロックの中心は探索範囲の右端、すなわちｘ_ｂ＋ｎである。このとき、ブロックの左端はｘ_ｂ−ｎ、すなわち探索範囲の左端に位置する。過去画像において切り出されるブロックは、注目画素に関して点対称の位置にあるため、ブロックの中心がｘ_ｂ−ｎ、ブロックの右端がｘ_ｂ＋ｎとなる。このように、動きベクトル候補を探索範囲の端に設定した場合でも、探索範囲の両端がブロック内に収まることが分かる。

以下に探索範囲全域をブロック内に収めることの効果を説明する。ここでは、説明を簡単にするために過去画像と未来画像から、それらと同サイズの補間画像を作成する例を用いる。各画像のサイズは７×７画素であり、各画素は図２に示すように識別される。この場合、過去画像、未来画像、補間画像の中心画素は、それぞれａ_３，３、ｂ_３，３、ｃ_３，３となる。

まず、ブロックサイズを要求サイズ未満に設定した例を示す。図３に理想的なブロック対応付けの例を示す。補間画素の中心画素ｃ_３，３を注目画素、動きベクトル候補をベクトル（１，０）として、３×３画素のブロックを切り出している。また、ブロックの中心が動く探索範囲は注目画素を中心に縦・横±１画素とする。図中、太線で示される部分がブロック、点線で示される部分が探索範囲である。このとき、切り出されるブロックの中心は過去画像でａ_２，３、未来画像でｂ_４，３となる。

過去画像、未来画像ともに低輝度で輝度変化の少ない平坦領域に高輝度の白い縦線が配置されており、過去画像では中央より左に１画素の位置に、未来画像では中央より右に１画素の位置に白線がある。このため、時間軸上で過去画像と未来画像の中間に位置する補間画像では、ちょうど画像の中央の位置に白線があることが理想的である。図３において切り出されるブロックは、両ブロックともに白線を中央に捉えており、これらのブロックから補間されるｃ_３，３は白線の一部の白画素として補間される。同様に理想的な動き補償がなされた場合、補間画像は図に示すように、白線が中央に位置する理想的な画像となる。

図４に誤ったブロック対応付けの例を示す。動きベクトル候補はベクトル（−１，０）であり、注目画素、ブロックサイズ、探索範囲は図３と同様である。切り出されるブロックの中心は過去画像でａ_４，３、未来画像でｂ_２，３となる。このとき、両ブロックは平坦領域内を切り出しており、これらのブロックから補間されるｃ_３，３は平坦領域の一部の低輝度の画素として補間される。同様に誤った動き補償がなされた場合、補間画像は図に示すように、白線が存在しない画像となる。このように、図４で切り出されるブロックの対応付けは望ましくない補間結果を与える。

しかし、このような対応付けの誤りが起きる可能性は高い。図４のようなブロックペアにおいて、ブロック内には輝度変化の小さい平坦領域しか捉えていないため両ブロックの各画素の輝度差も小さい。このため、非類似度算出部１０３において算出される非類似度が小さくなり、結果として動き推定部１０４において誤ったブロックの対応付けを与える動きベクトル候補が選ばれる可能性が高まる。

次に、ブロックサイズを要求サイズに設定した例を図５に示す。注目画素はｃ_３，３、動きベクトル候補はベクトル（−１，０）、探索範囲は注目画素を中心に縦・横±１画素であり、ブロックサイズ以外の条件は図４と同様になっている。探索範囲の設定より、探索範囲の広さは縦・横ともに３画素分である。従って、ブロックの要求サイズは、５×５画素となる。この場合、図５のように過去画像から切り出されるブロックはブロックの左端に、未来画像から切り出されるブロックはブロックの右端に白線が捉えることとなる。このため、ブロック間の非類似度の評価において、少なくともブロックの左右の端では低輝度の画素と高輝度の画素の差分が取られて非類似度が高くなるため、誤った対応付けが起きることを防ぐことができる。

以上のように、ブロックサイズを要求サイズに設定し、探索範囲全域をブロック内に収めることにより、ブロック対応付けの誤りを低減することができる。

図１の説明に戻る。探索範囲決定部１０５では、動き推定部１０４から出力された動き推定結果を基に探索範囲を決定し、決定した探索範囲を未来画像切り出し部１０１と過去画像切り出し部に１０２に出力する。動き推定部１０４では、基準画像上の補間すべき画素ごとに動き推定結果を出力するため、探索範囲決定部１０５においても、基準画像上の補間すべき画素ごとに探索範囲を決定する。

探索範囲の決定方法を図６に例を示す。図６は画像の中心である座標（３，３）における動き推定であり、探索範囲を縦・横ともに中心位置から±１画素、動きベクトルをベクトル（１，１）としている。図中の点線が現在の探索範囲、破線が次回の探索範囲を示している。探索範囲は注目画素の座標から動きベクトル分移動した位置を中心とした所定の範囲として決定するため、図のように座標（４，４）を中心とした新たな探索範囲が設定されることがわかる。これにより、探索範囲の広さを小さく保ったまま、様々な動きを推定することができる。ここでは、未来画像の例を示したが、過去画像においても同様の処理が行われ、注目画素に関して点対称の位置に同サイズの探索範囲が設定される。
探索範囲は中心位置に対して±ｎ画素の範囲とするため、探索範囲の広さは２ｎ＋１のように奇数となる。前述した探索範囲の広さの縦・横のサイズＨ、Ｗを奇数としたのは、このためである。

この探索範囲決定方法では、探索範囲の広さを変えずに様々なベクトルを動きベクトル候補にすることができる。図６において、現在の探索範囲においてはベクトル（−１，−１）、（０，−１）、（１，−１）、（−１，０）、（０，０）、（１，０）、（−１，１）、（０，１）、（１，１）が動きベクトル候補となるが、次回の探索範囲においてはベクトル（０，０）、（１，０）、（２，０）、（０，１）、（１，１）、（２，１）、（０，２）、（１，２）、（２，２）が動きベクトル候補となる。以上のように、探索範囲決定部１０５では、現在の動きベクトルに応じて次回の探索範囲を決定することで、探索範囲の広さを小さく保ったまま、様々な動きを推定することができる。

ここで、未来画像切り出し部１０１と過去画像切り出し部１０２において切り出すブロックのサイズ設定と探索範囲決定部１０５による探索範囲の決定を組合せることの効果を説明する。本実施の形態では、ブロック対応付け誤りを防ぐために、探索範囲の広さの縦・横のサイズＨ、Ｗに対して、ブロックサイズを縦（２×Ｈ−１）画素、横（２×Ｗ−１）画素に設定するため、広範囲を探索する場合には計算量が膨大になる。しかし、探索範囲決定部１０５によって、推定可能な動きに対して探索範囲の広さを小さくすることができるため、計算量を抑えたままブロック対応付け誤りを低減することができる。

ただし、探索範囲が無制限に決定される場合、探索範囲の決定が繰り返されるうちに注目画素から離れた位置に探索範囲が設定される可能性がある。この場合、推定される動きは極端に大きな動きのみとなる。一般的に時間軸上で隣接する画像間において極端に大きい動きは生じないため、このような状況は望ましくない。そこで、探索範囲決定部１０５において決定される探索範囲に有効範囲を設定する。有効範囲は注目画素の座標を中心とした所定の範囲で、例えば探索範囲の縦・横２倍の広さに設定することができる。

図７を用いて、有効範囲外に探索範囲が設定された場合の例を示す。図７において、各画素は図２と同様に識別される。図中の点線が新たに設定された探索範囲、３重線が有効範囲を示している。図において画素ｂ_３，３が注目画素であり、有効範囲はｂ_３，３を中心として縦・横±２画素である。また、探索範囲は画素ｂ_５，１を中心として縦・横±１画素に設定されている。このとき、探索範囲内において画素ｂ_４，０、ｂ_５，０、ｂ_６，０、ｂ_６，１、ｂ_６，２は有効範囲外に位置している。このため、実際に探索される範囲はｂ_４，１、ｂ_５，１、ｂ_４，２、ｂ_５，２となる。更に次の探索範囲を決定する場合、この４つの画素のいずれかを中心に探索範囲が設定されるため、探索範囲の中心は必ず有効範囲内となる。

以上のように有効範囲を設定することで、探索範囲の中心が必ず有効範囲の内側に位置するため、探索範囲が注目画素の座標から一定以上離れることがない。これにより、極端に大きな動きを除外した適切な動き推定が可能となる。

図１の説明に戻る。動き補償補間処理部１０６では、未来画像、過去画像と動き推定部１０４から出力される動き推定結果を基に補間画像を生成し、組合せ部１０７に出力する。具体的には、動き推定部１０４で得られる動きベクトルで対応づけられる未来画像と過去画像上の画素（すなわち、動き推定で対応づけられたブロックの中心画素）の平均値を画素値とする補間画素を生成する。

動き補償補間処理部１０６において補間すべき画素は、解像度変換によって新たに生成される画素である。補間すべき画素について図を用いて説明する。本実施の形態の解像度変換装置では基準画像に対して縦・横におよそ２倍の高解像度画像を出力するため、基準画像と高解像度画像の関係は図８のようになる。図において丸と四角は画素を示している。丸で示される画素は基準画像のオリジナルの画素であり、四角で示される画素は動き補償によって補間された画素である。動き補償補間処理部１０６では四角で示される画素を生成する。

図８において四角で示される画素は、基準画像上ではオリジナルの画素の中間に位置するサブピクセルである。基準画像を高解像度化するためには、このサブピクセルを補間する必要がある。従って、動き推定もサブピクセルについて行われる必要がある。これまでは、簡単のために画素の動き推定を説明してきたため、以下にサブピクセルの動き推定を説明する。

サブピクセルの動き推定の場合、動きベクトルは補間すべきサブピクセルを始点、探索範囲内の画素を終点とするベクトルとなる。
図９にサブピクセルの動き推定の場合の探索範囲の設定について例を示す。図中の白丸は画素、黒丸はサブピクセル、三角は補間すべき位置にあるサブピクセルである。これらの画素から構成される画像は過去画像、または未来画像であるとする。画素のカウントは、白丸間が１画素であり、白丸と黒丸の間（すなわち画素とサブピクセル間）が０．５画素とする。図において、探索範囲は補間すべき位置を中心として±１画素として設定され、破線で示されている。このとき、探索範囲内にある画素は６つであり、動きベクトル候補はこの６つの画素と補間すべき位置からベクトル（−０．５，−１）、（０．５，−１）、（−０．５，０）、（０．５，０）、（−０．５，１）、（０．５，１）となる。

次に、サブピクセルの動き推定におけるブロックの切り出しの例を図１０に示す。図中の白丸は画素、黒丸はサブピクセル、三角はブロックの中心に設定された画素である。これらの画素から構成される画像は過去画像、または未来画像であるとする。図において、ブロックサイズは３×３画素であり、ブロックは太線で示されている。サブピクセルの動き推定では、探索範囲内の画素が終点になるように動きベクトル候補が設定されるため、ブロックの中心は必ず画素となる。従って、画素の動き推定と同様に、ブロックサイズをａ×ｂ画素とするとブロック内にａ×ｂの画素が含まれる。なお、図１０においては、図を簡略化するためにブロックサイズが３×３画素の例を示したが、実際にはサブピクセルの動き推定においてもブロックサイズは前述の要求サイズに設定される。

以上のように、サブピクセルの動き推定においても切り出されるブロックは画素を中心とする所定のサイズのブロックとなるため、未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、動き推定部１０４は画素の動き推定で説明した通りの動作によって動き推定をすることができる。また、探索範囲決定部１０５においても、新たに設定される探索範囲の中心は画素となるため、画素の動き推定と同様の動作で探索範囲を決定することができる。

図１の説明に戻る。組合せ部１０７では、基準画像と動き補償補間部１０６から得られる補間画像を組合せて、高解像度画像を出力する。図８の高解像度画像において、丸で示される画素は基準画像から、四角で示される画素は補間画像から得られるため、それらを組合せて高解像度画像を生成する。

なお、未来画像切り出し部１０１、及び過去画像切り出し部１０２において、探索範囲の広さが縦Ｈ画素、横Ｗ画素の場合、ブロックサイズを縦（２×Ｈ−１）画素、横（２×Ｗ−１）画素としたが、ブロックサイズを更に大きくしてもよい。また、ブロックサイズがこれより小さい場合でも、縦がＨ画素、横がＷ画素以上ならば多少のブロック対応付け誤り低減効果が得られるため、縦のサイズをＨ画素から（２Ｈ−１）画素の間の値に設定してもよく、横のサイズをＷ画素から（２Ｗ−１）画素の間の値に設定してもよい。

また、非類似度算出部１０３において、上記の例では非類似度を輝度の差分絶対値和として算出したが、非類似度の算出方法はこれに限定されない。例えば、ＲＧＢ信号の場合、Ｒ、Ｇ、Ｂの成分ごとに差分絶対値和を算出し、それらの和を非類似度としてもよい。また、勾配情報を用いて非類似度を算出してもよい。

また、探索範囲決定部１０５において、上記の例では補間位置における現在の動きベクトルを基に探索範囲を決定したが、それ以外の方法によって探索範囲を決定してもよい。例えば、補間位置周囲の動きベクトルを平均したベクトルから探索範囲を決定してもよい。また、例えば、過去数回分の動きベクトルを記録しておき、それらを平均した平均ベクトルから探索範囲を決定してもよい。更に、全ての動きベクトルから画面全体の動きを推定し、その画面全体の動きベクトルから探索範囲を決定してもよい。

本実施の形態によれば、ブロックの対応付け誤りを低減した適切な動き補償による高画質な高解像度画像の生成を、計算量の増加を抑えたまま実現できる。

実施の形態２．
本実施の形態では、対応づけられた２ブロックにおける画像の平坦度を算出し、その値に応じたペナルティを動き推定時に考慮する。これにより、実施の形態１の解像度変換装置よりもブロック対応誤りを低減し、更に高画質な高解像度画像を得る。

図１１はこの発明の実施の形態２の解像度変換装置の構成を示すブロック図である。
本実施の形態の解像度変換装置２００は、解像度変換の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像の３枚の画像を入力とし、未来画像と過去画像から取得した画素情報を基に基準画像に対して縦・横におよそ２倍のサイズの高解像度画像を出力する装置であり、未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、平坦度算出部２０１ａ、平坦度算出部２０１ｂ、動き推定部２０２、探索範囲決定部１０５、動き補償補間処理部１０６、及び組合せ部１０７を備える。
この装置はテレビやモニターなどの映像表示装置、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

本実施の形態と実施の形態１との相違点は、平坦度算出部２０１ａ、及び平坦度算出部２０１ｂが加わっている点と、動き推定部１０４の代わりに動き推定部２０２を置いている点である。未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、探索範囲決定部１０５、動き補償補間処理部１０６、及び組合せ部１０７の動作については実施の形態１と同様であるため、説明を省略する。

平坦度算出部２０１ａ、及び平坦度算出部２０１ｂでは、切り出されたブロックにおける画像の平坦度を算出し、その結果を動き推定部２０２に出力する。平坦度算出部２０１ａには未来画像切り出し１０１によって切り出されたブロックが入力され、平坦度算出部２０１ｂには過去画像切り出し部１０２によって切り出されたブロックが入力される。
平坦度Ｆは、例えば、式（４）により算出する。ただし、ＭＡＸは輝度値が取り得る最大値（正の値）、σはブロック内の画素の輝度値の標準偏差である。

式（４）で算出される平坦度Ｆはブロック内の画素が全て同じ輝度値である場合に１となる。一方、ブロック内の画素の輝度のばらつきが大きい場合には小さな値を取る。

動き推定部２０２は、平坦度を考慮にいれて動きベクトルを推定するものであり、非類似度算出部１０３で得られる非類似度と平坦度算出部２０１ａおよび２０１ｂで得られる平坦度を基に動きベクトル評価値を算出し、最小の動きベクトル評価値を与える動きベクトル候補を動き推定結果として探索範囲決定部１０５と動き補償補間部１０６に出力する。

本実施の形態において動きベクトル評価値は、対応付けられたブロックの非類似度にブロックの平坦度に応じた平坦領域ペナルティを加算して算出する。２つのブロックの平坦度をそれぞれＦ_１、Ｆ_２、平坦領域ペナルティ設定のための閾値をｔｈ１（ただし、０＜ｔｈ１＜１で例えばｔｈ１＝０．８）、ペナルティの重さを定数Ｗｐ（ただしＷｐは正の数）とすると、Ｆ_１＞ｔｈ１またはＦ_２＞ｔｈ１なら平坦領域ペナルティＦＰ＝Ｗｐとし、それ以外の場合、ＦＰ＝０とする。

平坦領域ペナルティを導入する効果を図１２（ａ）〜（ｄ）によって説明する。図では平坦領域近傍におけるブロックペアの例を示しており、ブロック１、ブロック２は未来画像切り出し部１０１と過去画像切り出し部１０２から切り出された５×５画素のブロックである。図１２（ａ）、図１２（ｂ）、図１２（ｃ）、図１２（ｄ）では、それぞれ異なるブロックのペアが比較されている。このうち、図１２（ｃ）は線形動き補間の課題である平坦領域近傍でのブロック対応付け誤りの原因となるブロックペア、図１２（ｄ）は正しい動きベクトルによって与えられる理想的なブロックペアであるとする。この図を説明するにあたって、ブロック内に白線が無い場合に平坦領域ペナルティが課せられるものとする。

図１２（ａ）、図１２（ｂ）で比較されるブロックペアはブロック内の白線の有無や白線の位置が異なるため非類似度が高い。一方、図１２（ｃ）は両ブロックともに白線が無く、図１２（ｄ）は両ブロックとも白線が中央にあるため、非類似度が低い。このため、評価すべき動きベクトル候補の中に図１２（ｃ）と図１２（ｄ）のブロックペアを切り出す動きベクトル候補が同時に存在する場合、非類似度だけではどちらの動きベクトル候補が正しいか判断できない。仮に、図１２（ｃ）のブロックペアを与える動きベクトル候補が正しいと判断された場合、平坦領域近傍でのブロック対応付け誤りが頻発する。

この問題は平坦領域ペナルティを導入することで解決できる。平坦領域ペナルティを導入した場合、図１２（ａ）と図１２（ｃ）のブロックペアを与える動きベクトル候補には平坦領域ペナルティが課せられる。これにより、非類似度が同程度の図１２（ｃ）と図１２（ｄ）において図１２（ｃ）のみに平坦領域ペナルティが課せられるため、理想的な対応付けであるブロックペア図１２（ｄ）を与える動きベクトル候補が動き推定結果として出力される。

また、本実施の形態において、図１２（ｃ）のようなブロック１とブロック２の両方が平坦な場合だけではなく、図１２（ａ）のようなブロック１とブロック２のどちらか一方でも平坦ならば平坦領域ペナルティを課している。これは以下の理由による。

補間すべき位置が平坦領域の内部である場合、例えば図１２（ｃ）のような平坦領域内に設定されたブロック同士の対応付けが理想的である。一方で、平坦領域の端では、探索範囲内に例えば図１２（ａ）のような対応付けを与える動きベクトル候補が含まれることがある。平坦領域ペナルティが図１２（ａ）と図１２（ｃ）に課せられる場合、非類似度の低い図１２（ｃ）のブロックペアを与える動きベクトル候補が適切に選ばれるが、平坦領域ペナルティが図１２（ｃ）のみに課せられた場合、図１２（ａ）と図１２（ｃ）の動きベクトル評価値の大小が逆転して図１２（ｃ）のブロックペアを与える動きベクトル候補が動きベクトルとして選ばれる可能性がある。そのため、本実施の形態では、どちら一方のブロックが平坦ならば平坦領域ペナルティを課している。

また、平坦度算出部２０１ａ及び平坦度算出部２０１ｂにおいて、上記の例ではブロック内の画素の輝度値の標準偏差から平坦度を算出したが、平坦度の算出方法はこれに限らず、ブロック内の画素値のばらつきを示す別の特徴量を用いてもより。例えば、標準偏差の代わりに分散を用いて平坦度を算出してもよい。また、ブロック内のエッジ成分から平坦度を算出してもよい。

また、動き推定部２０２において、上記の例では平坦領域ペナルティを定数とし、平坦度が閾値よりも高い場合にのみ加算するようにしたが、例えば式（５）のように平坦度に応じて平坦ペナルティを変化させてもよい。ただし、Ｋ_ｐは正の定数とする。

本実施の形態によれば、対応づけられる２つのブロックの平坦度を考慮した動き推定を行うため、平坦領域近傍のブロックの対応付け誤りがより低減され、高画質な高解像度画像が生成できる。

なお、実施の形態２の動き推定部２０２において、非類似度算出部１０３で得られる非類似度に、上記の平坦度ペナルティＦＰのみならず、動きベクトル候補の動き量に応じた動き量ペナルティＭＰを加算し、加算結果を動きベクトル評価値として用いることとしても良い。

実施の形態１においても同様に、動き推定部１０４において、非類似度算出部１０３で得られる非類似度に、動きベクトル候補の動き量に応じた動き量ペナルティＭＰを加算し、加算結果を動きベクトル評価値として用いることとしても良い。

例えば、動き量ペナルティＭＰは式（６）で与えられる。ただし、動きベクトル候補をベクトル（ｍｖ_ｘ，ｍｖ_ｙ）とし、Ｗ_ｍは動き量ペナルティの重さの係数（ただし、Ｗ_ｍは正の数）とする。

動き量ペナルティを導入することにより、補間すべき位置に近いブロックペアが対応づけられやすくなる。つまり、推定する動きは小さな動きであるという仮定を導入することになる。画像内の動きは小さな動きばかりとは限らないが、動きが大きい箇所は撮影の段階でぼやけており、適切に動き推定をしても高解像度化したときの解像度感向上の効果が小さい場合が多い。動き量ペナルティを導入することにより、大きな効果が得られる動きの小さい箇所を優先して補間できるため、解像度感向上効果が高まる。

実施の形態３．
本実施の形態では、動き補償による補間処理に加え、画像内の画素を用いた補間処理を行う。２つの補間処理によって生成された補間画素から適切な補間値を決定することによって、より高画質な高解像度画像が生成できる。

図１３はこの発明の実施の形態３の解像度変換装置の構成を示すブロック図である。
本実施の形態の解像度変換装置３００は、解像度変換の対象となる基準画像、基準画像に対して時間軸上で１つ後に位置する未来画像、及び基準画像に対して時間軸上で１つ前に位置する過去画像の３枚の画像と、パラメータ信号を入力とし、未来画像と過去画像から取得した画素情報を基に基準画像に対して縦・横におよそ２倍のサイズの高解像度画像を出力する装置であり、未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、平坦度算出部２０１ａ、平坦度算出部２０１ｂ、動き推定部２０２、探索範囲決定部１０５、動き補償補間処理部１０６、画像内補間処理部３０１、補間値合成部３０２、及び組合せ部１０７を備える。
この装置はテレビやモニターなどの映像表示装置、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

本実施の形態と実施の形態２との相違点は、パラメータ信号を入力する点と、画像内処理部３０１、補間値合成部３０２を備えている点である。
未来画像切り出し部１０１、過去画像切り出し部１０２、非類似度算出部１０３、平坦度算出部２０１ａ、平坦度算出部２０１ｂ、動き推定部２０２、探索範囲決定部１０５、動き補償補間処理部１０６、及び組合せ部１０７の動作については実施の形態２と同様であるため、説明を省略する。

画像内補間処理部３０１では、基準画像内の画素を利用して補間画像を生成する。ここで生成される補間画像は、本実施の形態の装置で出力される高解像度画像と同じサイズである。補間画像の生成には、バイリニア補間やバイキュービック補間が利用できる。

補間値合成部３０２では、動き補償補間処理部１０６から得られる補間画像（以下、動き補償補間画像と呼称する）及び画像内補間処理部３０１から得られる補間画像（以下、画像内補間画像と呼称する）とパラメータ信号を基に新たな補間画素値（合成補間値）を決定する。パラメータ信号は画像内補間画像と動き補償補間画像の合成条件決定し、これにより補間値を決定するためのパラメータである。ここでは、例えば閾値ｔｈ２、ｔｈ３とする。ただし、輝度値が取り得る最大値をＭＡＸとすると０＜ｔｈ２≦ｔｈ３＜ＭＡＸである。座標（ｘ，ｙ）において、動き補償補間画像の画素値をＥ_Ｍ（ｘ，ｙ）、画像内補間画像の画素値をＥ_Ｆ（ｘ，ｙ）とすると、新たに得られる補間値Ｅ_Ｓ（ｘ，ｙ）は式（９）で示される。

式（９）によって補間値を決定した場合、動き補償補間画像の画素と画像内補間画像の画素の輝度値の差の絶対値が閾値ｔｈ２以下ならば動き補償補間画像の画素の輝度値を選択し、閾値ｔｈ３より大きければ画像内補間画像の画素の輝度値を選択する。輝度値の差の絶対値がｔｈ２とｔｈ３の間ならば、２つの補間画素の輝度値に対して重み付き平均を行い、平均値を合成補間値とする。もし、ｔｈ２＝ｔｈ３と設定した場合、重み付き平均は行われず、２つの補間画素の輝度値のどちらかが必ず選択される。ｔｈ２、ｔｈ３が大きな値ならば動き補償補間画像の画素を重視した補間値の決定が行われ、ｔｈ２、ｔｈ３が小さな値ならば画像内補間画像の画素を重視した補間値の決定が行われる。

このように、上記の構成例では、補間値合成部３０２において、動き補償補間処理部１０６で生成される補間画像と画像内補間処理部３０１で生成される補間画像の各画素を比較して、比較結果に応じて、より具体的には両者の差分の絶対値（ＡＤ＝｜Ｅ_Ｍ−Ｅ_Ｆ｜）とパラメータｔｈ２、ｔｈ３との比較結果に応じて、画素ごとに、合成割合を定めて合成を行ない、合成補間画像を生成している。
パラメータｔｈ２、ｔｈ３で決められる合成条件は、パラメータｔｈ２、ｔｈ３を境界値とするそれぞれの範囲における合成方法乃至は合成割合を決めるものであるとも言える。

画像内補間処理部３０１と、補間値合成部３０２と、組合せ部１０７とで、基準画像と動き補償補間処理部１０６で生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理部１１０が構成されている。これに対して、実施の形態１、２では、組合せ部１０７のみで統合処理部１１０が構成されていると見ることができる。

なお、本実施の形態において、補間値合成部３０２では動き補償補間画像と画像内補間画像との差の絶対値に応じて、より具体的には該輝度値の差の絶対値と閾値との比較の結果に基づいて合成補間値を決定していたが、他の方法により補間値を決定してもよい。例えば、動き補償補間画像の画素を生成するにあたり動き推定部２０２で算出された動きベクトル評価値に応じて、例えば該動きベクトル評価値と閾値との比較を行い、動きベクトル評価値が小さければ動き補償補間画像の画素の輝度値を選択し(或いは動き補償補間画像がより大きな割合を示すように合成を行ない)、大きければ画像内補間画像の画素の輝度値を選択する（或いは画像内補間画像がより大きな割合を示すように合成を行なう）ようにしてもよい。

また、実施の形態１、実施の形態２、及び本実施の形態においては、基準画像を縦・横に２倍する解像度変換を行ったが、別の倍率の解像度変換を行ってもよい。例えば、上記の例で得られた高解像度画像をバイリニア補間などにより異なる倍率の画像に変換することができる。また、縦・横のどちらか一方のみを２倍にする解像度変換を行ってもよい。

本実施の形態によれば、動き補償による補間処理と画像内の画素情報を用いた補間処理によって得られる２つの補間画像を基に、入力されるパラメータ信号に応じて適切な補間値を生成するため、より高画質な高解像度画像が生成できる。

実施の形態４．
図１４はこの発明の実施の形態４の走査線補間装置の構成を示すブロック図である。
本実施の形態の走査線補間装置５００は、走査線補間を縦２倍の解像度変換と見なし、インターレース画像をプログレッシブ画像に変換する。本走査線補間装置は、基準画像、未来画像、過去画像がインターレース画像であることを除けば、実施の形態１の解像度変換装置と同じ構成であり、本実施の形態の走査線補間装置５００は、解像度変換装置の一種であるとみることもできる。

ただし、インターレース画像はフィールドの種類によって画素の存在する位置が異なるため、フィールドの種類に応じて、サブピクセルを補間する位置を変える必要がある。図１５（ａ）〜（ｃ）にフィールドの種類に応じた画素とサブピクセルの位置を示す。図中の白丸は画素、黒丸はサブピクセルを示すものとする。最上行に画素のあるフィールド（以下ではトップフィールド）を図１５（ａ）に、最上行がサブピクセルであるフィールド（以下ではボトムフィールド）を図１５（ｂ）に示している。インターレース方式では、トップフィールドとボトムフィールドが交互に現れるため、本走査線補間装置ではフィールドの種類に応じて補間位置を切り替えてサブピクセルの補間を行う。

また、上記のように、インターレース方式ではトップフィールドとボトムフィールドが交互に出現するため、基準画像と未来画像・過去画像とではフィールドの種類が異なる。そのため、探索範囲決定部１０５によって設定される探索範囲が同じでも、探索範囲から得られる動きベクトル候補がプログレッシブ方式とは異なる。図１６（ａ）〜（ｃ）を例として、このことを説明する。図中の白丸は画素、黒丸はサブピクセル、三角は補間すべき位置にあるサブピクセルである。また、破線は探索範囲を示しており、補間すべき位置のサブピクセルから３画素×３画素の範囲を探索範囲としている。図１６（ａ）は基準画像、図１６（ｂ）はプログレッシブ方式での未来画像、図１６（ｃ）はインターレース方式での未来画像である。

プログレッシブ方式では、基準画像と未来画像における画素とサブピクセルの位置関係が同じである。動きベクトル候補は、補間すべきサブピクセルの位置を始点、未来画像における探索範囲内の画素を終点とするベクトルであるため、図１６では（−１，−０．５）、（０，−０．５）、（１，−０．５）、（−１，０．５）、（０，０．５）、（１，０．５）がプログレッシブ方式の場合の動きベクトル候補となる。一方、インターレース方式では基準画像と未来画像のフィールドの種類が異なるため、画素とサブピクセルの位置関係が異なる。図１６では（−１，−１）、（０，−１）、（１，−１）、（−１，０）、（０，０）、（１，０）、（−１，１）、（０，１）、（１，１）がインターレース方式の場合の動きベクトル候補となる。

本実施の形態によれば、ブロックの対応付け誤りを低減した適切な動き補償による高品質な解像度変換方法を走査線補間に利用することができるため、高品質な走査線補間画像が得られる。
以上、実施の形態１で説明した解像度変換を走査線補間に利用する例について説明したが、同様に、実施の形態２及び３で説明した解像度変換を走査線補間に利用することもできる。

実施の形態５．
図１７はこの発明の実施の形態５の映像表示装置の構成を示すブロック図である。
本実施の形態の映像表示装置４００は、ユーザ指定信号と低解像度映像を入力とし、ユーザの好みに応じた画質の高解像度映像を表示する装置であり、シーン検出部４０１、パラメータ設定部４０２、解像度変換装置４０３、表示部４０４から構成される。

シーン検出部４０１では、入力された低解像度映像のシーンの切り替わりを検出する。シーンの切り替わりの検出方法としては、例えば、時間軸上で隣接する画像間において各画素の輝度値の差分絶対値を取り、差分絶対値が予め定めた閾値より大きくなる画素が一定数以上あった場合にシーンの切り替わりと判断する方法がある。シーンの切り替わりの検出結果は検知信号として出力され、パラメータ設定部４０２に入力される。

パラメータ設定部４０２では、シーン検出部４０１から得られる検知信号（シーン切り替わりの検出結果）と入力であるユーザ指定信号を基に解像度変換のパラメータを設定し、パラメータ信号として解像度変換装置４０３に出力する。ユーザ指定信号は、ユーザによってリモコンなどから指定される信号である。ユーザ指定信号に応じた複数のパラメータセットを用意することでユーザの好みに応じたパラメータ設定が可能である。また、シーン切り替え用のパラメータセットを用意しておくこともできる。

解像度変換装置４０３は、入力映像に対してパラメータ信号に応じた画質の高解像度画像を出力する装置である。具体的には、実施の形態３の解像度変換装置と同等の機能を有する装置により実現される。

パラメータ設定部４０２から出力され解像度変換装置４０３に入力されるパラメータ信号は、例えば、実施の形態３の装置において補間値合成部３０２で用いる補間値決定のための閾値ｔｈ２、ｔｈ３である。パラメータセットは、ユーザからの指定により設定され、シーン切り替えの前後はシーン切り替え用のパラメータセットに切り替わる。例えば、通常時はユーザの指定に従って動き補償補間を優先するようにｔｈ２、ｔｈ３が大きい値を取るパラメータセットを出力し、シーン切り替え前後では画像内補間が優先されるようにｔｈ２、ｔｈ３が小さい値を取るパラメータセットを出力することもできる。
このように、解像度変換装置４０３の補間値合成部３０２は、パラメータ設定部４０２によって設定されたパラメータに基づいて、動き補償補間画像と画像内補間画像の合成条件を定める。

表示部４０４では、解像度変換装置４０３から出力される高解像度映像を受け取り、画面に表示する。

本実施の形態によれば、ユーザの設定に応じた画質の解像度変換が行われるため、ユーザの好みに応じた高画質な高解像度画像を表示できる。

１００、２００、３００ 解像度変換装置、 １０１ 未来画像切り出し部、 １０２ 過去画像切り出し部、 １０３ 非類似度算出部、 １０４ 動き推定部、 １０５ 探索範囲決定部、 １０６ 動き補償補間処理部、 １０７ 組合せ部、 １１０ 統合処理部、 ２０１ａ、２０１ｂ 平坦度算出部、 ２０２ 動き推定部、 ３０１ 画像内補間処理部、 ３０２ 補間値合成部、 ４００ 映像表示装置、 ４０１ シーン検出部、 ４０２ パラメータ設定部、 ４０３ 解像度変換装置、 ４０４ 表示部、 ５００ 走査線補間装置。

Claims (22)

1. 連続する複数枚の画像において、高解像度化の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像を入力画像とし、
   動きベクトルの探索範囲を決定する探索範囲決定部と、
   前記探索範囲決定部で決定された探索範囲内の動きベクトル候補と基準画像上の補間すべき画素の座標を基に、未来画像から複数の画素で構成されるブロックを該探索範囲の広さ以上に設定された所定のサイズで切り出す未来画像切り出し部と、
   基準画像上の補間すべき画素に関して前記未来画像切り出し部によって切り出されたブロックと点対称の位置にあるブロックを過去画像から切り出す過去画像切り出し部と、
   前記未来画像切り出し部と前記過去画像切り出し部によって切り出された２つのブロック間の非類似度を算出する非類似度算出部と、
   前記非類似度算出部で算出された非類似度に基づいて求めた動きベクトル評価値を最小とする動きベクトルを出力する動き推定部と、
   前記動き推定部から出力される動きベクトルに基づいて未来画像と過去画像から画素情報を取得し、該画素情報から補間画素を生成することで補間画像を生成する動き補償補間処理部と、
   基準画像と前記動き補償補間処理部で生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理部とを備え、
   前記探索範囲決定部は、各画像を基準画像としたときの前記動き推定部から出力される動きベクトルに基づいて次の画像を基準画像とするときの高解像度化処理における探索範囲を決定する
   ことを特徴とする解像度変換装置。
2. 前記探索範囲決定部は、前記動き推定部から出力される動きベクトルを中心とする所定の範囲を探索範囲とすることを特徴とする請求項１に記載の解像度変換装置。
3. 前記探索範囲決定部は、基準画像上の補間すべき画素を中心とした所定の範囲を有効範囲とし、前記探索範囲から該有効範囲外の範囲を除外する
   ことを特徴とする請求項１又は２に記載の解像度変換装置。
4. 前記未来画像切り出し部は、ブロックの中心が移動する探索範囲の広さが縦ｈ画素（ただし、ｈは正の整数）、横ｗ画素（ただし、ｗは正の整数）の場合には、未来画像から複数の画素で構成されるブロックを縦（２×ｈ−１）画素以上、横（２×ｗ−１）画素以上に設定された所定のサイズで切り出すことを特徴とする請求項１から３のいずれか１項に記載の解像度変換装置。
5. 前記未来画像切り出し部によって切り出されたブロックの画像の平坦度を算出し、平坦度算出結果を出力する第１の平坦度算出部と、
   前記過去画像切り出し部によって切り出されたブロックの画像の平坦度を算出し、平坦度算出結果を出力する第２の平坦度算出部とをさらに備え、
   前記動き推定部は、前記第１の平坦度算出部と前記第２の平坦度算出部から出力される平坦度算出結果を基に決定する平坦領域ペナルティを、前記非類似度に加算することで前記動きベクトル評価値を求める
   ことを特徴とする請求項１から４のいずれか１項に記載の解像度変換装置。
6. 前記動き推定部は、動きベクトルの大きさに応じた動き量ペナルティを前記非類似度に加算することで、前記動きベクトル評価値を求める
   ことを特徴とする請求項１から５のいずれか１項に記載の解像度変換装置。
7. 統合処理部は、
   基準画像に対して画像内の情報を基に補間画像を生成する画像内補間処理部と、
   前記動き補償補間処理部で生成される補間画像と前記画像内補間処理部で生成される補間画像とを合成して、合成補間画像を生成する補間値合成部とを備え、
   前記補間値合成部は、前記動き補償補間処理部で生成される補間画像と前記画像内補間処理部で生成される補間画像の、各画素の値を比較して、該比較結果に応じて、前記合成における合成割合を定める
   ことを特徴とする請求項１から６のいずれか１項に記載の解像度変換装置。
8. 前記補間値合成部は、前記動き補償補間処理部で生成される補間画像と前記画像内補間処理部で生成される補間画像の、各画素の値の差分の絶対値に応じて、前記合成における合成割合を定める
   ことを特徴とする請求項７に記載の解像度変換装置。
9. 連続する複数枚の画像において、走査線補間の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像を入力画像とし、
   動きベクトルの探索範囲を決定する探索範囲決定部と、
   前記探索範囲決定部で決定された探索範囲内の動きベクトル候補と基準画像上の補間すべき画素の座標を基に、未来画像から複数の画素で構成されるブロックを該探索範囲の広さ以上に設定された所定のサイズで切り出す未来画像切り出し部と、
   基準画像上の補間すべき画素に関して前記未来画像切り出し部によって切り出されたブロックと点対称の位置にあるブロックを過去画像から切り出す過去画像切り出し部と、
   前記未来画像切り出し部と前記過去画像切り出し部によって切り出された２つのブロック間の非類似度を算出する非類似度算出部と、
   前記非類似度算出部で算出された非類似度に基づいて求めた動きベクトル評価値を最小とする動きベクトルを出力する動き推定部と、
   前記動き推定部から出力される動きベクトルに基づいて未来画像と過去画像から画素情報を取得し、該画素情報から補間画素を生成することで補間画像を生成する動き補償補間処理部と、
   基準画像と前記動き補償補間処理部で生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理部とを備え、
   前記探索範囲決定部は、各画像を基準画像としたときの前記動き推定部から出力される動きベクトルに基づいて次の画像を基準画像とするときの走査線補間処理における探索範囲を決定する
   ことを特徴とする走査線補間装置。
10. 請求項１から８のいずれか１項に記載の解像度変換装置、もしくは請求項９に記載の走査線補間装置を備えた映像表示装置。
11. 請求項７又は８に記載の解像度変換装置と、
    入力された低解像度映像のシーンの切り替わりを検出するシーン検出部と、
    ユーザ指定信号と前記シーン検出部で得られるシーン切り替わりの検出結果に基づいて解像度変換のパラメータを設定するパラメータ設定部とを備え、
    前記解像度変換装置の前記補間値合成部は、前記パラメータ設定部によって設定されたパラメータに基づいて、前記動き補償補間処理部で生成される補間画像と前記画像内補間処理部で生成される補間画像の合成条件を定める
    ことを特徴とする画像表示装置。
12. 連続する複数枚の画像において、高解像度化の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像を入力画像とし、
    動きベクトルの探索範囲を決定する探索範囲決定ステップと、
    前記探索範囲決定ステップで決定された探索範囲内の動きベクトル候補と基準画像上の補間すべき画素の座標を基に、未来画像から複数の画素で構成されるブロックを該探索範囲の広さ以上に設定された所定のサイズで切り出す未来画像切り出しステップと、
    基準画像上の補間すべき画素に関して前記未来画像切り出しステップによって切り出されたブロックと点対称の位置にあるブロックを過去画像から切り出す過去画像切り出しステップと、
    前記未来画像切り出しステップと前記過去画像切り出しステップによって切り出された２つのブロック間の非類似度を算出する非類似度算出ステップと、
    前記非類似度算出ステップで算出された非類似度に基づいて求めた動きベクトル評価値を最小とする動きベクトルを出力する動き推定ステップと、
    前記動き推定ステップから出力される動きベクトルに基づいて未来画像と過去画像から画素情報を取得し、該画素情報から補間画素を生成することで補間画像を生成する動き補償補間処理ステップと、
    基準画像と前記動き補償補間処理ステップで生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理ステップとを備え、
    前記探索範囲決定ステップは、各画像を基準画像としたときの前記動き推定ステップから出力される動きベクトルに基づいて次の画像を基準画像とするときの高解像度化処理における探索範囲を決定する
    ことを特徴とする解像度変換方法。
13. 前記探索範囲決定ステップは、前記動き推定ステップから出力される動きベクトルを中心とする所定の範囲を探索範囲とすることを特徴とする請求項１２に記載の解像度変換方法。
14. 前記探索範囲決定ステップは、基準画像上の補間すべき画素を中心とした所定の範囲を有効範囲とし、前記探索範囲から該有効範囲外の範囲を除外する
    ことを特徴とする請求項１２又は１３に記載の解像度変換方法。
15. 前記未来画像切り出しステップは、ブロックの中心が移動する探索範囲の広さが縦ｈ画素（ただし、ｈは正の整数）、横ｗ画素（ただし、ｗは正の整数）の場合には、未来画像から複数の画素で構成されるブロックを縦（２×ｈ−１）画素以上、横（２×ｗ−１）画素以上に設定された所定のサイズで切り出すことを特徴とする請求項１２から１４のいずれか１項に記載の解像度変換方法。
16. 前記未来画像切り出しステップによって切り出されたブロックの画像の平坦度を算出し、平坦度算出結果を出力する第１の平坦度算出ステップと、
    前記過去画像切り出しステップによって切り出されたブロックの画像の平坦度を算出し、平坦度算出結果を出力する第２の平坦度算出ステップとをさらに備え、
    前記動き推定ステップは、前記第１の平坦度算出ステップと前記第２の平坦度算出ステップから出力される平坦度算出結果を基に決定する平坦領域ペナルティを、前記非類似度に加算することで前記動きベクトル評価値を求める
    ことを特徴とする請求項１２から１５のいずれか１項に記載の解像度変換方法。
17. 前記動き推定ステップは、動きベクトルの大きさに応じた動き量ペナルティを前記非類似度に加算することで、前記動きベクトル評価値を求める
    ことを特徴とする請求項１２から１６のいずれか１項に記載の解像度変換方法。
18. 統合処理ステップは、
    基準画像に対して画像内の情報を基に補間画像を生成する画像内補間処理ステップと、
    前記動き補償補間処理ステップで生成される補間画像と前記画像内補間処理ステップで生成される補間画像とを合成して、合成補間画像を生成する補間値合成ステップとを備え、
    前記補間値合成ステップは、前記動き補償補間処理ステップで生成される補間画像と前記画像内補間処理ステップで生成される補間画像の、各画素の値を比較して、該比較結果に応じて、前記合成における合成割合を定める
    ことを特徴とする請求項１２から１７のいずれか１項に記載の解像度変換方法。
19. 前記補間値合成ステップは、前記動き補償補間処理ステップで生成される補間画像と前記画像内補間処理ステップで生成される補間画像の、各画素の値の差分の絶対値に応じて、前記合成における合成割合を定める
    ことを特徴とする請求項１８に記載の解像度変換方法。
20. 連続する複数枚の画像において、走査線補間の対象となる基準画像と、基準画像に対して時間軸上で１つ後に位置する未来画像と、基準画像に対して時間軸上で１つ前に位置する過去画像を入力画像とし、
    動きベクトルの探索範囲を決定する探索範囲決定ステップと、
    前記探索範囲決定ステップで決定された探索範囲内の動きベクトル候補と基準画像上の補間すべき画素の座標を基に、未来画像から複数の画素で構成されるブロックを該探索範囲の広さ以上に設定された所定のサイズで切り出す未来画像切り出しステップと、
    基準画像上の補間すべき画素に関して前記未来画像切り出しステップによって切り出されたブロックと点対称の位置にあるブロックを過去画像から切り出す過去画像切り出しステップと、
    前記未来画像切り出しステップと前記過去画像切り出しステップによって切り出された２つのブロック間の非類似度を算出する非類似度算出ステップと、
    前記非類似度算出ステップで算出された非類似度に基づいて求めた動きベクトル評価値を最小とする動きベクトルを出力する動き推定ステップと、
    前記動き推定ステップから出力される動きベクトルに基づいて未来画像と過去画像から画素情報を取得し、該画素情報から補間画素を生成することで補間画像を生成する動き補償補間処理ステップと、
    基準画像と前記動き補償補間処理ステップで生成される補間画像又はこれに基づいて生成される合成補間画像を統合して出力画像を得る統合処理ステップとを備え、
    前記探索範囲決定ステップは、各画像を基準画像としたときの前記動き推定ステップから出力される動きベクトルに基づいて次の画像を基準画像とするときの走査線補間処理における探索範囲を決定する
    ことを特徴とする走査線補間方法。
21. 請求項１２から１９のいずれか１項に記載の解像度変換方法、もしくは請求項２０に記載の走査線補間方法を備えた映像表示方法。
22. 請求項１８又は１９に記載の解像度変換方法と、
    入力された低解像度映像のシーンの切り替わりを検出するシーン検出ステップと、
    ユーザ指定信号と前記シーン検出ステップで得られるシーン切り替わりの検出結果に基づいて解像度変換のパラメータを設定するパラメータ設定ステップとを備え、
    前記解像度変換方法の前記補間値合成ステップは、前記パラメータ設定ステップによって設定されたパラメータに基づいて、前記動き補償補間処理ステップで生成される補間画像と前記画像内補間処理ステップで生成される補間画像の合成条件を定める
    ことを特徴とする画像表示方法。

Images