JP4431089B2 - 映像補間装置、フレームレート変換装置および映像表示装置 - Google Patents

Description

本発明は、映像信号の映像補間装置、フレームレート変換装置および映像表示装置に関する。

現在、ビデオ映像信号やパ−ソナルコンピュータ（PC）などの映像信号の仕様としては、多種多様なものが存在する。一般的には、VESA (Video Electronics Standard Association)により規定されたものが広く知られているが、VESA規格信号だけでも、数種類ものフレームレートを持つ画像フォーマットが定義されている。

これに対し、PDP(Plasma Display Panel)、LCD(Liquid Crystal Display)等の映像表示装置では、一般に、表示する画像フォーマットが固定されている場合が多い。従って前述したような種々の信号を、前記したような表示装置で表示するためには、信号フォーマットを変換する機能が必要となる。そしてそのために、前述の種々のビデオ信号を相互に変換できる装置が望まれる。

動画像のフレームレートを変換する場合、図１７に示すように、一般に隣接フレームを補うための補間フレームを内挿する必要がある。図１７において、9001は1フレーム前のフレーム、9003は現フレーム、9002は補間フレームである。補間フレーム9002の作成方法としては、零次ホールド法のように、現在のフレームをそのまま繰り返し用いる方法や、直線補間法のように、２フレーム間の対向する画素同士の輝度値の平均値によってフレームを作成する方法がある。

図１８は、上記直線補間法による補間フレーム作成部分のブロック構成の一例を示した図である。図１８において、9101は、入力信号（現フレーム）、9102はフレームメモリ、9103は補間信号生成部、すなわち前後フレームの平均値算出部、9104は補間フレーム出力部である。

また、より高度な補間方法として、現在のフレームと１フレーム前のフレームに着目して、フレーム間の動きベクトルを利用した動き補償処理を用いる方法がある。この方法では、物体の動きを表す動きベクトル情報をもとに補間フレームを作成する。

上記動きベクトルの精度を上げるため、検索範囲を２段階に分けて探索する方法や、周囲の動きベクトルとの比較を行うことで、不適切な動きベクトルを除去するスムージング処理を行う等の手法が提案されている（例えば特許文献１参照、非特許文献１参照）。

特開平2002-27414号公報（第9項、図9） 東芝レビューVol.58 No.12、2003年 P21-22

上述した従来の零次ホールド法は、ハードウェア化が最も簡単な方法ではあるが、時間方向の連続性を未考慮であるため、フレームの繰り返し部分においてモーションジャダーが発生し、映像の動きの不自然さが認知される。

また、直線補間法では、画像のエッジ部分において2重残像妨害が発生するため、全体的にぼやけ感を有する映像となる。

さらに、従来の動き補償型に関しては、検索範囲全体にわたりブロックマッチング処理を行う必要が生じることにより、多くの演算量が必要となる。また、周囲画素間の相関の考慮、ブロックノイズ抑圧のための考慮が必要であり、その演算は複雑を極めることとなる。

上記課題に鑑み、より簡単な回路構成で、より精度の高い補間画素を生成する映像補間装置を、先に発明し出願済みである。

ここで、出願済みの映像補間装置について、図１９〜図２２を用いて説明する。

図１９は、出願済みの映像補間装置中のブロック構成図である。

図１９において、1001は入力信号（現フレーム信号）、1002はフレームメモリ、1003は1フレーム前のフレーム信号、1004は遅延調整部、1005は最小差分画素ペア算出部、1006は候補ペア判定部、1007は補間画素生成部、1008は補間方向ヒストグラム検出部、1009は補間画素出力である。

図１９において、現フレーム信号1001が入力されると、フレームメモリ1002へ入力され、最小差分画素ペア算出部1005には、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力される。最小差分画素ペア算出部1005では、現フレーム信号1001と、１フレーム前のフレーム信号1003から、補間フレームの画素を生成するための画素ペアの位置情報（以下、補間画素ベクトルと呼ぶ）を検出する。

候補ペア判定部1006では、補間方向ヒストグラム検出部1008で得られる後述の代表補間画素ベクトル（グローバルベクトル）により、補間画素ベクトルの妥当性を判定する。補間画素生成部1007には、遅延調整部1004より出力された現フレーム信号と、１フレーム前のフレーム信号が入力され、前記候補ペア判定部1006により出力される補間画素ベクトルにより、補間画素を生成し出力する。

上記を全画素に対して行うことにより、補間フレームを得ることができる。

図２０及び図２１は、図１９における最小差分画素ペア算出部1005の処理を説明するための図である。2001は１フレーム前のフレーム、2002は補間フレーム、2003は現フレーム、2004は補間画素、2005は検索範囲である。

１フレーム前のフレーム2001、及び現フレーム2003における○印は画素を示しており、図２０の場合、例として水平9画素、垂直5画素の構成を示している（例えばXGAの場合は水平1280画素、垂直768画素となる）。

いま、補間フレーム2002内の2004で示す位置の画素を補間することを考える。補間画素2004の位置を中心として、その対称の位置に、１フレーム前のフレーム2001、及び現フレーム2003それぞれに検索範囲2005を設定する（図２０の場合、水平±1画素、垂直±1画素）。尚、検索範囲は任意に設定可能とする。

図２１は、図２０において、検索範囲部分のみを示した図である。図２１において、図２０の構成要素と同一の構成要素は、同一の符号を付してその説明を省略する。図２１において、補間画素2004に対し、検索範囲内の点対称位置の画素ペアそれぞれに対して、その輝度値の差分値を計算する。

すなわち、図２１において以下の演算を実行する。
abs(a1−b9), abs(a2−b8), abs(a3−b7),
abs(a4−b6), abs(a5−b5), abs(a6−b4),
abs(a7−b3), abs(a8−b2), abs(a9−b1)
※abs：absolute value（絶対値）
次に、上記算出された差分演算結果のうち、その値が最も小さい画素ペアを算出する。つまり、差分値が最も小さいということはその方向にその画素が動いた可能性が高いという考えを利用している。上記演算を各補間画素に対して行い、最小差分画素ペアX個（小さい値からX個）の画素ペアの補間画素ベクトルを候補画素ベクトルとして出力する。

候補ペア判定部1006では、前記候補画素ベクトルから、後述するグローバルベクトルと方向が一致している補間画素ベクトルを選択する。補間画素生成部1007では、候補ペア判定部1006にて選択された補間画素ベクトルにより画素ペアを特定し、各補間画素の値を前記画素ペアの輝度値及び色値の平均値により補間画素値を生成する。

補間方向ヒストグラム検出部1008では、前補間フレーム生成時に検出された、各補間画素ベクトルの出現度数をカウントし、画面中の代表補間画素ベクトル（以下、グローバルベクトルと呼ぶ）を算出する。例えば、検索範囲が水平±5画素、垂直±2画素のとき、各補間画素ベクトルの出現度数が図２２のようになった場合、補間画素ベクトル(5,3)がグローバルベクトルとして選択される。

候補ペア判定部1006では、前記候補画素ベクトルから、代表補間画素ベクトル（グローバルベクトル）と方向が一致している補間画素ベクトルを選択する。補間画素生成部1007では、候補ペア判定部1006にて選択された補間画素ベクトルにより画素ペアを特定し、各補間画素の値を前記画素ペアの輝度値及び色値の平均値により補間画素値を生成する。

本構成によれば、１フレーム前のフレーム信号と現フレーム信号間で、各補間画素位置に対する点対称画素差分演算により動きを検出し、前補間フレームの動き情報を考慮することで、より簡単な回路構成で、より精度の高い補間画素を生成することができる。

本発明の目的は、さらに、補間画素検索の際、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置、フレームレート変換装置および映像表示装置を提供することにある。

上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。

本発明によれば、さらに、補間画素検索の際、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置、フレームレート変換装置および映像表示装置を得ることができる。

また本発明によれば、全画素の動きを検出するのではなく、数画素おきに動きを検出し、中間の画素に対する動きを両端の画素の動きから予測することにより、より小回路規模で、より精度の高い補間画素を生成することができる。

図１は、本発明による映像補間装置の第一の実施形態のブロック構成図である。

図１において、図１９に示した出願済みの構成要素と同一の構成要素に関しては、同一の符号を付した。すなわち、1000は映像補間装置、1001は入力信号（現フレーム信号）、1002はフレームメモリ、1003は1フレーム前のフレーム信号、1004は遅延調整部、1005は最小差分画素ペア算出部、1006は候補ペア判定部、1007は補間画素生成部、1008は補間方向ヒストグラム検出部、1009は補間画素出力である。本構成の説明はすでに上記で説明済みである。

本実施の形態が上記の出願済みの映像補間装置中の上記図１９と異なる点は、グローバルベクトルに合わせて、補間画素ベクトルの検索範囲を移動する構成としたところにある。

すなわち、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力される検索領域設定部1010を設け、その出力を最小差分画素ペア算出部1005に入力する構成にするとともに、補間方向ヒストグラム検出部1008の出力を検索領域設定部1010にも入力する構成としたところにある。

以下、上述した図１９で示す出願済みの映像補間装置と異なる部分についてその動作を説明する。

検索領域設定部1010では、前記グローバルベクトルの方向に合わせて検索範囲を設定する。つまり、図２に示すように補間画素に対して、水平±1画素、垂直±1画素の検索範囲2005を設ける場合を考える。図２において、2001は１フレーム前のフレーム、2002は補間フレーム、2003は現フレーム、2004は補間画素、2005は検索範囲である。

例えば、前補間フレームのグローバルベクトルが補間画素位置に対して図３に示すように右方向3001であった場合、図のように、現フレーム2003側の検索範囲を右側へ、１フレーム前のフレーム2001側の検索範囲を左側へ移動する。

また、グローバルベクトルが補間画素位置に対して図４に示すように上方向4001であった場合、図に示すように、現フレーム2003側の検索範囲を上側へ、１フレーム前のフレーム2001側の検索範囲を下側へ移動する。

これにより、図３の場合は、全体の動きの方向（水平方向）に対して、水平±1画素分の検索範囲が±２画素分に拡がることになる。同じく図４の場合は、全体の動きの方向（垂直方向）に対して、垂直±１画素分の検索範囲が±２画素分に拡がる。

尚、検索範囲を動かす量は、上記のように固定値でも良いし、グローバルベクトルの動き量に応じて画素単位で適応的に切り替える方式としても良い。

以上のように本実施の形態によれば、検索範囲のサイズを変えることなく、仮想的に大きな範囲を検索することが可能となるので、例えば一定方向に速度を可変しながら動いているような画像において、少ない回路規模で、検索範囲を拡げることが可能となり、より精度の高い補間画素を生成することができる映像補間装置を得ることができる。

図１の構成では、前フレームのグローバルベクトルが次フレーム用のグローバルベクトルに影響するため、例えば1度グローバルベクトルを誤検出した場合、一定期間の間、間違ったグローバルベクトルを使用し続ける可能性がある。そのため、所定の間隔でグローバルベクトルを初期化した方が良い。

図５は、本発明による映像補間装置の第二の実施形態のブロック構成図である。図５において、図１の第一の実施形態の構成要素と同一の構成要素は、同一の符号を付した。図５は、所定の間隔でグローバルベクトルを初期化する構成としたところにある。

すなわち、現フレーム信号1001と、１フレーム前のフレーム信号1003が入力されるシーンチェンジ検出部1011を設け、その出力を補間方向ヒストグラム検出部1008に入力する構成とし、初期化のタイミングを、所定の間隔すなわち、所定の周期でリフレッシュもしくはシーンチェンジが起こったタイミングで行うようにしたことにある。

図６はシーンチェンジ検出部1011の例を示した図である。図６において、1501はAPL検出部、1502はAPL比較部、1503はシーンチェンジ判定部、1504はシーンチェンジ判定信号である。

まず、現フレーム信号1001、１フレーム前のフレーム信号1003それぞれに対して、APL(Average Picture Level：平均輝度)を、APL検出部1501にて求める。次にAPL比較部1502にて各フレームのAPLの差分値を算出し、シーンチェンジ判定部1503において、前記差分値が所定閾値以上となったタイミングをシーンチェンジが起こったタイミングと判定し、所定の間隔すなわち、所定の周期でもしくはシーンチェンジが起こったタイミングで、シーンチェンジ判定信号1504を出力する。

以上のように本実施の形態では、前記グローバルベクトルを一定周期でリフレッシュ、もしくはシーンチェンジのタイミングにてリフレッシュを行うため、誤検出による影響期間を短くすることが可能となる。

図７は、本発明による映像補間装置の第三の実施形態のブロック構成図である。

図７において、図１に示した第一の実施形態の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。

本実施の形態が第一の実施形態と異なる点は、補間方向ヒストグラム検出部1008の出力に、数フレーム分のグローバルベクトルを保持し、その履歴情報を加味して現在のグローバルベクトルを決定する、GV判定部1012とバッファ1013を装備し、GV判定部1012の出力を候補ペア判定部1006と検索領域設定部1010に入力する構成としたところにある。

以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。

図７において、バッファ1013には、所定フレーム数分のグローバルベクトルが保持されている。前記所定フレーム数は、任意に設定可能とする。例えば、前記所定フレーム数が4フレーム分である場合、図８に示すように、現在のフレームから前4フレーム分のグローバルベクトル2101〜2104を保持する。GV判定部1013では、グローバルベクトル2101〜2104の履歴情報を踏まえ、現フレームのグローバルベクトル2105を決定する。

まず、補間方向ヒストグラム検出部1008では、各補間画素ベクトルの出現度数をカウントし、グローバルベクトルを算出する。GV判定部1012では、前記4フレーム分のグローバルベクトルの平均値ベクトル（以下平均GV）を算出し、前記平均GVと前記グローバルベクトルとを比較し、判定を行う。前記判定の行い方としては以下のような方法が考えられる。

例えば中心（補間位置）からの距離値を前記平均GV、グローバルベクトルそれぞれ求め、各距離値の差が閾値以下の場合はそのまま前記グローバルベクトルを採用し、閾値以上であれば、平均GVを採用する。

または、図９に示すように例えば画面を４分割し、前記平均GV、グローバルベクトルそれぞれがどのエリアに属するかを判定し、同じエリアに属する場合はそのまま前記グローバルベクトルを採用し、同じエリアに属さない場合は平均GVを採用する。

以上のように、本実施の形態では、数フレーム分のグローバルベクトルを保持し、その履歴情報を加味して現在のグローバルベクトルを決定する構成としているため、精度の高いグローバルベクトルを検出することが可能となる。

図１０は、本発明による映像補間装置の第四の実施形態のブロック構成図である。

図１０において、図１に示した第一の実施形態の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。

本実施の形態が第一の実施形態と異なる点は、補間画素生成部1007の出力に、数画素おき（例えば４画素おき）に補間画素ベクトル求め、中間の補間画素３画素分に関しては、両端の補間画素で求めた補間画素ベクトルから各補間画素ベクトルを予測し、画素値を決定する、中間画素生成部1014とバッファ1015を装備する構成としたところにある。

以下、上述した第一の実施の形態と異なる部分についてその動作を説明する。

図１０において、バッファ1015には、両端の補間画素ベクトルが保持されている。例えば本実施の形態においては、図１１において実線で示す画素のみ補間画素ベクトルを検出する。図１１において点線で示される画素2204の各補間画素ベクトルを検出するタイミングでは、バッファ1015には画素2201、2202の補間画素ベクトルが保持されている。同様に、画素2205の各補間画素ベクトルを検出するタイミングでは、バッファ1015には画素2202、2203の補間画素ベクトルが保持されている。

図１０において中間画素生成部1014は、図１１における画素2201と画素2202の補間画素ベクトルから、画素2204の各補間画素ベクトルを予測、補間画素を生成する。前記予測の行い方としては、例えば以下のような方法が考えられる。

まず、補間画素ベクトルを予測する補間画素の両端の補間画素ベクトルが、図１２(a)のように同じ方向を示す場合は、同図右に示すように中間の３画素の補間画素ベクトルも同じ方向であるとみなし、補間画素を生成する。

次に、両端の補間画素ベクトルが、図１２(b)のように、同じ領域（後述）である場合は、同図右に示すように、両端の補間画素ベクトルが段階的に繋がるように、各補間画素ベクトルを予測し、各補間画素を生成する。

前記段階的予測の仕方としては、例えば以下のような方法が考えられる。

図１３(a)のように４画素おきに補間画素ベクトルを求める場合において、両端の補間画素ベクトル値がそれぞれ(2,8)、(6,0)の場合を考える。この場合、ベクトル(2,8)から(６,0)へ段階的に変化させる。

まず、中間の3個の画素の補間画素ベクトルの変化量を次のように求める。
x方向：abs(6−2)/4 = 1
y方向：abs(0−8)/4 = 2
つまりx方向に1づつ、y方向に２づつ補間画素ベクトルを変化させることにより、段階的変化を行う。この場合、中間の３つの補間画素ベクトルは、図１３(a)右図に示すように、それぞれ、(3,6)、(4,4)、(5,2)となる。

従って、図１３(b)に示すように、両端の補間画素ベクトルがそれぞれ(x1,y1)、(x2,y2)の場合の中間の画素n個の補間画素ベクトルのN 番目の画素(xNn,yNn)は、以下の数式で表される。
xNn = x1＋((x2−x1)／(n＋1))×N
yNn = y1＋((y2−y1)／(n＋1))×N (N = 1, 2, 3, …, N)
ここで、上式右辺除算の値は、小数点以下切捨てで計算を行う。

最後に両端の補間画素ベクトルが、図１２(c)のように、全く異なる領域（後述）である場合は、中間画素のベクトル予測が困難であるため、例えば前フレームの画素をそのまま繰り返す、もしくは前後フレームの平均値で各補間画素を生成する。

上記における、両端の補間画素ベクトル判定の際の領域に関して説明する。例えば検索範囲を図１４のように4分割し、それぞれ分割された4つの領域内にある補間画素ベクトルは同じ領域にあると判断する。またX、Yの軸上に位置する補間画素ベクトルは、接している領域に対して同じ領域であると判断する。例えば図１４における(x,y) = (2,0)の補間画素ベクトルは、領域各▲3▼、▲4▼の両方に属するとみなす。

以上のように本実施の形態では、全画素に対して補間画素ベクトルを求める必要がなくなるため、差分演算量を削減することができ、さらにより回路規模を小さく構成することが可能となる。

尚、本実施の形態においては、中間の画素の補間画素ベクトルを求めるために、その両端の補間画素ベクトルのみを用いて予測する方法に関して述べたが、それに限ることはなく、両端に加えその外側、もしくは上下方向の補間画素ベクトルを加味した予測を行う構成としてもよい。

図１５は、本発明による映像補間装置を用いたフレームレート変換装置のブロック構成図である。

図１５において、3000はフレームレート変換装置、3001は入力映像信号、3002は現フレーム信号、3003は1フレーム前の信号、1000は図１等の映像補間装置、3004は補間信号、3005はDRAMコントローラ、3006はDRAM、3007はフレームレート変換画像出力である。

入力映像信号3001は、DRAM3006へ格納され、DRAMコントローラ3005は、現在のフレーム3002と1フレーム前の信号3003を映像補間装置1000に同タイミングで入力する。

映像補間装置1000では、現在のフレーム3002と1フレーム前の信号3003から、補間フレーム3004を生成する。補間フレーム3004はDRAM3006へ書き込まれ、DRAMコントローラ3005は、補間フレームを内挿し、1フレーム前信号、補間フレーム、現フレームを順に所望のフレームレートにてデータを読み出し、出力3007する。

例えば、入力画像信号のフレームレートが60Hz（画像サイズ：1280×768（XGA）、ドットクロック周波数：85MHz）である場合、120Hzのフレームレートへの変換を行う際のDRAMコントローラ3005のデータ読み出し速度は、170MHzとなる。

図１６は、本発明による映像補間装置、フレームレート変換装置を用いた映像表示装置のブロック構成図である。

図１６において、4000は映像表示装置、4001はアナログ放送受信アンテナ及びチューナ、4002はデジタル放送受信アンテナ及びチューナ、4003はY/C分離器、4004はMPEGデコーダ、4005はクロマデコーダ、4006はスケーラ／インターレス・プログレッシブ(IP)変換器、4007はフレームメモリ、3000は図１５のフレームレート変換装置、4008はタイミングコントローラ、4009は液晶パネルである。

アナログ放送受信アンテナ及びチューナ4001から受信したコンポジットアナログ信号は、Y/C分離器4003によって、輝度信号と色信号に分離される。分離されたY,C信号は、クロマデコーダ4005に入力される。クロマデコーダ4005では分離されたY,C信号を、サンプリングクロックが13.5MHzのITU-R601勧告に基づくデジタル信号規格の映像信号に変換し、スケーラ／インターレス・プログレッシブ(IP)変換器4006へ出力する。

一方、デジタル放送受信アンテナ及びチューナ4002から受信したデジタル信号は、MPEGデコーダ4004によりデコードされ、スケーラ／インターレス・プログレッシブ(IP)変換器4006へ出力する。

スケーラ／インターレス・プログレッシブ(IP)変換器4006では、入力された信号に応じて拡大、縮小処理、及びインターレース/プログレッシブ変換を行い、フレームレート変換装置3000へ出力する。フレームメモリ4007はインターレース/プログレッシブ変換において動き検出を行う際に、1フレーム前のフレームと現在のフレームを比較するために、1フレーム分のデータを格納する。

フレームレート変換装置3000では、液晶パネル4009の駆動周波数に合わせたフレームレートへ変換を行い、タイミングコントローラ4008へ出力する。タイミングコントローラ4008では、入力された信号を基に液晶パネル4009側ドレイン線駆動、及びゲート線駆動用に必要な表示データと動作クロックを出力する。液晶パネル4009ではタイミングコントローラ4008より入力された表示データを表示する。

尚、本実施の形態においては、表示デバイスとして液晶パネルを用いたが、それに限ることはない。

以上のように、本実施の形態によれば、入力映像信号を表示デバイスである液晶パネルの駆動周波数に合わせたフレームレートへ変換するフレームレート変換装置および該フレームレート変換装置を用いて表示することが可能な映像表示装置を実現することが可能となる。

本発明による映像補間装置の第一の実施形態のブロック構成図である。 本発明の第一の実施の形態を説明するための図である。 本発明の第一の実施の形態を説明するための図である。 本発明の第一の実施の形態を説明するための図である。 本発明による映像補間装置の第二の実施形態のブロック構成図である。 本発明の第二の実施の形態におけるシーンチェンジ検出部の構成を示す図である。 本発明による映像補間装置の第三の実施形態のブロック構成図である。 本発明の第三の実施の形態を説明するための図である。 本発明の第三の実施の形態を説明するための図である。 本発明による映像補間装置の第四の実施形態のブロック構成図である。 本発明の第四の実施の形態を説明するための図である。 本発明の第四の実施の形態を説明するための図である。 本発明の第四の実施の形態を説明するための図である。 本発明の第四の実施の形態を説明するための図である。 本発明による映像補間装置を用いたフレームレート変換装置のブロック構成図である。 本発明による映像補間装置、フレームレート変換装置を用いた映像表示装置のブロック構成図である。 フレームレート変換を説明するための図である。 直線補間法による補間フレーム作成部分のブロック構成の一例を示す図である。 出願済みの映像補間装置中のブロック構成図である。 出願済みの映像補間装置中のブロック構成における最小差分画素ペア算出部の処理を説明するための図である。 出願済みの映像補間装置中のブロック構成における最小差分画素ペア算出部の処理を説明するための図である。 出願済みの映像補間装置中のブロック構成における補間方向ヒストグラム検出部の各補間画素ベクトルの出現度数の例を示す図である。

符号の説明

1000：映像補間装置、1001：現フレーム信号、1002：フレームメモリ、1003：１フレーム前のフレーム信号、1004：遅延調整部、1005：画素ペア算出部、1006：候補ペア判定部、1007：補間画素生成部、1008：補間方向ヒストグラム検出部、1009：補間画素出力、1010：検索領域設定部、1011：シーンチェンジ検出部、1012：GV判定部、1013：バッファ、1014：中間画素生成部、1015：バッファ、1501：APL検出部、1502：APL比較部、1503：シーンチェンジ判定部、1504：シーンチェンジ判定信号、2001：１フレーム前のフレーム、2002：補間フレーム、2003：現フレーム、2004：補間画素、2005：検索範囲、2101,2102,2103,2104,2105：補間フレーム、2201,2202,2203,2204,2205：画素、3000：フレームレート変換装置、3001：入力画像信号、3002：現フレーム信号、3003：1フレーム遅延信号、3004：補間信号、3005：DRAMコントローラ、3006：DRAM、3007：フレームレート変換画像出力、4000：映像表示装置、4001：アナログ放送受信アンテナ及びチューナ、4002：デジタル放送受信アンテナ及びチューナ、4003：Y/C分離器、4004：MPEGデコーダ、4005：クロマデコーダ、4006：スケーラ／インターレス・プログレッシブ(IP)変換器、4007：フレームメモリ、4008：タイミングコントローラ、4009：液晶パネル。

Claims (10)

1. 補間対象フレームよりも時間的に前に補間された前補間フレームにおいて、前記前補間フレーム内の補間画素の補間方向を示す補間画素ベクトルの出現度数をカウントし、前記前補間フレームのグローバルベクトルを検出するグローバルベクトル検出手段と、
   前記グローバルベクトルに応じて、前記補間対象フレームより時間的に前の前フレームと時間的に後の現フレームとにおいて、前記補間対象フレーム内の補間対象画素の補間方向の検索領域を設定する検索領域設定手段と、
   前記前フレームにおける前記検索領域内の画素と前記現フレームにおける前記検索領域内の画素との組である画素ペアであって、前記補間対象画素の位置に対して点対称の位置に存在する複数の画素ペアについて、それぞれ輝度値の差分値を算出し、該差分値が小さい方から所定数の画素ペアが示す所定数のベクトルを前記補間対象画素の補間方向の候補ベクトルとする候補ベクトル算出手段と、
   前記候補ベクトルのうち、前記グローバルベクトルと方向が一致する候補ベクトルを、前記補間対象画素の補間方向を示す補間画素ベクトルとする候補ベクトル判定手段と、
   該補間画素ベクトルによって特定される画素ペアから前記補間対象画素の画素値を生成する補間画素生成手段と
   を備えることを特徴とする映像補間装置。
2. 前記検索領域設定手段は、
   前記現フレームにおける検索領域の中心を、水平方向軸と垂直方向軸とからなる座標系において、前記補間対象画素と同じ座標に位置する前記現フレーム内の点から前記グローバルベクトルが示す方向と同じ方向に移動して前記現フレームにおける前記検索領域を設定し、
   前記前フレームにおける検索領域を、前記補間対象画素を中心として前記現フレームにおける前記検索領域と点対称となる位置に設定する
   ことを特徴とする請求項１に記載の映像補間装置。
3. 請求項１または２に記載の映像補間装置において、前記グローバルベクトル検出手段は、前記前補間フレーム内で最も出現度数が高い補間画素ベクトルを前記グローバルベクトルとする
   ことを特徴とする映像補間装置。
4. 請求項１または２に記載の映像補間装置において、前記グローバルベクトル検出手段は、所定の周期で前記グローバルベクトルを初期化する
   ことを特徴とする映像補間装置。
5. 請求項１または２に記載の映像補間装置において、映像シーンの切り替わりを検出するシーンチェンジ検出手段を備え、前記シーンチェンジ検出手段で検出したシーンが切り替わるタイミングで前記グローバルベクトルを初期化する
   ことを特徴とする映像補間装置。
6. 請求項１または２に記載の映像補間装置において、前記補間対象フレームよりも時間的に前に補間された複数の補間フレームのグローバルベクトルを保持し、前記複数の補間フレームのグローバルベクトルから、前記補間対象画素の画素値を生成するためのグローバルベクトルを決定するグローバルベクトル判定手段を備える
   ことを特徴とする映像補間装置。
7. 請求項１または２に記載の映像補間装置において、数画素おきに前記補間画素ベクトルを算出し、前記算出した補間画素ベクトルから補間画素ベクトルを算出しなかった各中間画素の補間画素ベクトルを予測して各中間画素の画素値を決定する中間画素生成手段を備える
   ことを特徴とする映像補間装置。
8. 請求項１乃至７のいずれかに記載の映像補間装置を用い、前記映像補間装置により生成された補間フレームを内挿することにより映像信号のフレームレート変換を行うことを特徴とするフレームレート変換装置。
9. 請求項８記載のフレームレート変換装置を用い、前記フレームレート変換装置によってフレームレート変換された映像信号を表示デバイスに表示するようにしたことを特徴とする映像表示装置。
10. 補間対象フレームよりも時間的に前に補間された前補間フレームにおいて、前記前補間フレーム内の補間画素の補間方向を示す補間画素ベクトルの出現度数をカウントし、前記前補間フレームのグローバルベクトルを検出するグローバルベクトル検出手段と、前記グローバルベクトルに応じて、前記補間対象フレームより時間的に前の前フレームと時間的に後の現フレームとにおいて、前記補間対象フレーム内の補間対象画素の補間方向の検索領域を設定する検索領域設定手段と、前記前フレームにおける前記検索領域内の画素と前記現フレームにおける前記検索領域内の画素との組である画素ペアであって、前記補間対象画素の位置に対して点対称の位置に存在する複数の画素ペアについて、それぞれ輝度値の差分値を算出し、該差分値が小さい方から所定数の画素ペアが示す所定数のベクトルを前記補間対象画素の補間方向の候補ベクトルとする候補ベクトル算出手段と、前記候補ベクトルのうち、前記グローバルベクトルと方向が一致する候補ベクトルを、前記補間対象画素の補間方向を示す補間画素ベクトルとする候補ベクトル判定手段と、該補間画素ベクトルによって特定される画素ペアから前記補間対象画素の画素値を生成する補間画素生成手段とを備えることを特徴とする映像補間装置と、
    前記映像補間装置により生成された補間フレームを内挿することにより映像のフレームレート変換を行うフレームレート変換装置と、
    前記フレームレート変換装置によってフレームレート変換された映像信号を表示する表示デバイスを具備した
    ことを特徴とする映像表示装置。

Images