JP6218575B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

従来、フレーム周波数をＮ倍化（Ｎ：２以上の自然数）するフレームレート変換方法として、１フレームの画像を複数のサブフレームに分離（分配）して表示する方法がある。フレームレート変換方法には、入力画像を、高域成分を強調したサブフレーム（高域強調サブフレーム、以下「Ｈｉ画像」と呼ぶ）と、高域を低減したサブフレーム（高域低減サブフレーム、以下「Ｌｏ画像」と呼ぶ）と、に分離し、交互に出力する方法がある。これを駆動分配法と呼ぶ。駆動分配法によれば、追従視（動画像において、画像内の動くオブジェクトを視線で追いかける見方）によって生じる動きぼやけの知覚を低減することができる。この駆動分配法に関する技術として、例えば、特許文献１、特許文献２に記載の技術がある。駆動分配法を適用した場合としない場合とを比較して説明する。

図１９（ａ）、図１９（ｂ）は、駆動分配法を用いないフレームレート変換により、入力されるフレーム画像と同じ画像を単純に２つのサブフレーム画像として出力した場合を示す図である。図１９（ａ）では、画像データとして、画像内の或る水平ライン上の画素の輝度を示している。横軸方向は画像中の水平方向の画素位置を示しており、縦軸は各画素の輝度値を示している。矩形波形は、水平方向のある座標で輝度が変化していることを表す。また、入力フレームをiフレーム、次の入力フレームをｉ＋１フレーム、iフレームとi＋１フレームの中間フレームをｉ＋０．５フレームと呼ぶ（i：自然数）。矩形波形が水平方向右に移動していることは、この画像には水平方向右に向かう動きがあることを表す。図１９（ｂ）は、図１９（ａ）の画像を画像の動きに合わせて追従視した場合に観察者に知覚（観測）される波形（画像）を示す。横軸は、追従視の動きに合わせた座標系での水平方向座標、縦軸は輝度を表す。実線が観測される波形を表し、破線は理想的な波形、すなわち画像データが観察者に知覚される内容として予定している波形を表す。以下、図７、図１９（ａ）〜図１９（ｆ）も同様である。

図１９（ａ）は、水平右方向に向かって動く矩形波形に対して、ｉフレーム、ｉ＋０．５フレーム、ｉ＋１フレームの３フレームの波形を示している（ｉ波形、ｉ＋０．５波形、ｉ＋１波形と呼ぶ）。図１９（ｂ）は、追従視によって観測される波形である。追従視した場合に実際に人間の視覚で認識される波形は、図１９（ａ）のｉ波形とｉ＋０．５波形とを合成したものとなり、図１９（ｂ）の実線で示すような波形となる。図１９（ｂ）から分かる通り、追従視によって観測される波形（実線）は、理想的な矩形波形（破線）に対して、中間階調となっている輝度部分があり、追従視したときにその部分が動画ぼやけとして観測される。

図１９（ｃ）、図１９（ｄ）は、駆動分配法を用いたフレームレート変換により、Ｈｉ画像とＬｏ画像を交互に出力した場合を示す図である。図１９（ｃ）は、水平右方向に向かって動く矩形波形に対して、駆動分配法により、ｉフレーム、ｉ＋０．５フレーム、ｉ＋１フレームのために生成されたＨｉ画像，Ｌｏ画像，Ｈｉ画像の波形を示している。以下、それぞれＨｉ（ｉ）波形、Ｌｏ（ｉ＋０．５）波形、Ｈｉ（ｉ＋１）波形と呼ぶ。図１９（ｄ）は、図１９（ｃ）の画像を画像の動きに合わせて追従視した場合に観察者に知覚（観測）される波形（画像）を示す。追従視によって実際に人間の視覚で認識される波形は、図１９（ｃ）のＨｉ（ｉ）波形とＬｏ（ｉ＋０．５）波形とを合成したものとなり、図１９（ｄ）の実線で示すような波形となる。図１９（ｄ）から分かる通り、追従視によって観測される波形（実線）は、理想的な矩形波形（破線）に対して輝度が大きく異な
る部分は少なく、図１９（ｂ）と比較して、中間階調となる画素が少ない。その結果、動画ぼやけが低減されて観測される。

特開２００９−４４４６０号公報 特開２００９−４２４８１号公報

駆動分配法では、入力画像に対してフィルタ処理を行い、空間周波数が低い成分と空間周波数が高い成分とに分離する。そして空間周波数が低い成分を両方のサブフレームに分配し、空間周波数が高い成分を一方のサブフレームに集中させて出力する。この方法で動きの速いオブジェクトを含む画像のフレームレート変換をした場合、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが大きくなるため、追従したしたときの動きぼやけを十分に低減できない可能性がある。動きの速い画像に対して駆動分配法で処理した例を図１９（ｅ）、図１９（ｆ）で説明する。

図１９（ｅ）、図１９（ｆ）は、水平右方向に速く動く矩形波形に対し、駆動分配法を用いたフレームレート変換により、Ｈｉ画像とＬｏ画像を交互に出力した場合を示す図である。図１９（ｅ）は、従来の駆動分配法により生成されるＨｉ（ｉ）、Ｌｏ（ｉ＋０．５）、Ｈｉ（ｉ＋１）の３フレームを示している。図１９（ｆ）は、図１９（ｅ）の画像を画像の動きに合わせて追従視した場合に観察者に知覚（観測）される波形（画像）を示す。追従視によって観測される波形は、図１９（ｆ）の実線が示すように、理想的な矩形波形（破線）に対して、大きく輝度が落ち込んでいる画素があり、この部分が動画ぼやけとして観測される。

本発明の目的は、駆動分配法によってフレームレート変換を行った画像を観察者が追従視した場合に動きぼやけが観察されることを抑制することである。

本発明は、入力画像の第Ｎフレーム画像と第Ｎ＋１フレーム画像との間で画像に動きがある動き領域を検出する検出手段と、
前記検出手段による検出結果に基づいて第Ｎフレーム画像と第Ｎ＋１フレーム画像から中間画像を生成する生成手段と、
前記中間画像に対し空間周波数の高域成分を低減する画像処理を行う処理手段と、
前記画像処理を行った中間画像を第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入することにより前記入力画像のフレームレートを増加させた画像を出力する出力手段と、を有し、
前記生成手段は、前記中間画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置の近傍かつ前記動き領域外の位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値とを用いて、当該対象位置における前記中間画像の画素値を求める画像処理装置である。

本発明は、入力画像の第Ｎフレーム画像と第Ｎ＋１フレーム画像との間で画像に動きがある動き領域を検出する検出工程と、
前記検出工程による検出結果に基づいて第Ｎフレーム画像と第Ｎ＋１フレーム画像から中間画像を生成する生成工程と、
前記中間画像に対し空間周波数の高域成分を低減する画像処理を行う処理工程と、
前記画像処理を行った中間画像を第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入することにより前記入力画像のフレームレートを増加させた画像を出力する出力工程と、を有し、
前記生成工程では、前記中間画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置の近傍かつ前記動き領域外の位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値とを用いて、当該対象位置における前記中間画像の画素値を求める画像処理装置の制御方法である。

本発明によれば、駆動分配法によってフレームレート変換を行った画像を観察者が追従視した場合に動きぼやけが観察されることを抑制することが可能となる。

実施例１のブロック図 実施例１のタイミングチャート 実施例１の差分信号生成部２００及び中間画像生成部３００のブロック図 実施例１の中間画像生成部３００の動作を説明するフローチャート 実施例１、２の中間画像生成部３００の動作を説明する図 実施例１の駆動分配部４００のブロック図 実施例１の出力画像及びその見え方を波形で示した図 実施例２のタイミングチャート 実施例２の差分信号生成部２００及び中間画像生成部３００のブロック図 実施例２の中間画像生成部３００の動作を表すフローチャート 実施例２の中間画像生成部３００の動作を表すフローチャート 実施例２の中間画像生成部３００の動作を表すフローチャート 実施例２の中間画像生成部３００の動作を表すフローチャート 実施例３の中間画像生成部３００及び実施例４のブロック図 実施例３の中間画像生成部３００の動作及び出力画像の見え方を示す図 実施例４の駆動分配部５００のブロック図 実施例５の中間画像生成部３００及び実施例６の駆動分配部５００の図 実施例５の中間画像生成部３００の動作を説明する図 実施例５の出力画像及びその見え方を波形で示した図 実施例６の近傍領域幅Ｗによる中間画像の処理結果の違いを示した図 従来技術において追従視した場合の見え方を示す図

（実施例１）
本発明に係る画像処理装置及びその制御方法の第１の実施例について説明する。実施例１の画像処理装置は、入力画像の1フレーム期間を２つのサブフレーム期間に分割し、入
力画像から生成した高域強調サブフレーム（Ｈｉ画像）と高域低減サブフレーム（Ｌｏ画像）を各サブフレーム期間に交互に出力することでフレームレートを増やす。実施例１は、このような駆動分配法によるフレームレート変換を行う画像処理装置に本発明を適用した例である。図１は実施例１の画像処理装置の概略構成を示すブロック図である。図１に示す実施例１の画像処理装置は、フレームメモリ１０１、差分信号生成部２００、中間画像生成部３００、選択部１０２、及び駆動分配部４００を有する。以上のように構成された画像処理装置の動作を以下で説明する。実施例１では、フレームレートが６０Ｈｚの入力画像を１２０Ｈｚにフレームレート変換する場合について説明する。

図２は、実施例１の動作を表したタイミングチャートである。図中のＮ、Ｎ＋１、Ｎ＋２は入力画像のフレーム番号を表し、番号が大きいほど時間的に後のフレームを表す。図２を用いて、フレームメモリ１０１の画像書き込み、読み出しタイミングを説明する。入力画像は６０Ｈｚのフレームレートでフレームメモリ１０１に書き込まれる。フレームメモリ１０１からは、図２に示すような１２０Ｈｚのフレームレートで画像が読み出される
。図に示すようにフレームメモリ１０１からの画像の読み出しは、２フレーム同時読み出しと１フレーム読み出しが交互に行われる。これは、Ｌｏ画像を作成する際には２フレームが必要であり、Ｈｉ画像を作成する際には１フレームが必要であるためである。

図１に示す画像データＳ１、Ｓ２は、フレームメモリ１０１から交互に読み出される画像データを示している。Ｌｏ画像を作成する際は画像データＳ１が読み出され、Ｈｉ画像を作成する際は画像データＳ２が読み出される。

＜Ｌｏ画像の出力時の動作＞
まず、Ｌｏ画像の作成時の動作を説明する。ここでは、フレームメモリ１０１から読み出された２フレームの画像データＳ１がＮフレームとＮ＋１フレームであるタイミングを例にして説明する。
差分信号生成部２００は画像データＳ１を受け、差分信号ＨＶを出力する。差分信号生成部２００では、ＮフレームとＮ＋１フレームの差分（前後フレーム差分）が小さい画素及び、差分が大きい画素の動きの方向を検出し、差分信号ＨＶを出力する。差分信号ＨＶは以下のような３値の信号である。

ＨＶ＝０ （前後フレーム差分が所定値以下の画素）
＝１ （前後フレーム差分が所定値より大きく、水平動き画素） （式１）
＝２ （前後フレーム差分が所定値より大きく、垂直動き画素）

実施例１では水平、垂直の２種類の動き方向の検出を行うが、検出する動きの方向はこれに限るものではなく、別の方向を検出しても良いし、より多くの方向を検出してもよい。

差分信号生成部２００の詳細を、図３（ａ）を用いて説明する。図３（ａ）は差分信号生成部２００のブロック図である。差分信号生成部２００は、差分検出部２０１、水平差分検出部２０２、垂直差分検出部２０３、比較部２０４、及び判定部２０５を有する。ＮフレームとＮ＋１フレームの画像データは差分検出部２０１、水平差分検出部２０２、及び垂直差分検出部２０３に入力される。

差分検出部２０１は、ＮフレームとＮ＋１フレームにおける同一座標の画素の画素値の差分絶対値を算出する。そして、差分検出部２０１は、算出した差分絶対値を予め設定された所定値と比較し、差分絶対値が所定値より大きい場合１を、差分絶対値が所定値以下の場合０を、動き信号ＭＶとして出力する。

水平差分検出部２０２、垂直差分検出部２０３、及び比較部２０４により注目画素が水平動きであるか、垂直動きであるかを検出する。

水平差分検出部２０２は、注目画素のＮフレームにおける画素値Ｎ（ｘ，ｙ）と、注目画素を中心として水平方向に所定範囲内の各画素のＮ＋１フレームにおける画素値と、の差分絶対値を求める。注目画素の座標をｘとすると、所定範囲は［ｘ−ｃ、ｘ＋ｃ］（ｃは定数）とする。水平差分検出部２０２は、Ｎフレームの画素値Ｎ（ｘ，ｙ）と、Ｎ＋１フレームの画素値Ｎ＋１（ｘ−ｃ，ｙ）、Ｎ＋１（ｘ−ｃ＋１，ｙ）、・・・、Ｎ＋１（ｘ＋ｃ−１，ｙ）、Ｎ＋１（ｘ＋ｃ，ｙ）の各々と、の差分絶対値を求める。そして、水平差分検出部２０２は、求めた複数の差分絶対値のうちの最小値Ｈを出力する。一般的に水平動きがある画素の場合、Ｎフレームの注目画素の画素値と、Ｎ＋１フレームの水平所定範囲内のいずれかの画素の画素値とが近い値になるため、最小値Ｈは小さい値となる。
垂直差分検出部２０３は、水平差分検出部２０２と同様の処理を垂直方向に対して行い、最小値Ｖを出力する。

比較部２０４は、最小値Ｈが最小値Ｖ以下であれば０、最小値Ｈが最小値Ｖより大きければ１を、方向信号Ｄとして出力する。なお、斜め方向に動きがある画素の場合は、当該動きの方向と相関が高い水平方向又は垂直方向が検出される。

判定部２０５は、動き信号ＭＶと方向信号Ｄから、下記の式２により差分信号ＨＶを生成する。

ＨＶ＝０ （動き信号ＭＶ＝０の場合）
＝１ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝０の場合） （式２）
＝２ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝１の場合）

実施例１では、上記のように水平差分検出と垂直差分検出により動き方向を検出したが、動き方向検出はこの方法に限るものではなく、ブロックマッチングによる動き検出などを用いてもよい。このように、実施例１では、まず入力画像の第Ｎフレーム画像と第Ｎ＋１フレーム画像から画像内の動きを検出する。

中間画像生成部３００は、差分信号生成部２００から出力された差分信号ＨＶを受け、中間画像データＳ３を出力する。中間画像生成部３００は、中間画像データＳ３の画素値を求める対象画素が動き領域内の画素でない場合、すなわち差分信号ＨＶが０（前後フレーム差分が小さい画素）の場合、対象画素の前後フレームにおける画素値の平均値を対象画素の画素値とする。対象画素が動き領域内の画素である場合、すなわち差分信号ＨＶが０以外（前後フレーム差分が大きい画素）の場合、後述する探索により得られた画素値を対象画素の画素値とする。

以下、中間画像生成部３００の詳細を、図３（ｂ）を用いて説明する。図３（ｂ）は、中間画像生成部３００のブロック図である。中間画像生成部３００は、平均部３０１、水平探索部３０２、垂直探索部３０３、及び選択部３０４を有する。

平均部３０１は、ＮフレームとＮ＋１フレームにおける同一座標の画素の画素値の平均値ＡＶを計算する。平均部３０１は、算出した平均値ＡＶを選択部３０４に出力する。

水平探索部３０２は、対象画素の座標から近い位置にある画素から順に、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との差分絶対値（前後フレーム差分絶対値）を算出し、前後フレーム差分絶対値が小さい画素を探索する。そして、水平探索部３０２は、見つけ出した画素の画素値に基づき、当該対象画素の画素値ＨＰを算出して出力する。図４に水平探索部３０２の処理フロー図を示す。ここで、対象画素の座標値を（ｘ、ｙ）、探索時に座標値をシフトするためのカウンタをｉ、探索範囲を規定する所定値をＡＲとする。

ステップＳ５０１で、水平探索部３０２は、カウンタｉを１に初期化する。
ステップＳ５０２〜５０５はループになっている。このループにより、水平探索部３０２は、対象画素の座標（ｘ，ｙ）から近い位置にある画素から順に、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との差分絶対値を算出し、この差分絶対値が小さい画素を探索する。

ステップＳ５０２で、水平探索部３０２は、探索座標（ｘ＋ｉ，ｙ）の前後フレーム差分絶対値が所定値より小さいかを判定する。前後フレーム差分絶対値が所定値より小さければ（Ｓ５０２：Ｙｅｓ）、ステップＳ５０８へ進み、前後フレーム差分が所定値以上で
あれば（Ｓ５０２：Ｎｏ）、ステップＳ５０３へ処理が移る。

ステップＳ５０３で、水平探索部３０２は、探索座標（ｘ−ｉ，ｙ）の前後フレーム差分が所定値より小さいかを判定する。前後フレーム差分が所定値より小さければ（Ｓ５０３：Ｙｅｓ）、ステップＳ５０７へ進み、前後フレーム差分が所定値以上であれば（Ｓ５０３：Ｎｏ）、ステップＳ５０４へ処理が移る。

ステップＳ５０４で、水平探索部３０２は、カウンタｉをインクリメントし、ステップＳ５０５で所定範囲の探索が完了したかどうかを判定する。所定範囲の探索が完了していない場合（Ｓ５０５：Ｎｏ）、ステップＳ５０２に戻り、所定範囲の探索が完了した場合（Ｓ５０５：Ｙｅｓ）、ステップＳ５０６へ進む。

ステップＳ５０６，５０７，５０８で、水平探索部３０２は、各ケースにおける対象画素の画素値ＨＰを計算する。
ステップＳ５０６では、水平探索部３０２は、対象画素の前後フレームの画素値の平均値を、対象画素の画素値ＨＰとする。

ステップＳ５０７，５０８では、水平探索部３０２は、前後フレーム差分が所定値より小さい画素のうち、対象画素から水平方向で最も近い位置にある画素の前後フレームの画素値の平均値を、対象画素の画素値ＨＰとする。水平探索部３０２は、算出した対象画素の画素値ＨＰを選択部３０４へ出力する。

以上の処理では、対象画素を中心とする所定範囲内の画素から、第Ｎフレーム画像における画素値と第Ｎ＋１フレーム画像における画素値とのフレーム間差分の大きさが所定値より小さい画素を求める。そして、当該求めた画素の第Ｎフレーム画像における画素値と第Ｎ＋１フレーム画像における画素値との平均値を対象画素の画素値とする。上記のフローでは、所定範囲内にあるフレーム間差分の大きさが所定値より小さい画素のうち対象画素に最も近い位置にある画素を求めている。そして、当該求めた画素の第Ｎフレーム画像における画素値と第Ｎ＋１フレーム画像における画素値との平均値を対象画素の画素値としている。なお、前記所定範囲内にフレーム間差分の大きさが所定値より小さい画素がないときは、対象画素の第Ｎフレーム画像における画素値と第Ｎ＋１フレーム画像における画素値との平均値を対象画素の画素値とする。上記のフローでは、前記所定範囲は、対象画素から動くオブジェクトの動き方向（水平方向右向き）に沿って設定される範囲と、対象画素から動き方向と反対方向（水平方向左向き）に沿って設定される範囲と、からなる。
垂直探索部３０３は、水平探索部３０２と同様の処理を垂直方向に行う。

選択部３０４は、差分信号生成部２００から出力された差分信号ＨＶに応じて、平均値ＡＶ、画素値ＨＰ、及び画素値ＶＰのいずれかを選択し、中間画像データＳ３として出力する。選択部３０４は、以下の式３に基づき、平均値ＡＶ、画素値ＨＰ、画素値ＶＰの選択を行う。

Ｓ３＝ＡＶ （差分信号ＨＶ＝０（前後差分が小さい）の場合）
＝ＨＰ （差分信号ＨＶ＝１（水平動き）の場合） （式３）
＝ＶＰ （差分信号ＨＶ＝２（垂直動き）の場合）

図５（ａ）、図５（ｂ）は中間画像生成部３００の動作を説明する図である。図５（ａ）は、ＮフレームとＮ＋１フレームの画像を表している。Ｎフレーム、Ｎ＋１フレームにおいて、図に示すように黒背景の上を白い四角形のオブジェクトが左から右へ動いている
ものとする。ここでは、黒背景の画素値をＱ０、オブジェクトの画素値をＱ１とする。図５（ｂ）は、図５（ａ）の線Ａで示した１ライン分の画素の画素値を示した図である。

図５（ｂ）の座標ｘ０、ｘ１で挟まれた動き領域（ｘ０≦ｘ≦ｘ１）の画素は差分信号ＨＶ＝1、それ以外の領域（ｘ＜ｘ０、ｘ１＜ｘ）は差分信号ＨＶ＝０となる。図５（ｂ
）に示されるように、動き領域は、第Ｎフレーム画像における動くオブジェクトと背景との境界の位置と、第Ｎ＋１フレーム画像における当該動くオブジェクトと背景との境界の位置と、の間の領域である。

中間画像生成部３００により、差分信号ＨＶ＝０の画素の画素値は、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値となる。そのため、図５（ｂ）の中間画像データＳ３に示すように、ｘ＜ｘ０の領域の画素の画素値はＱ１、ｘ＞ｘ１の領域の画素の画素値はＱ０となる。

また、差分信号ＨＶ＝１の画素は水平探索部３０２により作成された画素値となり、図５（ｂ）に示すように、ｘ０≦ｘ≦ｘ１の領域の中央よりｘ０に近い領域の画素の画素値はＱ１、中央よりｘ１に近い領域の画素の画素値はＱ０となる。これにより、図５（ｂ）の中間画像Ｓ３のグラフに示すように、動き領域内に、動くオブジェクトと背景との境界が位置する。

このようにして生成された中間画像データＳ３をＮフレームとＮ＋１フレームの間に挿入することで、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが小さくなるため、追従視したときに動きぼやけが視認されることを抑制できる。

図１の選択部１０２は、フレームメモリ１０１から読み出された画像データＳ２と、中間画像生成部３００から出力された画像データＳ３と、を１２０Ｈｚで交互に切り換えて、画像データＳ４として出力する。Ｌｏ画像を出力する場合、選択部１０２は画像データＳ３を画像データＳ４として出力し、Ｈｉ画像を出力する場合、選択部１０２は画像データＳ２を画像データＳ４として出力する。

駆動分配部４００は、Ｈｉ画像とＬｏ画像を１２０Ｈｚで交互に出力する。図６は駆動分配部４００のブロック図である。駆動分配部４００は、加算器４０１、加算器４０２、ＬＰＦ（ロー・パス・フィルタ）４０３、リミット部４０４、加算器４０５、及び選択部４０６を有する。

画像データＳ４は、加算器４０１、加算器４０２、及びＬＰＦ４０３に入力される。ＬＰＦ４０３は、画像データＳ４に空間ＬＰＦをかけて平滑化し、画像データＳ４２として出力する。実施例１では、ＬＰＦは水平、垂直ともに５タップとするが、タップ数はこれに限るものではない。平滑化された画像データＳ４２は加算器４０２及び加算器４０５に出力される。

加算器４０２において、画像データＳ４２と平滑化前の画像データＳ４との差分が算出され、高域成分が抽出されて加算器４０１に出力される。加算器４０１は画像データＳ４と、前記抽出された高域成分とを加算し、高域強調画像データＳ４１として出力する。

リミット部４０４及び加算器４０５は飽和処理を行う。リミット部４０４と加算器４０５の概要を以下で説明する。なお、飽和処理については公知の技術を用いることができる（特許文献１参照）。高域強調画像Ｓ４１は、リミット部４０４で許容範囲を逸脱した画素値が許容範囲に収まるように補正される。許容範囲とは、例えば画像データが８ビットであれば０から２５５の範囲である。リミット部４０４は補正したＨｉ画像を選択部４０
６に出力するとともに、許容範囲を逸脱した分の画素値を加算器４０５に出力する。加算器４０５は許容範囲を逸脱した分の画素値を画像データＳ４２に加算する。加算器４０５は加算した結果をＬｏ画像として、選択部４０６に出力する。

このように、駆動分配部４００において、中間画像、第Ｎフレーム画像、第Ｎ＋１フレーム画像に対する空間周波数の高域成分を低減する画像処理及び高域成分を強調する画像処理が行われる。

Ｌｏ画像を表示する場合、選択部４０６は加算器４０５からの出力を選択し、Ｈｉ画像を表示する場合、選択部４０６はリミット部４０４からの出力を選択して、画像データＳ５として出力する。画像データＳ５は不図示の表示パネルに表示される。

＜Ｈｉ画像の出力時の動作＞
次に、Ｈｉ画像の出力時の動作を説明する。ここでは、フレームメモリ１０１から読み出された画像データＳ２がＮ＋１フレームであるタイミングを例にして説明する。図２において、Ｈｉ画像を出力する場合、選択部１０２は画像データＳ２を選択し画像データＳ４として駆動分配部４００に出力する。駆動分配部４００は前述した処理を行い、Ｈｉ画像とＬｏ画像を作成し、選択部４０６はＨｉ画像を画像データＳ５として出力する。

実施例１の画像処理装置は、第Ｎフレーム画像と第Ｎ＋１フレーム画像との間に中間画像を挿入することにより、入力画像のフレームレートを増加させた画像を出力する。具体的には、１フレームの表示期間を、Ｈｉ画像を表示する第１サブフレーム期間とＬｏ画像を表示する第２サブフレーム期間に分割する。第１サブフレーム期間では、フレームメモリから１フレーム分の画像データを読み出し、駆動分配部４００で高域強調したＨｉ画像に変換し、出力する。第１サブフレーム期間に続く第２サブフレーム期間では、フレームメモリから連続する２フレーム分の画像データを読み出し、中間画像を生成し、駆動分配部４００で高域低減したＬｏ画像に変換し、出力する。このように、実施例１の画像処理装置は、１フレーム期間にＨｉ画像とＬｏ画像を表示してフレームレートを増やす場合のＬｏ画像を時間的に連続する２フレーム画像から生成する。そのため、画像に動きがある場合には、動きに応じたＬｏ画像が生成される。

図７は、実施例１による、Ｈｉ画像とＬｏ画像を交互に出力した場合の出力画像及びその見え方を波形で示した図である。図７（ａ）は、実施例１の処理をして生成されるＨｉ（ｉ）、Ｌｏ（ｉ＋０．５）、Ｈｉ（ｉ＋１）の３フレームを示している。このような波形を追従視した場合、図７（ｂ）が示すように理想的な矩形波形に近い波形となる。その結果、動画ぼやけが低減されて観察される。

実施例１の画像処理装置は、差分信号生成部２００から出力された差分信号ＨＶに基づいて、中間画像データＳ３を生成する。中間画像データＳ３の各画素の画素値は、差分信号ＨＶ＝０の場合、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値とする。差分信号ＨＶ＝１の場合、当該画素から最も近い位置にある画素であって差分信号ＨＶ＝０となる画素（すなわち前後フレーム差分絶対値が所定値より小さい画素）を探索する。そして、見つかった画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値を、中間画像データＳ３の画素の画素値とする。実施例１では、このような中間画像データからＬｏ画像を作成してフレーム間に挿入することで、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが小さくなるため、追従視したときに動きぼやけが視認されることを抑制できる。従って、実施例１によれば、動きの速い入力画像に対して駆動分配法でフレームレート変換した場合も、追従視したときの動きぼやけを低減することが可能となる。

（実施例２）
本発明に係る画像処理装置及びその制御方法の第２の実施例について説明する。実施例２では、フレームレートが６０Ｈｚの入力画像を１８０Ｈｚにフレームレート変換する場合について説明する。以下、図面を参照しながら実施例２について説明する。
実施例２は、実施例１に対して、差分信号生成部２００、中間画像生成部３００の水平探索部３０２及び垂直探索部３０３の処理フローが異なる。ここでは、差分信号生成部２００、水平探索部３０２、及び垂直探索部３０３の処理フローについて説明を行う。また、差分信号生成部２００以外の各処理部は実施例１と同様の処理を実行するものとし、実施例１と同じ符号を付加し、詳細な説明を省略する。

図８は、実施例２の動作を表わしたタイミングチャートである。図中のＮ、Ｎ＋１、Ｎ＋２は入力画像のフレーム番号を表し、番号が大きいほど時間的に新しいフレームを表す。図８を用いて、フレームメモリ１０１の画像書き込み、読み出しタイミングを説明する。入力画像は６０Ｈｚのフレームレートでフレームメモリ１０１に書き込まれる。フレームメモリ１０１からは、図８に示すように１８０Ｈｚのフレームレートで画像が読み出される。実施例２では、１フレーム期間を３つのサブフレーム期間に分割し、第１サブフレーム期間に高域強調サブフレーム（Ｈｉ画像）を表示し、第２，第３サブフレーム期間に第１，第２高域低減サブフレーム（Ｌｏ＿０画像、Ｌｏ＿１画像）を表示する。

図８に示すようにフレームメモリ１０１からの画像の読み出しは、２フレーム同時読み出しを２回と１フレーム読み出しを１回とが交互に行われる。Ｌｏ＿０画像及びＬｏ＿１画像を作成するためには２フレーム分の画像データが必要であり、Ｈｉ画像を作成するためには１フレーム分の画像データが必要であるからである。Ｌｏ＿０画像は、高域低減サブフレームを表示するサブフレームの内、時間的位置がＮフレームに近いサブフレームの画像であり、Ｌｏ＿１画像は作成するサブフレームの内、時間的位置がＮ＋１フレームに近いサブフレームの画像である。すなわち、Ｌｏ＿０画像は２つのＬｏ画像のうち時間的に早く表示されるＬｏ画像、Ｌｏ＿１画像は２つのＬｏ画像のうち時間的に遅く表示されるＬｏ画像である。図１に示す画像データＳ１、Ｓ２は、フレームメモリ１０１から交互に読み出される画像データを示している。Ｌｏ＿０画像及びＬｏ＿１画像を作成する際は画像データＳ１が読み出され、Ｈｉ画像を作成する際は画像データＳ２が読み出される。

＜Ｌｏ画像の出力時の動作＞
Ｌｏ＿０画像及びＬｏ＿１画像の出力時の動作を説明する。ここでは、フレームメモリ１０１から読み出された２フレームの画像データＳ１がＮフレームとＮ＋１フレームであるタイミングを例にして説明する。

差分信号生成部２００は画像データＳ１を受け、差分信号ＨＶを出力する。差分信号生成部２００では、ＮフレームとＮ＋１フレームの差分（前後フレーム差分）が小さい画素及び、差分が大きい画素の動きの方向を検出し、差分信号ＨＶを出力する。差分信号ＨＶは以下のような５値の信号である。

ＨＶ＝０ （前後フレーム差分が所定値以下の画素）
＝１ （前後フレーム差分が所定値より大きく、水平右動き画素）
＝２ （前後フレーム差分が所定値より大きく、水平左動き画素） （式４）
＝３ （前後フレーム差分が所定値より大きく、垂直上動き画素）
＝４ （前後フレーム差分が所定値より大きく、垂直下動き画素）

実施例２では水平、垂直の２種類の動き方向の検出を行うが、検出する動きの方向はこれに限るものではなく、別の方向を検出しても良いし、より多くの方向を検出してもよい。

実施例２の差分信号生成部２００の詳細を、図９（ａ）を用いて説明する。図９（ａ）は差分信号生成部２００のブロック図である。差分信号生成部２００は、差分検出部２０１、水平差分検出部２０６、垂直差分検出部２０７、比較部２０８、及び判定部２０９を有する。ＮフレームとＮ＋１フレームの画像データは差分検出部２０１、水平差分検出部２０６、及び垂直差分検出部２０７に入力される。

差分検出部２０１は、ＮフレームとＮ＋１フレームにおける同一座標の画素の画素値の差分絶対値を算出する。そして、差分検出部２０１は、算出した差分絶対値を予め設定された所定値と比較し、差分絶対値が所定値より大きい場合１を、差分絶対値が所定値以下の場合０を、動き信号ＭＶとして出力する。
水平差分検出部２０６、垂直差分検出部２０７、及び比較部２０８により注目画素が水平右動き・水平左動き・垂直上動き・垂直下動きであるかを検出する。

水平差分検出部２０６は、Ｎフレームの注目画素の画素値Ｎ（ｘ，ｙ）と、Ｎ＋１フレームの注目画素を中心として水平方向に所定範囲内の各画素の画素値との差分絶対値を求める。注目画素の座標をｘとすると、所定範囲は［ｘ−ｃ、ｘ＋ｃ］（ｃは定数）とする。水平差分検出部２０６は、Ｎフレームの画素値Ｎ（ｘ，ｙ）と、Ｎ＋１フレームの画素値Ｎ＋１（ｘ−ｃ，ｙ）、Ｎ＋１（ｘ−ｃ＋１，ｙ）、・・・、Ｎ＋１（ｘ＋ｃ−１，ｙ）、Ｎ＋１（ｘ＋ｃ，ｙ）の各々と、の差分絶対値を求める。そして、水平差分検出部２０６は、求めた複数の差分絶対値のうちの最小値Ｈを出力する。また、水平差分検出部２０６は、最小値Ｈとなった画素に基づき検出される動きが右動きの場合は１を、左動きの場合は０を、水平方向信号ＨＤとして出力する。一般的に水平動きがある画素の場合、Ｎフレームの注目画素の画素値と、Ｎ＋１フレームの水平所定範囲内のいずれかの画素の画素値とが近い値になるため、最小値Ｈは小さい値となる。

垂直差分検出部２０７は、水平差分検出部２０６と同様の処理を垂直方向に対して行い、最小値Ｖを出力する。また、垂直差分検出部２０７は、最小値Ｖとなった画素に基づき検出される動きが上動きの場合は１を、下動きの場合は０を、垂直方向信号ＶＤとして出力する。

比較部２０８は、最小値Ｈ、最小値Ｖ、水平方向信号ＨＤ、及び垂直方向信号ＶＤに基づき下記の式５により方向信号Ｄを生成する。

Ｄ＝０ （最小値Ｈが最小値Ｖ以下、かつ、水平右動きの場合）
＝１ （最小値Ｈが最小値Ｖ以下、かつ、水平左動きの場合） （式５）
＝２ （最小値Ｈが最小値Ｖより大きい、かつ、垂直上動きの場合）
＝３ （最小値Ｈが最小値Ｖより大きい、かつ、垂直下動きの場合）

なお、斜め方向に動きがある画素の場合は、当該動きの方向と相関が高い水平方向又は垂直方向が検出される。

判定部２０９は、動き信号ＭＶと方向信号Ｄから、下記の式６により差分信号ＨＶを生成する。

ＨＶ＝０ （動き信号ＭＶ＝０の場合）
＝１ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝０の場合）
＝２ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝１の場合） （式６）
＝３ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝２の場合）
＝４ （動き信号ＭＶ＝１かつ、方向信号Ｄ＝３の場合）
実施例２では、上記のように水平差分検出と垂直差分検出により動き方向を検出したが、動き方向検出はこの方法に限るものではなく、ブロックマッチングによる動き検出などを用いてもよい。

中間画像生成部３００は差分信号生成部２００から出力された差分信号ＨＶを受け、中間画像データＳ３を出力する。中間画像データＳ３の各画素の画素値は、差分信号ＨＶが０の画素（前後フレーム差分が小さい画素）の場合、前後フレームの平均値とし、差分信号ＨＶが０以外の画素（前後フレーム差分が大きい画素）の場合、後述する探索により得られた画素値とする。実施例２の探索方法は、生成する中間画像の時間的位置及び画像の移動方向に応じて、左右方向又は上下方向の探索ピッチが異なる。入力画像のフレームレートを３倍にするフレームレート変換の場合、探索ピッチは左右方向又は上下方向の各々で１：２又は２：１の比とする。

中間画像生成部３００の詳細を、図９（ｂ）を用いて説明する。図９（ｂ）は、中間画像生成部３００のブロック図である。中間画像生成部３００は、平均部３０１、水平探索部３０５、垂直探索部３０６、及び選択部３０７を有する。

平均部３０１は、ＮフレームとＮ＋１フレームにおける同一座標の画素の画素値の平均値ＡＶを計算する。平均部３０１は、算出した平均値ＡＶを選択部３０７に出力する。

水平探索部３０５は、注目画素の座標から近い位置にある画素から順に、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との差分絶対値（前後フレーム差分絶対値）を算出し、前後フレーム差分絶対値が小さい画素を探索する。そして、水平探索部３０５は、見つけ出した画素の画素値に基づき、当該注目画素の画素値ＨＰを算出して出力する。図１０（ａ）、図１０（ｂ）にＬｏ＿０画像を作成する際の水平探索部３０５の処理フロー図を示す。図１１（ａ）、図１１（ｂ）にＬｏ＿１画像を作成する際の水平探索部３０５の処理フロー図を示す。ここで、注目画素の座標値を（ｘ、ｙ）、探索時に座標値をシフトするためのカウンタをｉ、探索範囲を規定する所定値をＡＲとする。

図１０（ａ）、図１０（ｂ）を用いてＬｏ＿０画像を作成する処理フローについて説明する。
ステップＳ１２０１で、水平探索部３０５は、カウンタｉを１に初期化する。
ステップＳ１２０２で注目画素が右方向に動いているか左方向に動いているか判断する。右方向に動いている場合（ＨＶ＝１の場合）は、ステップＳ１２０３へ処理が移る。

ステップＳ１２０３〜ステップＳ１２０６はループになっている。このループにより、水平探索部３０５は、注目画素の座標（ｘ，ｙ）から近い位置にある画素から順に、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との差分絶対値を算出し、この差分絶対値が小さい画素を探索する。

ステップＳ１２０３で、水平探索部３０５は、探索座標（ｘ＋２×ｉ，ｙ）の前後フレーム差分絶対値が所定値より小さいかを判定する。前後フレーム差分絶対値が所定値より小さければ（Ｓ１２０３：Ｙｅｓ）、ステップＳ１２０９へ進み、前後フレーム差分絶対値が所定値以上であれば（Ｓ１２０３：Ｎｏ）、ステップＳ１２０４へ処理が移る。

ステップＳ１２０４で、水平探索部３０５は、探索座標（ｘ−ｉ，ｙ）の前後フレーム差分絶対値が所定値より小さいかを判定する。前後フレーム差分絶対値が所定値より小さければ（Ｓ１２０４：Ｙｅｓ）、ステップＳ１２０８へ進み、前後フレーム差分絶対値が所定値以上であれば（Ｓ１２０４：Ｎｏ）、ステップＳ１２０５へ処理が移る。

ステップＳ１２０５で、水平探索部３０５は、カウンタｉをインクリメントし、ステップＳ１２０６で所定範囲の探索が完了したかどうかを判定する。
ステップＳ１２０７，１２０８，１２０９で、水平探索部３０５は、注目画素が右方向に動いている場合の各々における注目画素の画素値ＨＰを計算する。
ステップＳ１２０７では、水平探索部３０５は、注目画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。

ステップＳ１２０８では、水平探索部３０５は、探索座標（ｘ−ｉ，ｙ）の画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。
ステップＳ１２０９では、水平探索部３０５は、探索座標（ｘ＋２×ｉ，ｙ）の画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。

ステップＳ１２０２で注目画素が左方向に動いていると判断した場合（ＨＶ＝２）は、ステップＳ１２１０へ処理が移る。なお、ステップＳ１２０２でＨＶが１でも２でもない場合、このフローチャートの処理は終了するものとする。

ステップＳ１２１０〜１２１３はループになっている。このループにより、水平探索部３０５は、注目画素の座標（ｘ，ｙ）から近い位置にある画素から順に、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との差分絶対値を算出し、この差分絶対値が小さい画素を探索する。

ステップＳ１２１０で、水平探索部３０５は、探索座標（ｘ＋ｉ，ｙ）の前後フレーム差分絶対値が所定値より小さいか判定する。前後フレーム差分絶対値が所定値より小さければ（Ｓ１２１０：Ｙｅｓ）、ステップＳ１２１６へ進み、前後フレーム差分絶対値が所定値以上であれば（Ｓ１２１０：Ｎｏ）、ステップＳ１２１１へ処理が移る。

ステップＳ１２１１で、水平探索部３０５は、探索座標（ｘ−２×ｉ，ｙ）の前後フレーム差分絶対値が所定値より小さいか判定する。前後フレーム差分絶対値が所定値より小さければ（Ｓ１２１１：Ｙｅｓ）、ステップＳ１２１５へ進み、前後フレーム差分絶対値が所定値以上であれば（Ｓ１２１１：Ｎｏ）、ステップＳ１２１２へ処理が移る。

ステップＳ１２１２で、水平探索部３０５は、カウンタｉをインクリメントし、ステップＳ１２１３で所定範囲の探索が完了したかどうかを判定する。
ステップＳ１２１４，１２１５，１２１６で、水平探索部３０５は、注目画素が左方向に動いている場合の各々における注目画素の画素値ＨＰを計算する。
ステップＳ１２１４では、水平探索部３０５は、注目画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。

ステップＳ１２１５では、水平探索部３０５は、探索座標（ｘ−２×ｉ，ｙ）の画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。
ステップＳ１２１６では、水平探索部３０５は、探索座標（ｘ＋ｉ，ｙ）の画素の前後フレームの画素値の平均値を、注目画素の画素値ＨＰとする。

次に、図１１（ａ）、図１１（ｂ）を用いてＬｏ＿１画像を作成する処理フローについて説明する。
図１１（ａ）、図１１（ｂ）は、図１０（ａ）、図１０（ｂ）と同様の流れの処理フローとなっている。図１０（ａ）、図１０（ｂ）とは、のステップＳ１２０３、１２０４、１２１０、１２１１の条件式、及びステップＳ１２０８、１２０９、１２１５、１２１６の計算式が異なる。水平探索部３０５は、図１１（ａ）、図１１（ｂ）のステップＳ１２２３，１２２４，１２３０，１２３１の各条件式に基づいて処理を行う。そして、ステッ
プＳ１２２７、１２２８、１２２９、１２３４、１２３５、１２３６の計算式を用いて、注目画素の画素値ＨＰを算出し、Ｌｏ＿１画像を作成する。

以上のように、図１０（ａ）、図１０（ｂ），図１１（ａ）、図１１（ｂ）のフローによれば、第Ｎフレーム画像と第Ｎ＋１フレーム画像の間における中間画像を挿入する時間的な位置に応じて中間画像ごとに探索する所定範囲が設定される。この所定範囲は、対象画素から動くオブジェクトの動き方向（水平方向右向き）に沿って設定される範囲と、対象画素から動き方向と反対方向（水平方向左向き）に沿って設定される範囲と、からなる。そして、この所定範囲は、中間画像が挿入される時間的な位置が第Ｎフレーム画像に近いほど動き方向に沿った範囲が広い。また、中間画像が挿入される時間的な位置が第Ｎ＋１フレーム画像に近いほど前記動き方向と反対方向に沿った範囲は広い。

すなわち、第Ｎフレーム画像に近いＬｏ＿０画像の生成において、動き方向が水平右向きの場合（Ｓ１２０２：ＨＶ＝１）、Ｓ１２０３，Ｓ１２０４の式に示すように、対象画素から右方向に広い範囲で探索が行われる。動き方向が水平左向きの場合（Ｓ１２０２：ＨＶ＝２）、Ｓ１２１０，Ｓ１２１１の式に示すように、対象画素から左方向に広い範囲で探索が行われる。

また、第Ｎ＋１フレーム画像に近いＬｏ＿１画像の生成において、動き方向が水平右向きの場合（Ｓ１２２２：ＨＶ＝１）、Ｓ１２２３，Ｓ１２２４の式に示すように、対象画素から左方向に広い範囲で探索が行われる。動き方向が水平左向きの場合（Ｓ１２２２：ＨＶ＝２）、Ｓ１２３０，Ｓ１２３１の式に示すように、対象画素から右方向に広い範囲で探索が行われる。
垂直探索部３０６は、水平探索部３０５と同様の処理を垂直方向に行い、画素値ＶＰを算出する。

選択部３０７は、差分信号生成部２００から出力された差分信号ＨＶに応じて、平均値ＡＶ、画素値ＨＰ、及び画素値ＶＰのいずれかを選択し、中間画像データＳ３として出力する。選択部３０７は、以下の式７に基づき、平均値ＡＶ、画素値ＨＰ、画素値ＶＰの選択を行う。

Ｓ３＝ＡＶ （差分信号ＨＶ＝０（前後差分が小さい）の場合）
＝ＨＰ （差分信号ＨＶ＝１、又は２（水平動き）の場合） （式７）
＝ＶＰ （差分信号ＨＶ＝３、又は４（垂直動き）の場合）

図５（ｃ）は中間画像生成部３００の動作を説明する図である。図５（ａ）は、上記のように、ＮフレームとＮ＋１フレームの画像を表している。Ｎフレーム、Ｎ＋１フレームにおいて、図に示すように黒背景の上を白い四角形のオブジェクトが左から右へ動いているものとする。ここでは、黒背景の画素値をＱ０、オブジェクトの画素値をＱ１とする。図５（ｃ）は、図５（ａ）の線Ａで示した位置の画素の画素値を示した図である。

図５（ｃ）の座標ｘ０、ｘ１で挟まれた動き領域（ｘ０≦ｘ≦ｘ１）の画素は差分信号ＨＶ＝1、それ以外の領域（ｘ＜ｘ０、ｘ１＜ｘ）は差分信号ＨＶ＝０となる。中間画像
生成部３００により、差分信号ＨＶ＝０の画素の画素値は、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値となる。そのため、図５（ｃ）の中間画像データＳ３に示すように、ｘ＜ｘ０の領域の画素の画素値はＱ１、ｘ＞ｘ１の領域の画素の画素値はＱ０となる。また、差分信号ＨＶ＝１の画素は水平探索部３０５により作成された画素値となり、図５（ｃ）に示すように、Ｌｏ＿０画像は、差分信号ＨＶ＝１の画素領域（ｘ０≦ｘ≦ｘ１）の内、左１／３の領域は画素値Ｑ１となり、右２／３の領
域は画素値Ｑ０となる。Ｌｏ＿１画像は、差分信号ＨＶ＝１の画素領域（ｘ０≦ｘ≦ｘ１）の内、左２／３の領域は画素値Ｑ１となり、右１／３の領域は画素値Ｑ０となる。このように、動くオブジェクトと背景との境界の位置が動き領域内で互いに異なる複数の中間画像Ｌｏ＿０，Ｌｏ＿１が第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入されることでフレームレートが増加する。

このようにして生成された中間画像データＳ３（Ｌｏ＿０）及びＳ３（Ｌｏ＿１）をＮフレームとＮ＋１フレームの間に挿入することで、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが小さくなる。従って、追従視したときに動きぼやけが視認されることを抑制できる。

図１の選択部１０２は、フレームメモリ１０１から読み出した画像データＳ２と、中間画像生成部３００から出力された画像データＳ３を１８０Ｈｚで交互に切り換えて、画像データＳ４として出力する。Ｈｉ画像を表示する場合、選択部１０２は画像データＳ２を選択し、Ｌｏ＿０画像及びＬｏ＿１画像を表示する場合、選択部１０２は画像データＳ３を選択する。駆動分配部４００は、Ｈｉ画像、Ｌｏ＿０画像、及びＬｏ＿１画像を１８０Ｈｚで交互に出力する。

実施例２の画像処理装置は、差分信号生成部２００から出力された差分信号ＨＶに基づいて、中間画像データＳ３を生成する。中間画像データＳ３の各画素の画素値は、差分信号ＨＶ＝０の場合、当該画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値とする。差分信号ＨＶ＝０以外の場合、当該画素から最も近い位置にある画素であって差分信号ＨＶ＝０となる画素（すなわち前後フレーム差分絶対値が所定値より小さい画素）を探索する。そして、見つかった画素のＮフレームにおける画素値とＮ＋１フレームにおける画素値との平均値を、中間画像データＳ３の画素の画素値とする。実施例２では、この探索は、画像の動き方向に応じて左右方向又は上下方向に行うが、さらに、生成する中間画像データの時間的位置（Ｎフレームに近いか、Ｎ＋１フレームに近いか）に応じて、探索ピッチに重みを付ける。このような中間画像データを作成してフレーム間に挿入することで、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが小さくなるため、追従視したときに動きぼやけが視認されることを抑制できる。従って、実施例２によれば、動きの速い入力画像に対して駆動分配法でフレームレート変換した場合も、追従視したときの動きぼやけを低減することが可能となる。

実施例２では、上記のように入力画像のフレームレートを３倍にする方法を記載したが、実施例２はこれに限るものではなく、フレームレートをＫ倍（Ｋ：自然数）にする場合にも適用できる。その場合、中間画像の生成時に画像の動き方向に応じて前後フレーム差分絶対値が所定値より小さい画素を探索する場合の探索ピッチに付加する生成する中間画像の時間的位置に応じた重みをフレームレート倍率に応じて適切に設定すればよい。

（実施例３）
本発明に係る画像処理装置及びその制御方法の第３の実施例について説明する。実施例３の画像処理装置の構成は図１に示す実施例１の画像処理装置と同様である。実施例３は、中間画像生成部３００の構成及び機能が実施例１と異なる。以下、実施例１との相違点を中心に説明する。実施例１と同内容の構成及び処理については詳細な説明を省略する。

中間画像生成部３００は差分信号生成部２００から出力された差分信号ＨＶを受け、中間画像データＳ３を出力する。中間画像生成部３００は、差分信号ＨＶが０の画素（前後フレーム差分が小さい画素）の場合、前後フレームの平均値を中間画像データＳ３とする。また、差分信号ＨＶが０以外の画素（前後フレーム差分が大きい画素）の場合、後述する補間計算により前後フレームの画素値から求めた値を中間画像データＳ３とする。

以下で、中間画像生成部３００の詳細を図を用いて説明する。図１２（ａ）は、中間画像生成部３００のブロック図である。中間画像生成部３００は、動き領域検出部３０１１及び波形生成部３０２１を有する。

動き領域検出部３０１１は、差分信号ＨＶに基づき、水平方向又は垂直方向の動きがある領域（以下、動き領域と呼ぶ）を検出し、領域信号ＡＲを出力する。実施例３では、領域信号ＡＲは、式８に示すように、動き領域の両端の座標値と０、１、２のいずれかの値とする。

ＡＲ＝０、０、０ （差分信号ＨＶ＝０の場合）
＝動き領域の水平方向両端のｘ座標値、１ （差分信号ＨＶ＝１の場合） （式８）
＝動き領域の垂直方向両端のｙ座標値、２ （差分信号ＨＶ＝２の場合）

ここで、動き領域の水平方向両端のｘ座標値は、差分信号ＨＶが１でない画素に水平方向に隣接する差分信号ＨＶが１である画素のｘ座標値である。動き領域の垂直方向両端のｙ座標値は、差分信号ＨＶが２でない画素に垂直方向に隣接する差分信号ＨＶが２である画素のｙ座標値である。

図１３（ａ）〜図１３（ｃ）は中間画像生成部３００の動作を説明する図である。図１３（ａ）は、ＮフレームとＮ＋１フレームの画像を表している。Ｎフレーム、Ｎ＋１フレームにおいて、図に示すように黒背景の上を白い四角形のオブジェクトが左から右へ動いているものとする。ここでは、黒背景の画素値をＱ０、オブジェクトの画素値をＱ１とする。図１３（ｂ）は、図１３（ａ）の線Ａで示した１ライン分の画素の画素値を示した図である。図１３（ｂ）の網掛けで示した領域は差分信号ＨＶ＝１となっている水平動き領域である。この場合、動き領域検出部３０１１により、図１３（ｂ）に示す動き領域内の各画素の領域信号ＡＲは（ｘ０，ｘ１、１）となる。

波形生成部３０２１は、領域信号ＡＲ、Ｎフレームの画像データ、及びＮ＋１フレームの画像データから、中間画像データＳ３を生成する。波形生成部３０２１は、中間画像データＳ３における、動き領域（前後フレーム差分が大きい領域、領域信号ＡＲの３番目の要素＝１又は２の領域）の画素の画素値を、当該画素の前後フレームにおける画素値を所定の補間関数（ｃｏｓカーブ）で補間して求める。

図１３（ｃ）は、動き領域をｃｏｓカーブで補間して算出した中間画像データＳ３の波形を示している。波形生成部３０２１は、図１３（ｃ）に示すように、動き領域の両端において波形が連続的に接続されるように、動き領域の画像データを補間する。この補間は、予め不図示のテーブルに持っているｃｏｓカーブの振幅と長さの情報に基づき行われる。また、波形生成部３０２１は、中間画像データＳ３における、動き領域以外の領域（前後フレーム差分が小さい領域、領域信号ＡＲの３番目の要素＝０の領域）の画素の画素値を、当該画素の前後フレームにおける画素値の平均値とする。これにより、動き領域内で、オブジェクトの動き方向に沿って、オブジェクトと背景との境界に隣接するオブジェクトの画素の画素値Ｑ１と背景の画素の画素値Ｑ０との一方（Ｑ１）から他方（Ｑ０）へ、画素値が連続的に変化する中間画像Ｓ３が生成される。

図１３（ａ）〜図１３（ｃ）の例では、オブジェクトが水平方向に動いている画像を例に説明したが、これに限られない。オブジェクトが垂直方向に動いている画像の場合は、差分信号ＨＶ＝２となり、領域信号ＡＲは動き領域の垂直方向の両端のｙ座標となる。その結果、中間画像データＳ３における、領域信号ＡＲに指定された範囲の垂直方向の１ラ
インの領域の画素の画素値は、当該画素の前後フレームにおける画素値をｃｏｓカーブにより補間した値となる。

実施例３では補間にｃｏｓカーブを用いる例を説明したが、補間に用いる関数（波形）はこれに限るものではなく、直線的に変化するスロープ波形、急峻に変化するステップ波形などでもよい。この場合、動き領域内で、オブジェクトの動き方向に沿って、オブジェクトと背景との境界に隣接するオブジェクトの画素の画素値Ｑ１と背景の画素の画素値Ｑ０との一方（Ｑ１）から他方（Ｑ０）へ、画素値が段階的に変化する中間画像が生成される。

図１３（ｄ）、図１３（ｅ）は、実施例３による、Ｈｉ画像とＬｏ画像を交互に出力した場合の出力画像及びその見え方を波形で示した図である。図１３（ｄ）は、水平方向右に向かう動きを有する画像に対して、実施例３の処理をして生成されるＨｉ（ｉ）、Ｌｏ（ｉ＋０．５）、Ｈｉ（ｉ＋１）の３フレームを示している。実施例３で検出する動き領域は、フレーム間でオブジェクトと背景との境界部分（エッジ部分）が移動した領域と考えられる。実施例３では、サブフレームにおいて、この領域内に上記エッジ部分の画像が配置されるようにｃｏｓカーブを用いた補間により中間画像を生成する。このような中間画像をサブフレームとしてフレーム間に挿入することで、オブジェクトと背景との境界部分（エッジ部分）のサブフレーム間での位置ずれが小さくなるため、図１３（ｅ）に示すように、追従視したときに動きぼやけが視認されることを抑制できる。

（実施例４）
本発明に係る画像処理装置及びその制御方法の第４の実施例について説明する。実施例４は、実施例３に対して、Ｌｏ画像を出力する際のＬＰＦ係数について、動きがある領域と動きがない領域とでＬＰＦ係数を異ならせることを特徴とする。すなわち、中間画像のうち動き領域とそれ以外の領域とで空間周波数の高域成分を低減する度合を異ならせる。以下、実施例３と同じ動作をするブロックについては、同じ符号を用い、説明を省略する。

図１２（ｂ）は実施例４の画像処理装置の構成を示す図である。実施例４では、差分信号生成部２００から出力された差分信号ＨＶが駆動分配部５００に入力される。また、駆動分配部５００の構成及び動作が実施例３の駆動分配部４００と異なる。

図１４は駆動分配部５００のブロック図である。実施例４では、実施例３の駆動分配部４００に対して、係数生成部５０７が追加されている点が異なる。ＬＰＦ５０３は、係数生成部５０７から入力された係数を用いて画像データＳ４に空間ＬＰＦをかけて平滑化し画像データＳ４２を出力する。

係数生成部５０７は、Ｌｏ画像出力時において、差分信号ＨＶが０の領域（動きがない領域）と、差分信号ＨＶが１又は２の領域（水平又は垂直動きがある領域）と、で異なるＬＰＦ係数を生成し、ＬＰＦ５０３へ出力する。また、係数生成部５０７は、Ｈｉ画像出力時において、Ｌｏ画像出力時の差分信号ＨＶが０の領域に対し出力するＬＰＦ係数と同じＬＰＦ係数を生成し、ＬＰＦ５０３へ出力する。

以上の構成により、実施例４では、Ｌｏ画像を出力する際のＬＰＦ係数について、動きがある領域と動きがない領域とでＬＰＦ係数を異なるものに切り替えることができる。具体的には、Ｌｏ画像において、ｃｏｓカーブで置き換えることによって高周波成分が低減されている領域に対しては、平滑化効果の低いＬＰＦ処理を行い、それ以外の領域に対しては、平滑化効果の高いＬＰＦ処理を行う。これにより、Ｌｏ画像のｃｏｓカーブで置き換えた領域が、平滑化されすぎてしまうこと抑制でき、より高画質なフレームレート変換
が可能になる。

（実施例５）
本発明に係る画像処理装置及びその制御方法の第５の実施例について説明する。実施例５の画像処理装置の構成は図１に示す実施例１の画像処理装置と同様である。実施例５は、中間画像生成部３００の構成及び機能が実施例１と異なる。以下、実施例１との相違点を中心に説明する。実施例１と同内容の構成及び処理については詳細な説明を省略する。

中間画像生成部３００は差分信号生成部２００から出力された差分信号ＨＶを受け、中間画像データＳ３を出力する。中間画像生成部３００は、差分信号ＨＶが０の画素（前後フレーム差分が小さい画素）の場合、前後フレームの平均値を中間画像データＳ３とする。また、差分信号ＨＶが０以外の画素（前後フレーム差分が大きい画素）の場合、前後フレームの平均値に対して補正した値を中間画像データＳ３とする。

以下で、中間画像生成部３００の詳細を図を用いて説明する。図１５（ａ）は、中間画像生成部３００のブロック図である。中間画像生成部３００は、平均画像生成部３０１０、中間階調生成部３０２０、及び画素値置換部３０３０を有する。
平均画像生成部３０１０は、ＮフレームとＮ＋１フレームの平均画像（第１平均画像）を生成し、平均画像ＡＶＥとして出力する。

中間階調生成部３０２０は、差分信号ＨＶと平均画像ＡＶＥに基づき、各画素における水平方向又は垂直方向の周辺画素から中間階調を算出し、中間階調ＡＰＬ（第２平均画像）として出力する。中間階調生成部３０２０は、差分信号ＨＶの値に応じて、中間階調ＡＰＬを以下のように算出する。

ＡＰＬ＝０ （ＨＶ＝０の場合）
＝注目画素を中心として水平方向に所定範囲内（第１の範囲内）の画素のＡＶＥにおける画素値の平均値（ＨＶ＝１の場合）
＝注目画素を中心として垂直方向に所定範囲内（第１の範囲内）の画素のＡＶＥにおける画素値の平均値（ＨＶ＝２の場合）
・・・（式９）

実施例５では、上記のように所定範囲内の画素のＡＶＥにおける画素値の平均値を中間階調としたが、中間階調を算出する方法はこれに限るものではなく、メディアンフィルタなどを用いて算出してもよい。

画素値置換部３０３０は、平均画像ＡＶＥと、中間階調ＡＰＬと、差分信号ＨＶとに基づき、平均画像ＡＶＥに対して補正を行い、中間画像データＳ３として出力する。
画素値置換部３０３０は、注目画素の差分信号ＨＶ＝０である場合、注目画素の平均画像ＡＶＥにおける画素値をそのまま当該注目画素の中間画像データＳ３として出力する。

画素値置換部３０３０は、注目画素の差分信号ＨＶ＝１である場合（注目画素が水平方向に動きのある画素である場合）、以下の処理を行う。画素値置換部３０３０は、中間階調ＡＰＬにおける注目画素の画素値と、平均画像ＡＶＥにおける注目画素を中心として水平方向に所定範囲内（第２の範囲内）の画素の画素値と、の差分絶対値を、当該所定範囲内の各画素について求める。ここで、注目画素の座標をｘとすると、所定範囲は［ｘ−ｗ、ｘ＋ｗ］（ｗは定数）とする。すなわち画素値置換部３０３０は、ＡＰＬ（ｘ，ｙ）と、ＡＶＥ（ｘ−ｗ，ｙ），ＡＶＥ（ｘ−ｗ＋１，ｙ）、・・・、ＡＶＥ（ｘ＋ｗ−１，ｙ）、ＡＶＥ（ｘ＋ｗ，ｙ）（ｗは定数）の各々と、の差分絶対値を求める。そして、平均画像ＡＶＥの前記所定範囲内の画素の画素値のうち、中間階調ＡＰＬにおける注目画素の
画素値との差分絶対値が最も大きくなる画素値を、当該注目画素の中間画像データＳ３における画素値とする。つまり、画素値置換部３０３０は、ＨＶ＝１となる動き領域の平均画像ＡＶＥの注目画素を、注目画素から所定範囲内にある平均画像ＡＶＥの画素であってＡＰＬとの差分が大きくなる画素で置き換える。このような置換処理により生成された中間画像データＳ３は、平均画像ＡＶＥと比較し、動き領域において中間的な画素値となる範囲が狭められる。
画素値置換部３０３０は、差分信号ＨＶ＝２である画素（垂直方向に動きのある画素）については、差分信号ＨＶ＝１である場合と同様の処理を垂直方向に対して行い、中間画像データＳ３として出力する。

図１６（ａ）〜図１６（ｃ）は中間画像生成部３００の動作を説明する図である。図１６（ａ）は、ＮフレームとＮ＋１フレームの画像を表している。Ｎフレーム、Ｎ＋１フレームにおいて、図に示すように黒背景の上を白い四角形のオブジェクトが左から右へ動いているものとする。ここでは、黒背景の画素値をＱ０、オブジェクトの画素値をＱ１とする。図１６（ｂ）は、図１６（ａ）の線Ａで示した１ライン分の画素の画素値を示した図である。図１６（ｂ）の網掛けで示した領域は差分信号ＨＶ＝１となっている水平動き領域である。

図１６（ｃ）は、平均画像ＡＶＥ、中間階調ＡＰＬ、中間画像Ｓ３を示している。
平均画像生成部３０１０が出力するＮフレームとＮ＋１フレームの平均画像ＡＶＥは、図１６（ｃ）のように、ｘ＜ｘ０における画素値はＱ１、ｘ０≦ｘ≦ｘ１における画素値はＱ１とＱ０の平均値、ｘ＞ｘ１における画素値はＱ０となる。

中間階調生成部３０２０が出力する中間階調ＡＰＬは、図１６（ｃ）のように、差分信号ＨＶ＝０の領域（ｘ＜ｘ０、ｘ１＜ｘ）における画素値は０となる。また、差分信号ＨＶ＝１の領域（ｘ０≦ｘ≦ｘ１）における画素値は、注目画素を中心とする水平方向の所定範囲内の平均画像ＡＶＥの画素値の平均値となり、Ｑ１とＱ０の平均値より大きい値から小さい値へ徐々に減少する値となる。

画素値置換部３０３０が出力する中間画像Ｓ３は、図１６（ｃ）のように、差分信号ＨＶ＝０の領域（ｘ＜ｘ０、ｘ１＜ｘ）における画素値は、平均画像ＡＶＥと同じ値になる。差分信号ＨＶ＝１の領域（ｘ０≦ｘ≦ｘ１）における画素値は、注目画素の中間階調ＡＰＬの画素値との差分絶対値が水平方向の所定範囲内で最も大きくなる平均画像ＡＰＬの画素値となる。図中のＡＰＬ（ｘａ）の矢印で示す領域が、水平方向の所定範囲（ここでは注目画素を中心とする±ｗの範囲）である。ｘ０に近い領域では、中間階調ＡＰＬとの差分絶対値が最も大きくなる平均画像ＡＶＥにおける画素値はＱ１であるから、中間画像Ｓ３の画素値はＱ１となる。ｘ１に近い領域では、中間階調ＡＰＬとの差分絶対値が最も大きくなる平均画像ＡＶＥにおける画素値はＱ０であるから、中間画像Ｓ３の画素値はＱ０となる。ここで、注目画素がｘ０とｘ１との中央付近の画素である場合、当該注目画素を中心とする所定範囲（ｘ±ｗ）がｘ０〜ｘ１の範囲に含まれるとする。その場合、中間階調ＡＰＬとの差分絶対値が最も大きくなる平均画像ＡＶＥにおける画素値はＱ１とＱ０の平均値であるから、中間画像Ｓ３の画素値はＱ１とＱ０の平均値となる。これにより、図１６（ｃ）に示すように、差分信号ＨＶ＝１の領域の中央付近でオブジェクト画像から背景画像へ変化する画像が中間画像Ｓ３として出力されることになる。図１６（ｃ）に示すように、平均画像ＡＶＥと中間画像Ｓ３を比較すると、画素値Ｑ１とＱ０の中間の画素値となる領域が、平均画像ＡＶＥではｘ０〜ｘ１の範囲だが、中間画像Ｓ３ではその範囲より狭くなっている。このように、動き領域内で、オブジェクトの動き方向に沿って、オブジェクトと背景との境界に隣接するオブジェクトの画素の画素値Ｑ１と背景の画素の画素値Ｑ０との一方（Ｑ１）から他方（Ｑ０）へ、画素値が段階的に変化する中間画像が生成される。

図１６（ａ）〜図１６（ｃ）の例では、オブジェクトが水平方向に動いている画像を例に説明したが、これに限られない。オブジェクトが垂直方向に動いている画像の場合は、差分信号ＨＶ＝２となり、垂直方向の周辺画素から中間階調を算出する。さらに、画素値置換部３０３０は、垂直方向に所定の範囲（ｙ±ｗの範囲）の画素から、中間階調との差分絶対値が最も大きくなる平均画像の画素値を求め、当該平均画像の画素値を中間画像として出力する。

図１７（ａ）、図１７（ｂ）は、実施例５による、Ｈｉ画像とＬｏ画像を交互に出力した場合の出力画像及びその見え方を波形で示した図である。図１７（ａ）は、水平方向右に向かう動きを有する画像に対して、実施例５の処理をして生成されるＨｉ（ｉ）、Ｌｏ（ｉ＋０．５）、Ｈｉ（ｉ＋１）の３フレームを示している。実施例５の処理では、ＮフレームとＮ＋１フレームの平均を算出することによって生成される中間的な階調の領域を狭める。これにより、中間画像Ｓ３においては、オブジェクトと背景との境界部分（エッジ部分）の画像が動き領域の中央に寄って配置される。そのため、エッジ部分のサブフレーム間での位置ずれが小さくなるため、図１７（ｂ）に示すように、追従視したときに動きぼやけが視認されることを抑制できる。

（実施例６）
本発明に係る画像処理装置及びその制御方法の第６の実施例について説明する。実施例６は、実施例５に対して、入力映像の動きの速さに応じて、補正の際に参照する近傍領域の幅を変更することに特徴を有する。以下、実施例５と同じ動作をするブロックについては、同じ符号を用い、説明を省略する。実施例６では、中間画像生成部３００の内部構成及び動作が実施例５の中間画像生成部３００と異なる。

図１５（ｂ）は中間画像生成部３００のブロック図である。実施例６では、実施例５の図１５（ａ）に示す中間画像生成部３００に対して、近傍領域幅生成部５０２が追加されている点が異なる。
画素値置換部５０１は、近傍領域幅生成部５０２から入力された近傍領域幅Ｗを用いて、平均画像ＡＶＥに対する補正処理を行う。
画素値置換部５０１は、差分信号ＨＶに応じて以下のように処理を行う。
画素値置換部５０１は、注目画素の差分信号ＨＶ＝０である場合、注目画素の平均画像ＡＶＥにおける画素値をそのまま当該注目画素の中間画像データＳ３として出力する。

画素値置換部５０１は、注目画素の差分信号ＨＶ＝１である場合（注目画素が水平方向に動きのある画素である場合）、以下の処理を行う。画素値置換部５０１は、注目画素の中間階調における画素値と、注目画素を中心として水平方向に近傍領域幅Ｗの範囲内の画素の平均画像ＡＶＥにおける画素値と、の差分絶対値を、当該範囲内の各画素について求める。ここで、注目画素の座標をｘとすると、近傍領域幅Ｗの範囲は［ｘ―Ｗ、ｘ＋Ｗ］（Ｗは近傍領域幅生成部５０２から取得）となる。画素値置換部５０１は、ＡＰＬ（ｘ、ｙ）と、ＡＶＥ（ｘ−Ｗ，ｙ），ＡＶＥ（ｘ−Ｗ＋１，ｙ）、・・・、ＡＶＥ（ｘ＋Ｗ−１，ｙ）、ＡＶＥ（ｘ＋Ｗ，ｙ）の各々と、の差分絶対値を求める。そして、差分絶対値が最大値となる位置での平均画像ＡＶＥの画素値を中間画像データＳ３として出力する。
画素値置換部５０１は、差分信号ＨＶ＝２である画素（垂直方向に動きのある画素）については、差分信号ＨＶ＝１である場合と同様の処理を垂直方向に対して行い、中間画像データＳ３として出力する。

近傍領域幅生成部５０２は、差分信号ＨＶから水平方向又は垂直方向の動き幅を算出し、その動き幅から近傍領域幅Ｗを算出し、出力する。実施例６では、以下に示す式１０を用いて近傍領域幅Ｗを算出する。
Ｗ＝０ （差分信号ＨＶ＝０の場合）
＝水平方向の動き幅／２ （差分信号ＨＶ＝１の場合） （式１０）
＝垂直方向の動き幅／２ （差分信号ＨＶ＝２の場合）

ここで、水平方向の動き幅は、以下のようにして求める。まず、動き領域の水平方向両端のｘ座標値を求める。動き領域の水平方向両端のｘ座標値は、差分信号ＨＶが１でない画素に水平方向に隣接する、差分信号ＨＶが１である画素のｘ座標値である。求めた水平方向両端のｘ座標値の差分絶対値に１を加えた値を、水平方向の動き幅とする。垂直方向の動き幅についても、水平方向と同様にして算出する。

これにより、動きの速い画像に対しては、広い近傍領域を参照して平均画像ＡＶＥを補正し、動きの遅い画像に対しては、狭い近傍領域を参照して平均画像ＡＶＥを補正することができる。実施例６によれば、画像の動きの速さに応じて近傍領域幅Ｗを適切な値にすることができる。

図１８（ａ）、図１８（ｂ）は、画像の動きの速さに対して、大きすぎる近傍領域幅Ｗを用いて補正した場合と、適切な近傍領域幅Ｗを用いて補正した場合の中間画像Ｓ３を示す図である。

図１８（ａ）は画像の動きの速さに対して、大きすぎる近傍領域幅Ｗを用いて補正した場合の図である。図１８（ａ）に示すように、中間画像Ｓ３の動き領域において輝度が大きく変動する波形になっている。これは、中間階調ＡＰＬとの差分絶対値を算出する平均画像ＡＶＥの範囲が広すぎるため、注目画素の中間階調ＡＰＬ（ｘａ）との差分絶対値が最も大きい平均画像ＡＶＥの画素値がＡＶＥ（ｘ０）ではなくＡＶＥ（ｘ１）となってしまっているからである。

これに対して、図１８（ｂ）は、画像の動きの速さに対して、適切な近傍領域幅Ｗを用いて補正した場合の図である。図１８（ｂ）に示すように、適切な近傍領域幅Ｗを用いることで、中間画像Ｓ３の動き領域において、中間的な階調の領域が狭まり、オブジェクトと背景との境界部分（エッジ部分）の画像が動き領域の中央に寄って配置される。これは、中間階調ＡＰＬとの差分絶対値を算出する平均画像ＡＶＥの範囲が適切であるため、注目画素の中間階調ＡＰＬ（ｘａ）との差分絶対値が最も大きい平均画像ＡＶＥの画素値がＡＶＥ（ｘ０）となっているためである。

実施例６では、画像の動きの速さに応じて適切な近傍領域幅Ｗを算出することで、画像の動きが速い場合にも中間的な階調の領域を適切に狭めることができ、画像の動きが遅い場合にも動き領域において中間画像の輝度が大きく変動することを抑制できる。従って、画像の動きの速さによらず追従視した場合に動きぼやけを低減することができる。

＜その他の実施形態＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コン
ピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

２００：差分信号生成部、３００：中間画像生成部、４００：駆動分配部

Claims (19)

1. 入力画像の第Ｎフレーム画像と第Ｎ＋１フレーム画像との間で画像に動きがある動き領域を検出する検出手段と、
   前記検出手段による検出結果に基づいて第Ｎフレーム画像と第Ｎ＋１フレーム画像から中間画像を生成する生成手段と、
   前記中間画像に対し空間周波数の高域成分を低減する画像処理を行う処理手段と、
   前記画像処理を行った中間画像を第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入することにより前記入力画像のフレームレートを増加させた画像を出力する出力手段と、を有し、
   前記生成手段は、前記中間画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置の近傍かつ前記動き領域外の位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値とを用いて、当該対象位置における前記中間画像の画素値を求める画像処理装置。
2. 前記検出手段は、第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との差分であるフレーム間差分の大きさが所定値以上となる領域を動き領域として検出する請求項１に記載の画像処理装置。
3. 前記生成手段は、前記対象位置が前記動き領域内にある場合、当該対象位置を中心とする所定範囲内かつ前記動き領域外の位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との平均値により当該対象位置における前記中間画像の画素値を求める請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記対象位置が前記動き領域内にある場合、当該対象位置を中心とする所定範囲内かつ前記動き領域外であって当該対象位置に最も近い位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との平均値により当該対象位置における前記中間画像の画素値を求める請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記対象位置を中心とする所定範囲内かつ前記動き領域外となる位置がない場合、当該対象位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との平均値により当該対象位置における前記中間画像の画素値を求める請求項３又
   は４に記載の画像処理装置。
6. 前記所定範囲は、前記対象位置から前記検出手段により検出された動きの方向に沿って設定される範囲と、前記対象位置から前記検出手段により検出された動きの方向と反対方向に沿って設定される範囲と、からなる請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記対象位置が前記動き領域外にある場合、当該対象位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との平均値により当該対象位置における前記中間画像の画素値を求める請求項３〜６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、中間画像の画素値を求めるために画素値を用いる第Ｎフレーム画像及び第Ｎ＋１フレームにおける位置が互いに異なる複数の中間画像を生成する請求項３〜７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、第Ｎフレーム画像と第Ｎ＋１フレーム画像との間における中間画像が挿入される時間的な位置に応じて中間画像ごとに前記所定範囲を設定する請求項８に記載の画像処理装置。
10. 前記所定範囲は、前記対象位置から前記検出手段により検出された動きの方向に沿って設定される範囲と、前記対象位置から前記検出手段により検出された動きの方向と反対方向に沿って設定される範囲と、からなり、中間画像が挿入される時間的な位置が第Ｎフレーム画像に近いほど前記動きの方向に沿った範囲は広く、中間画像が挿入される時間的な位置が第Ｎ＋１フレーム画像に近いほど前記動きの方向と反対方向に沿った範囲は広い請求項９に記載の画像処理装置。
11. 前記生成手段は、所定の補間関数を用いて、前記動き領域内で、画素値が連続的に変化する中間画像を生成する請求項１に記載の画像処理装置。
12. 前記処理手段は、前記中間画像のうち動き領域とそれ以外の領域とで空間周波数の高域成分を低減する度合を異ならせる請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記動き領域内で、画素値が段階的に変化する中間画像を生成する請求項１に記載の画像処理装置。
14. 前記生成手段は、
    第Ｎフレーム画像と第Ｎ＋１フレーム画像から第１平均画像及び第２平均画像をさらに生成し、
    前記第１平均画像の画素値を求める対象位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値との平均値により、当該対象位置における前記第１平均画像の画素値を求め、
    前記第２平均画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置を中心とする第１の範囲内における前記第１平均画像の画素値の平均値により、当該対象位置における前記第２平均画像の画素値を求め、
    前記中間画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置を中心とする第２の範囲内の位置のうち、前記第１平均画像の画素値と前記第２平均画像の画素値との差分の大きさが最も大きくなる位置における前記第１平均画像の画素値を前記対象位置における前記中間画像の画素値とする請求項１３に記載の画像処理装置。
15. 前記第１の範囲及び前記第２の範囲は、前記対象位置から前記検出手段により検出された動きの方向に沿って設定される範囲と、前記対象位置から前記検出手段により検出された動きの方向と反対方向に沿って設定される範囲と、からなる請求項１４に記載の画像処理装置。
16. 前記第２の範囲は、前記検出手段により検出された動きの速さに応じて設定される請求項１４又は１５に記載の画像処理装置。
17. 前記第２の範囲は、前記検出手段により検出された動きが速いほど広く設定される請求項１６に記載の画像処理装置。
18. 前記処理手段は、第Ｎフレーム画像と第Ｎ＋１フレーム画像に対し空間周波数の高域成分を強調する画像処理を更に行い、
    前記出力手段は、前記画像処理を行った中間画像を、前記画像処理を行った第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入することにより、前記入力画像のフレームレートを増加させた画像を出力する請求項１〜１７のいずれか１項に記載の画像処理装置。
19. 入力画像の第Ｎフレーム画像と第Ｎ＋１フレーム画像との間で画像に動きがある動き領域を検出する検出工程と、
    前記検出工程による検出結果に基づいて第Ｎフレーム画像と第Ｎ＋１フレーム画像から中間画像を生成する生成工程と、
    前記中間画像に対し空間周波数の高域成分を低減する画像処理を行う処理工程と、
    前記画像処理を行った中間画像を第Ｎフレーム画像と第Ｎ＋１フレーム画像の間に挿入することにより前記入力画像のフレームレートを増加させた画像を出力する出力工程と、を有し、
    前記生成工程では、前記中間画像の画素値を求める対象位置が前記動き領域内にある場合、当該対象位置の近傍かつ前記動き領域外の位置における第Ｎフレーム画像の画素値と第Ｎ＋１フレーム画像の画素値とを用いて、当該対象位置における前記中間画像の画素値を求める画像処理装置の制御方法。

Images