JP6335504B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、参照フレームを用いて画像処理を行うに用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、一般的な映像処理として、入力時間の異なる複数のフレーム画像を用いた画像処理が行われる。例えば、ＩＰ変換（インターレース−プログレッシブ変換）処理においては、特許文献１に記載の方法のように、複数のフィールド画像をメモリから読み出し、補間ラインの画像を構成するための参照画像として用いている。また、フレームレートを変換する際の補間画像を作成する際には、特許文献２に記載の方法のように、作成する補間画像の前後の複数のフレームの動きベクトルの検出結果を用いた処理を実施する。一般に、多くのフレームを参照して対応点のマッチングを実施し、マッチングの精度を向上させることにより、より精度の高い補間画像を構成することが可能である。

特開２０１２−９４９６０号公報 特開２００４−２９７７１９号公報

一般に、参照するフレーム数を増加させると、多くのメモリアクセスが必要となり、消費電力が大きくなる。映像処理装置においては、画像処理モードを設定すると、設定されたモードに応じたフレーム数を参照して画像処理を行う。最適な画質を得ることが可能な画像処理モードを設定した場合には、それに応じた数のフレーム画像をメモリから読み出し、領域の特徴に応じた好適な処理が選択されて画像処理される。しかし、入力画像の特徴によって処理効果の有効性に差がある。すなわち、多くのフレーム数を参照した画像処理アルゴリズムで処理を実施した場合と、それ以下のフレーム数を参照する画像処理アルゴリズムで処理を実施した場合とで、処理結果に有意な差が生じない場合がある。

例えば、フレームレート変換処理では、静止画像であれば複数のフレームを参照しなくても、１フレームを繰り返し出力すればよい。また、１フレーム内で明暗の差の大きいフレームに対してフレームレート変換処理の補間画像を生成する場合、明所に注意が集まりやすいため、暗所では参照するフレーム数の少ない画像処理で処理しても画質の劣化は知覚しにくい。すなわち、多くのメモリアクセスを行って画像処理しても、より少ないフレーム数で画像処理する場合と画像処理の結果が同程度となることがある。結果として、同程度の画質であっても多くのメモリアクセスを行う分、電力を余分に消費してしまう。

本発明は前述の問題点に鑑み、消費電力を抑えて高画質の画像処理を行うことができるようにすることを目的としている。

本発明に係る画像処理装置は、動画を構成する複数のフレームを取得するフレーム取得手段と、前記フレーム取得手段により取得される処理対象フレームに含まれる複数の部分領域それぞれの明るさに関する特徴量を取得する特徴量取得手段と、前記特徴量取得手段により取得される部分領域の明るさに関する特徴量に基づいて、前記処理対象フレームの当該部分領域に対する画像処理に用いるフレームの数を決定する決定手段と、前記決定手段により前記複数の部分領域それぞれについて決定された数のフレームを用いて、前記複数の部分領域に対する前記画像処理を実行する処理手段とを有することを特徴とする。

本発明によれば、消費電力を抑えて高画質の画像処理を行うことができる。

本発明の第１の実施形態における映像処理装置の内部構成例を示すブロック図である。 複数の矩形領域に分割された画像の一例を示す図である。 本発明の実施形態において、ＩＰ変換処理の画像処理モードを判定する処理手順の一例を示すフローチャートである。 ＩＰ変換処理を行う際の画像の特徴量による分類と、各画像処理モードによって処理した結果とを示す図である。 特徴量と、分類と、選択する画像処理モードとの関係の一例を示す図である。 参照領域とそれに隣接する有効領域とで特徴量を判定する方法を説明するための図である。 本発明の第２の実施形態における映像処理装置の内部構成例を示すブロック図である。 ＩＰ変換処理の前後におけるガンマカーブの一例を示す図である。 フレームレート変換処理を行う際の画像の特徴量による分類と、各画像処理モードによって処理した結果とを示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態における映像処理装置１０の内部構成例を示すブロック図である。
図１において、入力走査変換部１０１には、映像信号として動画のフレーム画像が入力される。そして、入力走査変換部１０１は、映像信号を走査変換し、図２（ｂ）に示すような複数の矩形領域に分割するよう制御する。以下、図２（ａ）に示す画像を水平方向および垂直方向に１０分割し、計１００の矩形領域に分割するものとして説明する。

また、走査変換処理は、メモリ１０６に対し、アクセスの順序を書き込み時と読み出し時とで変更することにより実施される。走査変換処理では、図２に示す有効領域の周囲に、隣接領域の有効領域の隣接部を一定量オーバーラップさせた領域を持たせて読み出しを行う。走査変換処理により作成された各矩形領域の画像は、それぞれ特徴量取得部１０２へ入力される。また、メモリ１０６には、参照用の時差の異なる複数のフレームが一時的に格納される。

特徴量取得部１０２は、各矩形領域の特徴量を取得する。本実施形態においては、明度、周波数成分の統計量、並びに入力されたｎ番目のフレームと過去のｎ−１番目のフレームとの間の動きベクトルを特徴量として取得するものとして説明するが、特徴量についてはこれに限るものではない。フレームの差分を取得する際には、読み出したｎ−１番目のフレームの情報をもとに、３次元ノイズリダクション処理などをｎ番目のフレームに対して実施してもよい。動きベクトルを取得する際には、フレーム間でブロックマッチングを行う手法や、勾配法を用いた動き推定法を用いて検出することができる。特徴量取得部１０２で取得した各特徴量は特徴量判定部１０３へ送られ、ｎ番目のフレームの矩形領域の画像は、画像処理部１０４へ出力される。

特徴量判定部１０３は、特徴量取得部１０２より取得した各特徴量を基に、画像処理部１０４の動作モードの判定並びに設定を行う。特徴量判定部１０３は、特徴量取得部１０２で取得された特徴量を基に入力された映像信号を分類し、画像処理部１０４の画像処理モードのなかで、最小の参照フレーム数で最も好適な結果が得られる画像処理モードを判定する。本実施形態におけるこの画像処理モードの判定手法の詳細に関しては後述する。この判定の結果、画質並びに消費電力の面で最も好適な結果が得られる画像処理モードを選択し、画像処理部１０４に設定する。

画像処理部１０４は、入力された矩形領域の画像に対し、画像処理アルゴリズムに応じた数のフレームをメモリ１０６から読み出し、画像処理を実施する。画像処理部１０４は、参照フレーム数の異なる複数の画像処理モードで画像処理を行うことが可能であり、矩形領域ごとに異なるモードを設定することができる。本実施形態においては、画像処理の一例としてＩＰ変換処理に適用する構成に関して説明する。なお、ＩＰ変換アルゴリズムや実装手法に関しては公知の手法を用いるものとする。

本実施形態においては、画像処理モードとして３つの参照フレーム数の異なるＩＰ変換アルゴリズムを実装したモードＡ、モードＢおよびモードＣが存在する。

画像処理モードがモードＡの場合は、画像処理部１０４はメモリ１０６から処理対象のｎ番目のフレームのみを読み出し、フレーム内ＩＰ変換処理を実施する。インターレース信号では、１フレームごとに異なるラインの画素が１ライン間隔で間引かれた映像が入力されるが、フレーム内ＩＰ変換処理では、間引かれた画素値を上下の有効ラインから補間して生成する。そのため、同一画像をプログレッシブ信号で入力した場合と比較して、垂直方向の高周波数成分が低下した画像が処理結果として得られる。このような特徴から、モードＡを用いた場合、高周波数成分の少ない画像に対するＩＰ変換処理を良好に実施できる。また、暗い領域に対して処理した際は、明るい領域に対する処理結果と比較して処理結果の劣化が目立ちにくいため、比較的良好な結果を得られる。

画像処理モードがモードＢの場合は、現在のｎ番目のフレームの処理の参照画像として、１フレーム前に入力されたｎ−１番目のフレームをメモリ１０６から読み出し、動き適応型のＩＰ変換処理を行う。モードＢの処理の場合、静止領域においては連続する２フレームを合成することにより、インターレース化する前の画像を再構成できるため、プログレッシブ画像と同等の画質を得ることができる。また、動領域に対しては、フレーム内補間処理を実施するため、動領域の処理結果はモードＡの処理結果とほぼ等価となり、垂直方向の高周波数成分が低下した映像が得られる。このような特徴から、モードＢを用いた場合は、静止領域に対するＩＰ変換、並びに高周波成分の少ない映像に対するＩＰ変換処理では良好な結果を得られる。

画像処理モードがモードＣの場合は、現在のｎ番目のフレームのＩＰ変換処理を行うために、ｎ−１番目のフレームおよびｎ−２番目のフレームをメモリ１０６から読み出し、動きベクトルを考慮したＩＰ変換処理を実施する。静止領域では、ｎ番目のフレームとｎ−１番目のフレームとを合成することにより、プログレッシブで入力した際と同等の画像を得ることができる。また、動領域に対しては、メモリ１０６から読み出したｎ番目のフレームからｎ−２番目のフレームを用いて動きベクトルを算出し、その動きベクトルを用いた補間画像作成を行うことにより、ｎ番目のフレームの補間画像を生成する。このモードＣでは、モードＡおよびモードＢと比較して、動きのある映像処理において最も良好な結果を得ることができる。

画像処理部１０４の３つの画像処理モードは、特徴量判定部１０３の判定結果に基づき、矩形領域の画像ごとにそれぞれ別個に設定される。入力された矩形領域の画像は、設定された画像処理モードでＩＰ変換処理が実施されると、出力走査変換部１０５に出力される。なお、画像処理モードの選択状況により、図示しない画像処理部１０４内の使用しないメモリアクセス部や画像処理回路は、クロックゲーティングなどにより動作を停止させ、消費電力を下げる構成としてもよい。

出力走査変換部１０５は、入力走査変換部１０１で分割され、映像処理装置１０内でそれぞれ処理された矩形領域の画像を、映像処理装置１０の出力走査方式に変換し、映像処理装置１０の外部に出力する。走査変換処理では、前述したようにメモリ１０６へアクセスする順序を、書き込み時と読み出し時とで変更することにより実施される。

図３は、本実施形態において画像処理モードを判定する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、特徴量取得部１０２は、各矩形領域の画像の特徴量を取得する。

次に、ステップＳ３０２において、ステップＳ３０１で取得した特徴量に応じて、入力画像の分類を実施する。具体的には、特徴量判定部１０３は、特徴量取得部１０２において取得した特徴量毎に所定の閾値を設け、入力された矩形領域の画像を分類する。

図４は、本実施形態における分類用のテーブルの一例を示す図である。本実施形態では、特徴量取得部１０２において取得した明度、周波数成分の統計量、並びに動きベクトルの３つの特徴量に対して、それぞれ２つの閾値を設け、各３種に分類する。分類の結果、図４に示すように、分割された矩形領域の画像の特徴量に応じて、分類Ｎｏ．１〜Ｎｏ．２７に分類される。

次に、ステップＳ３０３において、特徴量判定部１０３は、ステップＳ３０２で分類した各矩形領域の画像に対する画像処理モードを判定する。ここで、分類１〜２７の画像に対して画像処理モードＡ〜Ｃで処理した結果を予め取得しておき、各分類における処理効果の判定を、各種画像判定手法に応じた評価値によって実施する。

例えば、ＩＰ変換処理の場合、インターレース化する前の画像とインターレース化した映像のＩＰ変換後の画像のＰＳＮＲ評価によって、画質の劣化度を判定できる。分類の際に設定する閾値は、各モードにおける画像処理結果に有意な差が出る境界値を処理結果から割り出して設定する。図４における画像処理の判定結果は、△＜○＜◎の順で画質が良好であることを示している。

また、図４において、例えば分類１〜３に属する画像においては、モードＡ〜Ｃを用いたＩＰ変換の処理結果に有意な差は見られない。この場合は、メモリ１０６から読み出すフレーム数が最小である消費電力が最も小さいモードＡを用いてＩＰ変換処理を実施するよう画像処理部１０４の画像処理モードを選択する。また、例えば分類４、５に属する画像においては、モードＢ、Ｃの処理結果に差はないものの、いずれもモードＡでのＩＰ変換処理より好適な結果を得られる。したがって、メモリ１０６から読み出すフレーム数の少ない方のモードＢを用いてＩＰ変換処理を実施するよう画像処理部１０４の画像処理モードを選択する。

例えば分類２６、２７に属する画像においては、モードＣでの処理結果が、モードＡ、Ｂより好適であるため、モードＣを用いてＩＰ変換処理を実施するよう画像処理部１０４の画像処理モードを選択する。また、図５には、各領域の特徴量、前記判定手法に基づいた各領域の分類、並びに設定される画像処理モードの結果を示している。

次に、ステップＳ３０４において、ステップＳ３０３で判定した結果を基に、隣接する領域に異なる画像処理モードが設定されている領域を抽出する。そして、ステップＳ３０５において、異なる画像処理モードが設定されている領域が存在するか否かを判定する。本実施形態におけるＩＰ変換処理では、動きの大きさにより画像処理モードを決定した結果が処理結果に大きく影響する。具体的には、動きが大きい領域に隣接し、かつ異なる画像処理モードが設定されている領域に、同一のオブジェクトが一部含まれている場合は、１オブジェクトの連続性が失われ、境界が目立つことになる。

例えば、図５に示す領域５−１においては、隣接する動きの大きい領域５−２と連続したオブジェクト（人物）に対して異なる画像処理が適用されると、１オブジェクトの連続性が失われ、分割境界が目立つことになる。そこで、ステップＳ３０６において、動きの大きい領域に隣接し、異なる画像処理モードが設定されている領域に対し、オブジェクトの連続性判定を実施する。この連続性判定に際しては、動きの大きい領域と隣接する分割画像の参照領域と、これに隣接する所定幅の有効領域とで特徴量を比較する。

本実施形態では、例えば図５に示す領域５−１においては、図６に示すように、参照領域Ｒと、それに隣接する有効領域とで特徴量を判定する（ステップＳ３０７）。この判定の結果、境界部の有効領域の特徴量が参照領域と同一である場合には、領域５−２の画像処理モードの設定値に領域５−１の設定値を置換する。すなわち、領域５−２には、参照フレーム数の多いモードＣが設定されているため、領域５−１の処理モードをＢからＣへ変更する（ステップＳ３０８）。

他の領域に対しても同様の判定を実施するが、特徴量の同一性がない場合には画像処理モードはモードＢのまま変更しないようにする。以上の処理により、同一オブジェクトで部分的に参照フレーム数が少ない画像処理モードが設定されることを防ぐようにしている。

以上のように本実施形態によれば、設定する画像処理モード間に、画像処理効果に有意な差が見られない場合には、参照フレーム数の少ない画像処理モードを領域ごとに設定する。また、同一オブジェクトか否かを判定し、同一オブジェクト内で部分的に参照フレーム数の低い画像処理モードが設定されることを防ぐことができる。なお、本実施形態の判定手法は、分類ごとに好適な画像処理手法が設定された参照テーブルを保持することにより実装することが可能である。

なお、従来の映像処理装置においては、最高画質を得るために要する参照フレームを全てメモリから読み出し、領域の特徴に応じて異なる処理を実施する。この場合、常に一定のフレーム数をメモリから読み出すため、参照フレーム数の少ないモードで処理しても画質の劣化の少ない領域を含む画像に対して処理する場合と比較し、多くの電力を消費する。それに対し、本実施形態による映像処理装置では、好適な画像処理効果を得るための最小の参照フレーム数の画像処理モードを、領域ごとの特徴量から判定して処理を実施することにより、高画質の画像を得ることができ、さらに消費電力を削減できる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。
図７は、本実施形態における映像処理装置７０の内部構成例を示すブロック図である。本実施形態では、図１の画像処理部１０４の代わりに、第１の画像処理部７０１及び第２の画像処理部７０２を備えている。なお、第１の画像処理部７０１は、図１の画像処理部１０４に相当するものである。また、図１と重複する構成については説明を省略する。以下、第２の画像処理部７０２によるフレームレート変換処理を加えた処理に関して説明する。

第２の画像処理部７０２は、フレームレート変換処理のアルゴリズムとして、参照フレーム数の異なる４つの画像処理モード（モードＤ〜Ｇ）で処理を行うことができる。本実施形態では、単純化して説明するため、ｎ番目のフレームとｎ−１番目のフレームとの間に、１フレーム分の補間画像を挿入し、入力映像の２倍のフレームレートに変換して出力するものとして説明する。

モードＤでは、ｎ番目のフレームとｎ−１番目のフレームとの間の補間画像として、黒画面を挿入する。この場合、第２の画像処理部７０２により黒画面を生成して出力するため、メモリ１０６へアクセスを行う必要がない。一般に、映像の明るさは単位時間に表示されている画像の積分値で知覚されるため、本手法を用いる場合、中間画像を生成する手法を使用する場合と比較して、視覚的に暗い映像として出力される。しかし、入力画像が暗い場合、本処理を用いても大きな画質劣化は視認されない特徴がある。モードＤの処理のために要するメモリアクセス量は０フレームである。

モードＥでは、ｎ番目のフレームとｎ−１番目のフレームとの間の補間画像として、ｎ−１番目のフレームを挿入する。入力画像が静止領域である場合には、後述するモードＦ又はＧを使用する場合と比較して、少ないメモリアクセス量で好適な補間画像を生成することが可能である。一方、同じフレームを繰り返して出力するため、動領域に対しては中間画像を補間画像として挿入する手法と比較して、滑らかな表示にはならない。なお、モードＥの処理のために要するメモリアクセス量は１フレームである。

モードＦでは、ｎ番目のフレームとｎ−１番目のフレームとの間の補間画像を生成する際に、ｎ番目のフレームおよびｎ−１番目のフレームの２フレームを読み出して対応点のマッチングを行い、補間画像として中間画像を生成して挿入する。この場合、加速度が変化しないような画像に対する補間画像を適正に生成することが可能である。一方、加速度が変化するような移動を行う映像に対しては、滑らかに変化しない。ただし、動き量が小さい場合には、この補間画素の生成位置の誤差は目立ちにくいため、ほぼ劣化の無い好適な結果を得ることができる。モードＦの処理のために要するメモリアクセス量は２フレームである。

モードＧでは、ｎ番目のフレームとｎ−１番目のフレームとの間の補間画像として、ｎ番目のフレームからｎ−３番目のフレームの４フレームを読み出して対応点のブロックマッチングを行い、補間画像を作成する。この場合、ｎ番目のフレームとｎ−１番目のフレームとの間の中間フレームを、モードＦよりも精度の高い動きベクトルを用いて生成するため、モードＤ、Ｅと比較してより滑らかな動きの表示となる。また、複数のフレームを参照して動きベクトルを生成するため、モードＦと比較して、加速度が変化して移動するような映像に対しても、好適な補間画像を生成することができる。モードＧの処理のために要するメモリアクセス量は４フレームである。

特徴量判定部１０３は、特徴量取得部１０２で取得した矩形領域ごとの特徴量に応じて、第１の画像処理部７０１及び第２の画像処理部７０２の画像処理モードを選択する。ここで、第１の画像処理部７０１の処理によって矩形領域の特徴量が変化する場合は、第２の画像処理部７０２に設定する画像処理モードの設定の閾値判定に、第１の画像処理部７０１の処理結果を反映させる。本実施形態では、第１の画像処理部７０１にて入力画像のガンマカーブを変換する処理を実施するものとして、第２の画像処理部７０２の処理を判定する手法に関して説明する。

本実施形態においては、第１の画像処理部７０１は、入力画像のガンマカーブを急峻化する処理を実施する。図８は、第１の画像処理部７０１における入力画像及び出力画像のガンマカーブの一例を示す図である。特徴量取得部１０２で取得した明度の特徴量を使用して第２の画像処理部７０２で実施する画像処理モードを選択すると、第１の画像処理部７０１による処理の結果、第２の画像処理部７０２に入力される画像の特徴量との間に乖離が生じる。その結果、当初の想定と異なる画像処理モードが選択され、画質劣化が生じる可能性がある。

これを避けるため、本実施形態では、第１の画像処理部７０１の処理結果を第２の画像処理部７０２の画像処理モードの判定基準に反映させる。具体的には、図８（ａ）に示す明度の分類判定に使用する特徴量の閾値Ｔｈ１、Ｔｈ２を、図８（ｂ）に示すように第１の画像処理部７０１の処理に基づいて重みづけした閾値Ｔｈ１'、Ｔｈ２'に変更して判定を実施する。このように第１の画像処理部７０１は、画像処理後に入力画像のガンマカーブを急峻化して閾値を変更する。

特徴量判定部１０３は、特徴量取得部１０２より取得した特徴量、及び第１の画像処理部７０１に設定された設定値を基に、第２の画像処理部７０２に設定する画像処理モードを判定する。特徴量取得部１０２以降の処理によって特徴量が変化する場合には、前述の通り実施する画像処理の影響を画像処理の判定に用いる閾値Ｔｈにフィードバックした新たな閾値Ｔｈ'を、領域画像の特徴量の分類に使用する。

図９は、第２の画像処理部７０２に入力される画像の特徴量による分類と、第２の画像処理部７０２のモードＤ〜Ｇによって処理した映像の評価結果とを示す図である。第２の画像処理部７０２は、本判定に従って画像処理モードが設定される。

特徴量取得部１０２が特徴量を取得してから第２の画像処理部７０２に入力されるまでの間に特徴量を再度取得する手段を備えている場合には、第２の画像処理部７０２の画像処理モードを判定する際に、再取得した特徴量を用いてもよい。また、例えば第１の画像処理部７０１にて解像度の変換が実施される場合には、特徴量取得部１０２で取得した動きベクトルの大きさに関しても、拡大縮小率に合わせて分類判定式の閾値の再計算を実施してもよい。このように、各特徴量の閾値を処理に応じて変換することによって対応してもよい。

以上のように本実施形態によれば、最適な画質を得るモードで行う場合と同等の画質を得るために、入力画像の各領域の特徴量に基づく画質評価に応じてよりメモリアクセスの少ない画像処理モードを用いるようにした。これにより、従来手法より画質劣化を伴うことなく消費電力を削減することができる。また、本実施形態ではＩＰ変換処理とフレームレート変換処理との２種類に関して説明を行ったが、複数フレームを参照する超解像処理などの他の画像処理にも適用することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 入力走査変換部
１０２ 特徴量取得部
１０３ 特徴量判定部
１０４ 画像処理部
１０５ 出力走査変換部
１０６ メモリ

Claims (17)

1. 動画を構成する複数のフレームを取得するフレーム取得手段と、
   前記フレーム取得手段により取得される処理対象フレームに含まれる複数の部分領域それぞれの明るさに関する特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段により取得される部分領域の明るさに関する特徴量に基づいて、前記処理対象フレームの当該部分領域に対する画像処理に用いるフレームの数を決定する決定手段と、
   前記決定手段により前記複数の部分領域それぞれについて決定された数のフレームを用いて、前記複数の部分領域に対する前記画像処理を実行する処理手段とを有することを特徴とする画像処理装置。
2. 前記処理手段により実行される前記画像処理は、前記動画の画質を向上させるための処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記動画の画質に関する所定の評価値が閾値以上となるように、前記処理対象フレームの部分領域に対する前記画像処理に用いるフレームの数を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特徴量取得手段により取得される特徴量と、前記画像処理に用いるフレーム数と、前記所定の評価値とを対応付ける情報を保持する保持手段を有し、
   前記決定手段は、前記特徴量取得手段により取得される特徴量と、前記保持手段により保持される情報とに基づいて、前記処理対象フレームの部分領域に対する前記画像処理に用いるフレームの数を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記フレーム取得手段により取得される前記複数のフレームを記憶する記憶手段を有し、
   前記処理手段は、前記記憶手段により記憶された前記複数のフレームのうち、前記決定手段により決定された数のフレームを用いて、前記画像処理を実行することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記処理手段は、前記処理対象フレームの部分領域に対する前記画像処理を、前記処理対象フレームのみを用いる第１モード、前記処理対象フレームと別の１フレームとを用いる第２モード、及び前記処理対象フレームと２以上の別のフレームとを用いる第３モードを含む複数のモードのうち、前記決定手段により決定されたフレームの数に応じたモードによって行うことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記処理手段により実行される前記画像処理は、インターレース方式の動画をプログレッシブ方式の動画に変換するための処理であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記処理手段により実行される前記画像処理は、動画のフレームレートを増加させるための処理、及び動画の解像度を向上させるための処理の少なくとも何れかを含むことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
9. 前記決定手段は、前記処理対象フレームの部分領域に対する前記画像処理に用いるフレームの数を、前記特徴量取得手段より取得された当該部分領域の特徴量と当該部分領域に隣接する部分領域の特徴量とに基づいて決定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記決定手段は、前記特徴量取得手段により取得される部分領域の明るさに関する特徴量が第１の明るさを示す場合には、前記特徴量が前記第１の明るさよりも暗い第２の明るさを示す場合よりも、前記処理対象フレームの当該部分領域に対する前記画像処理に用いるフレームの数が多くなるように決定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記特徴量取得手段は、前記処理対象フレームに含まれる周波数成分に関する特徴量、及び前記処理対象フレームと前記複数のフレームに含まれる別のフレームとの差分に関する特徴量の少なくとも何れかをさらに取得し、
    前記決定手段は、前記特徴量取得手段により取得される複数の特徴量に基づいて、前記処理対象フレームの部分領域に対する前記画像処理に用いるフレームの数を決定することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記決定手段は、前記特徴量取得手段により取得される前記処理対象フレームの特徴量が所定の動き量よりも大きい動き量を示す場合には、前記特徴量が前記所定の動き量よりも小さい動き量を示す場合よりも、前記処理対象フレームに対する前記画像処理に用いるフレームの数が多くなるように決定することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記決定手段は、前記特徴量取得手段により取得される前記処理対象フレームの特徴量が所定量よりも少ない高周波成分の量を示す場合には、前記処理対象フレームに対する前記画像処理のために前記処理対象フレーム以外のフレームが用いられず、前記特徴量が前記所定量よりも多い高周波成分の量を示す場合には、前記処理対象フレームに対する前記画像処理のために前記処理対象フレーム以外のフレームが用いられるように決定することを特徴とする請求項１１に記載の画像処理装置。
14. 動画を構成する複数のフレームを取得するフレーム取得工程と、
    前記フレーム取得工程において取得される処理対象フレームに含まれる複数の部分領域それぞれの明るさに関する特徴量を取得する特徴量取得工程と、
    前記特徴量取得工程において取得される部分領域の明るさに関する特徴量に基づいて、前記処理対象フレームの当該部分領域に対する画像処理に用いるフレームの数を決定する決定工程と、
    前記決定工程において前記複数の部分領域それぞれについて決定された数のフレームを用いて、前記複数の部分領域に対する前記画像処理を実行する処理工程とを有することを特徴とする画像処理方法。
15. 前記処理工程において実行される前記画像処理は、インターレース方式の動画をプログレッシブ方式の動画に変換するための処理であることを特徴とする請求項１４に記載の画像処理方法。
16. 前記処理工程においては、前記処理対象フレームの部分領域に対する前記画像処理が、前記処理対象フレームのみを用いる第１モード、前記処理対象フレームと別の１フレームとを用いる第２モード、及び前記処理対象フレームと２以上の別のフレームとを用いる第３モードを含む複数のモードのうち、前記決定工程において決定されたフレームの数に応じたモードによって行われることを特徴とする請求項１４又は１５に記載の画像処理方法。
17. コンピュータを、請求項１乃至１３の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images