JP6276537B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、入力画像に対してフィルタ演算を行う画像処理装置、その制御方法、画像表示装置、及びその制御方法に関する。

近年のディスプレイ大画面化、高解像度化(例えば、４Ｋ２Ｋや８Ｋ４Ｋ)に対応するため、解像度変換等の画像処理の高画質化が求められている。この画像処理方法の一つに、２次元フィルタを使用した画像処理演算がある。フィルタ演算精度を上げる方法として、フィルタのタップ数を増やす方法があるが、タップ数の増加は演算回路やラインメモリの増加を招くという問題がある。このような回路規模増加の対策として、例えば特許文献１に、拡大前の画像データを複数フィールドの時間的に重み付けされた拡大画像データに変換する方法が開示されている。これは、各フィールドにおいて、隣接する画素を繰り返して表示し、複数フィールド間で時間積分を行うことで、各フィールドの繰返し画素の平均値を補間画素として表示するものである。これにより、ラインメモリやフリップフロップの削減を行っている。

特開平９−２１４８６４号公報

しかしながら、近年の大画面、高解像度化により高画質化が求められている現状では、特許文献１に示す方法は、隣接画素を繰り返して用いての時間平均演算である為、十分な画質を得ることは難しい。また、特許文献１に示す方法は、静止画における時間積分が前提の解像度変換であるため、動画のように、各フィールドで異なる映像が表示された場合には、時間積分による解像度変換ができない問題がある。

本発明は、上記問題に鑑みてなされたものであり、フィルタ演算を行う際に演算回路の規模を削減しつつ高画質な演算を行い、かつ、静止画と動画の双方に対応できる演算方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、１枚の入力画像に対してＮ枚のサブフレームを生成する生成手段と、前記入力画像が動画を構成する画像である場合、所定の空間サイズに対応するフィルタ係数群をその総和に偏りが生じるようにＭ（Ｍ＜＝Ｎ）個に分割し、当該分割に基づく分割フィルタ係数のそれぞれを前記Ｎ枚のサブフレームの何れかに割り当てる割当手段と、前記割当手段による割り当てに従って前記Ｎ枚のサブフレームに属する画素に対してフィルタ演算を行う演算手段と、前記演算手段によるフィルタ演算の結果に基づく処理済みサブフレームを出力する出力手段とを有することを特徴とする。

フィルタ演算を行う際に演算回路の規模を削減しつつ高画質な演算を行い、かつ、静止画と動画の双方に対応できる演算方法を提供することが可能となる。

第１実施形態による画像表示装置の一例を示すブロック図。 静止画の場合のフィルタ係数領域の割り当てを示す図。 静止画の場合の補間画素生成処理を説明する図。 １０×１０タップフィルタによる演算の概要を示す図。 第１実施形態による１０×１０タップフィルタによる演算の概要を示す図。 動画の場合のフィルタ係数領域の割り当てを示す図。 動画の場合の補間画素生成処理を説明する図。 第１実施形態による処理工程を示すフローチャート。 第２実施形態による画像表示装置の一例を示すブロック図。 動きを持つ動画の場合のフィルタ係数領域の割り当てを示す図。 フィルタ係数領域の割り当ての切り換えを説明する図。 第２実施形態による処理工程を示すフローチャート。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１実施形態］
第１実施形態について図を参照して説明する。図１は、第１実施形態による画像表示装置の回路構成の一例を示す図である。図１に示す回路は、Ｎ倍速駆動を行うフレームレート変換部１０１、フィルタ処理部１０２、フレームメモリ１１０、動き判定部１１１から構成されている。また、フィルタ処理部１０２は、２次元フィルタ１０３、サブフレーム番号カウント部１０４、割当領域決定部１０５、フィルタ係数記憶部１０６、フィルタ係数割当部１０７、画素範囲割当部１０８、演算結果Ｎ倍部１０９から構成されている。なお、２次元フィルタ１０３は、５×５タップの２次元固定参照範囲のフィルタリングを行う。

本実施形態による画像表示装置は、静止画と動画に適用可能である。まず、入力画像が静止画の場合の制御について説明する。フレームレート変換部１０１は、１フレームの画像が入力されると、この入力画像をＮ倍速変換し、Ｎ個のサブフレームに変換してフィルタ処理部１０２に入力する。なお、以下においてＮ＝４の場合について説明する。この場合、６０Ｈｚの入力画像は、フレームレート変換部１０１によって４倍の２４０Ｈｚに変換されてフィルタ処理部１０２へ入力される。フィルタ係数記憶部１０６は、１０×１０画素の参照範囲に対応する１０×１０タップフィルタ係数（フィルタ係数領域）を格納する。なお、２次元フィルタ１０３は、５×５タップの係数を用いて２次元フィルタリングを行う。動き判定部１１１は、入力画像について静止画／動画の判定を行う。動き判定部１１１による静止画／動画の判定は、周知のどのような手法を用いて行っても良い。割当領域決定部１０５は、動き判定部１１１による判定結果を基に、１０×１０タップのフィルタ係数領域をＭ個（Ｍ＜＝Ｎ）の画素群に分割し各サブフレームに割り当てる。

図２は、入力画像が静止画の場合のサブフレームへのフィルタ係数領域の割り当ての例を示している。図２では、一例として、所定のフィルタ係数特性として、解像度変換処理のフィルタ係数特性を有する場合のフィルタ係数を示している。本実施形態において、入力画像が静止画の場合は、各サブフレームのフィルタ係数値の総和が均等になるようフィルタ係数領域が割り当てられる。すなわち、第１〜第４サブフレームに対して、それぞれ図２の（１）〜（４）に示すようにフィルタ係数領域が割り当てられる。

フィルタ係数割当部１０７は、フィルタ係数記憶部１０６に格納されている１０×１０タップのフィルタ係数から、サブフレーム番号に応じた係数の領域を５×５タップのフィルタ係数として読み出す。すなわち、フィルタ係数割当部１０７は、割当領域決定部１０５でサブフレーム毎に割り当てられたフィルタ係数領域を読み出す。また、画素範囲割当部１０８は、フレームメモリ１１０に格納されている入力画像上で１０×１０画素の参照画素を特定し、その中から、サブフレーム番号に応じた領域を５×５画素を参照画素として読み出す。すなわち、画素範囲割当部１０８は、割当領域決定部１０５でサブフレーム毎に割り当てられたフィルタ係数領域に対応する５×５画素を読み出す。そして、２次元フィルタ１０３において、読み出したフィルタ係数と参照画素を用いてフィルタ演算を行って、サブフレーム毎に補間画素を生成する。このフィルタ演算による補間画素の生成処理について、図３を参照して説明する。

図３は、本実施形態によるサブフレーム毎の補間画素生成処理を説明する図である。図３において、入力画像上の１０×１０画素の参照画素のうち、範囲３０１〜３０４に示す５×５画素の範囲がそれぞれ第１〜第４サブフレームの参照画素として割り当てられる。また、図２の（１）〜（４）に示す５×５タップのフィルタ係数がそれぞれ第１〜第４サブフレームのフィルタ係数として割り当てられる。そして、２次元フィルタ１０３は、各サブフレームに割り当てられた参照画素及びフィルタ係数を使用して、サブフレーム毎に５×５タップのフィルタ演算を行う。演算結果は演算結果Ｎ倍部１０９において４倍されて、各サブフレームの補間画素３０５〜３０８として出力される。

第１サブフレームの補間画素生成処理について具体的に説明する。まず、範囲３０１に示す５×５画素の範囲が第１サブフレームの参照画素として割り当てられる。一方、フィルタ係数領域（１）に示す５×５タップのフィルタ係数領域が第１サブフレームのフィルタ係数として割り当てられる。２次元フィルタ１０３は、割り当てられた参照画素とフィルタ係数を使用して、５×５タップのフィルタ演算を行う。演算結果は演算結果Ｎ倍部１０９において４倍されて、第１サブフレームの補間画素３０５として出力される。第２〜第４サブフレームについても同様にしてフィルタ演算が行われ、演算結果が演算結果Ｎ倍部１０９において４倍されて、補間画素３０６〜３０８として出力される。

ところで、補間画素３０５〜３０８は画面上に連続して表示されるため、累積輝度視認効果により、１フレーム期間で見ると、人の目に視覚される補間画素値は、複数のサブフレームで連続表示される補間画素の画素値の平均値となる。つまり、累積輝度視認効果により、第１〜第４サブフレームについて算出された補間画素３０５〜３０８の画素値の平均値が、１フレーム期間の補間画素値として人の目に視覚される。上述したように、補間画素３０５〜３０８の画素値は５×５タップの２次元フィルタ１０３を用いて演算することができる。すなわち、補間画素３０５〜３０８の画素値の平均値は、５×５タップの２次元フィルタ１０３による演算と、平均値を算出するための演算によって求めることができる。この平均値は、以下に述べるように、５×５タップのフィルタよりも回路規模が大きい１０×１０タップのフィルタで算出した補間画素値と等しい。このことを、図４と図５を参照して説明する。

図４は、１０×１０タップのフィルタを用いた補間画素値の算出を説明する図である。図４（ａ）に１０×１０画素のフィルタ参照画素を示し、図４（ｂ）に１０×１０タップの２次元フィルタの構成を示し、図４（ｃ）に縦横２倍拡大後の補間画素４０１を示す。図４（ｃ）に示す補間画素４０１の補間画素値Ａを求めるために、図４（ａ）の１０×１０画素の参照画素に対して、図４（ｂ）に示す２次元フィルタによって、水平方向の１次元のフィルタ演算を行った後に垂直方向の１次元のフィルタ演算を行う。すなわち、補間画素４０１の補間画素値Ａは、１０×１０画素の周囲１００画素によって求められる。１０×１０タップのフィルタ演算を行うことにより、補間画素値Ａは式（１）のように表される。
…式（１）

ここで、式（１）の下段を＜１＞〜＜４＞に表す４つのブロックに分ける。そして、各ブロック＜１＞〜＜４＞それぞれを演算して得られる値を４倍した値を各サブフレームの出力画素値として出力する。各ブロックの演算結果を４倍する理由は、フレームレート変換部で４倍速駆動を行って４サブフレームを連続で表示した際に、累積輝度視認効果により、人の目に視覚される値は４サブフレームの平均値として視認されるためである。よって、所望のフィルタ演算値を人の目に視覚させるためには、各サブフレームの出力画素値としてフィルタ演算した値の４倍の値を出力する必要がある。

式（１）の＜１＞〜＜４＞を演算して得られる各サブフレームの演算結果それぞれを４倍した値は、各サブフレームの出力画素値として式（２）〜式（５）のように表される。
…式（２）
…式（３）
…式（４）
…式（５）

ここで特筆すべきことは、式（２）〜式（５）は、それぞれ５×５タップのフィルタに２ビットシフトを追加した回路で構成できることである。このことを図５を用いて説明する。図５は、式（２）〜式（５）の演算を５×５タップのフィルタによって演算する処理を説明する図である。例えば、式（２）は図５（ａ）に示すように５×５タップのフィルタに２ビットシフトを追加した回路で構成することができる。この回路におけるフィルタ参照画素は、図４（ａ）に示す１０×１０画素の参照画素の左上２５画素４０２となり、フィルタ係数は、図４（ｂ）に示す１０×１０タップのフィルタ係数の水平方向前半係数４０６（K0〜K4）、垂直方向前半係数４０８（L0〜L4）となる。

同様に、式（３）は図５（ｂ）に示すように５×５タップのフィルタに２ビットシフトを追加した回路で構成することができる。この回路におけるフィルタ参照画素は、図４（ａ）に示す参照画素の左下２５画素４０３となり、フィルタ係数は、図４（ｂ）に示すフィルタ係数の水平方向前半係数４０６（K0〜K4）、垂直方向後半係数４０９（L5〜L9）となる。式（４）と式（５）についても同様に、それぞれ図５（ｃ）と図５（ｄ）に示すように５×５タップのフィルタに２ビットシフトを追加した回路で構成することができる。同様に、図５（ｃ）と図５（ｄ）についても、それぞれの図４に示したような参照画素とフィルタ係数が用いられる。このように、５×５タップのフィルタを用いて第１〜第４サブフレームの補間画素値である出力画素値を算出することができる。また、Ｎ＝４でもＮ＝４以外でもあらかじめフィルタ係数をN倍した値を記憶することで処理を簡単にできる。

そして、前述した累積輝度視認効果により、図４（ｃ）に示す補間画素Ａの累積輝度値は、図５（ａ）〜（ｄ）で得られる各サブフレームの出力画素値の平均値として人の目に視認され、これは式（６）のように表される。
…（式６）

式（６）の演算結果は、式（１）に示す１０×１０タップのフィルタの演算結果に等しい。すなわち、５×５タップのフィルタを用いて、各サブフレーム毎に使用する参照画素及びフィルタ係数の切り替えを行って出力画素値を求め、これらの平均値を求めることにより、１０×１０タップのフィルタ演算結果と同じ結果を得ることができる。

このように、入力画像が静止画の場合、本実施形態によれば、１０×１０タップのフィルタ演算で得られる高精度の補間画素値を、５×５タップのフィルタ演算で得ることが可能となる。また、各サブフレームの係数が均等である為、後述する動画処理に比べてフリッカ（画面のちらつき）を抑制させることができる。

さらに、フィルタ処理部１０２と同様の回路を複数設けて、複数の補間画素値を求めたり、フィルタ処理部１０２から出力された補間画素値と元の入力画像の画素値との間で周知の補間方法を適用することにより、高解像度の拡大画像を表示することが可能となる。すなわち、図４（ｃ）における入力画像の画素間の補間画素値を求め、求めた補間画素値と元の入力画像とを併せて表示することで、高解像度の拡大画像を表示することが可能となる。

次に、入力画像が動画の場合の処理について説明する。入力画像が静止画の場合と比べてフィルタ係数領域の割り当ての処理が異なる。図１における動き判定部１１１による動き判定結果が動画である場合、この判定結果を基に、割当領域決定部１０５は、１０×１０のフィルタ係数領域を分割し、各サブフレームに割り当てる。図６は、入力画像が動画の場合のサブフレームへのフィルタ係数領域の割り当ての例を示している。図６では、一例として解像度変換処理のフィルタ係数特性を有する場合のフィルタ係数を示している。本実施形態において、入力画像が動画の場合は、各サブフレームのフィルタ係数値の総和に偏りがでるようフィルタ係数領域が割り当てられている。具体的には、第１〜第４サブフレームに対して、それぞれ図６の（１）〜（４）に示すようにフィルタ係数領域が割り当てられ、特に、最初のサブフレームに対してフィルタ係数領域の中心部分の領域が割り当てられる。このように、最初のサブフレームに割り当てられる係数を高くして、このサブフレームの輝度値を高くすることにより、擬似インパルス駆動表示を可能とする。すなわち、累積輝度視効果によって擬似的にフィルタタップ数の増加を行いつつ、動画の視認性を向上させることができる。

静止画の場合と同様に、画素範囲割当部１０８は、フレームメモリ１１０に格納されている入力画像上の１０×１０画素の参照画素を特定し、その中から、サブフレーム番号に応じた領域を５×５画素を参照画素として読み出す。すなわち、割当領域決定部１０５でサブフレーム毎に割り当てられたフィルタ係数領域に対応する５×５画素を読み出す。そして、２次元フィルタ１０３において、読み出したフィルタ係数と参照画素を用いてフィルタ演算を行って、サブフレーム毎に補間画素を生成する。このフィルタ演算による補間画素の生成処理について、図７を参照して説明する。

図７は、本実施形態による補間画素生成処理を説明する図である。図７において、入力画像上の１０×１０画素の参照画素のうち、範囲７０１に示す５×５画素の範囲が第１サブフレームの参照画素として割り当てられる。また、範囲７０２と７０３、７０４と７０５、７０６と７０７が併せて示す５×５画素の範囲がそれぞれ第２〜第４サブフレームの参照画素として割り当てられる。また、図６の（１）〜（４）に示す５×５タップのフィルタ係数がそれぞれ第１〜第４サブフレームのフィルタ係数として割り当てられる。そして、２次元フィルタ１０３は、各サブフレームに割り当てられた参照画素及びフィルタ係数を使用して、サブフレーム毎に５×５タップのフィルタ演算を行う。演算結果は演算結果Ｎ倍部１０９において４倍されて、各サブフレームの補間画素７０８〜７１１として出力される。

第１サブフレームの補間画素生成処理について具体的に説明する。まず、範囲７０１に示す５×５画素の範囲が第１サブフレームの参照画素として割り当てられる。一方、フィルタ係数領域（１）に示す５×５タップのフィルタ係数領域が第１サブフレームのフィルタ係数として割り当てられる。２次元フィルタ１０３は、割り当てられた参照画素とフィルタ係数を使用して、５×５タップのフィルタ演算を行う。演算結果は演算結果Ｎ倍部１０９において４倍されて、第１サブフレームの補間画素７０８として出力される。第２〜第４サブフレームについても同様にしてフィルタ演算が行われ、演算結果が演算結果Ｎ倍部１０９において４倍されて、補間画素７０９〜７１１として出力される。

第１サブフレームの補間画素７０８は、フィルタ係数値が高い為、他のフレームよりも明るい画素として表示される。一方、第２〜第４サブフレームの補間画素７０９〜７１１は、フィルタ係数値が低い為、暗い画素として表示される。その結果、図７では第１サブフレームが明るい画素として表示され、擬似インパルス駆動表示となり、動画の視認性が向上する。累積輝度視認効果を利用してタップ数を擬似的に増加できる理由は、上記入力画像が静止画の場合に述べた理由と同様である。

なお、本実施形態では入力画像を４倍速変換する例を示したが、Ｎ倍速の場合でも同様の効果が得られる。すなわち、サブフレーム数に応じて、フィルタ参照画素とフィルタ係数の分割領域を変更することで、演算に係るフィルタのタップ数を抑えながら、フィルタ係数のタップ数を擬似的に拡張することができる。また、本実施形態では、分割したフィルタ領域が各サブフレームで隣接しているが、フィルタ領域が各サブフレーム間で一部、または全て重なるように参照範囲を拡張したフィルタ係数を分割しても構わない。

次に、上述した一連の処理方法を、図８のフローチャートを用いて説明する。まず、サブフレーム番号カウント部１０４において、ｎを１に初期化する（Ｓ１０１）。ここでｎは現在のサブフレームの順番を示し、以降の画像処理演算がｎサブフレーム目の入力画素に対して行われることを示す。この初期化は、フレームレート変換部１０１が入力画像を４倍速変換する場合、最初の第１サブフレームが入力されたタイミング、もしくは、第４サブフレームの処理が終了したタイミングで行われる。次に、画素範囲割当部１０８は、演算対象画素位置の初期化を行う（Ｓ１０２）。例えばラスタスキャンの場合は、表示画面の１番左上の画素位置に初期化される。次に、動き判定部１１１は、入力画像が動画か静止画かを判断する（Ｓ１０３）。すなわち、動き判定部１１１は、演算対象画素の算出を行う際に参照する画素領域が、動画か静止画かを判断する。Ｓ１０３において、静止画と判断された場合には（Ｓ１０３のＮｏ）、割当領域決定部１０５は、図２のようにフィルタ係数値が各サブフレームにおいて均等になるよう、フィルタ係数記憶部１０６に格納されたフィルタ係数領域を各サブフレームに割り当てる（Ｓ１０４）。一方、動画と判断された場合には（Ｓ１０３のＹｅｓ）、割当領域決定部１０５は、図６のようにフィルタ係数値の総和が各サブフレーム間で偏りがでるよう、フィルタ係数記憶部１０６に格納されたフィルタ係数領域を各サブフレームに割り当てる（Ｓ１０５）。

次に、フィルタ係数割当部１０７において、サブフレームｎに対応したフィルタ係数を選択して、２次元フィルタ１０３へ出力する（Ｓ１０６）。また、画素範囲割当部１０８において、サブフレームｎに対応した参照画素を選択して、２次元フィルタ１０３へ出力する（Ｓ１０７）。具体的には、入力画像が静止画の場合は、、画素範囲割当部１０８は、第１〜第４サブフレームに対してそれぞれ図３の範囲３０１〜３０４を選択し、順に２次元フィルタ１０３へ出力する。また、入力画像が動画の場合は、画素範囲割当部１０８は、第１〜第４サブフレームに対してそれぞれ図７の範囲７０１、７０２と７０３のセット、７０４と７０５のセット、７０６と７０７のセットを選択し、順に２次元フィルタ１０３へ出力する。なお、Ｓ１０６とＳ１０７の順は逆としても構わない。そして、２次元フィルタ１０３において、Ｓ１０６とＳ１０７でそれぞれ選択されたフィルタ係数と参照画素を使用してフィルタ演算を行う（Ｓ１０８）。演算結果Ｎ倍部１０９は、フィルタ演算結果を、累積輝度視認効果による平均化を考慮し倍速数に応じて４倍して出力する（Ｓ１０９）。その後、画素範囲割当部１０８は演算対象画素位置の移動を行い（Ｓ１００）、さらに１サブフレーム全ての画素に対しての演算が終了したかどうかの判断を行う（Ｓ１１１）。演算が終了していない場合（Ｓ１１１のＮｏ）は、処理はＳ１０３に戻り、演算が終了した場合（Ｓ１１１のＹｅｓ）は、サブフレーム番号カウント部１０４においてｎをカウントアップする（Ｓ１１２）。サブフレーム番号カウント部１０４は、１フレーム内の全てのサブフレームに対して演算が終了したかどうかの判断を行い（Ｓ１１３）、終了していない場合には（Ｓ１１３のＮｏ）、処理はＳ１０２に戻り、次のサブフレームに対しての演算を開始する。終了した場合には（Ｓ１１３のＹｅｓ）、処理はＳ１０１に戻り、サブフレーム番号カウント部１０４においてｎを１に初期化して次のフレームに対しての処理を行う。

以上、本実施形態によれば、累積輝度視認効果を利用して、サブフレーム毎にフィルタ演算範囲を割り当てることで、回路規模を増やすことなくフィルタ演算のタップ数を擬似的に増やすことができる。タップ数の擬似的な増加率は、Ｎ倍速時には最大√Ｎ倍に増やすことができる。言い換えれば、所望のフィルタサイズの演算を行うにあたり、演算回路量を最大1/√Ｎ倍に削減することが可能となる。本実施形態では４倍速であるため、フィルタのタップ数は５×５タップから１０×１０タップに２倍に拡張される。回路規模の面で見れば、１０×１０タップのフィルタ演算を行うにあたり、約１/２の回路量で実装が可能となる。さらに、静止画の場合は、各サブフレームで係数の総和が均等になるように割り当てることでフリッカを抑制し、動画の場合は、フィルタ係数値の総和に偏りがでるよう割り当てることで動画の視認性を向上させることができる。

［第２実施形態］
第２実施形態について図を参照して説明する。図９は、本実施形態による画像表示装置の回路構成の一例を示す図である。図９は、図１の回路と比較して、動きベクトル検出部９０１と輝度計測部９０２が加わった点で異なる。本実施形態では、動き判定部１１１の判定結果と、動きベクトル検出部９０１の検出結果と、輝度計測部９０２の計測結果を基に、割当領域決定部１０５において、フィルタ係数値の総和の偏りを調整するように、１０×１０画素の参照範囲を分割し、各サブフレームに割り当てる。

具体的には、動き判定部１１１による動き判定結果が静止画である場合は、動画視認性を向上させる必要は無いため、第１実施形態と同様とする。すなわち、割当領域決定部１０５は、図１１（ｃ）に示すように各サブフレームでフィルタ係数が均等になるよう割り当てを行い、フリッカ抑制を優先する。一方、動き判定結果が動画である場合は、動きベクトル検出部９０１による検出結果に応じて、割当領域決定部１０５は以下の処理を行う。

まず、動き量が小さい場合は、割当領域決定部１０５は、図１０と図１１（ｂ）に示すように２つのサブフレームに高いフィルタ係数が集中するよう分割する。これは、図１１（ｃ）に示すフリッカを抑制する分割方法と、図１１（ａ）に示す動画視認性を向上させる方法の中間的な分割な方法となる。動き量が少ない為、高いフィルタ係数を２つのサブフレームに分散させ、擬似インパルス駆動の効果を抑え、フリッカを抑制する。さらに、横方向にスクロールする画像の場合は、割当領域決定部１０５は、図１０（ａ）（ｂ）に示すように、２サブフレームの領域が横方向に並ぶよう割り当てる。また、縦方向にスクロールする画像の場合は、割当領域決定部１０５は、図１０（ｃ）（ｄ）に示すように、２サブフレームの領域が縦方向に並ぶよう割り当てる。

このように、画像の動きの方向に合わせてフィルタ領域の分割領域を決定する。次に、動き量が大きい場合は、輝度の計測結果に応じて以下の処理を行う。まず、計測領域内の輝度が低い場合には、図１１（ａ）に示すように１つのサブフレームに高い係数が集中するよう割り当てる。次に、輝度が高い場合には、図１１（ａ）のように割り当てるとフリッカが目立つ場合がある為、図１１（ｂ）のように２つのサブフレームに高いフィルタ係数を分散させ表示する。

次に、上記した一連の処理方法を、図１２のフローチャートを用いて説明する。Ｓ２０１〜Ｓ２０２、Ｓ２１０〜Ｓ２１７の処理は、図１のＳ１０１〜Ｓ１０２、Ｓ１０６〜Ｓ１１３の処理と同様のため、説明を省略する。したがって、処理Ｓ２０３〜Ｓ２０９について説明する。Ｓ２０３において、割当領域決定部１０５は、動き判定部１１１と動きベクトル検出部９０１と輝度計測部９０２が出力する結果に基づいて、フィルタ係数記憶部１０６に格納されたフィルタ係数領域を各サブフレームに割り当てる。静止画と判断された場合には（Ｓ２０３のＮｏ）、割当領域決定部１０５は、フィルタ係数が各サブフレームにおいて均等になるよう演算領域の割り当てを行う（Ｓ２０４）。動画と判断された場合には（Ｓ２０３のＹｅｓ）、割当領域決定部１０５は、動きベクトル検出部９０１において検出した動きベクトルから動き量を検出する。動き量が小さい場合には（Ｓ２０５のＮｏ）、割当領域決定部１０５は、２つのサブフレームにフィルタ係数が集中するよう演算領域の割り当てを行い、動画の視認性よりもフリッカの抑制を優先させる（Ｓ２０６）。動き量が大きい場合には（Ｓ２０５のＹｅｓ）、割当領域決定部１０５は、輝度計測部９０２において輝度を計測し、輝度値が高い場合には（Ｓ２０７のＮｏ）２つのサブフレームにフィルタ係数が集中するよう演算領域の割り当てを行い、画面が明るいことによるフリッカの抑制を優先させる（Ｓ２０８）。輝度値が低い場合には（Ｓ２０７のＹｅｓ）、割当領域決定部１０５は、１つのサブフレームにフィルタ係数が集中するよう演算領域の割り当てを行い、動画の視認性向上を優先させる（Ｓ２０９）。

以上、本実施形態によれば、動きの有無、動きベクトル量と向き、輝度の計測結果から、フィルタ参照領域の割り当て領域を決定することで、累積輝度視認効果を利用したフィルタタップ数の増加を行いつつ、フリッカの抑制と動画視認性を向上させることができる。

このように、本発明によれば、フィルタのタップ数の増加を抑えた上で、フィルタ演算精度を上げることができる、また、入力画像が静止画か動画によって、フィルタに使う係数の使用法を変えることにより、高画質な画像を提供することが可能となる。

Claims (10)

1. １枚の入力画像に対してＮ枚のサブフレームを生成する生成手段と、
   前記入力画像が動画を構成する画像である場合、所定の空間サイズに対応するフィルタ係数群をその総和に偏りが生じるようにＭ（Ｍ＜＝Ｎ）個に分割し、当該分割に基づく分割フィルタ係数のそれぞれを前記Ｎ枚のサブフレームの何れかに割り当てる割当手段と、
   前記割当手段による割り当てに従って前記Ｎ枚のサブフレームに属する画素に対してフィルタ演算を行う演算手段と、
   前記演算手段によるフィルタ演算の結果に基づく処理済みサブフレームを出力する出力手段とを有することを特徴とする画像処理装置。
2. 前記演算手段によるフィルタ演算に応じて得られるフィルタ済み画素データをＮ倍するＮ倍手段を有し、
   前記出力手段は、前記Ｎ倍手段によりＮ倍された結果を前記処理済みサブフレームとして出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像が動画であるか静止画であるかを判定する判定手段を有し、
   前記判定手段により入力画像が静止画であると判定された場合、
   前記フィルタ係数領域は、前記分割フィルタ領域のそれぞれのフィルタ係数の総和が均等になるように分割されることを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像が動画を構成する画像である場合、
   前記割当手段は、前記入力画像から生成されるＮ枚のサブフレームのうち第１サブフレームに割り当てられるフィルタ係数領域に含まれるフィルタ係数の総和が、前記Ｎ枚のサブフレームのうち前記第１サブフレームより後の第２サブフレームに割り当てられるフィルタ係数領域に含まれるフィルタ係数の総和よりも高くなるように、前記フィルタ係数領域を分割して割り当てることを特徴とする請求項１に記載の画像処理装置。
5. 前記入力画像が動画を構成する画像であり、且つ、該動画における動きの量が閾値よりも小さい場合、
   前記割当手段は、前記入力画像から生成されるＮ枚のサブフレームのうち連続する第１及び第２サブフレームに割り当てられるフィルタ係数領域に含まれるフィルタ係数の総和が、前記Ｎ枚のサブフレームのうち前記第２サブフレームより後のサブフレームに割り当てられるフィルタ係数領域に含まれるフィルタ係数の総和よりも高くなるように、前記フィルタ係数領域を分割して割り当てることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 該動画が横方向にスクロールする画像の場合、
   前記割当手段は、前記第１及び第２サブフレームに割り当てられるフィルタ係数領域が横方向に並ぶように前記フィルタ係数領域を割り当てることを特徴とする請求項５に記載の画像処理装置。
7. 該動画が縦方向にスクロールする画像の場合、
   前記割当手段は、前記第１及び第２サブフレームに割り当てられるフィルタ係数領域が縦方向に並ぶように前記フィルタ係数領域を割り当てることを特徴とする請求項５に記載の画像処理装置。
8. 前記出力手段は、前記演算手段によるフィルタ演算の結果に基づく処理済みサブフレームを、画像を表示する表示部に対して出力することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記演算手段が実行するフィルタ処理は、前記入力画像の解像度を向上させるために前記Ｎ枚のサブフレームの画素値から補間画素値を決定するためのフィルタ処理であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. １枚の入力画像に対してＮ枚のサブフレームを生成する工程と、
    前記入力画像が動画を構成する画像である場合、所定の空間サイズに対応するフィルタ係数群をその総和に偏りが生じるようにＭ（Ｍ＜＝Ｎ）個に分割し、当該分割に基づく分割フィルタ係数のそれぞれを前記Ｎ枚のサブフレームの何れかに割り当てる工程と、
    前記割り当てる工程における割り当てに従って前記Ｎ枚のサブフレームに属する画素に対してフィルタ演算を行う工程と、
    前記フィルタ演算の結果に基づく処理済みサブフレームを出力する工程とを有することを特徴とする画像処理方法。