JP4799225B2 - 画像処理装置および画像表示方法 - Google Patents

Description

本発明は、ドットマトリクス型表示装置の空間解像度よりも高い空間解像度の入力画像信号が入力される表示システムに用いて好適な画像処理装置および画像表示方法に関する。

赤、緑、青の三原色のいずれかを発光可能な複数のＬＥＤ（Light-Emitting Diode：発光ダイオード）をドットマトリクス状に配列した大型ＬＥＤ表示装置がある。すなわち、この表示装置の各画素は赤、緑、青のいずれか一色を発光可能なＬＥＤを備えている。しかし、１つあたりのＬＥＤの素子サイズは大きいため、大型表示装置であっても、高精細化は難しく、空間解像度は余り高くない。そのため表示装置よりも高い解像度を持つ入力画像信号を表示するためにはダウンサンプリングを必要とするが、折り返しによるちらつきは画質を著しく劣化させるため、プリフィルタとしてローパスフィルタを通すのが一般的である。当然ではあるが、ローパスフィルタにより高域を減らしすぎると、かえって画像がぼけてしまい視認性は悪くなる。

一方、ＬＥＤ表示装置はＬＥＤ素子の応答特性が非常に速く（０ｍｓに近い）、また輝度を確保するため、通常同じ画像を複数回リフレッシュして表示を行っている。例えば通常入力画像信号のフレーム周波数は６０Ｈｚであるが、ＬＥＤ表示装置のフィールド周波数は１０００Ｈｚに及ぶ。このように、解像度は低いがフィールド周波数が高いことが特徴となる。

ＬＥＤ表示装置の高解像度化手法として、例えば特許第３３９６２１５号公報（特許文献１）では次の手法で改善を試みている。まず、表示装置の各ランプ（表示素子）と、入力画像上の画素（１つの画素が赤、緑、青の３つの色成分を有する）とを１対１に応付ける。そして、１フレーム期間を４つのフィールド（以下、サブフィールドと呼ぶ）期間に分けて表示する。

第１サブフィールド期間では、各ランプは、そのランプに対応する画素の画素値のうち、そのランプと同じ色の成分の値に基づいて駆動される。第２サブフィールド期間では、そのランプに対応する画素の右にある画素の同じ色の成分の値に基づいて駆動される。第３サブフィールド期間では、そのランプに対応する画素の右下にある画素の同じ色の成分に基づいて駆動される。第４サブフィールド期間では、そのランプに対応する画素の下にある画素の同じ色の成分に基づいて駆動される。

すなわち、特許文献１の手法では入力画像の情報をサブフィールド期間ごとに間引き方を変えて時系列的に高速表示することで、入力画像すべての情報を表示しようと試みている。
特許第３３９６２１５号公報

しかしながら、特許文献１の手法では、入力画像のコンテンツに関わらず、常に一定の間引き方で各サブフィールド期間での表示を行っているため、入力画像のコンテンツによっては、動画の画質が大きく変動することが、本発明者らによる実験から明らかになった。

本発明は、ドットマトリクス型表示装置の空間解像度よりも高い空間解像度の入力画像信号が入力される表示システムにおいて動画を鮮明に表示可能な画像処理装置および画像表示方法を提供する。

本発明の一態様としての画像処理装置は、１つまたは複数の色成分を有する画素を複数有する入力画像の各フレームを、各々単一色を発光する複数の表示素子を有するドットマトリクス型表示装置に表示する画像処理装置であって、前記入力画像から、少なくとも、前記入力画像内のオブジェクトの移動方向を抽出する画像特徴抽出部と、前記オブジェクトの移動方向に基づき、１フレームの前記入力画像に対して、サブフィールドごとに、前記入力画像の空間的に異なる画素を選択して、前記表示装置の画素に対応させる解像度変換を行なうＫ個のフィルタに順位付けを行ない、前記Ｋ個のフィルタの各々によって生成されるＫ個のサブフィールド画像の表示順序を設定するフィルタ条件設定部と、前記Ｋ個のフィルタの各々を用い、１フレームの前記入力画像に対して、前記解像度変換のフィルタ処理を行って、前記Ｋ個のサブフィールド画像を生成するフィルタ処理部と、前記入力画像の１フレーム期間において、生成された前記Ｋ個のサブフィールド画像を、設定された前記表示順序にしたがって前記表示装置に表示することにより、１つのフレーム画像を生成する画像表示制御部と、を備える。

本発明の一態様としての画像表示方法は、１つまたは複数の色成分を有する画素を複数有する入力画像の各フレームを、各々単一色を発光する複数の表示素子を有するドットマトリクス型表示装置に表示する画像表示方法であって、前記入力画像から、少なくとも、前記入力画像内のオブジェクトの移動方向を抽出し、
前記オブジェクトの移動方向に基づき、１フレームの前記入力画像に対して、サブフィールドごとに、前記入力画像の空間的に異なる画素を選択して、前記表示装置の画素に対応させる解像度変換を行なうＫ個のフィルタに順位付けを行ない、前記Ｋ個のフィルタの各々によって生成されるＫ個のサブフィールド画像の表示順序を設定し、前記Ｋ個のフィルタの各々を用い、１フレームの前記入力画像に対して、前記解像度変換のフィルタ処理を行って、前記Ｋ個のサブフィールド画像を生成し、前記入力画像の１フレーム期間において、生成された前記Ｋ個のサブフィールド画像を、設定された前記表示順序にしたがって前記表示装置に表示することにより、１つのフレーム画像を生成する。

本発明によれば、ドットマトリクス型表示装置の空間解像度よりも高い空間解像度の入力画像信号が入力される表示システムにおいて動画を鮮明に表示可能になる。

以下に、ドットマトリクス型表示装置の代表例であるＬＥＤ（Light-Emitting Diode：発光ダイオード）表示装置を中心に、図面を参照しつつ本発明の実施形態を詳細に説明する。本発明の実施形態は、１フレーム期間をＫ個に分割した各サブフィールド期間についてそれぞれ入力画像に対し異なったフィルタ処理を行ってサブフィールド画像を生成し、生成した各サブフィールド画像をフレーム周波数のＫ倍の速さで表示することをベースとしている。以下では、このように時間方向に（サブフィールド期間毎に）異なるフィルタ処理を行うことを時変型フィルタ処理と呼び、この時変型フィルタ処理で用いるフィルタを時変型フィルタと呼ぶ。なお、本発明の対象とする表示装置は、ＬＥＤ表示装置に限定されるものではなく、本発明は、空間解像度は高くないがフィールド周波数が高い表示装置全般に有効な手法ある。

（第１の実施形態）
図１は本発明にかかわる画像処理システムの構成図である。

入力画像信号はフレームメモリ１００に保存された後、画像特徴抽出部１０１へ送られる。

画像特徴抽出部１０１は、コンテンツ内のオブジェクト動き方向、速度、およびオブジェクトの空間周波数など画像の特徴を１つのフレーム画像、あるいは複数のフレーム画像間から求める。よって、フレームメモリは複数設けられる場合もある。

サブフィールド画像生成部１０２におけるフィルタ条件設定部１０３は、画像特徴抽出部１０１によって抽出された画像の特徴に基づき、１フレーム期間を複数（ここでは４つ）に分割した第１〜第４サブフィールド期間についてそれぞれ用いるべき第１〜第４フィルタを決定し、第１〜第４フィルタをサブフィールド１乃至４用フィルタ処理部（SF1乃至SF4 用フィルタ処理部）１０４（１）〜１０４（４）に渡す。より詳細には、フィルタ条件設定部１０３は、画像特徴抽出部１０１によって抽出された画像の特徴に基づき４つのフィルタに順位付けを行って４つのフィルタの各々によって生成される各画像の表示順序を設定し、表示順序の順にならべた第１〜第４フィルタをSF1乃至SF4 用フィルタ処理部１０４（１）〜１０４（４）に渡す。SF1乃至SF4 用フィルタ処理部１０４（１）〜１０４（４）は、フィルタ条件設定部１０３から渡された第１〜第４フィルタにしたがって入力フレーム画像へフィルタ処理を施し、第１〜第４サブフィールド画像を生成する（時変型フィルタ処理）。ここで、サブフィールド画像とは１枚のフレーム画像を時間方向に分割した画像であり、サブフィールド画像の時間方向の足し合わせが１枚のフレーム画像に相当する。SF0乃至SF3 用フィルタ処理部１０４（１）〜１０４（４）によって生成された第１〜第４サブフィールド画像は画像信号出力部１０５へ送られる。

画像信号出力部１０５は、画像信号出力部１０５から受け取った第１〜第４サブフィールド画像をフィールドメモリ１０６へ送る。ＬＥＤ駆動回路１０７は、フィールドメモリ１０６から１フレームに相当する第１〜第４サブフィールド画像を読み出し、これらのサブフィールド画像を第１〜第４の順に表示パネル（ドットマトリクス型表示装置）１０８に１フレーム期間で表示する。すなわち、フレーム周波数×サブフィールド数（本実施形態ではサブフィールド数は４）の速さで表示する。画像信号出力部１０５、フィールドメモリ１０６およびＬＥＤ駆動回路１０７は例えば画像表示制御部に相当する。

本実施形態では１フレーム期間を４つのサブフィールド期間に分割する例を示しているため、SF用フィルタ処理部も４つ設けたが、SF0乃至SF3用フィルタ処理をそれぞれ時系列に行ってよいのであれば（並列処理を行う必要がないのであれば）SF用フィルタ処理部の数は１つであっても良い。

本実施形態の特徴は画像特徴抽出部１０１およびサブフィールド画像生成部１０２にあるが、これらについて詳細に説明するに先立ち、以下ではまず、時変型フィルタ処理におけるフィルタ条件が動画質に及ぼす影響について説明する。

説明を簡単にするために、図２に図示の通り、入力画像を４Ｘ４画素とし、画素の各々が、赤色（R）、緑色（G）、青色（B）について画像情報を持つとする。一方、表示パネルは４×４の表示素子（発光素子）を有するとし、入力画像における１つの画素（RGB１セット）が、表示パネルにおける１つの表示素子に対応するとする。１つの表示素子はRGBのいずれか一色のみ発光可能であり、例えば赤色LED、緑色LED、青色LEDのいずれかから構成される。よってこの例では入力画像における２Ｘ２画素を取ってみると（枠内を参照）、この２Ｘ２画素が、R１ 個・G２ 個・B１ 個のLEDドット構成に変換される。このように、RおよびBに関しては空間解像度が１／４に、Gに関しては１／２に減らされるため、表示にあたっては色毎のサブサンプリングを行う必要がある。一般的には折り返しが発生しないように前処理としてローパスフィルタを入力画像に施す処理を行う。

時変型フィルタ処理の一般形として、入力画像（原画）に対してフィルタのかける空間的な位置（位相）を変えて各サブフィールド画像を作成する。例えば１フレーム期間（１／６０秒）を４つのサブフィールド期間に分割し、１／２４０秒毎にサブフィールド画像を切り替えて表示する場合は、入力画像に対してフィルタのかける位置がサブフィールド期間毎に異ならせたサブフィールド画像を、４枚作成することになる。以下では、フィルタをかける空間的な位置を変えることをフィルタのシフトと呼び、フィルタの空間的な位置を変える方法をフィルタのシフト方法と呼ぶ。

図３に一例を示すとおり、フィルタのシフト方法は、複数考えられる。図３（ａ）のように入力画像におけるある２Ｘ２画素の各画素位置に番号付けを行うと、１２３４シフト方式では図３（ｂ）のように、１，２，３，４の順に画素を選択する。具体的に、１の位置に対応する表示パネルの表示素子では、２Ｘ２画素の１，２，３，４の位置における該表示素子の色成分がこの順番でフレーム周波数の４倍で表示（発光）される。

同様に図３（ｃ）のように、４３１２シフト方式では、４，３，１，２の順に画素を選択する。具体的に、１の位置に対応する表示パネルの表示素子では、２Ｘ２画素の１，２，３，４の位置における該表示素子の色成分が４，３，１，２の順番でフレーム周波数の４倍で表示される。

図３（ｄ）は、２×２の固定型フィルタ（以下では２Ｘ２固定型と呼ぶ）によるフィルタ処理を説明するものである。２Ｘ２固定型フィルタ処理では、全サブフィールドにおいて１，２，３，４の位置の４画素の均等平均を取る。例えば、１の位置に対応する表示パネルの表示素子では、２Ｘ２画素の１，２，３，４の位置における色成分（該表示素子の色成分）の平均が、フレーム周波数の４倍で発光される。

以下、時変型フィルタ処理を行った場合の視覚効果について本発明者らによる検証結果を説明する。

図４は、１画素分の線幅をもつ静止画像（テスト画像１）が入力された場合において、表示パネルに表示される画像を、サブフィールド単位で２フレームにわたって示したものである。ここでは、図２のＬ１で示すラインの各画素（１画素分の幅をもつ線状画像）が入力され、各画素は白色（例えばＲＧＢの全てが同一のある輝度をもつ）とする。フレーム周波数は６０Ｈｚとする。参照符号Ｄは４Ｘ４の表示パネルを模式的に示す。表示パネルＤは４つの区間に区分され、１つの区間は、図２の表示パネルにおける縦１ラインに相当する。ハッチング部分は、表示パネルにおいて点灯表示された部分（縦１ラインの４つの発光素子が点灯）を表している。図４において、図の下の方向が時間経過方向であり、図中に示す破線ベクトルは各サブフィールドでの視線位置を示す。静止画では視線が移動しないため、時間の経過と共に視線は一定の位置を示し、破線ベクトルの横方向成分は変動しない。

図４（ｂ）の＜固定型＞は、１Ｘ１の固定型フィルタ処理を行った場合を示す。この処理では、各サブフィールドにおいて、表示パネル上の各表示素子は、自身と同じ位置の入力画像上の画素に基づき発光する。すなわち、各表示素子に対応するサンプリング点が一箇所になるため、ＲとＧもしくはＧとＢのみが光ることになる（図２参照）。上述のように本例では図２のＬ１で示すラインの各画素が入力されため、Ｌ２のラインにおける各表示素子（ＧとＢの表示素子）が各サブフィールドで点灯される。すなわちＬ２の位置に、図４（ｂ）に示すように、シアン（ＧとＢが混ざって見える）の縦線が表示される（以下、ピッチの細かい右上がりのハッチングはシアンを示すものとする）。入力画像は白色であるのに対し出力画像はシアンとなる。このような色の偏りを以下では色づきと表現する。

図４（ｃ）の＜２Ｘ２固定型＞は、２Ｘ２の固定型フィルタ処理を行った場合を示す。２Ｘ２の固定型フィルタ処理では、各サブフィールドにおいて１，２，３，４の位置の４画素の均等平均を取る（表示パネル上の表示素子と同じ位置の入力画像上の画素を位置１とする）。図２におけるＬ２およびＬ３で示すラインが図４（ｃ）に示すように各サブフィールドにわたって表示される。Ｌ２およびＬ３のラインで表示される縦線がまざって見えるため、線幅２ラインの白色の縦線が視認されることとなる。図４（ｃ）において、ピッチの荒い右下がりのハッチング（左側）はシアンであるが、その輝度は＜固定型＞に示したシアンの半分の輝度であるとする。ピッチの粗い右上がりのハッチング（右側）はイエローであるが、その輝度は以下の＜時変型＞で示すイエローの半分の輝度であるとする（以下同様）。

図４（ａ）の＜時変型＞は、１２３４シフト方式を用いた時変型フィルタ処理を行った場合を示す。１２３４方式の時変型フィルタ処理をＵ字型フィルタ処理と呼ぶこともある。第１サブフィールドで位置１の画素が選択され、第２サブフィールドで位置２の画素が選択され、第３サブフィールドで位置３の画素が選択され、第４サブフィールドで位置４の画素が選択される。表示パネル上の表示素子と同じ位置の入力画像上の画素の位置を１とする。したがって、図２のＬ２で示すＧおよびＢのラインは第１サブフィールドと第２サブフィールドで点灯してシアンが表示され、第３サブフィールドと第４サブフィールドでは点灯しない（図４（ａ）参照）。一方、Ｌ２の左隣のＬ３で示すＲとＧのラインでは、第１サブフィールドと第２サブフィールドでは点灯しないが、第３サブフィールドと第４サブフィールドでは点灯してイエローが表示される（以下、ピッチの細かい右下がりのハッチングはイエローを示す）。よって、シアンの縦線に対し、イエローの縦線がずれて表示されることになる。静止画ではシアンの縦線とイエローの縦線が高速（６０Ｈｚフリッカ）に切り替わるため、これら２ラインの縦線がまざって、線幅２ラインの白色の縦線が視認される。これは図４（ｃ）に示している＜２×２固定型＞とほぼ同じ画像が視覚されることを意味する。

以上と同様の考察を、線幅１で左から右へ１画素動く動画について行う。図５は、１画素分の線幅の縦線が１画素右へ移動する動画（テスト画像２）が入力される場合において、表示パネルに表示される画像をサブフィールド単位で２フレームにわたって示している。ここでは図２のＬ１およびＬ４で示されるラインの画像がＬ１およびＬ４の順で、入力されたとする。

図５（ａ）〜図５（ｃ）において、表示パネルにおける点灯位置の時間的推移は、第２フレームにおいて点灯ラインが１ライン右側に移動することを除き、図４と同様である。図４と大きく異なるのは視線の移動である。人は縦線が左から右へ移動していると思うため、視線を左から右へ移動させる。つまり、破線ベクトルの横方向成分に沿って視線を移動させることになり、図５（ｂ）の＜固定型＞ではシアンの線とイエローの線が重なった状態で見える。よって、１画素分の線幅の白色縦線として視認される。これは図５（ｃ）の＜２×２固定型＞よりも線幅が狭く（図５（ｃ）では１画素分の線幅よりも太い白色の線として視認される）、実際の入力画像の線幅に相当する。つまり、表示パネルの２倍近い解像度を再現できることを意味する。しかし、シアンの線とイエローの線の切り替わり周波数は３０Ｈｚであるため、フリッカが発生することなる。一方、図５（ａ）の＜時変型＞ではシアンとイエローの縦線が重なり色づきはない（白色に見える）が、視認される線幅は＜２×２固定型＞とほぼ同等である。

さらに、以上と同様の考察を、線幅１で左から右へ２画素分動く動画について行う。

図６は、１画素分の線幅の縦線が２画素分移動する（途中の１ラインがスキップされる）動画（テスト画像３）が入力される場合において、表示パネルに表示される画像をサブフィールド単位で２フレームにわたって示している。ここでは図２のＬ１およびＬ５で示されるラインの画像がＬ１およびＬ５の順で、入力されたとする。

図６（ｃ）の＜２×２固定型＞では１画素分の線幅よりも太い白色の線が視認される。図６（ｂ）の＜固定型＞ではシアンの縦線しか再現されず、線幅１のシアンの縦線が視認される。つまり色づきが発生する。一方、図６（ａ）の＜時変型＞では、シアンとイエローが表示されることになるが、右にシアンの縦線，左にイエローの縦線が並んで存在する線幅２の縦線が視認された。＜固定型＞のような色づきは視認されないが、近くから観察した場合は色が混ざりにくい。観察した印象ではボケが視認されるというよりも、クリアな色づきの２本線という印象を抱かせた。このように、縦線が移動した場合、＜固定型＞では、テスト画像２（図５参照）およびテスト画像３（図６参照）のいずれの場合も、線幅が１の高解像度画像を再現できるが、テスト画像３の方では色づきが発生してしまう。ここでは縦線の移動量が１および２の場合を述べたが、その他の縦線の移動量の場合についても＜固定型＞の色づきについて同様の考察が行うことができる。要するに、＜固定型＞において色づきが発生するかどうかは、奇数画素分移動するか偶数画素分移動かに依存する。

図７および図８は、時変型フィルタ処理における横方向のシフト（位置２→位置３の右方向のシフト）に対して、入力画像における縦線が逆方向（左方向）に移動する場合を示す。すなわち、上述した図５および図６では、時変型フィルタ処理における横方向のシフトと、入力画像における縦線の移動方向とが同一であったが、ここでは、これらが互いに逆方向である場合を示す。

図７に示すテスト画像４のように、入力画像において縦線が奇数画素分（ここでは１画素分）、右から左へ動く場合は、図７（ｂ）の＜固定型＞では図５のテスト画像２と同様に線幅１の高解像度画像が視認され、また図７（ａ）の＜時変型＞でも線幅１の高解像度画像が視認される。一方、図８に示すテスト画像５のように、入力画像において縦線が偶数画素分（ここでは２画素分）、右から左へ移動すると、図８（ｂ）の＜固定型＞では色づきが発生し、図８（ａ）の＜時変型＞では線幅１の高解像度画像が視認される。図７（ｃ）および図８（ｃ）の＜２×２固定型＞では、いずれの場合も白色の線幅２のぼけた画像になる。

以上のテスト画像１〜５を用いた説明によりわかるように、＜２×２固定型＞は、コンテンツ依存のない、自然画像のように色々な時空間周波数成分を要する場合には使用しやすいといえる。しかし、画像ボケが生じるため、文字などは読みにくい。また、オブジェクト（例えば縦線）の移動方向および移動量が、時変型フィルタ処理によって再現する画像に大きく影響を与えることがわかった。つまり、オブジェクトの移動方向および移動量とシフト方式との間に強い相関があることがわかった。具体的に、上記例では、入力画像におけるオブジェクトの移動方向が右から左の場合は、１２３４シフト方式が適していることが分かった。

そこで、本発明者らは、種々の移動方向に対してそれぞれ適したシフト方式を検討した結果、図９に示す表の関係が得られた。

表内の「第１」〜「第４」項目の値は、第１〜第４サブフィールド画像を生成する際にフィルタをかける基準となる画素位置を示し、画素位置は図３（ａ）に従うとする。つまり、１つの行における「第１」〜「第４」の値の集合は１つのシフト方式を表す。例えば１行目は１２３４シフト方式、２行目は１２４３シフト方式を示す。「移動方向」は、「第１」〜「第４」の値の集合によって表されるシフト方式に対し、オブジェクト（物体）の移動方向として適している方向を表している。例えば、第１行目は図４〜図８で用いた１２３４シフト方式にあたり、右から左へ移動するオブジェクトに最適なシフト方式であることを示している。また、別の例として、１４３２シフト方式では下から上に移動するオブジェクトに最適なシフト方式であることがわかる。また、表内において同じ移動方向の例も複数示されており、例えば１２３４シフト方式と２１４３シフト方式では、右から左に移動するオブジェクトに対して同じ効果が現れることになる。また、表内において同じ方向であっても線分の短いのと長いものとが示されており、例えば１２３４シフト方式に比べ１３２４シフト方式では、矢印の方向は同じであるが、長さが短くなっており、これは右から左に移動するオブジェクトに対して、１２３４シフト方式に比べ１３２４シフト方式の方が、得られる効果が小さくなることを示している。

以上からも理解されるように、画像特徴抽出部１０１において抽出される画像の特徴として、入力画像内のオブジェクトの動きの方向（移動方向）を抽出し、抽出したオブジェクトの移動方向（例えば互いに直交するＸ、Ｙ軸方向の成分比）を利用して時変型フィルタ処理時において各サブフィールドに適用するフィルタを決定（すなわち４つのフィルタの各々によって生成される各画像の表示順序を設定）することができる。以下この詳細例を説明する。

図１０は、画像特徴抽出部１０１およびフィルタ条件設定部１０２によって行われる処理の流れの一例を示すフローチャートである。

画像特徴抽出部１０１は、入力画像から画面内のオブジェクトの移動方向を検出し（Ｓ１１）、同一移動方向のオブジェクトの発生頻度（分布状態）、例えば画素数を求める（Ｓ１２）。そして、発生頻度に応じた重み係数を算出する（Ｓ１３）。例えば同一方向のオブジェクトの画素数を入力画像の全画素数で割った比率を重み係数とする。

次に、フィルタ条件設定部１０２が、シフト方式と移動方向とによって決まる推定評価値を、あらかじめ用意したテーブルデータから読み出し（Ｓ１４）、読み出した推定評価値をＳ１３で算出した重み係数によって重み付けし、重み付けされた推定評価値を全ての移動方向について加算した値を最終推定値として求める（Ｓ１５）。これを例えば図９の表に記載された全てのシフト方式の候補について行う。そして、各シフト方式の候補について求めた最終推定値に基づき時変型フィルタ処理で用いるシフト方法を決定する（Ｓ１６）。以下、Ｓ１３〜Ｓ１６についてさらに詳細に説明する。

まず推定評価値を決める推定評価式の導出方法について説明する。本発明者らは主観評価実験を用いて、２Ｘ２固定型に対する夫々のシフト方式による評価値の変動を観察した。主観評価実験では２Ｘ２固定型の画像を左側に配置し、右側に夫々のシフト方式を用いた画像を表示し、２Ｘ２固定型の画像に対して各シフト方式の画像の画質を、非常に良い（５）、良い（４）、同等（３）、悪い（２）、非常に悪い（１）の５段階で評価した。よって、２Ｘ２固定型の画像の画質は３という値になる。その結果、移動方向が同じオブジェクトに対して、互いに正反対の効果を発生させるシフト方式もあることが確認できた。そこで、移動方向を夫々変えることによって、シフト方式ｉにおける推定評価式Ｙ＝ｅｉ（ｄ）を求めた。ここで、ｄは図９の表に基づく移動方向とコンテンツ内のオブジェクトの移動方向とのずれ量（角度の差分）を示しており、同一の場合は０°、反対方向の場合は１８０°になるように設定する。また、前述の発生頻度に基づく重み係数をｗｄとすると、最終推定値を以下の式（１）から求める。

これより、Ｅｉが３となる時はシフト方式iでは、２Ｘ２固定型と同等の画質が得られ、３より大きい時はシフト方式ｉを用いた方が２Ｘ２固定型より良い画質が得られ、３未満の時はシフト方式iでは２Ｘ２固定型より悪い画質になると予想できる。よって、Ｓ１６におけるシフト方式の決定方法として、最終推定値が最大となるシフト方式を決定し、そのシフト方式の最終推定値が３より大きい場合は該シフト方式を採用し、３以下の場合は２Ｘ２固定型フィルタを採用する方法を用いることができる。

さらに、本発明者らにより、移動方向以外にも入力画像の特徴となりうる要因を検討した結果、以下の特徴が出力画像の画質に影響を与えることが判明した。なお、（１）のオブジェクトの動きの速さは上述した移動量に相当する。
（１）オブジェクトの動きの速さ：ｅｉ，ｄ（speed）
（２）オブジェクトのコントラスト：ｅｉ，ｄ（contrast）
（３）オブジェクトの空間周波数：ｅｉ，ｄ（frequency）
（４）オブジェクトのエッジの傾き：ｅｉ，ｄ（edge intensity）
（５）オブジェクトの色成分比：ｅｉ，ｄ（color）

ここで、ｅｉ，ｄ（ｘ）はシフト方式ｉと移動方向の差分ｄにおいて特徴量ｘをもつオブジェクトの推定評価値を示しており、例えばオブジェクトの移動方向と、１２３４シフト方式の最適な移動方向との差分が３０°で、オブジェクトの速さがspeedの場合は、推定評価値はｅ_{１２３４シフト方式，３０°}（speed）となる。上記した各特徴（１）〜（５）についての推定評価値は、前記同様の主観評価実験等から導出できる。各特徴の特徴量の抽出方法については第４〜第７の実施形態において説明する。

（１）〜（５）の特徴量に基づく推定評価値ｅｉ，ｄ（ｘ）を使用して最終推定値を求める例を２つ示す。ここでは特徴量としてオブジェクトの動きの速さを採り上げる。

第１の例では、まず入力画像内の各オブジェクトについてｅｉ，ｄ（speed）を求める。次に各オブジェクトの発生頻度を各々の推定評価値に掛け合わせ、掛け合わせの結果をそれぞれ加算する。これにより最終推定値を求める。そして、最終推定値が最も大きいシフト方式を選択するなどする。

第２の例は、全ての移動方向の差分について推定評価値を格納したテーブルデータを用意することが煩雑となる場合に用いて好適である。この第２の例では、シフト方式ごとに、そのシフト方式に適した移動方向についてのみの推定評価値を用意しておく。例えば１２３４シフト方式の場合は、ｅ_{１２３４シフト方式，０°}（speed）のみを用意しておく。そして、入力画像（コンテンツ）内のあるオブジェクトの移動方向に適したシフト方式（ここでは１２３４シフト方式とする）を選択し、そのシフト方式の推定評価値ｅ_{１２３４シフト方式}（speed）（０°は省略した）を取得する。同様にコンテンツ内の別の移動方向を有するオブジェクトに対しても、最適なシフト方式を選択し、そのシフト方式の推定評価値を取得する。そして、これらのオブジェクトの発生頻度を夫々の推定評価値に掛け合わせ、掛け合わせた結果をそれぞれ加算することで、最終推定値を求める。ただしこの場合はあるシフト方式にとって適さない移動方向の影響が考慮されていないため、最終推定値の精度は下がる。

図１１は、画像特徴抽出部１０１およびフィルタ条件設定部１０２によって行われる他の処理の流れの一例を示すフローチャートである。

画像特徴抽出部１０１が、入力画像からコンテンツ内のオブジェクトごとに各特徴を抽出し（Ｓ２１）、また各オブジェクトの発生頻度を求める（Ｓ２２）。次に、オブジェクトごとに、シフト方式iおよびオブジェクトの移動方向の差分ｄにおいて、各特徴について下記式（２）の寄与率α_cを読み出し、また、各特徴について式（２）の推定評価値ei,d(c)を読み出す（Ｓ２３）。各特徴について読み出した、α_cとei,d(c)とを用いて式（２）の計算を行うことにより、各オブジェクトについて、推定値（中間推定値）Ei’を求める（Ｓ２４）。各オブジェクトについて求めた中間推定値Ei’にそれぞれの発生頻度を乗算し、乗算結果を加算することにより最終推定値Eiを求める（Ｓ２５）。各シフト方式の最終推定値を比較し、最も大きい最終推定値をもつシフト方式（時変型フィルタのフィルタ条件）を採択する（Ｓ２６）。

式（２）において、ｉはシフト方式を、ｄはオブジェクトの移動方向とあるシフト方式に適した移動方向との差分、ｃはある特徴量の大きさを、ｅｉ，ｄ（ｃ）はあるシフト方式における特徴別の推定評価値を、Ｅｉはあるオブジェクトについての推定値（中間推定値）を、α_cは中間推定値Ei’に対するその特徴の寄与率を示す。寄与率α_cはシフト方式ごとに前述した主観評価実験により求めることができる。

以上の処理についてさらに具体的に説明すると、あるシフト方式に対して、入力画面内のオブジェクトの特徴量、例えばオブジェクトの速さから推定評価値ｅｉ，ｄ（ｃ）を求め、それに寄与率α_cを乗算する。そして、これを各特徴量ｃについて行い、各特徴量ｃについて行った乗算結果を全て加算することにより中間推定値Ｅｉ’を求める。最終推定値は、各オブジェクトの発生頻度（例えばオブジェクトの画素数を全画素数で除算した値）をそれぞれの中間推定値Ｅｉ’に乗算し、乗算の結果を全てのオブジェクトについて加算することにより求める。他のシフト方式に対しても同様の計算を行って最終推定値を求める。そして、最終推定値が最も高いシフト方式を採用する。ただし、入力画面内の全てのオブジェクトに対して、オブジェクトの移動方向と、シフト方式に適した移動方向との差分を求めることは計算が煩雑となるため、上記手法に代えて、以下のようにしてもよい。まず入力画面内の主要な動きを求める。例えば発生頻度の大きい２つまでの移動方向に限定する。そして、それぞれの移動方向についてのみ考慮して各シフト方式について最終推定値を求め、最終評価値の最も高いシフト方式を選択する。このような方法でも、ほとんどの場合に適正なシフト方式が選択できることを本発明者らは確認している。

また図１１に示した方法の一部変更例として、図１２を示す。図１１に対しＳ２６が削除され、代わりにＳ２５の後に、Ｓ２７〜Ｓ２９が追加されている。Ｓ２７においては、最終推定値が最も高くなるシフト方式の該最終推定値と、２Ｘ２固定型フィルタの評価値と比較する。該シフト方式の最終推定値の方が大きければ（Ｓ２８のＹＥＳ）該シフト方式を選択、すなわち時変型フィルタを選択し（Ｓ２８）、２Ｘ２固定型フィルタの評価値の方が大きければ（Ｓ２７のＮＯ）、２Ｘ２固定型フィルタを選択する（Ｓ２９）。この理由は時変型フィルタ処理においては入力画像に不適合なシフト方式を採用すると画質が２Ｘ２固定型フィルタを採用した場合もよりも劣化するためである。本発明者らの主観評価実験においても、参照画像を２Ｘ２固定型とし、シフト方式による評価値の変動を観察したところ、２つのシフト方式でまったく正反対の結果が得られた。つまり、一方は２Ｘ２固定型より良いという結果になり、もう一方は２Ｘ２固定型より悪いという結果になった。

以上のように本実施の形態によれば、入力画像の特徴に基づいてＫ個のフィルタに順位付けを行ってＫ個のフィルタの各々によって生成される各画像の表示順序を設定し、Ｋ個のフィルタを元に入力画像にフィルタ処理を行ってＫ個のサブフィールド画像を生成し、入力画像の１フレーム期間において各サブフィールド画像を、設定された上記表示順序で表示するようにしたため、人の視覚特性を有効に利用しつつ、ドットマトリクス型表示装置の空間解像度よりも高い空間解像度の動画を利用者に視認させることができる。

（第２の実施形態）
本発明の第２の実施形態では、サブフィールド画像生成部１０２における時変型フィルタ処理の他の例を説明する。

図１３は、フレーム画像３００から４枚の第１〜第４サブフィールド画像３１０−１、３１０−２、３１０−３，３１０−４を生成する例を示す。サブフィールドごとにフィルタ係数を変えてフレーム画像３００に畳み込んで生成した画像がサブフィールド画像３１０−１、３１０−２、３１０−３，３１０−４である。

表示パネルにおけるP3-3の表示素子位置の画素値は、第１サブフィールド画像３１０−１では枠４０１内の各表示素子位置（P2-2，P2-3，P2-4，P3-2，P3-3，P3-4，P4-2，P4-3，P4-4）の３×３個の画像データに３×３タップ数のフィルタを畳み込むことによって求める。第２サブフィールド画像３１０−２では、P3-3の表示素子位置の画素値は、枠４０２内の各表示素子位置（P3-2，P3-3，P3-4，P4-2，P4-3，P4-4，P5-2，P5-3，P5-4）の３×３個の画像データに３×３タップ数のフィルタを畳み込むことによって求める。第３サブフィールド画像３１０−３では、P3-3の表示素子位置の画素値は、枠４０３内の各表示素子位置（P3-3，P3-4，P3-5，P4-3，P4-4，P4-5，P5-3，P5-4，P5-5）の３×３個の画像データに３×３タップ数のフィルタを畳み込むことによって求める。第４サブフィールド画像３１０−４では、P3-3の表示素子位置の画像値は、枠４０４内の各表示素子位置（P2-3，P2-4，P2-5，P3-3，P3-4，P3-5，P4-3，P4-4，P4-5）の３×３個の画像データに３×３タップ数のフィルタを畳み込むことによって求める。

具体的なフィルタ処理のやり方としては、図１４に示すように、３Ｘ３タップ数のフィルタ５０１〜５０４（時変型フィルタ）を用意し、フィルタ５０１を枠４０１に対応する入力画像の３×３個の画像データに畳み込む。同様にフィルタ５０２〜５０４を枠４０２〜４０３に対応する入力画像における３×３個の画像データに畳み込む。これにより第１〜第４サブフィールドにおける表示素子位置P3-3の画素値を求める。

または、図１５に示すように、実質的に３Ｘ３タップ数のフィルタである、４×４タップ数のフィルタ６０１〜６０４（時変型フィルタ）を用意し、これらのフィルタ６０１〜６０４を４×４個の画像データに順次畳み込む。これにより第１〜第４サブフィールドにおける表示素子位置P3-3の画像値を求めてもよい。つまりフィルタ内の有効なフィルタ係数の位置をシフト方向に沿ってずらしながらフィルタ処理を行う。第１の実施形態においてこのようなフィルタ処理を行う場合に使用するフィルタ例（１２３４シフト方式の場合）を図１６に示す。第１の実施形態における１２３４シフト方式を用いた時変型フィルタ処理は、図１６に示した２×２タップ数のフィルタ７０１〜７０４を、２×２個の画像データに順次畳み込むフィルタ処理を行っていることに相当する。

（第３の実施形態）
本発明の第３の実施形態では、サブフィールド画像生成部１０２における時変型フィルタ処理に関して、非線形のフィルタを使用する例を説明する。

非線形のフィルタとしてはメディアンフィルタおよびεフィルタが汎用的であり、メディアンフィルタはインパルスノイズ除去、εフィルタは小信号ノイズ除去として使われている。本実施形態においてもこれらのフィルタを用いることにより同様の効果が得られる。以下、非線形フィルタを用いてフィルタ処理を行うことによりサブフィールド画像を生成する例を説明する。

例えば、メディアンフィルタを用いた場合は、図１７に示すように、３Ｘ３個の表示領域において、該表示領域に対応するフレーム画像（入力画像）の各画素値を大きい順に並べ、並べられた画素値のうち中央の画素値を、注目表示素子（表示領域における中央の表示素子）の画素値として選択する。例えば第１サブフィールド画像310-1の場合、枠４０１内の各表示素子に対応するフレーム画像３００の各画像値を大きい順に並べると「９，９，７，７，６，５，５，３，１」となり、中央の画素値は「６」になる。よって、枠４０１内の中央の表示素子の画素値は「６」となる。

一方、εフィルタを使用する場合は、以下の式（３）で示されるとおり、注目画素値（例えばフレーム画像の３Ｘ３領域における中央の画素の画素値）と、周辺画素値（３Ｘ３領域における中央の画素以外の画素の画素値）との差分の絶対値（以下差分値）を求める。そして、差分値がある閾値εより小さい場合は周辺画素の画素値をそのまま残し、差分値がある閾値εより大きい場合は周辺画素値を注目画素値によって置き換える。そして、置き換え後の３Ｘ３領域の画像データに３Ｘ３タップ数のフィルタによって畳み込み演算を行うことにより、サブフィールド画像における注目表示素子の画素値を求める。

ここで、Ｗ(x,y)は出力値、T(I,j)はフィルタ係数、X(x,y)は画素値を示す。

図１８はεフィルタを使用した場合のフィルタ処理の例を示している。閾値εを２とし、各枡の中身は式（３）により計算される画素値を示す。また引き出し線の示す値はフィルタ処理後の値である。３Ｘ３タップ数のフィルタにおけるフィルタ係数は全て１／９としている。

例えば第１サブフィールド画像310-1を生成する場合において枠４０１内の中央の表示素子について着目すると、フレーム画像３００における注目画素値は「１」である。注目画素値と周辺画素値との差分を求めると、注目画素の左上から時計回りに「４（＝５−１）、５（＝６−１）、８（＝９−１）、８（＝９−１）、２（＝３−１）、６（＝７−１）、４（＝５−１）、６（＝７−１）」となる。よって、差分が閾値ε＝２より大きい画素位置の画素値「３」はそのまま使用し、他の画素位置の画素値は注目画素値「１」によって置き換える（枠４０１内の各値を参照）。置き換え後の値に、フィルタ係数が全て１／９の３Ｘ３タップ数のフィルタを畳み込むことにより、第１サブフィールド画像310-1における枠４０１内の注目表示素子の画素値「１１／９」が求められる。

以上のように、メディアンフィルタを用いた場合は、図１７に示すようにサブフィールド間で輝度が６→５→４→５と切り替わり、１フレームにおける平均輝度は５となる。一方、εフィルタを用いた場合は、図１８に示すように、サブフィールド間で輝度が１１／９→６５／９→２７／９→７９／９と切り替わり、１フレームにおける平均輝度は５．０６となる。この場合は平均輝度に差はほとんどないが、サブフィールド間での輝度の変動には違いがあり、目的に合わせた使用方法を選択できる。

（第４の実施形態）
本発明の第４の実施形態では、画像特徴抽出部１０１において抽出される画像の特徴として、入力画像内のオブジェクトの動きの速さを抽出する例を説明する。

動きの速さを求める方法として、入力画像信号の複数のフレーム画像を用いて動きを検出し、動き情報として出力する。例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）等の動画の符号化に用いられるブロックマッチングにおいては、入力画像信号をフレームメモリで１フレーム分保持し、１フレーム遅延された画像信号と入力画像信号、すなわち時間的に隣接する２つのフレーム画像を用いて動きを検出している。より詳細には入力画像信号のｎフレーム（参照フレーム）を正方形の領域（ブロック）に分割し、ブロック毎に、ｎ＋１フレーム（探索先フレーム）との類似領域を探索する。類似領域の評価方法は、一般に絶対値差分和（ＳＡＤ）や、差分の二乗和（ＳＳＤ）等が用いられるが、ＳＡＤを用いる場合は以下の数式に従う。

ｍおよびｍ＋１はフレーム番号を、

はブロックＢ内のある画素位置を示し、

は動きベクトルを示す。ｆ（ｘ，ｍ）はある画素の輝度を示している。よって、式（４）はブロック内の各画素の輝度差の和を求めていることになる。その総和が最も小さくなるブロック対を探索し、そのブロックの移動量

がすなわち求める動きベクトルになる。このようにして求めた入力画面内の動きベクトルから、動きの速さ別のグルーピングを行うことで、動き速さの発生頻度を求めることができる。

ここで、第１の実施形態において、シフト方式を決定する際に参照する動き速さは、上記発生頻度に応じて変えることができる。たとえば、ある一定の発生頻度を超える動きの速さだけを使用するようにしても良い。最終的には、画面内にあるオブジェクトの動きの速さに関する重み係数（主観評価実験により求めることができる）に、その動きの発生頻度を掛け合わせた値が、そのオブジェクトの動きの速さに関する特徴量となる。

なお、動きの速さに関しては、速くなるにつれて時変型フィルタ処理と２Ｘ２固定型フィルタ処理との差が大きくなる。具体的に、移動方向に適したシフト方式を用いると時変型フィルタ処理の方がより画質がよくなるが、移動方向に適していないシフト方式を用いると時変型フィルタ処理の方がより画質が悪くなる。ただし、動きの速さがある閾値を越えると、時変型フィルタ処理の画質が２Ｘ２固定型フィルタ処理の画質に収束していくことが本発明者らの実験より確かめられている。

（第５の実施形態）
本発明の第５の実施形態では、画像特徴抽出部１０１において抽出される画像の特徴として、入力画像内のオブジェクトのコントラストおよび空間周波数を抽出する例を説明する。

オブジェクトのコントラストおよび空間周波数は入力画像をフーリエ変換することによって求められる。コントラストは、ある空間周波数でのスペクトル成分の大きさに相当する。コントラストが大きい場合は画質の変化を検知しやすく、また空間周波数が高い領域（エッジ領域）も画質の変化を検知しやすいことが実験よりわかっている。そこで、画面内を複数のブロックに分割し、各ブロックに対してフーリエ変換を行い、各ブロックにおいてスペクトル成分を値の大きい順にソートし、最も大きいスペクトル成分の大きさおよびそのときの空間周波数を各ブロックのコントラストおよび空間周波数として採用する。最終的にはオブジェクトに含まれるブロック全体に亘り同一のコントラストおよび空間周波数の数を集計し、各コントラストおよび空間周波数の発生頻度を、オブジェクトの各コントラストおよび空間周波数に関する重み係数（主観評価実験により求めることができる）に掛け合わせた値を、該オブジェクトのコントラストおよび空間周波数に関する特徴量として求める。

（第６の実施形態）
本発明の第６の実施形態では、画像特徴抽出部１０１において抽出される画像の特徴として、入力画像内のオブジェクトのエッジの傾きを抽出する例を説明する。

オブジェクトのエッジの傾きは、一般的なエッジ検出によりエッジの方向と強度を抽出することによって求められる。エッジの傾きと、シフト方式に依存する最適なオブジェクトの動き方向とが垂直であるほど画質の変化を検知しやすいことが実験よりわかっている。

よって、シフト方式夫々に対してエッジの傾きの影響は異なるため、これをオブジェクトのエッジの傾きに関する重み係数（主観評価実験により求めておく。例えば移動方向に対して垂直な場合は大きな値にするなど。）に反映させておく。最終的には画面内にあるオブジェクトのエッジの傾きに関する重み係数に、エッジの傾きの頻度を掛け合わせた値が、オブジェクトのエッジの傾きに関する特徴量となる。

（第７の実施形態）
本発明の第７の実施形態では、画像特徴抽出部１０１において抽出される画像の特徴として、入力画像内のオブジェクトの色成分比を抽出する例を説明する。

オブジェクトの色成分比を求める理由は、通常のＬＥＤ表示装置ではベイヤ配列により緑の素子数が青や赤に比べて多いため、色成分比によって画質への影響が異なるためである。簡単には、オブジェクトにおいて色成分毎に平均輝度を求める。これをオブジェクトの色成分比に関する重み係数（あらかじめ主観評価実験により求めておく）に反映させる。最終的には画面内にあるオブジェクトの色毎の重み係数に、オブジェクトに含まれる色の成分比を掛け合わせた値がオブジェクトの色に関する特徴量となる。

本発明の第１実施形態の画像表示システムの構成を示す図。 本発明の第１実施形態で使用される入力画像および表示パネルの構成を示す図。 本発明の第１実施形態における時変型フィルタ処理の例を示す図。 本発明の第１実施形態において時変型フィルタ処理が画質に及ぼす影響を説明する図。 本発明の第１実施形態において時変型フィルタ処理が画質に及ぼす影響を説明する図。 本発明の第１実施形態において時変型フィルタ処理が画質に及ぼす影響を説明する図。 本発明の第１実施形態において時変型フィルタ処理が画質に及ぼす影響を説明する図。 本発明の第１実施形態において時変型フィルタ処理が画質に及ぼす影響を説明する図。 シフト方式と、シフト方式適した移動方向とを示した表。 本発明の第１実施形態において時変型フィルタのフィルタ条件決定方法を示す図。 本発明の第１実施形態において他の時変型フィルタのフィルタ条件決定方法を示す図。 本発明の第１実施形態においてさらに他の時変型フィルタのフィルタ条件決定方法を示す図。 本発明の第２実施形態においてサブフィールド画像生成部におけるフィルタ処理を説明する図。 本発明の第２実施形態においてフィルタ処理部で使用するフィルタのフィルタ係数の例を示す図。 本発明の第２実施形態においてフィルタ処理部で使用する他のフィルタのフィルタ係数の例を示す図。 本発明の第２実施形態においてフィルタ処理部で使用するさらに他のフィルタのフィルタ係数の例を示す図。 本発明の第３実施形態においてフィルタ処理部における処理の例を示す図。 本発明の第３実施形態においてフィルタ処理部における処理の他の例を示す図。

符号の説明

１００ フレームメモリ
１０１ 画像特徴抽出部
１０２ サブフィールド画像生成部
１０３ フィルタ条件設定部
１０４（１）〜１０４（４） サブフィールド１〜４用フィルタ処理部
１０５ 画像信号出力部
１０６ フィールドメモリ
１０７ ＬＥＤ駆動回路
１０８ 表示パネル

Claims (14)

1. １つまたは複数の色成分を有する画素を複数有する入力画像の各フレームを、各々単一色を発光する複数の表示素子を有するドットマトリクス型表示装置に表示する画像処理装置であって、
   前記入力画像から、少なくとも、前記入力画像内のオブジェクトの移動方向を抽出する画像特徴抽出部と、
   前記オブジェクトの移動方向に基づき、１フレームの前記入力画像に対して、サブフィールドごとに、前記入力画像の空間的に異なる画素を選択して、前記表示装置の画素に対応させる解像度変換を行なうＫ個のフィルタに順位付けを行ない、前記Ｋ個のフィルタの各々によって生成される各画像の表示順序を設定するフィルタ条件設定部と、
   前記Ｋ個のフィルタの各々を用い、１フレームの前記入力画像に対して、前記解像度変換のフィルタ処理を行ってＫ個のサブフィールド画像を生成するフィルタ処理部と、
   前記入力画像の１フレーム期間において、生成された前記Ｋ個のサブフィールド画像を、設定された前記表示順序にしたがって前記表示装置に表示する画像表示制御部と、
   を備えた画像処理装置。
2. 前記フィルタ条件設定部は、前記オブジェクトの移動方向に対応する、前記Ｋ個のフィルタの順位の候補の各々について、生成されるフレーム画像の画質を評価する推定評価値を参照し、複数の前記候補の中から一の候補を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ条件設定部は、同一移動方向の前記オブジェクトの発生頻度と前記推定評価値とを用いて、前記一の候補を選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記フィルタ条件設定部は、各々の前記推定評価値に対し、前記発生頻度に応じた重み係数で重み付けし、重み付けされた全ての前記推定評価値を加算することにより最終推定値を算出し、最も高い前記最終推定値をもつ候補を選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像特徴抽出部は、前記入力画像内のオブジェクトの動きの速さをさらに抽出し、
   前記フィルタ条件設定部は、前記オブジェクトの動きの速さの発生頻度をさらに用いて、前記候補を選択することを特徴とする請求項３又は４のいずれか一項に記載の画像処理装置。
6. 前記画像特徴抽出部は、前記入力画像内のオブジェクトのコントラストをさらに抽出し、
   前記フィルタ条件設定部は、前記コントラストの発生頻度をさらに用いて、前記候補を選択し、
   前記コントラストは、前記入力画像における、ある空間周波数でのスペクトル成分の大きさである、
   ことを特徴とする請求項３乃至５のいずれか一項に記載の画像処理装置。
7. 前記画像特徴抽出部は、前記入力画像内のオブジェクトの空間周波数をさらに抽出し、
   前記フィルタ条件設定部は、前記空間周波数の発生頻度をさらに用いて、前記候補を選択することを特徴とする請求項３乃至６のいずれか一項に記載の画像処理装置。
8. 前記画像特徴抽出部は、前記入力画像内のオブジェクトのエッジの傾きをさらに抽出し、
   前記フィルタ条件設定部は、前記エッジの傾きの発生頻度をさらに用いて、前記候補を選択することを特徴とする請求項３乃至７のいずれか一項に記載の画像処理装置。
9. 前記画像特徴抽出部は、前記入力画像内のオブジェクトの色成分比をさらに抽出し、
   前記フィルタ条件設定部は、前記色成分比の発生頻度をさらに用いて、前記候補を選択することを特徴とする請求項３乃至８のいずれか一項に記載の画像処理装置。
10. 前記入力画像における各画素はそれぞれ赤，緑，青の３つの色成分を有することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記表示装置は、
    第１色を発光する第１表示素子と第２色を発光する第２表示素子とが第１の方向に交互に配置された複数の第１素子列と、
    前記第１表示素子と第３色を発光する第３表示素子とが前記第１の方向に交互に配置された複数の第２素子列と、を有し、
    前記第１素子列と前記第２素子列とは、前記第１表示素子と前記第２表示素子とが前記第１の方向に対して垂直な第２の方向に交互に並ぶように、前記第２の方向に交互に配置さたことを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 前記第１表示素子、前記第２表示素子および前記第３表示素子は、緑色、赤色および青色の３色のうちそれぞれ異なる色を発光することを特徴とする請求項１１に記載の画像処理装置。
13. Ｋ＝４であり、前記Ｋ個のフィルタとしての４個のフィルタは、前記表示装置における前記表示素子に対応する２行２列の画素のうちそれぞれ異なる画素を基準にフィルタ処理を行うことを定めたことを特徴とする請求項１に記載の画像処理装置。
14. １つまたは複数の色成分を有する画素を複数有する入力画像の各フレームを、各々単一色を発光する複数の表示素子を有するドットマトリクス型表示装置に表示する画像表示方法であって、
    前記入力画像から、少なくとも、前記入力画像内のオブジェクトの移動方向を抽出し、
    前記オブジェクトの移動方向に基づき、１フレームの前記入力画像に対して、サブフィールドごとに、前記入力画像の空間的に異なる画素を選択して、前記表示装置の画素に対応させる解像度変換を行なうＫ個のフィルタに順位付けを行ない、前記Ｋ個のフィルタの各々によって生成される各画像の表示順序を設定し、
    前記Ｋ個のフィルタの各々を用い、１フレームの前記入力画像に対して、前記解像度変換のフィルタ処理を行ってＫ個のサブフィールド画像を生成し、
    前記入力画像の１フレーム期間において、生成された前記Ｋ個のサブフィールド画像を、設定された前記表示順序にしたがって前記表示装置に表示する、
    画像表示方法。

Images