JP7074171B2 - 画像処理装置、画像投影装置、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像投影装置、および画像処理方法に関する。

従来、画像をスクリーンに投影する画像投影装置が知られている。このような画像投影装置の中には、１枚の画像から生成された２枚の画像をずらして表示する、いわゆる画素ずらし表示を行うことによって、画像の表示解像度を高めることができるようになっているものがある（例えば、下記特許文献１参照）。

しかしながら、従来、画像を画素ずらし表示する際に、画素ずらし表示特有の画質劣化（例えば、画像がボケる等）が生じることがあった。このようなことから、従来、画素ずらし表示を行う際の表示画質を高めることが困難であるという課題が残されていた。

本発明は、上述した従来技術の課題を解決するため、画素ずらし表示を行う際の表示画質を高めることができるようにすることを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、入力画像から、入力画像よりも解像度の低い低解像度画像を生成する低解像度化部と、低解像度画像における、特定パターンに対応する部分を検知する検知部と、低解像度画像における、特定パターンに対応する部分に対して、特定の補正処理を行う補正部とを備えることを特徴とする。

本発明によれば、画素ずらし表示を行う際の表示画質を高めることができる。

本発明の第１実施形態に係るプロジェクタの構成を示す図である。 本発明の第１実施形態に係る画像制御部の機能構成を示すブロック図である。 本発明の第１実施形態に係る画像制御部の処理手順を示すフローチャートである。 本発明の第１実施形態に係る低解像度化部による低解像度化処理の具体例を示す図である。 本発明の第１実施形態に係る検知部による特定パターン検知処理の具体例を示す図である。 本発明の第１実施形態に係る第１検知部による補正処理の候補の画素の検知処理の具体例（第１例）を示す図である。 本発明の第１実施形態に係る第２検知部による補正処理の対象外の画素の検知処理の具体例（第１例）を示す図である。 本発明の第１実施形態に係る補正部による補正処理の具体例（第１例）を示す図である。 本発明の第１実施形態に係る第１検知部による補正処理の候補の画素の検知処理の具体例（第２例）を示す図である。 本発明の第１実施形態に係る第２検知部による補正処理の対象外の画素の検知処理の具体例（第２例）を示す図である。 本発明の第１実施形態に係る補正部による補正処理の具体例（第２例）を示す図である。 本発明の第１実施形態に係る補正部による補正処理の変形例に用いられるフィルタの一例を示す図である。 本発明の第２実施形態に係る画像制御部の機能構成を示すブロック図である。 本発明の第２実施形態に係る画像制御部の処理手順を示すフローチャートである。 本発明の第２実施形態に係る画像制御部が用いる平滑化フィルタおよび先鋭化フィルタの具体例を示す図である。

以下、図面を参照して、本発明の第１実施形態について説明する。

（プロジェクタ１００の構成）
図１は、本発明の第１実施形態に係るプロジェクタ１００の構成を示す図である。プロジェクタ１００は、本発明の「画像投影装置」の一例である。プロジェクタ１００は、外部（例えば、ＰＣ（Personal Computer））から入力された画像データに基づいて表示対象画像を生成し、この表示対象画像をスクリーン１５０（本発明の「投影面」の一例）に投影することができる。

図１に示すように、プロジェクタ１００は、電源１０１、メインスイッチ１０２、操作部１０３、外部Ｉ／Ｆ（Interface）１０４、ファン１０５、システムコントロール部１１０、および光学エンジン１２０を備えて構成されている。

電源１０１は、プロジェクタ１００の各部（例えば、システムコントロール部１１０、ファン１０５、光学エンジン１２０等）に対して、電力を供給する。メインスイッチ１０２は、ユーザの操作により、プロジェクタ１００の電源をＯＮとＯＦＦとの間で切り替える。

操作部１０３は、ユーザによる各種操作を受け付ける。例えば、操作部１０３は、プロジェクタ１００の上面に設けられており、入力ボタン、ディスプレイ等を備えて構成されている。外部Ｉ／Ｆ１０４は、外部機器（例えば、ＰＣ、デジタルカメラ等）が接続され、外部機器からの画像データの入力を制御する。ファン１０５は、光学エンジン１２０の光源１２１を冷却する。

システムコントロール部１１０は、画像制御部１１１および駆動制御部１１２を有する。画像制御部１１１は、本発明の「画像処理装置」の一例である。画像制御部１１１は、外部Ｉ／Ｆ１０４から入力される画像データに基づいて、光学エンジン１２０によってスクリーン１５０に投影される画像を生成する。駆動制御部１１２は、光学エンジン１２０の画像生成ユニット１２３に設けられている可動ユニット１２６を制御することにより、可動ユニット１２６に設けられているＤＭＤ１２７の位置を制御する。

光学エンジン１２０は、本発明の「投影手段」の一例である。光学エンジン１２０は、システムコントロール部１１０によって制御されることにより、画像制御部１１１によって生成された画像をスクリーン１５０に投影する。光学エンジン１２０は、光源１２１、照明光学系ユニット１２２、画像生成ユニット１２３、投影光学系ユニット１２４を有する。

光源１２１は、光を出射する。光源１２１には、例えば水銀高圧ランプ、キセノンランプ、ＬＥＤ（Light Emitting Diode）等が用いられる。

照明光学系ユニット１２２は、光源１２１から出射された光を、ＤＭＤ１２７に導く。照明光学系ユニット１２２は、例えばカラーホイール、ライトトンネル、リレーレンズ等を有して構成されている。

画像生成ユニット１２３は、固定ユニット１２５および可動ユニット１２６を有する。可動ユニット１２６は、ＤＭＤ１２７を有する。可動ユニット１２６は、システムコントロール部１１０の駆動制御部１１２によって制御されることにより、固定ユニット１２５に対する位置が制御される。ＤＭＤ１２７は、システムコントロール部１１０の画像制御部１１１によって制御されることにより、照明光学系ユニット１２２を介して導かれた光を変調して、投影画像を生成する。

投影光学系ユニット１２４は、ＤＭＤ１２７によって生成された投影画像を拡大して、スクリーン１５０に投影する。投影光学系ユニット１２４は、例えば複数の投射レンズ、ミラー等を有して構成されている。

このように構成されたプロジェクタ１００は、画像の画素ずらし表示を行う際に、画像制御部１１１の制御により、画像に対する適切な補正処理を行うことで、画像の表示画質を高めることができるようになっている。この点につき、以下に具体的に説明する。

（画像制御部１１１の機能構成）
図２は、本発明の第１実施形態に係る画像制御部１１１の機能構成を示すブロック図である。図２の例において、画像制御部１１１は、画像取得部２０１、低解像度化部２０２、画像出力部２０３、検知部２１１、および補正部２１２を備えている。

画像取得部２０１は、外部からの入力画像を取得する。例えば、画像取得部２０１は、画素数が３８４０×２１６０である、ＵＨＤ（Ultra High Definition）画質の入力画像を取得する。

低解像度化部２０２は、画像取得部２０１によって取得された入力画像から、画素ずらし表示のための、入力画像よりも解像度の低い低解像度画像を生成する。具体的には、低解像度化部２０２は、画像取得部２０１によって取得された１枚の入力画像から、２枚の低解像度画像を生成する。例えば、低解像度化部２０２は、ＵＨＤ画質の入力画像から、画素数が１９２０×１０８０である、ＦＨＤ（Full High Definition）画質の低解像度画像を生成する。なお、低解像度化部２０２による低解像度化処理の具体例については、図４を用いて後述する。

検知部２１１は、画像取得部２０１によって取得された入力画像から、特定パターンを検知する。そして、検知部２１１は、低解像度化部２０２によって生成された低解像度画像における、特定パターンに対応する部分を特定する。本実施形態における「特定パターン」とは、２枚の低解像度画像を画素ずらし表示した際に、比較的強い画像ボケ（本発明の「画質劣化」に相当）が発生し得る部分のことである。この「特定パターン」は、画素単体から成り得るものであり、複数画素からも成り得るものである。本実施形態では、検知部２１１は、斜め線および孤立点を、「特定パターン」として検知する。なお、検知部２１１による特定パターン検知処理の具体例については、図５を用いて後述する。

検知部２１１は、第１検知部２１１Ａおよび第２検知部２１１Ｂを有している。第１検知部２１１Ａは、低解像度画像において、濃度が２５％となる画素（すなわち、対応する入力画像の２×２画素の濃度の平均値が２５％となる画素）を、補正処理の候補の画素として検知する。第２検知部２１１Ｂは、第１検知部２１１Ａによって検知された補正処理の候補の画素のうち、特定パターンに合致しない画素（すなわち、斜め線または孤立点を構成するものではない画素）を、補正処理の対象外の画素として検知する。なお、第１検知部２１１Ａによる補正処理の候補の画素の検知処理の具体例については、図６を用いて後述する。また、第２検知部２１１Ｂによる補正処理の対象外の画素の検知処理の具体例については、図７を用いて後述する。

補正部２１２は、低解像度化部２０２によって生成された低解像度画像における、検知部２１１によって検知された特定パターンに対応する部分に対して、画像ボケを軽減するための特定の補正処理を行う。特定パターンに対応する部分とは、すなわち、第１検知部２１１Ａによって検知された補正処理の候補の画素であって、第２検知部２１１Ｂによって補正処理の対象外の画素として検知されなかった画素である。本実施形態では、補正部２１２は、「特定の補正処理」として、強調処理を行うようにしている。なお、補正部２１２による補正処理の具体例については、図８を用いて後述する。

画像出力部２０３は、低解像度化部２０２によって生成された低解像度画像（補正部２１２による補正処理後の低解像度画像）を、画像生成ユニット１２３（図１参照）へ出力する。これにより、画像出力部は、低解像度画像のスクリーン１５０への画素ずらし表示を、光学エンジン１２０に行わせる。光学エンジン１２０は、２枚の低解像度画像を、通常のフレームレート（例えば、６０ｆｐｓ）よりも高速なフレームレート（例えば、１２０ｆｐｓ）で交互に切り替えて表示することにより、２枚の低解像度画像を画素ずらし表示する。この画素ずらし表示は、駆動制御部１１２の制御により、ＤＭＤ１２７が、２枚の低解像度画像の切り替わりタイミングと同期してシフトすることによって実現される。

なお、画像制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の構成部を備えて構成されている。そして、上記した画像制御部１１１の各機能は、例えば、ＲＯＭ等に記録されたプログラムをＣＰＵが実行することにより実現される。このプログラムは、予め画像制御部１１１に導入された状態で画像制御部１１１とともに提供されてもよく、画像制御部１１１とは別に外部から提供されて画像制御部１１１に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ－ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。なお、画像制御部１１１の一部又は全部は、ハードウェアによって実現されてもよい。また、画像制御部１１１は、物理的に複数の回路によって構成されてもよい。

（画像制御部１１１の処理手順）
図３は、本発明の第１実施形態に係る画像制御部１１１の処理手順を示すフローチャートである。

まず、画像取得部２０１が、入力画像を取得する（ステップＳ３０１：画像取得工程）。次に、低解像度化部２０２が、ステップＳ３０１で取得された入力画像から、低解像度画像を生成する（ステップＳ３０２：低解像度化工程）。そして、第１検知部２１１Ａが、ステップＳ３０１で取得された入力画像に基づいて、ステップＳ３０２で生成された低解像度画像における、補正処理の候補の画素を検知する（ステップＳ３０３：第１検知工程）。

続いて、第２検知部２１１Ｂが、ステップＳ３０３で検知された補正処理の候補の画素のうち、補正処理の対象外の画素を検知する（ステップＳ３０４：第２検知工程）。そして、補正部２１２が、ステップＳ３０２で生成された低解像度画像における、ステップＳ３０３で検知された補正処理の候補の画素（補正処理の対象外の画素を除く）に対して、画像ボケを軽減するための特定の補正処理を行う（ステップＳ３０５：補正工程）。

その後、画像出力部２０３が、ステップＳ３０２で生成された低解像度画像（補正処理がなされた後の低解像度画像）を、画像生成ユニット１２３へ出力する（ステップＳ３０６：出力工程）。これにより、画像出力部２０３は、ステップＳ３０２で生成された低解像度画像のスクリーン１５０への画素ずらし表示を、光学エンジン１２０に行わせる。そして、画像制御部１１１は、図３に示す一連の処理を終了する。

（低解像度化処理の具体例）
図４は、本発明の第１実施形態に係る低解像度化部２０２による低解像度化処理の具体例を示す図である。低解像度化部２０２は、入力画像における２×２画素の画素値の平均値を、低解像度画像における１画素の画素値とする。

例えば、低解像度化部２０２は、まず、１マスが入力画像４００の２×２画素分（低解像度画像の１画素分）に相当する参照枠４１０を定義する。そして、低解像度化部２０２は、１枚目の低解像度画像を生成するときには、図４（ａ）に示すように、参照枠４１０を入力画像４００から上方向に１画素分ずらした状態で、各マス内の２×２画素の画素値の平均値を、低解像度画像における１画素の画素値とする。

また、低解像度化部２０２は、２枚目の低解像度画像を生成するときには、図４（ｂ）に示すように、参照枠４１０を入力画像４００から左方向に１画素分ずらした状態で、各マス内の２×２画素の画素値の平均値を、低解像度画像における１画素の画素値とする。

本実施形態では、１枚目の低解像度画像に対して、２枚目の低解像度画像を左側にずらして表示する。このため、低解像度化部２０２は、図４（ｂ）に示すように、参照枠４１０を左側にずらして、参照枠４１０内の２×２画素の画素値を参照する。もし、１枚目の低解像度画像に対して、２枚目の低解像度画像を右側にずらして表示する場合、低解像度化部２０２は、参照枠４１０を右側にずらして、参照枠４１０内の２×２画素の画素値を参照すればよい。

なお、図４（ａ）の例では、低解像度化部２０２は、参照枠４１０の最上行については、入力画像４００の上側の空白部分を参照することとなる。低解像度化部２０２は、この空白部分については、入力画像４００の最上行の画素と同じ画素値が設定されているものとして、低解像度画像の画素値の算出処理を行う。

また、図４（ｂ）の例では、低解像度化部２０２は、参照枠４１０の最左列については、入力画像４００の左側の空白部分を参照することとなる。低解像度化部２０２は、この空白部分については、入力画像４００の最左列の画素と同じ画素値が設定されているものとして、低解像度画像の画素値の算出処理を行う。

（特定パターン検知処理の具体例）
図５は、本発明の第１実施形態に係る検知部２１１による特定パターン検知処理の具体例を示す図である。検知部２１１は、入力画像において、低解像度化したときに比較的強い画像ボケが発生し得る部分を、特定パターンとして検知する。特に、本実施形態では、検知部２１１は、斜め線および孤立点を、「特定パターン」として検知する。図５（ａ）～（ｃ）では、入力画像から、２枚の低解像度画像が生成され、２枚の低解像度画像が画素ずらし表示される様子を示している。この画素ずらし表示では、２枚の低解像度画像の各々の表示時間は、通常時の１／２となる。したがって、ユーザによって視認される各画素の濃度は、通常時の１／２となる。

例えば、図５（ａ）（第１段）では、縦線（黒１００％、１ｄｏｔ幅）を含む入力画像５００が例示されている。この入力画像５００からは、低解像度化部２０２により、図５（ａ）（第２段）に示す、１枚目の低解像度画像５０１と、２枚目の低解像度画像５０２とが生成される。そして、図５（ａ）（第３段）に示すように、低解像度画像５０１に対して、低解像度画像５０２が、左下に画素ずらし表示される。この画素ずらし表示では、最も濃度が高い部分（縦線の中心部分）の濃度は５０％である。すなわち、この画素ずらし表示では、縦線の中心部分が周囲に対して強調されているため、比較的強い画像ボケが生じない。

一方、図５（ｂ）（第１段）では、斜め線（黒１００％、１ｄｏｔ幅）を含む入力画像５１０が例示されている。この入力画像５１０からは、低解像度化部２０２により、図５（ｂ）（第２段）に示す、１枚目の低解像度画像５１１と、２枚目の低解像度画像５１２とが生成される。そして、図５（ｂ）（第３段）に示すように、低解像度画像５１１に対して、低解像度画像５１２が、左下に画素ずらし表示される。この画素ずらし表示では、最も濃度が高い部分（斜め線の中心部分）の濃度は２５％である。すなわち、この画素ずらし表示では、全体的に濃度が低いため、比較的強い画像ボケが生じることとなる。

また、図５（ｃ）（第１段）では、孤立点（黒１００％、１ｄｏｔ）を含む入力画像５２０が例示されている。この入力画像５２０からは、低解像度化部２０２により、図５（ｃ）（第２段）に示す、１枚目の低解像度画像５２１と、２枚目の低解像度画像５２２とが生成される。そして、図５（ｃ）（第３段）に示すように、低解像度画像５２１に対して、低解像度画像５２２が、左下に画素ずらし表示される。この画素ずらし表示では、最も濃度が高い部分（孤立点の中心部分）の濃度は２５％である。すなわち、この画素ずらし表示では、全体的に濃度が低いため、比較的強い画像ボケが生じることとなる。

以上のことから、入力画像における斜め線および孤立点が、低解像度画像を画素ずらし表示した際に、比較的強い画像ボケが生じ得る部分であるといえる。そこで、本実施形態では、検知部２１１により、斜め線および孤立点を特定パターンとして検知する。そして、補正部２１２により、低解像度画像におけるこの特定パターンに対応する部分に対し、画像ボケを軽減するための補正処理を行うのである。

（補正処理の候補の画素の検知処理の具体例（第１例））
図６は、本発明の第１実施形態に係る第１検知部２１１Ａによる補正処理の候補の画素の検知処理の具体例（第１例）を示す図である。図６（ａ）～（ｄ）は、いずれも、入力画像における２×２画素（低解像度画像の１画素に変換される２×２画素）のパターンを例示するものである。図６（ａ）～（ｄ）に示すパターンは、いずれも、黒画素を１つ、白画素を３つ含んでいる。すなわち、図６（ａ）～（ｄ）に示すパターンは、いずれも、２×２画素の濃度の平均値が２５％となる。本実施形態では、第１検知部２１１Ａは、このように黒画素を１つ、白画素を３つ含んでいる２×２画素の濃度の平均値に基づいて生成された、低解像度画像の画素（すなわち、濃度が２５％となる画素）を、補正処理の候補の画素として検知する。

（補正処理の対象外の画素の検知処理の具体例（第１例））
図７は、本発明の第１実施形態に係る第２検知部２１１Ｂによる補正処理の対象外の画素の検知処理の具体例（第１例）を示す図である。図７（ａ），（ｂ）は、いずれも、低解像度画像における５×５画素を例示するものである。図７において、「１」が設定されている画素は、第１検知部２１１Ａ（図６で説明した処理）によって検知された補正処理の候補の画素である。一方、「０」が設定されている画素は、第１検知部２１１Ａ（図６で説明した処理）によって補正処理の候補として検知されなかった画素である。なお、空欄の画素は、「１」が設定されている画素、または、「０」が設定されている画素のどちらであってもよいことを表す。

図７（ａ）の例では、斜め方向に規則的に並んでいる４つの画素にはいずれも「１」が設定されている。この場合、第２検知部２１１Ｂは、５×５画素の中心画素を、斜め線のエッジ画素である（すなわち、特定パターンを構成する画素である）と判定する。したがって、第２検知部２１１Ｂは、この中心画素を、補正処理の対象外にしないと判定する。

一方、図７（ｂ）の例では、斜め方向に規則的に並んでいる４つの画素のうちの１つには「０」が設定されている。この場合、第２検知部２１１Ｂは、５×５画素の中心画素を、斜め線のエッジ画素ではない（すなわち、特定パターンを構成する画素ではない）と判定する。したがって、第２検知部２１１Ｂは、この中心画素を、補正処理の対象外にすると判定する。

なお、第２検知部２１１Ｂは、補正処理の対象外の画素を判定する代わりに、補正処理の対象の画素を判定することも可能である。すなわち、第２検知部２１１Ｂは、補正処理の対象とすべき画素を、「補正処理の対象外にしない」と判定する代わりに、「補正処理の対象にする」と判定してもよい。反対に、第２検知部２１１Ｂは、補正処理の対象とすべきではない画素を、「補正処理の対象外にする」と判定する代わりに、「補正処理の対象にしない」と判定してもよい。また、第２検知部２１１Ｂは、補正処理の対象とすべき画素を判定することについて、補正処理の対象外と判定することにより、補正処理の対象とする画素を背理的に求めるようにしてもよい。

（補正処理の具体例（第１例））
図８は、本発明の第１実施形態に係る補正部２１２による補正処理の具体例（第１例）を示す図である。図８（第１段）では、第１の斜め線８００Ａおよび第２の斜め線８００Ｂを含む入力画像８００が例示されている。この入力画像８００からは、低解像度化部２０２により、図８（第２段）に示す、１枚目の低解像度画像８０１と、２枚目の低解像度画像８０２とが生成される。そして、図８（第３段）に示すように、低解像度画像８０１に対して、低解像度画像８０２が、左下に画素ずらし表示される。

補正部２１２は、低解像度画像８０１，８０２において、特定パターン（斜め線）に対応する、補正処理の候補の画素（補正処理の対象外とされた画素を除く）に対して、強調処理を行う。

例えば、第１の斜め線８００Ａ（入力画像８００における下方の斜め線）は、図７（ａ）に示したパターンに相当する。このため、第１の斜め線８００Ａは、第２検知部２１１Ｂにより、特定パターン（斜め線）であると判定される。したがって、低解像度画像８０１，８０２において、第１の斜め線８００Ａに対応する画素は、補正部２１２により、強調処理がなされる。これにより、低解像度画像８０１，８０２において、元々全体的に濃度が低くなっている、第１の斜め線８００Ａに相当する部分が強調される。このため、低解像度画像８０１，８０２において、第１の斜め線８００Ａに相当する部分と、第２の斜め線８００Ｂとの濃度差が軽減される。したがって、第１の斜め線８００Ａに相当する部分における画像ボケは軽減されることとなる。

一方、第２の斜め線８００Ｂ（入力画像８００における上方の斜め線）は、図７（ｂ）に示したパターンに相当する。このため、第２の斜め線８００Ｂは、第２検知部２１１Ｂにより、特定パターン（斜め線）ではないと判定される。したがって、低解像度画像８０１，８０２において、第２の斜め線８００Ｂに対応する画素は、補正部２１２による強調処理がなされない。これにより、低解像度画像８０１，８０２において、元々全体的に濃度が高くなっている、第２の斜め線８００Ｂに相当する部分は強調されない。このため、例えば、低解像度画像８０１，８０２を画素ずらし表示した際に、第２の斜め線８００Ｂのエッジに相当する部分（例えば、図８（第３段）に示す部分Ｐ１）が、ジャギーとして強調されてしまうことを防止することができる。したがって、第２の斜め線８００Ｂに相当する部分を、滑らかな直線と視認させることができる。

なお、補正部２１２による特定の補正処理は、単なる強調処理に限らない。すなわち、補正部２１２による特定の補正処理は、画像ボケを軽減することが可能な処理であれば、如何なる処理であってもよい。例えば、補正部２１２による特定の補正処理は、通常の強調処理よりも強い強調処理や、スムージング処理等であってもよい。

（補正処理の候補の画素の検知処理の具体例（第２例））
図９は、本発明の第１実施形態に係る第１検知部２１１Ａによる補正処理の候補の画素の検知処理の具体例（第２例）を示す図である。図９（ａ）～（ｄ）は、いずれも、入力画像における４×４画素のパターンを例示するものである。図９（ａ）～（ｄ）に示すパターンは、いずれも、中心のみに黒画素を有する３×３画素を含んでいる。この黒画素は、孤立点であるといえる。第１検知部２１１Ａは、このような３×３画素のうち、さらに、黒画素を１つ、白画素を３つ含んでいる２×２画素の部分（図中太枠で囲まれた部分）を参照する。そして、第１検知部２１１Ａは、この２×２画素に対応する低解像度画像の画素（すなわち、濃度が２５％となる画素）を、補正処理の候補の画素として検知する。

（補正処理の対象外の画素の検知処理の具体例（第２例））
図１０は、本発明の第１実施形態に係る第２検知部２１１Ｂによる補正処理の対象外の画素の検知処理の具体例（第２例）を示す図である。図１０は、低解像度画像における５×５画素を例示するものである。図１０において、「１」が設定されている画素は、第１検知部２１１Ａ（図９で説明した処理）によって検知された補正処理の候補の画素である。一方、「０」が設定されている画素は、第１検知部２１１Ａ（図９で説明した処理）によって補正処理の候補として検知されなかった画素である。なお、網掛けがなされている画素は、「１」が設定されている画素、または、「０」が設定されている画素のどちらであってもよいことを表す。

図１０の例では、５×５画素の中心画素のみ「１」が設定されており、その他の全ての画素には「０」が設定されている。この場合、第２検知部２１１Ｂは、５×５画素の中心画素を、孤立点である（すなわち、特定パターンを構成する画素である）と判定する。したがって、第２検知部２１１Ｂは、この中心画素を、補正処理の対象外にしないと判定する。

一方、例えば、図１０の例において、５×５画素の中心画素以外の少なくともいずれか１つの画素に「１」が設定されていると仮定する。この場合、第２検知部２１１Ｂは、５×５画素の中心画素を、孤立点ではない（すなわち、特定パターンを構成する画素ではない）と判定する。したがって、第２検知部２１１Ｂは、この中心画素を、補正処理の対象外にすると判定する。

（補正処理の具体例（第２例））
図１１は、本発明の第１実施形態に係る補正部２１２による補正処理の具体例（第１例）を示す図である。図１１（第１段）では、点線１１００Ａを含む入力画像１１００が例示されている。この入力画像１１００からは、低解像度化部２０２により、図１１（第２段）に示す、１枚目の低解像度画像１１０１と、２枚目の低解像度画像１１０２とが生成される。そして、図１１（第３段）に示すように、低解像度画像１１０１に対して、低解像度画像１１０２が、左下に画素ずらし表示される。

補正部２１２は、低解像度画像１１０１，１１０２において、特定パターン（孤立点）に対応する、補正処理の候補の画素（補正処理の対象外とされた画素を除く）に対して、強調処理を行う。

例えば、点線１１００Ａは、図１０に示したパターンに相当するものではない。このため、点線１１００Ａに含まれる各黒画素は、第２検知部２１１Ｂにより、特定パターン（孤立点）ではないと判定される。したがって、低解像度画像１１０１，１１０２において、点線１１００Ａに対応する画素は、補正部２１２による強調処理がなされない。これにより、低解像度画像１１０１，１１０２において、点線１１００Ａにおける点と点との間の空白に相当する部分が、強調されないようにすることができる。このため、例えば、低解像度画像１１０１，１１０２を画素ずらし表示した際に、点線１１００Ａに相当する部分が、実線として視認されてしまうことを防止することができる。

このように、本実施形態の画像制御部１１１は、図１０のパターンによって補正処理の対象外の画素を検知することにより、黒画素同士の間隔が比較的近い場合には、特定の補正処理の対象外とすることができる。これにより、本実施形態の画像制御部１１１は、孤立した複数の黒画素が繋がって視認されてしまうことを防止することができる。なお、このような効果は、点線に限らず、縞模様、格子模様、水玉模様等においても、同様に得られる。

（補正処理の変形例）
図１２は、本発明の第１実施形態に係る補正部２１２による補正処理の変形例に用いられるフィルタの一例を示す図である。

上記第１実施形態において、画像制御部１１１は、入力画像の画質モードが「自然画モード」（本発明の「第１のモード」に相当）であるか「文書画像モード」（本発明の「第２のモード」に相当）であるかを選択するモード選択部をさらに備えるようにしてもよい。この場合、補正部２１２は、モード選択部によって選択された画質モードに応じて、補正処理を異ならせるようにしてもよい。例えば、「自然画モード」が選択された場合、補正部２１２は、低解像度画像に対し、実施形態で説明した特定の補正処理（検知部２１１による検知結果を使用する強調処理）を行わず、その他の補正処理を行うようにしてもよい。一方、「文書画像モード」が選択された場合、補正部２１２は、低解像度画像に対し、実施形態で説明した特定の補正処理を行うようにしてもよい。

自然画には、２値的な斜め線パターンや孤立点パターンが殆ど存在しない。このため、「自然画モード」が選択された場合、補正部２１２は、実施形態で説明した特定の補正処理を行わないようにしてもよい。これにより、補正部２１２により無駄な処理が行われてしまうことを防止することができる。また、自然画において、不自然な強調処理がなされてしまうことを防止することができる。なお、「自然画モード」が選択された場合、補正部２１２は、代わりに、一般的な強調処理方式であるアンシャープマスクによる強調処理を行うようにしてもよい。この場合、補正部２１２は、例えば、式{強調処理前の画像＋（強調処理前の画像－平滑化画像）×ｋ}に相当する処理を行うことにより、アンシャープマスクによる強調処理後の画像を得ることができる。なお、上記式において、平滑化画像は、例えば図１２に例示するフィルタによる演算結果を用いることができる。また、ｋは、強調量を調整するためのパラメータである。

一方、文書画像には、２値的な斜め線パターンや孤立点パターンが多く存在する。このため、「文書画像モード」が選択された場合、補正部２１２は、実施形態で説明した特定の補正処理を行うようにしてもよい。このとき、補正部２１２は、特定パターン（斜め線および孤立点）に対応する部分に対しては、中心の濃度が、周囲のその他のパターン（例えば、縦線、横線等）に対応する部分と同程度となるように、強調処理を行うようにしてもよい。これにより、特定パターンに対応する部分の画像ボケを、その他のパターンに対応する部分と同程度にまで軽減することができる。また、補正部２１２は、その他のパターンに対応する部分については、「自然画モード」が選択されたときと同様に、アンシャープマスクによる強調処理を行うようにしてもよい。

なお、画質モードの選択は、ユーザによる操作部１０３の操作によって行われるようにしてもよい。または、画質モードの選択は、画像制御部１１１が自動で行うようにしてもよい。後者の場合、画像制御部１１１は、例えば、特開平７－３３４６１６号公報に開示されている方法を用いて、自然画であるか文書画像であるかを自動判定するようにしてもよい。この方法は、入力された画像データの微分画像データを基に濃度投影ヒストグラムを生成し、濃度投影ヒストグラムの分散値の大小によって、文書画像か否かを判別する方法である。一般的に、文書画像の濃度投影ヒストグラムでは、文字が存在する行部分は大きな値（山）となり、文字のない行間部分は小さな値（谷）となる。このため、比較的大きい分散値が得られれば、文書画像であると判別することができる。

この変形例では、補正部２１２は、入力画像の画質モードに応じた適切な補正処理を、低解像度画像に対して行うことができる。

（まとめ）
以上説明したように、本実施形態の画像制御部１１１は、低解像度画像における、比較的強い画像ボケが発生し得る特定パターン（斜め線および孤立点）に対応する部分を検知する。そして、画像制御部１１１は、この部分に対して、画像ボケを軽減するための特定の補正処理（強調処理）を行うようにしている。このため、本実施形態の画像制御部１１１によれば、低解像度画像を画素ずらし表示した際に、スクリーン１５０に映し出される投影画像の画像ボケを軽減することができる。したがって、本実施形態の画像制御部１１１によれば、画素ずらし表示を行う際の表示画質を高めることができる。

特に、本実施形態の画像制御部１１１は、初めに、特定の補正処理の候補の画素を検知し、次に、特定の補正処理の候補の画素のうち、特定パターンに合致しない画素を、特定の補正処理の対象外の画素として検知するようにしている。このため、本実施形態の画像制御部１１１によれば、特定の補正処理がなされてしまうと却って不都合が生じてしまう画素に対して、特定の補正処理が行われないようにすることができる。

〔第２実施形態〕
（画像制御部１１１'の機能構成）
次に、図１３～図１５を参照して、本発明の第２実施形態について説明する。ここでは、第１実施形態からの変更点について説明する。図１３は、本発明の第２実施形態に係る画像制御部１１１'の機能構成を示すブロック図である。この第２実施形態の画像制御部１１１'は、モード選択部２２０、スムージング処理部２２１、および先鋭化部２２２をさらに備える点で、第１実施形態（図２）の画像制御部１１１と異なる。

モード選択部２２０は、画質モードを選択する。例えば、モード選択部２２０は、「オフィス文書モード」、「静止自然画モード」、「ムービーモード」の中から、いずれかの画質モードを選択する。例えば、モード選択部２２０は、ユーザにいずれかの画質モードを選択させ、その選択結果に基づいて、画質モードを選択する。スムージング処理部２２１は、画像取得部２０１によって取得された入力画像に対して、モード選択部２２０によって選択された画質モードに応じた平滑化フィルタを用いて、スムージング処理（平滑化フィルタ処理）を行う。先鋭化部２２２は、低解像度化部２０２によって生成された低解像度画像に対して、先鋭化フィルタを用いた先鋭化フィルタ処理を行う。

（画像制御部１１１'の処理手順）
図１４は、本発明の第２実施形態に係る画像制御部１１１'の処理手順を示すフローチャートである。

まず、画像取得部２０１が、入力画像を取得する（ステップＳ１４０１：画像取得工程）。次に、モード選択部２２０が、画質モードを選択する（ステップＳ１４０２：選択工程）。次に、スムージング処理部２２１が、ステップＳ１４０１で取得された入力画像に対して、ステップＳ１４０２で選択された画質モードに応じたスムージング処理を行う（ステップＳ１４０３：スムージング工程）。次に、低解像度化部２０２が、ステップＳ１４０３でスムージング処理がなされた入力画像から、低解像度画像を生成する（ステップＳ１４０４：低解像度化工程）。そして、第１検知部２１１Ａが、ステップＳ１４０３でスムージング処理がなされた入力画像に基づいて、ステップＳ１４０４で生成された低解像度画像における、補正処理の候補の画素を検知する（ステップＳ１４０５：第１検知工程）。

続いて、第２検知部２１１Ｂが、ステップＳ１４０５で検知された補正処理の候補の画素のうち、補正処理の対象外の画素を検知する（ステップＳ１４０６：第２検知工程）。そして、補正部２１２が、ステップＳ１４０４で生成された低解像度画像における、ステップＳ１４０５で検知された補正処理の候補の画素（補正処理の対象外の画素を除く）に対して、特定の補正処理を行う（ステップＳ１４０７：補正工程）。

そして、先鋭化部２２２が、ステップＳ１４０７で特定の補正処理がなされた低解像度画像に対して、先鋭化処理を行う（ステップＳ１４０８：先鋭化工程）。その後、画像出力部２０３が、ステップＳ１４０８で先鋭化処理がなされた低解像度画像を、画像生成ユニット１２３へ出力する（ステップＳ１４０９：出力工程）。これにより、画像出力部２０３は、ステップＳ１４０４で生成された低解像度画像のスクリーン１５０への画素ずらし表示を、光学エンジン１２０に行わせる。そして、画像制御部１１１'は、図１４に示す一連の処理を終了する。

（平滑化フィルタおよび先鋭化フィルタの具体例）
図１５は、本発明の第２実施形態に係る画像制御部１１１'が用いる平滑化フィルタおよび先鋭化フィルタの具体例を示す図である。

例えば、「オフィス文書モード」が選択された場合、スムージング処理部２２１は、図１５（ａ）に示す平滑化フィルタを使用する。これにより、スムージング処理部２２１は、小数点等の消失を防ぐことができる。

また、「静止自然画モード」が選択された場合も、スムージング処理部２２１は、図１５（ａ）に示す平滑化フィルタを使用する。これにより、スムージング処理部２２１は、高精細化が望まれる静止画像が好適に表示されるようにすることができる。なお、「静止自然画モード」が選択された場合、スムージング処理部２２１は、図１５（ｂ）に示す平滑化フィルタを使用してもよい。これにより、スムージング処理部２２１は、比較的弱いスムージング処理を行って、自然画が好適に表示されるようにすることができる。

また、「ムービーモード」が選択された場合、スムージング処理部２２１は、図１５（ｃ）に示す平滑化フィルタを使用する。これにより、スムージング処理部２２１は、画像が動いている場面を含む動画において、比較的強いスムージング処理を行って、諧調性を重視した滑らかな表示となるようにすることができる。

なお、図１５（ｄ）は、先鋭化部２２２が先鋭化フィルタ処理に使用する先鋭化フィルタの一例である。

このように、第２実施形態の画像制御部１１１'によれば、選択された画質モードに応じた適切なスムージング処理を行うことができる。したがって第２実施形態の画像制御部１１１'によれば、画素ずらし表示を行う際の表示画質をさらに高めることができる。

（変形例）
上記第２実施形態において、画像の動きの大きさを判断する判断部をさらに設けるようにしてもよい。この場合において、「ムービーモード」が選択された場合、スムージング処理部２２１は、判断部による判断結果に基づいて、スムージング処理に使用する平滑化フィルタを決定するようにしてもよい。

例えば、判断部は、低解像度画像における１つ前のフレーム画像を記憶しておく。そして、判断部は、現在のフレーム画像と、１つ前のフレーム画像との差の絶対値の合計情報から、画像の動きレベルを判断する。具体的には、判断部は、ある一部の表示領域に着目して、現在のフレーム画像の画素値と、１つ前のフレーム画像の画素値との差の絶対値の領域内総和値（ｘ）を算出する。そして、判断部は、その総和値（ｘ）が、所定の閾値Ｔｈ_ｘ以下の場合、現在のフレーム画像を、「動きが小さい」と判断する。反対に、判断部は、その総和値（ｘ）が、所定の閾値Ｔｈ_ｘよりも大きい場合、現在のフレーム画像を、「動きが大きい」と判断する。ここで、判断部は、低解像度画像に基づく判断を行っているため、判断の際に用いるデータ量を、入力画像の１／４に減らすことができる。さらに、判断部は、一部の表示領域に着目した判断を行っているため、これによっても、判断の際に用いるデータ量を減らすことができる。

例えば、スムージング処理部２２１は、判断部によって画像の「動きが小さい」と判断された場合、図１５（ａ）に示す平滑化フィルタを使用してもよい。これにより、スムージング処理部２２１は、高精細化が望まれる画像の動きが比較的小さい場合に、当該画像が好適に表示されるようにすることができる。

また、例えば、スムージング処理部２２１は、判断部によって「動きが大きい」と判断された場合、図１５（ｃ）に示す平滑化フィルタを使用してもよい。これにより、スムージング処理部２２１は、画像の動きが比較的大きい場面において、比較的強いスムージング処理を行って、諧調性を重視した滑らかな表示となるようにすることができる。

なお、上記変形例において、スムージング処理部２２１は、判断部による判断結果が変わった場合、変更後の判断結果に応じた平滑化フィルタを使用して、スムージング処理を行うようにしてもよい。この場合、スムージング処理部２２１は、平滑化フィルタを段階的に変更することにより、スムージング処理の強度が徐々に切り替わるようにしてもよい。これにより、スムージング処理部２２１は、スムージング処理の強度の変更に伴う違和感を緩和することができる。例えば、判断部による判断結果が、「動きが大きい」から「動きが小さい」に変わったとする。この場合、スムージング処理部２２１は、１フレーム後の画像には、図１５（ｂ）に示す平滑化フィルタを使用し、２フレーム後の画像には、図１５（ａ）に示す平滑化フィルタを使用するようにしてもよい。

また、上記変形例において、判断部は、画像の動きの大きさを２段階で判断するようにしているが、これに限らず、３段階以上の多段階で判断するようにしてもよい。スムージング処理部２２１は、多段階の判断結果の各々について、当該判断結果に応じた平滑化フィルタを使用するようにしてもよい。これにより、スムージング処理部２２１は、スムージング処理の強度の変更に伴う違和感を緩和することができる。例えば、判断部によって、「動きが小さい」と判断された場合、スムージング処理部２２１は、１フレーム後の画像に対し、図１５（ａ）に示す平滑化フィルタを使用するようにしてもよい。また、例えば、判断部によって、「動きが普通」と判断された場合、スムージング処理部２２１は、１フレーム後の画像に対し、図１５（ｂ）に示す平滑化フィルタを使用するようにしてもよい。例えば、判断部によって、「動きが大きい」と判断された場合、スムージング処理部２２１は、１フレーム後の画像に対し、図１５（ｃ）に示す平滑化フィルタを使用するようにしてもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１００ プロジェクタ（画像投影装置）
１０３ 操作部
１１０ システムコントロール部
１１１，１１１' 画像制御部（画像処理装置）
１２０ 光学エンジン（投影手段）
１５０ スクリーン（投影面）
２０１ 画像取得部
２０２ 低解像度化部
２０３ 画像出力部
２１１ 検知部
２１１Ａ 第１検知部
２１１Ｂ 第２検知部
２１２ 補正部
２２０ モード選択部
２２１ スムージング処理部
２２２ 先鋭化部

特開２０１１－２０３４６０号公報

Claims (13)

1. 入力画像から、画素ずらし表示のための、前記入力画像よりも解像度の低い低解像度画像を生成する低解像度化部と、
   前記低解像度画像における、特定パターンに対応する部分を検知する検知部と、
   前記低解像度画像における、前記特定パターンに対応する部分に対して、特定の補正処理を行う補正部と
   を備えることを特徴とする画像処理装置。
2. 前記検知部は、
   前記低解像度画像における、画質劣化が発生し得る特定パターンに対応する部分を検知することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正部は、
   前記低解像度画像における、前記特定パターンに対応する部分に対して、画質劣化を軽減するための特定の補正処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特定パターンは斜め線であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記特定パターンは孤立点であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記検知部は、
   前記低解像度画像における、濃度が所定値以下の画素を、前記特定の補正処理の候補の画素として検知する第１検知部と、
   前記特定の補正処理の候補の画素のうち、前記特定パターンに合致する画素を、前記特定の補正処理の対象の画素として検知する第２検知部と
   を有することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記特定の補正処理は、前記特定パターンに対応する部分に対する強調処理である
   ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記特定の補正処理は、前記特定パターンに対応する部分の濃度を、周囲のその他のパターンに対応する部分の濃度と同程度にまで強調する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 画質モードを選択するモード選択部をさらに備え、
   前記補正部は、
   前記モード選択部によって前記画質モードとして、自然画の表示に対応する第１のモードが選択された場合、前記低解像度画像に対して前記特定の補正処理を行わず、
   前記モード選択部によって前記画質モードとして、文書画像の表示に対応する第２のモードが選択された場合、前記低解像度画像に対して前記特定の補正処理を行う
   ことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 画質モードを選択するモード選択部と、
    前記入力画像に対して、前記モード選択部によって選択された画質モードに応じた平滑化フィルタを用いて、スムージング処理を行うスムージング処理部と
    をさらに備えることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
11. 前記低解像度画像における画像の動きの大きさを判断する判断部をさらに備え、
    前記スムージング処理部は、前記判断部による判断結果と、前記モード選択部によって選択された画質モードとに応じた平滑化フィルタを用いて、前記スムージング処理を行う
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 請求項１から１１のいずれか一項に記載の画像処理装置と、
    前記画像処理装置によって生成された前記低解像度画像を投影面に投影することにより、前記低解像度画像を前記投影面に画素ずらし表示する投影手段と
    を備えたことを特徴とする画像投影装置。
13. 入力画像から、画素ずらし表示のための、前記入力画像よりも解像度の低い低解像度画像を生成する低解像度化工程と、
    前記低解像度画像における、特定パターンに対応する部分を検知する検知工程と、
    前記低解像度画像における、前記特定パターンに対応する部分に対して、特定の補正処理を行う補正工程と
    を含むことを特徴とする画像処理方法。

Images