JP6324030B2 - 投射型画像表示装置及びその制御方法 - Google Patents

Description

本発明は、画像を投射する投射型画像表示装置及びその制御方法に関する。

画像をスクリーンに投射して表示する投射型画像表示装置（以下、「フロントプロジェクタ」と言う。）では、投射画像がスクリーン上で合焦するように投射光学系の焦点距離を制御する必要がある。

投射光学系の合焦制御技術として、スクリーンに合焦制御用テストパターンを投射し、スクリーン上のテストパターンを撮像し、そのコントラストが高くなるよう投射光学系の焦点距離を制御することが知られている。

特許文献１には、入力画像に位相差検出による測距に適した画像部分があるかどうかを検出し、そのような画像部分を投射しているときに、２つのラインセンサの出力による位相差に従い投射光学系を合焦制御する技術が記載されている。

スクリーンに投射された画像又はその一部をフロントプロジェクタに装備したカメラで撮像し、当該カメラによる撮影画像のコントラストが高くなるように、いわゆる山登り方式で漸進的に投射光学系の焦点距離を制御する技術も知られている。

特開２００７−１１１９８号公報

合焦制御用のテストパターンを投射して投射光学系を合焦制御する従来例では、その間、本来の画像を投射できなくなる。動画を投射表示している場合に、このような合焦制御を起動することは、視聴体験として好ましくない。複数の静止画を順次投射するような場合でもあっても、同様に好ましくない。

特許文献１に記載の技術では、入力画像が合焦制御に適したハイコントラストな画像部分を含まない限り、投射光学系の合焦制御を実行できない。また、そのようなハイコントラストな画像部分を含むタイミングでしか、投射光学系の合焦制御を実行できない。すなわち、特許文献１に記載の技術では、随時又は必要時に投射光学系の合焦制御を実行できず、この結果、例えば、動画の場合には快適な視聴体験を提供できない場合がある。

山登り方式の場合、その制御途中に投射画像が切り替わると、適切な合焦制御を行えない。すなわち、この技術は、動画には適用できない場合がある。また、スクリーン上の画像が低コントラストである場合、それが、投射光学系の焦点ズレによるものか、入力画像そのものが低コントラストなのかを判断できないと、投射光学系の適切な合焦制御は実現できない。

本発明はこのような問題点を解決し、テストパターンを用いずに、入力画像が動画であっても適時に投射光学系の合焦制御を行える投射型画像表示装置及びその制御方法を提示することを目的とする。

上記目的を達成するために、本発明に係る投射型画像表示装置は、画像入力手段と、前記画像入力手段に入力された入力画像の鮮鋭度を解析し、入力画像評価値を算出する入力画像評価手段と、光源と、前記光源から出力される光を前記入力画像に従って変調し、光学像を出力する光変調手段と、前記光変調手段から出力される前記光学像を被投射面に投射する投射光学系と、前記投射光学系のフォーカスレンズを駆動する投射光学系駆動手段と、前記被投射面を撮像する撮像手段と、前記撮像手段により撮像された画像を、前記投射光学系と前記撮像手段との視差による台形歪みを補正する台形補正手段と、前記投射光学系を介して動画を投射しながら、前記撮像手段により撮影され、前記台形補正手段により補正された画像の鮮鋭度を解析し、撮像画像評価値を算出する撮像画像評価手段と、前記入力画像評価値と、当該入力画像評価値を算出した前記入力画像に対応する撮影画像の前記撮像画像評価値とを比較することにより、動画を投射しながら前記投射光学系駆動手段を介して前記投射光学系を合焦制御する制御手段とを有することを特徴とする。

本発明によれば、投射画像又はその一部を用いて投射光学系の合焦を制御するので、入力画像を表示しながら適切なフォーカスを維持できる。動画にも適用できる。これにより、鮮明な画像表示を確保できる。

本発明の一実施例の概略構成ブロック図である。 本実施例の動作フローチャートである。 本実施例の入力画像参照合焦制御の動作フローチャートである。 画像のブロック分割例を示す模式図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。

１００は、本発明の一実施例である投射型画像表示装置である。

１０１は投射型画像表示装置１００に画像信号を入力する画像入力部である。画像入力部１０１には例えば、ＨＤＭＩ（登録商標）又はＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像伝送規格に準拠する映像信号ケーブルを介して映像ソースから映像信号が入力する。画像入力部１０１は、入力した映像信号をＲＧＢ信号又は輝度色差信号などのフォーマットに変換する。

１０２はパターン発生部であり、投射型画像表示装置１００の電源を投入して起動したときに初期的に投射光学系１１０の合焦制御を行うためのテストパターンを生成する。

１０３は解像度変換部であり、画像入力部１０１から入力する画像信号の解像度を光変調素子１０９の解像度に合わせるように変換する。

１０４は切替え部であり、システム制御部１２１からの制御に従って、入力部１０１からの入力画像信号とパターン発生部１０２からの画像信号（テストパターン）を切り替えて出力する。

１０５は画像処理部であり、色空間変換処理やノイズリダクション処理などの画像信号処理を行う。

１０６は表示駆動部であり、ＲＧＢ信号又は輝度色差信号を光変調素子１０９に供給すべき画像信号に変換する。また表示駆動部１０６は、光変調素子１０９の駆動パルスを生成する。

１０７はランプ光源であり、メタルハライドランプ又はＬＥＤランプなどの光源で構成される。

１０８はランプ駆動部であり、システム制御部１２１からの制御により、ランプ光源１０７のオン／オフ及び明るさなどを制御する。

１０９は光変調素子であり、反射型液晶パネル又は透過型液晶パネルなどからなる。光変調素子１０９は、表示駆動部１０６から供給される画像信号と駆動パルスで駆動され、ランプ光源１０７からの光を空間変調する。

１１０は投射光学系であり、不図示のリレー光学系、ズーム光学系及びフォーカス光学系からなる。投射光学系１１０は、光変調素子１０９で空間変調された光学像をスクリーン１１２に投射する。スクリーン１１２は被投射面の一例であり、建物の外壁等であっても良い。

１１１は投射光学系駆動部であり、投射光学系１１０のフォーカスレンズを駆動する。投射光学系駆動部１１１はフォーカスレンズエンコーダを有し、フォーカスレンズの位置情報を出力する。

１１２はスクリーンであり、投射光学系１１０から投射される空間変調された光学像を投射画像として表示する。

１１３は撮像部であり、スクリーン１１２上の投射画像を撮像する。撮像部１１３を投射型画像表示装置１００に内蔵したように図１には図示したが、外付けであっても良い。

１１４は投射画像領域検出部であり、撮像部１１３が撮像した画像のうち、スクリーン１１２に投射された投射画像の領域のみを検出し、切り出して、出力する。

１１５は台形補正部であり、投射光学系１１０と撮像部１１３との光軸のズレに起因する視差により撮像画像に発生する台形歪を補正する。

１１６は撮像画像評価部であり、台形補正部１１５の出力画像を画面内で複数のブロックに分割し、そのブロックごとに画像の鮮鋭度を解析し、その評価値を算出する。撮像画像評価部１１６は例えば、入力画像から高域フィルタにより高域成分を抽出し、ブロック内で積分する構成からなる。

１１７は入力画像評価部であり、解像度変換部１０３から入力された画像を画面内で撮像画像評価部１１６と同じ配置の複数のブロックに分割し、そのブロックごとに画像の鮮鋭度を解析し、その評価値を算出する。

１１８は撮像画像評価値正規化部であり、撮像画像評価部１１６から出力される撮像画像評価値と、入力画像評価部１１７から出力される入力画像評価値を比較し、その比較結果をシステム制御部１２１に供給する。

１１９は操作入力部である。操作者は、操作入力部１１９を用いて電源の投入や映像信号の切り替えやズームの操作などを行う。

１２０は各種設定を記憶する記憶部である。

１２１はシステム制御部であり、投射型画像表示装置１００の各ブロックを制御する。

１２２は内部バスであり、システム制御部１２１を始めとする各ブロックの通信バスとして機能する。

図２及び図３に示す本実施例の動作フローチャートを参照して、本実施例の動作を説明する。

操作者が操作入力部１１９で電源をオンにすると、システム制御部１２１は、図２に示すフローをスタートする。システム制御部１２１は内部バス１２２を通じて操作入力部１１９をモニタしており、操作者により電源投入を指示されると、予め定められている順に従って投射型画像表示装置１００の各ブロックに電源を投入する。システム制御部１２１はまた、投射光学系駆動部１１１により、投射光学系１１０のフォーカスレンズを所定位置、例えば、可動範囲の一端に移動させる。

Ｓ２０１で、システム制御部１２１は、ランプ光源１０７がある程度の明るさになるのを待つ。これは、電源投入（Ｓ２００）からタイマでカウントしても良いし、何らかのセンサにより照度を検知しても良い。

ある程度の明るさの光学画像が投射光学系１１０からスクリーン１１２に投射できるようになった時点で、システム制御部１２１は、切替え部１０４をパターン発生部１０２が発生するフォーカス検出用のテストパターンに切り替える。切替え部１０４は、パターン発生部１０２から出力されるテストパターンを画像処理部１０５に供給する。表示駆動部１０６は画像処理部１０５の出力画像信号に従い光変調素子１０９を駆動し、光変調素子１０９は、ランプ光源１０７からの照明光を空間変調して光学像を生成する。投射光学系１１０が、光変調素子１０９による空間変調で生成される光学像をスクリーン１１２に投射する。

Ｓ２０２で、システム制御部１２１は、投射光学系駆動部１１１を制御して、投射光学系１１０のフォーカスレンズを所定量だけ駆動する。

Ｓ２０３で、撮像画像評価部１１６が撮像画像評価値を算出する。具体的には、撮像部１１３が、スクリーン１１２に投射されているテストパターン画像を撮像する。テストパターンに対しては、投射画像領域検出部１１４及び台形補正部１１５は、撮像部１１３の撮像画像を無処理でスルーし、撮像画像評価部１１６が撮像画像の鮮鋭度を評価し、当該鮮鋭度を示す撮像画像評価値を内部メモリに格納する。撮像画像評価値は、鮮鋭度が高いほど大きくなる。システム制御部１２１は内部バス１２２を通じて撮像画像評価部１１６の内部メモリから撮像画像評価値を読み込み、記憶する。システム制御部１２１は、内部バス１２２を通じて投射光学系駆動部１１１を通じて投射光学系１１０のフォーカスレンズ位置情報を読み込み、撮像画像評価値とともに記憶する。

Ｓ２０４で、システム制御部１２１は、Ｓ２０３で算出した現在の撮像画像評価値をフォーカスレンズの移動前の撮像画像評価値と比較する。但し、図２に示すフローをスタートしてから最初のステップＳ２０４では、直前値が存在しないので、システム制御部１２１は、過去の合焦時の撮像画像評価値を移動前の値として、Ｓ２０３で算出した現在の撮像画像評価値と比較する。移動前後の撮像評価値が合焦状態と見做せる程に一致する場合（Ｓ２０４）、システム制御部１２１はＳ２０５に移動し、そうでない場合にはＳ２０２に戻る。

スタートアップ時の合焦調節において、フォーカスレンズの初期位置が、例えば、前回の電源オフ時の位置のように、可動範囲の中間的な位置に位置する場合には、山登り制御において、評価値が高くなる方向にフォーカスレンズを駆動する必要がある。例えば、現在の撮像画像評価値が過去の撮像画像評価値よりも小さくなった場合（Ｓ２０４）に実行するステップＳ２０２では、システム制御部１２１は、前回のフォーカスレンズ移動方向とは逆方向にフォーカスレンズを駆動するように制御する。また、現在の撮像画像評価値が過去の撮像画像評価値よりも大きくなった場合（Ｓ２０４）に実行するＳ２０２では、システム制御部１２１は、前回のフォーカスレンズ移動方向と同じ方向にフォーカスレンズを駆動するように制御する。

合焦と判断できる場合（Ｓ２０４）、システム制御部１２１は、切替え部１０４を解像度変換部１０３の出力側に切り替える。切替え部１０４は、解像度変換部１０３の出力画像信号を画像処理部１０５に出力し、表示駆動部１０６が画像処理部１０５の出力画像信号に従って光変調素子を駆動する。これにより、入力部１０１に入力する画像信号の画像が、投射光学系１１０よりスクリーン１１２に投射される。

Ｓ２０６で、システム制御部１２１は、投射画像を参照したフォーカス制御を実行する。ステップＳ２０６の詳細は、図３を参照して後述する。

Ｓ２０７で、システム制御部１２１は、操作入力部１１９をモニタし、操作者が投射型画像表示装置１００の作動を停止する操作、例えば電源オフ操作をしたかどうかを判別する。そのような停止操作が無い場合（Ｓ２０７）、システム制御部１２１は、Ｓ２０６を再度、実行する。即ち、システム制御部１２１は、投射停止の指示があるまで（Ｓ２０７）、画像参照フォーカス制御（Ｓ２０６）を繰り返し実行する。操作者により投射型画像表示装置１００の作動を停止する要求があった場合、システム制御部１２１は、Ｓ２０８に進む。

Ｓ２０８で、システム制御部１２１は、予め決められた順に従って投射型画像表示装置１００の各ブロックの電源を切断し、図２に示すフローを終了する。

図３は、入力画像参照フォーカス制御（Ｓ２０６）の詳細なフローチャートを示す。

Ｓ３００で、システム制御部１２１は、フォーカス制御要求の有無を判断する。フォーカス制御要求は、初期設定動作時にフォーカスを合わせた合焦状態から外れたとシステム制御部１２１が判断したときに発生する。例えば、操作者又はそれ以外の要因により、投射型画像表示装置１００又はスクリーン１１２が移動し、この移動により投射画像のフォーカスがずれた状態になった時などである。また、ランプ光源１０７の発生熱により、初期設定動作時と比較して投射光学系１１０を始めとする光学系や機構系が膨張又は移動することにより、フォーカスがずれることも考えられる。投射型画像表示装置１００の筺体に加速度センサを設け、当該加速度センサの出力が大きく変化したときに、投射型画像表示装置１００の筺体が動いたと判断できる。また、電源投入時から一定の時間が経過した時点で、光学系や機構系への熱の影響によりフォーカスが変化する可能性が高いので、ステップＳ２０６を強制実行するのが好ましい。

システム制御部１２１は、フォーカス制御要求が発生していない場合には、図３に示すフローからＳ２０７に戻る。フォーカス制御要求が発生したと判断した場合には、システム制御部１２１は、Ｓ３０１に進む。

Ｓ３０１で、システム制御部１２１は、入力画像評価部１１７から入力画像評価値を取得し、入力画像評価値が任意の閾値よりも小さいかどうかを判断する。ここでは、入力部１０１の入力画像をスクリーン１１２に投射したときに、その投射画像がフォーカス制御を行うのに十分な鮮鋭度を有するかどうかを判断する。すなわち、閾値は、撮像部１１３による投射画像の撮像画像の鮮鋭度が合焦制御を可能にする程度以上に設定される。

入力画像評価値が閾値よりも小さい場合（Ｓ３０１）、システム制御部１２１は、入力画像評価値が閾値以上となるまでＳ３０１をループする。入力画像評価値が閾値よりも大きくなったとき、システム制御部１２１はＳ３０２に進む。

Ｓ３０２で、システム制御部１２１は、投射光学系駆動部１１１を制御して、投射光学系１１０のフォーカスレンズを任意の値だけ移動させる。これにより、スクリーン１１２への投射画像の鮮鋭度が変化する。

Ｓ３０３で、システム制御部１２１は、撮像部１１３にスクリーン１１２上の投射画像を撮像させる。

Ｓ３０４で、投射画像領域検出部１１４は、撮像部１１３の撮像画像の中で投射画像を含む領域を出力する。

Ｓ３０５で、台形補正部１１５が、投射画像領域検出部により検出された出力される投射画像部分を台形補正する。投射光学系１１０と撮像部１１３の光軸は一般的には一致しないので、視差により撮像画像（に含まれる投射画像）に台形歪が発生する。台形補正部１１５は、この台形歪みを補正する。

Ｓ３０６で、入力画像評価部１１７は、切替え部１０４の出力画像（入力部１０１の入力画像）の鮮鋭度の評価値を算出し、撮像画像評価部１１６は、台形補正部１１５の出力画像の鮮鋭度の評価値を算出する。説明上、入力画像評価部１１７の評価対象の画像と、撮像画像評価部１１６の評価対象の画像は、投射前か投射後の違いはあるものの実質的に同じ時点の画像である。撮像画像評価部１１６及び入力画像評価部１１７は、図４に示すように、それぞれの入力画像をＮ×Ｍ個のブロックに分割した各ブロックで評価値を算出する。図４は、一例として、５×５のブロック分割例を示す。

Ｓ３０７で、システム制御部１２１は、入力画像評価部１１７から入力画像評価値を読み出し、鮮鋭度の高いブロックを選択する。又は、操作者が予め任意のブロックを選択しても良い。

Ｓ３０８で、撮像画像評価値正規化部１１８は、撮像画像評価部１１６から出力される撮像画像評価値を、入力画像評価部１１７から出力される入力画像評価値で対応するブロック間で正規化する。即ち、撮像画像評価値正規化部１１８は、画面上の同じ位置のブロック間で撮像画像評価値を入力画像評価値で除算する。山登り制御によるフォーカス制御では、フォーカスレンズの移動の前後における評価値を比較し、当該評価値が大きくなる方向にフォーカスレンズを移動する。動画の場合、フォーカスレンズの移動の前後で一般に投射画像（の鮮鋭度）が変化しているので、撮像画像評価値の比較のみではフォーカスレンズの移動方向を適切には判断できない。本実施例では、撮像画像評価値を入力画像評価値で正規化した結果を移動前後で比較するようにした。これにより、動画であっても、合焦点に向かうフォーカスレンズの移動方向を適切に判断でき、従って、投射光学系１１０を合焦位置に制御できる。

撮像画像評価値の対象画像は、画像処理部１０５、表示駆動部１０６、光変調素子１０９、撮像部１１３、投射画像領域検出部１１４及び台形補正部１１５を経由して撮像画像評価部１１６に入力している分、入力画像評価値よりも遅延している。入力画像評価部１１７は、入力画像評価値を、この遅延時間に相当する時間だけ遅延して、撮像画像評価値正規化部１１８に供給する。これにより、撮像画像評価値正規化部１１８は、同じ時点の画像に基づく入力画像評価値で撮像画像評価値を正規化できる。

撮像画像評価値正規化部１１８で得られる正規化撮像画像評価値は、Ｓ３０７で選択したブロックのものだけで良い。従って、Ｓ３０８では、撮像画像評価値正規化部１１８は、当該ブロックについてのみ撮像画像評価値を入力画像評価値で正規化するだけでよい。

Ｓ３０９で、システム制御部１２１は、Ｓ３０７で選択したブロックの、撮像画像評価値正規化部１１８の出力である正規化撮像画像評価値を、フォーカスレンズの移動前後で比較する。

現在の正規化撮像画像評価値が過去の正規化撮像画像評価値よりも小さくなった場合（Ｓ３０９）、システム制御部１２１は、まだ合焦していないと判断してＳ３０１に戻る。この場合、Ｓ３０２で、システム制御部１２１は、前回のフォーカスレンズ駆動移動方向とは逆の方向にフォーカスレンズを移動するように投射光学系駆動部１１１を制御する。

現在の正規化撮像画像評価値が過去の正規化撮像画像評価値よりも大きくなった場合にも、システム制御部１２１は、まだ合焦していないと判断してＳ３０１に戻る。この場合、Ｓ３０２で、システム制御部１２１は、前回のフォーカスレンズ駆動移動方向と同じ方向にフォーカスレンズを移動するように投射光学系駆動部１１１を制御する。

現在の撮像画像評価値と過去の撮像画像評価値の差分が所定閾値よりも小さい場合、システム制御部１２１は、合焦したと判断して、Ｓ２０７に戻る。

図３に示すフローでは、特定のブロックの正規化撮像画像評価値をフォーカスレンズの移動前後で比較したが、画面全体の正規化撮像画像評価値をフォーカスレンズの移動前後で比較してもよい。

本実施例の一部の機能は、マイクロコンピュータ又はＣＰＵ上で動作するプログラムソフトウエアによっても実施可能である．例えば、図２及び図３に示すフローチャートで説明した機能の一部又は全部は、プログラムソフトウエアにより実装することができる。

Claims (6)

1. 画像入力手段と、
   前記画像入力手段に入力された入力画像の鮮鋭度を解析し、入力画像評価値を算出する入力画像評価手段と、
   光源と、
   前記光源から出力される光を前記入力画像に従って変調し、光学像を出力する光変調手段と、
   前記光変調手段から出力される前記光学像を被投射面に投射する投射光学系と、
   前記投射光学系のフォーカスレンズを駆動する投射光学系駆動手段と、
   前記被投射面を撮像する撮像手段と、
   前記撮像手段により撮像された画像を、前記投射光学系と前記撮像手段との視差による台形歪みを補正する台形補正手段と、
   前記投射光学系を介して動画を投射しながら、前記撮像手段により撮影され、前記台形補正手段により補正された画像の鮮鋭度を解析し、撮像画像評価値を算出する撮像画像評価手段と、
   前記入力画像評価値と、当該入力画像評価値を算出した前記入力画像に対応する撮影画像の前記撮像画像評価値とを比較することにより、動画を投射しながら前記投射光学系駆動手段を介して前記投射光学系を合焦制御する制御手段
   とを有することを特徴とする投射型画像表示装置。
2. 前記入力画像評価手段は、前記入力画像を複数のブロックに分割したブロックごとに前記入力画像評価値を算出し、前記撮像画像評価手段は、前記ブロックに対応するブロックごとに前記撮像画像評価値を算出することを特徴とする請求項１に記載の投射型画像表示装置。
3. さらに、所定のブロックについて前記撮像画像評価値を前記入力画像評価値で正規化して正規化撮像画像評価値を出力する正規化手段を有することを特徴とする請求項２に記載の投射型画像表示装置。
4. 前記正規化手段は、前記入力画像の同じ画像に対する前記撮像画像評価値を前記入力画像評価値で正規化することを特徴とする請求項３に記載の投射型画像表示装置。
5. 前記制御手段は、前記入力画像評価値が閾値以上の場合に前記投射光学系を合焦制御することを特徴とする請求項１ないし４の何れか１項に記載の投射型画像表示装置。
6. 光源から出力される光を入力画像に従って変調し、光学像を出力する光変調手段と、
   前記光変調手段から出力される前記光学像を被投射面に投射する投射光学系と、
   前記投射光学系のフォーカスレンズを駆動する投射光学系駆動手段と、
   前記被投射面を撮像する撮像手段
   とを有する投射型画像表示装置を制御する方法であって、
   前記入力画像の鮮鋭度を解析し、入力画像評価値を算出する入力画像評価ステップと、
   前記撮像手段により撮像された画像を、前記投射光学系と前記撮像手段との視差による台形歪みを補正する台形補正ステップと、
   前記投射光学系を介して動画を投射しながら、前記撮像手段により撮影され、前記台形補正ステップにより補正された画像の鮮鋭度を解析し、撮像画像評価値を算出する撮像画像評価ステップと、
   前記入力画像評価値と、当該入力画像評価値を算出した前記入力画像に対応する撮影画像の前記撮像画像評価値とを比較することにより、動画を投射しながら前記投射光学系駆動手段を介して前記投射光学系を合焦制御する制御ステップ
   とを有することを特徴とする投射型画像表示装置の制御方法。

Images