JP6091133B2 - 投射型表示装置、及びそれに用いられる制御方法、及びプログラム - Google Patents

Description

本発明は、液晶プロジェクタ等の投射型表示装置に関し、特に、メニュー画像の表示に関するものである。

従来、メニュー画像の表示位置を移動させることが可能な投射型表示装置がある。特許文献１には、表示画面の周囲の状況に応じた、使いやすい位置に操作キーを表示する方法が開示されている。

特開２００９−２２１４６０号公報

しかし、黒板やホワイトボード等をスクリーンとして用いて画像を投射する場合、スクリーン上に書かれている文字とメニュー画像が重畳し、メニュー画像の視認性が低下してしまっていた。

また、投射型表示装置のエッジブレンド機能を用いる際に、メニュー画像の視認性が低下してしまうという他の課題があった。

上記課題を解決するために、本発明の投射型表示装置は、
光変調素子により変調された光を被投射面に投射する投射型表示装置であって、
投射画像を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像が含む複数の領域のうち、空間周波数が最も低い領域を探索する探索手段と、
前記探索手段により探索された領域にメニュー画像を表示する表示手段を有し、前記複数の領域に対して優先度が設定されており、前記複数の領域のうち、空間周波数が最も低い領域が複数存在する場合には、該複数存在する領域のうち、優先度が最も高い領域にメニュー画像を表示することを特徴とする。

本発明の他の一側面としてのプログラムは、
投射画像を撮像可能な撮像手段を有する投射型表示装置に、
投射画像を撮像する撮像ステップと、
前記探索ステップにおいて探索された領域にメニュー画像を表示する際、前記複数の領域に対して優先度が設定されており、空間周波数が最も低い領域が複数存在する場合には、該複数存在する領域のうち、優先度が最も高い領域にメニュー画像を表示する表示ステップを実行させることを特徴とする。

本発明の他の一側面としてのプログラムは、
光変調素子により変調された光を被投射面に投射する投射型表示装置に、
前記投射型表示装置が投射する画像と他の投射型表示装置が投射する画像とが重畳する領域と、メニュー画像の表示領域と、が重ならない位置に、メニュー画像を移動するステップを実行させることを特徴とするプログラム。

本発明によれば、文字等が書かれたスクリーン上に画像を投射する場合においても、メニュー画像の視認性を低下させない位置にメニューを表示することを可能にした投射型表示装置を提供することができる。

また、本発明の他の効果として、投射型表示装置のエッジブレンド機能を用いる際に、メニュー画像の視認性を低下させない位置にメニューを表示することができる。

本発明の実施形態１の投射型表示装置の概略構成図 本発明の実施形態１のメニュー画像の表示位置の決定に関するフローチャート 本発明の実施形態１の撮像画像を示す図 本発明の実施形態１の投射画像を示す図 本発明の実施形態１のスクリーン上に直接記載された文字を示す図 本発明の実施形態１と実施形態３の微分量マップを示す図 本発明の実施形態２の投射型表示装置の概略構成図 本発明の実施形態２のエッジブレンド設定時のメニュー画像の表示位置を示す図 本発明の実施形態２のエッジブレンド幅を変更した時のメニュー画像の表示位置を示す図 本発明の実施形態５のメニュー画像の表示位置の決定に関するフローチャート

《実施形態１》
図１は、本発明の実施形態１の投射型表示装置１００の概略構成図である。投射型表示装置１００において、光源１０１からの光は、照明光学系１０２、色分解合成系１０３を介して液晶パネル等の光変調素子へ導かれる。光変調素子は、入力画像信号に応じて入射光を変調する。変調された光は、投射レンズ１０４を介してスクリーン等の被投射面に投射される。記憶部１０７は、投射画像に重畳されるメニュー画像そのもの（後述する基準メニュー画像に相当）や、メニュー画像の表示位置や、後述する分割領域に関する情報等を記憶する。制御部１０５は、例えば、マイクロコンピュータであり、投射型表示装置１００の各部を制御する。撮像部１０６は、投射画像が撮像可能なように投射型表示装置１００に設けられている。

図２は、実施形態１のメニュー画像の表示位置の決定に関するフローチャートである。このフローチャートは、リモコン等の操作部を介して使用者からメニュー画像を表示する指示を受け付けると開始される。

まず、ステップＳ１０１において、制御部１０５はメニュー画像を表示する指示を受けると、記憶部１０７に記憶されたメニュー画像の表示位置にメニュー画像を表示させてステップＳ１０２に進む。

ステップＳ１０２おいて、制御部１０５は、次のステップにおいて投射領域を検出するためのパターン画像を表示させた状態で撮像部１０６に撮像を指示する。撮像部１０６による撮像が完了するとステップＳ１０３に進む。ここで、図３に、撮像部１０６が撮像する画、つまり、使用者が目にしているスクリーン上の画を示す。黒で示した部分は、投射型表示装置１００によってスクリーン上に投射されている画像（文字）であり、グレーで示した部分は、使用者によってスクリーンに書かれた文字である。図３の画を、投射型表示装置１００によってスクリーン上に投射されている画像（文字）と直接スクリーンに書かれた文字とに分けたものを図４、図５に示す。

ステップＳ１０２における撮像が完了すると、ステップＳ１０３において、制御部１０５は、撮像した画像（撮像画像）から投射型表示装置１００が画像を投射している領域を検出する。

ステップＳ１０４において、制御部１０５は、ステップＳ１０３において検出した領域に対して射影変換を行い、歪んだ画像を、正面から見た画像（長方形の画像）へと変換する。

次に、ステップＳ１０５において、制御部１０５は、射影変換した画像に対し、微分処理を行う。微分処理とは、例えば、隣接する画素の画素値の差から、画素間の微分値（傾き量）を求める処理である。

ステップＳ１０６において、制御部１０５は、微分処理の結果を用いて、図６（ａ）に示すような微分量マップを作成する。図６（ａ）に示す各分割領域は、射影変換した画像における、特定のメニュー表示位置におけるメニュー画像が占める領域であり、各分割領域に示された値は、分割領域内の画素の微分値を足し合わせた総微分量（総微分値）である。本実施形態においては、ステップＳ１０１において表示されたメニュー画像の表示位置は、分割領域Ｍ１に対応する位置であるとする。

次に、ステップＳ１０７において、制御部１０５は、作成した微分量マップから、総微分量の最も少ない分割領域（メニュー画像の表示位置）を探索する。

ステップＳ１０８において、制御部１０５は、探索結果に基づき、総微分量の最も少ない位置にメニュー画像を表示する。本実施形態においては、図６（ａ）の分割領域Ｍ２の総微分量が最も少ない０（ゼロ）であるので、分割領域Ｍ２に対応する位置がメニュー画像の表示に最適な位置と判断され、そこにメニュー画像が表示される。

本実施形態によれば、文字等が書かれた被投射面に重畳して画像を投射する場合においても、メニュー画像の視認性を低下させない位置にメニューを表示することができる。

本実施形態のステップＳ１０６において示した図６（ａ）は、説明用に簡略化したものであり、微分量マップを作成する際のマトリックスの数は５×５に限られず、メニュー画像の大きさに合わせて変更することができる。また、複数の分割領域は、求める視認性の高さに応じて、互いに重なっていてもよい。また、射影変換した画像のすべての領域を分割領域が占める必要はなく、分割領域を画像の周辺部のみとする設定としてもよい。本実施形態においては、各分割領域は、あらかじめ設定されているものとするが、使用者が設定できるようにしてもよい。

また、本実施形態においては、微分値の総和を、メニュー画像の表示位置を決定する際のパラメータとして用いたが、空間周波数の低い領域が特定できる方法であれば、微分値を用いる方法に限られない。また、微分量マップを作成する際に、微分値の総和を用いたが、これに限られず、微分処理によって求められる各画素間の微分値（傾き量）を表す直線、或いは、それを近似した曲線の滑らかさを表すパラメータを用いて、メニュー画像の表示位置を探索してもよい。

また、本実施形態においては、射影変換をした画像に対してメニュー画像の表示位置を探索する形態について説明したが、射影変換をする前の画像、即ち撮像画像に対してメニュー画像の表示位置を探索してもよい。

《実施形態２》
図７は、本発明の実施形態２の投射型表示装置７００の概略構成図である。実施形態１と異なる点は、投射型表示装置７００が撮像部１０６を有していない点、メニュー画像を表示する際に、エッジブレンド領域とメニュー画像とが重ならないようにメニュー画像の表示位置を制御する点である。

投射型表示装置７００において、光源７０１からの光は、照明光学系７０２、色分解合成系７０３を介して液晶パネル等の光変調素子へ導かれる。光変調素子は、入力画像信号に応じて入射光を変調する。変調された光は、投射レンズ７０４を介してスクリーン等の被投射面に投射される。記憶部７０７は、投射画像に重畳されるメニュー画像そのもの（後述する基準メニュー画像に相当）や、メニュー画像の表示位置や、後述する分割領域に関する情報等を記憶する。制御部７０５は、例えば、マイクロコンピュータであり、投射型表示装置７００の各部を制御する。

ここで、エッジブレンド領域（重畳領域）とは、投射型表示装置７００と他の投射型表示装置を並べて１つの画像を投射する場合に、投射型表示装置７００が投射する画像と他の投射型表示装置が投射する画像とが重なる領域のことである。近年、大きな画像を投射するために、２つ以上の投射型表示装置を並べて１つの画像を投射することが多い。そこで、設置者が適切に各投射型表示装置を設置可能なように、エッジブレンド領域が使用者に分かるように表示する機能や、設置の状況に合わせてエッジブレンド領域の幅を変更する機能が投射型表示装置に設けられているものがある。また、投射型表示装置７００が投射する画像と他の投射型表示装置が投射する画像をそのまま重ね合わせると、エッジブレンド領域が明るくなってしまうので、エッジブレンド領域の階調値を自動的に調整する機能がある。

そして、これら機能の有効、無効を使用者が選択可能になっているものが多い。本実施形態におけるエッジブレンドとは、投射型表示装置７００が投射する画像と他の投射型表示装置が投射する画像とが重なる領域（エッジブレンド領域）の階調値を自動的に調整する機能のことである。

図８（ａ）はエッジブレンドが無効である際にメニュー画像２０２が表示領域２０１の端に表示されている状態を示す。この状態において、エッジブレンドを有効にして、メニュー画像２０２の位置の変更をしないと、図８（ｂ）のように、メニュー画像２０２とエッジブレンド領域２０３が重なり、メニュー画像２０２の視認性が低下してしまう。

そこで、本実施形態においては、図８（ｃ）のように、エッジブレンドを有効にする際に、メニュー画像２０２とエッジブレンド領域２０３が重なりあう量だけメニュー画像の位置を表示領域の内側に移動させる。

図９（ａ）は、エッジブレンドが有効で、エッジブレンド領域２０３に沿ってメニューが表示されている状態である。この状態から、エッジブレンド領域の幅を変更すると、図９（ｂ）のようにメニュー画像２０２とエッジブレンド領域２０３が重なり、メニュー画像２０２の視認性が低下してしまう。

そこで、図９（ｃ）のように、エッジブレンド領域の幅の変更量に合わせてメニュー画像２０２を表示領域の内側に移動させる。

本実施形態によれば、エッジブレンドが有効とされた際、あるいは、エッジブレンド領域の幅が変更された際においても、メニュー画像の視認性を低下させない位置にメニュー画像を表示することができる。

《実施形態３》
本発明の実施形態３の投射型表示装置は、図１と同様の構成を有する。実施形態１と異なる点は、微分量マップから総微分量が最も少ないメニュー画像の表示位置を探索することに加えて、メニュー画像の表示位置の優先度に応じて、メニュー画像の表示位置を決定する点である。本実施形態における微分量マップの一例を図６（ｂ）に示す。

まず、図２のステップＳ１０７における探索ステップにおいて、記憶部１０７に記憶されているメニュー画像の表示位置から探索を開始する。ここで、記憶部１０７に記憶されているメニュー画像の表示位置は、図６（ｂ）の分割領域Ａに対応する位置だったとすると、制御部１０５は、始めに分割領域Ａから探索を開始する。そして、次は右の分割領域Ｂ、下の分割領域Ｃ、左の分割領域Ｄと、時計回りで順に探索する。そして、その中で、空間周波数が最も低い分割領域で、且つ、探索順の早い位置を最適なメニュー表示位置とする。即ち、本実施形態における、優先度とは探索順序であり、探索順序が早い分割領域ほど優先度が高い。本実施形態において空間周波数が最も低い領域は複数存在するが、制御部１０５は、優先度が最も高い分割領域Ａに対応する位置に、メニュー画像を表示する。

本実施形態によれば、文字等が書かれた被投射面に画像を投射する場合においても、メニュー画像の視認性を低下させない位置にメニューを表示することができる。

本実施形態においては、優先度として探索の順序を例に挙げたが、これに限られず、各分割領域に優先度を設定して、空間周波数が最も低い分割領域であって、且つ、優先度が最も高い位置を、最終的にメニュー画像を表示する位置として設定してもよい。

本実施形態のように、記憶部１０７が記憶するメニュー画像の表示位置を含む分割領域Ａの優先度を、最も高い優先度に設定することで、メニュー画像の表示位置が大きく変わってしまうことを抑えられるので、より好ましい。

《実施形態４》
実施形態４の投射型表示装置は図１と同様の構成を有する。実施形態４は、実施形態１で説明したメニュー画像の表示位置の探索処理を行うか（有効）行わないか（無効）を選択する選択手段をさらに有する。

実施形態４の制御のフローチャートについて説明する。実施形態１と同様に、使用者によりメニュー画像の表示が指示されると開始される。

まず、使用者からメニュー画像の表示指示を受けると、制御部１０５は、メニュー画像の表示位置の探索処理を行う設定が有効となっているか無効となっているかを確認する。無効の設定となっている場合、制御部１０５は、記憶部１０７からメニュー画像の表示位置を読み出し、その位置にメニュー画像を表示する。一方、有効の設定となっている場合、制御部１０５は、実施形態１のフローチャートに基づく制御を行い、空間周波数が最も低い領域に対応する位置に、メニュー画像を表示する。

メニュー画像の表示位置の探索処理の有効又は無効は、使用者が操作部を操作することによって選択される。

《実施形態５》
実施形態５の投射型表示装置は図１と同様の構成を有する。実施形態１と異なる点は、実施形態１によるメニュー画像の表示後に、表示されたメニューの視認性に応じて再探索を行う点である。

図１０は、再探索を行う際のフローチャートである。本フローチャートは、実施形態１のフローの後に、実行することが可能なフローチャートである。

まず、ステップＳ３０１は、実施形態１の方法で決定された位置にメニュー画像が表示されている状態であるとする。ここで、実施形態１の方法で決定された位置にメニュー画像の表示位置は、不図示の分割領域Ｘに対応する位置であったとする。

ステップＳ３０２において、制御部１０５は、再度、投射画像の撮像を行い、投射領域を検出し、撮像画像の射影変換を行う。

ステップＳ３０３において、制御部１０５は、射影変換を行った画像から、メニュー画像を検出し、検出されたメニュー画像（以下、撮像メニュー画像）と記憶部１０７が保持しているメニュー画像（以下、基準メニュー画像）との比較を行う。具体的には、撮像メニュー画像と基準メニュー画像との差を演算する。本実施形態における差とは、撮像メニュー画像と基準メニュー画像との対応する画素の値の差の絶対値の和をとった値とする。

ステップＳ３０４において、制御部１０５は、撮像メニュー画像と基準メニュー画像との差があらかじめ設定された閾値を越えている場合（図中ＹＥＳの場合）、ステップＳ３０５へ進む。ステップＳ３０５では、ステップＳ３０１においてメニュー画像が表示された位置に対応する分割領域Ｘの総微分量を最大値に設定し、分割領域Ｘ以外の領域（メニュー画像が表示されている領域以外の領域）で、総微分量が最も少ない領域を再度、探索する。そして、探索後はステップＳ３０１へと戻る。

一方、撮像メニュー画像と基準メニュー画像との差が閾値を越えていない場合（図中ＮＯの場合）、ステップＳ３０６へ進み、ステップＳ３０１においてメニュー画像が表示されていた位置を記憶部１０７に記憶して、本フローを終了する。

本実施形態においては、より視認性の良いメニュー画像を表示させることができる。

実施形態５においては、撮像メニュー画像と基準メニュー画像との差が閾値を越えているか否かに基づき、再探索を行うか否かを判断したが、これに限られない。例えば、撮像メニュー画像と基準メニュー画像との相関をとることによって類似度を計算し、類似度が高いか低いかに基づいて再探索を行うか否かを判断してもよい。

《他の実施形態》
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 投射型表示装置
１０５ 制御部
１０６ 撮像部

Claims (9)

1. 光変調素子により変調された光を被投射面に投射する投射型表示装置であって、
   投射画像を撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像が含む複数の領域のうち、空間周波数が最も低い領域を探索する探索手段と、
   前記探索手段により探索された領域にメニュー画像を表示する表示手段を有し、
   前記複数の領域に対して優先度が設定されており、前記複数の領域のうち、空間周波数が最も低い領域が複数存在する場合には、該複数存在する領域のうち、優先度が最も高い領域にメニュー画像を表示することを特徴とする投射型表示装置。
2. 前記撮像手段により撮像された投射画像を射影変換する射影変換手段を有し、
   前記探索手段は、前記射影変換された画像において、前記空間周波数が最も低い領域を探索することを特徴とする請求項１に記載の投射型表示装置。
3. 前記探索手段は、画素間の微分値を用いて、前記空間周波数が最も低い領域を探索することを特徴とする請求項１に記載の投射型表示装置。
4. メニュー画像の表示位置を記憶する記憶部を有し、
   前記記憶部が記憶するメニュー画像の表示位置を含む領域の優先度を、最も高い優先度に設定することを特徴とする請求項１乃至３に記載の投射型表示装置。
5. 前記探索手段によるメニュー画像の表示位置の探索を有効又は無効にする設定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の投射型表示装置。
6. 前記撮像手段は、前記表示手段により表示されたメニュー画像を再度、撮像し、
   撮像されたメニュー画像と記憶部に記憶された基準のメニュー画像との差が閾値を越える場合、前記探索手段は、メニュー画像が表示されている領域以外の領域のうち空間周波数が最も低い領域を再度、探索し、
   前記表示手段は、再度の探索によって探索された領域にメニュー画像を表示させることを特徴とする請求項１乃至５のいずれか１項に記載の投射型表示装置。
7. 光変調素子により変調された光を被投射面に投射する投射型表示装置であって、
   前記投射型表示装置が投射する画像と他の投射型表示装置が投射する画像とが重畳する領域と、メニュー画像の表示領域と、が重ならない位置に、メニュー画像を移動する制御手段を有することを特徴とする投射型表示装置。
8. 投射画像を撮像可能な撮像手段を有する投射型表示装置に、
   投射画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された撮像画像が含む複数の領域のうち、空間周波数が最も低い領域を探索する探索ステップと、
   前記探索ステップにおいて探索された領域にメニュー画像を表示する際、前記複数の領域に対して優先度が設定されており、空間周波数が最も低い領域が複数存在する場合には、該複数存在する領域のうち、優先度が最も高い領域にメニュー画像を表示する表示ステップを実行させることを特徴とするプログラム。
9. 光変調素子により変調された光を被投射面に投射する投射型表示装置に、
   前記投射型表示装置が投射する画像と他の投射型表示装置が投射する画像とが重畳する領域と、メニュー画像の表示領域と、が重ならない位置に、メニュー画像を移動するステップを実行させることを特徴とするプログラム。

Images