JP6707945B2 - 表示装置及び表示装置の制御方法 - Google Patents

Description

本発明は、表示装置及び表示装置の制御方法に関する。

指示体をポインティングデバイスとして利用する発明として、例えば特許文献１に開示されたプロジェクターがある。このプロジェクターは、撮像素子を備えており、指示体を撮像素子で撮影する。そしてプロジェクターは、撮影で得られた映像から投写領域における指示体の座標を特定し、特定した座標に基づいて描画の処理を行う。

特開２０１３−２４７４８６号公報

特許文献１のプロジェクターの場合、ＰＣ（Personal Computer）の画像を投写しているときに指示体による描画を行うと、指示体の移動に応じて描画される線は、プロジェクターが生成して投写したものである。ここで、ＰＣが操作されて投写する映像が変わった場合、変化前の画像に対して描画した線が残り、指示体を用いて行われた描画は、変化後の映像に対して意味をなさない描画となってしまう。

本発明は、表示された画像に対して指示体により描画が行われた場合、表示されている画像に対応していない描画を消去する技術を提供する。

本発明は、描画像と外部装置から供給される背景画像を表示面に表示する表示部と、前記表示面に対する指示体の位置を検出する位置検出部と、前記描画像を前記位置検出部が特定した位置に応じて生成し、前記描画像を前記表示部へ供給する描画部と、前記背景画像の輝度を検出する輝度検出部と、前記描画像の表示中に前記輝度検出部が検出した輝度が変化した場合、前記描画像を消去する描画像制御部とを備える表示装置を提供する。
本発明によれば、表示された画像に対して指示体により描画が行われた後に、画像が変わった場合、表示されている画像に対応していない描画を消去することができる。

また、本発明においては、前記描画像制御部は、前記消去を行う設定がされている場合には、前記輝度検出部が検出した輝度が変化すると前記描画像を消去し、前記消去を行う設定がされていない場合には、前記輝度検出部が検出した輝度が変化しても前記描画像を消去しない構成としてもよい。
この構成によれば、背景画像の輝度に応じて描画像を消去するか否かを選択することができる。

本発明においては、前記描画像制御部は、前記背景画像の表示中に前記描画部で生成された描画像を、前記輝度検出部により検出された前記背景画像の輝度と対応付けて記憶部に記憶させ、前記輝度検出部が検出した輝度が変化した場合、変化後の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給する構成としてもよい。
この構成によれば、消去した描画像を復元することができる。

また、本発明においては、前記描画像制御部は、消去した画像を復元する設定がされている場合には、前記輝度検出部が検出した輝度が変化すると、変化後の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給し、消去した画像を復元する設定がされていない場合には、前記輝度検出部が検出した輝度が変化しても、変化後の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給しない構成としてもよい。
この構成によれば、背景画像の輝度に応じて描画像を復元するか否かを選択することができる。

また、本発明においては、前記表示面を撮影し、撮影した表示面の画像を生成する撮像部を有し、前記輝度検出部は、前記撮像部が生成した画像において、前記表示部が表示した画像のうち前記描画像以外の部分の輝度を検出し、前記描画像制御部は、前記輝度が変化した場合、前記描画像を消去する構成としてもよい。
この構成によれば、背景画像の輝度の変化を監視し、背景画像の輝度の変化に応じて描画像を消去することができる。

また、本発明は、描画像と外部装置から供給される背景画像を表示面に表示する表示部を備える表示装置の制御方法であって、前記表示面に対する指示体の位置を検出する位置検出ステップと、前記描画像を前記位置検出ステップで特定した位置に応じて生成し、前記描画像を前記表示部へ供給する描画ステップと、前記背景画像の輝度を検出する輝度検出ステップと、前記描画像の表示中に前記輝度検出ステップで検出した輝度が変化した場合、前記描画像を消去する描画像制御ステップとを備える表示装置の制御方法を提供する。
本発明によれば、表示された画像に対して指示体により描画が行われた後に、画像が変わった場合、表示されている画像に対応していない描画を消去することができる。

表示システム１を構成する装置を示した図。 プロジェクター１０と指示体２０のハードウェア構成を示した図。 制御部１１０と制御部２１０の機能ブロック図。 指示体を検出するタイムチャートの一例を示した図。 制御部１１０が行う処理の流れを示したフローチャート。

［実施形態］
（実施形態の構成）
図１は、本発明の一実施形態に係る表示システム１を構成する装置を示した図である。表示システム１は、画像の表示面となるスクリーンＳＣに画像を投写するプロジェクター１０、指示体２０及び発光装置３０を備える。

表示装置の一例であるプロジェクター１０は、外部装置の一例であるＰＣ４０に接続され、ＰＣ４０から供給された映像信号が表す画像をスクリーンＳＣへ投写する。また、プロジェクター１０は、指示体２０や指が指示した位置に画像を描画する描画機能を備えている。

本実施形態に係るプロジェクター１０は、スクリーンＳＣの斜め上方に設置され、スクリーンＳＣに向けて画像を投写する。本実施形態においては、プロジェクター１０は、スクリーンＳＣへ画像を投写するが、スクリーンＳＣの替わりに壁面（表示面）に画像を投写してもよい。また、本実施形態においては、プロジェクター１０は、金具によって壁面に設置される構成となっているが、天井や机上に設置してもよい。天井に設置する場合は、机上に画像を投写してもよい。

ペン型の指示体２０は、プロジェクター１０を使用するときのポインティングデバイスとして機能し、プロジェクター１０が投写するＰＣのＧＵＩ（Graphical User Interface）をユーザーが操作するときや、描画機能によりユーザーが描画を行うときなどに使用される。

発光装置３０は、スクリーンＳＣ上にある指に光（本実施形態では赤外光）を照射する発光部を有する。発光装置３０はスクリーンＳＣの上端より上に設置され、下向きに角度θの範囲に光を拡散させて出射する。発光装置３０から出射された光は、スクリーンＳＣに沿う光の層を形成する。本実施形態では、角度θは、ほぼ１８０度に達し、スクリーンＳＣのほぼ全体に、光の層が形成される。スクリーンＳＣの表面と、発光装置３０により形成される光の層とは近接していることが好ましい。スクリーンＳＣの表面から離れた位置にある指も照射できるように光の層は厚みを持っている。また、発光部を積層することにより離れた位置にある指を照射してもよい。発光装置３０からの光の出射は、プロジェクター１０により制御される。

図２は、プロジェクター１０及び指示体２０のハードウェア構成を示した図である。指示体２０は、制御部２１０、通信部２２０、発光部２３０、操作部２４０、電源２５０を有する。電源２５０は、例えば乾電池又は二次電池であり、制御部２１０、通信部２２０、発光部２３０及び操作部２４０へ電力を供給する。操作部２４０は、電源２５０から各部への電力供給を制御するスイッチ（図示略）を備えている。操作部２４０のスイッチがオンとなると、電源２５０から各部へ電力が供給され、操作部２４０のスイッチがオフとなると、電源２５０から各部へ電力の供給が停止される。発光部２３０は、赤外光を発する発光ダイオードを有しており、指示体２０の先端に設けられている。発光部２３０の点灯及び消灯は、制御部２１０により制御される。発光部２３０は、点光源であり、発光部２３０が発する光は、指示体２０の先端から球面上に広がる。通信部２２０は、赤外光を受光する受光素子を備えている。通信部２２０は、プロジェクター１０から赤外光で送られる各種信号を受信する。通信部２２０は、受信した各種信号を電気信号に変換して制御部２１０へ供給する。制御部２１０は、発光部２３０及び通信部２２０に接続されている。制御部２１０は、通信部２２０から供給される信号に応じて発光部２３０の制御を開始し、発光部２３０の発光ダイオードの点灯及び消灯を制御する。

プロジェクター１０は、制御部１１０、記憶部１２０、操作部１３０、投写部１４０を備える。また、プロジェクター１０は、映像処理部１５０、映像インターフェース１６０、撮像部１７０Ａ、撮像部１７０Ｂ、通信部１８０を備える。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えたマイクロコンピューターである。ＲＯＭに記憶されているプログラムをＣＰＵが実行すると、プロジェクター１０においては、制御部１１０が各部を制御し、画像をスクリーンＳＣに投写する機能や、指や指示体２０をポインティングデバイスとして利用する機能、描画機能などが実現する。

映像インターフェース１６０は、ＲＣＡ、Ｄ−Ｓｕｂ、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）など、映像信号が供給されるコネクターを複数有し、外部装置からコネクターに供給された映像信号を映像処理部１５０へ供給する。映像インターフェース１６０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信のインターフェースを有し、無線通信により映像信号を取得してもよい。

記憶部１２０は、投写する映像の画質に係る設定値や、各種機能に係る情報を記憶する。操作部１３０は、プロジェクター１０を操作するための複数のボタンを備えている。操作されたボタンに応じて制御部１１０が各部を制御することにより、スクリーンＳＣに投写される画像の調整や、プロジェクター１０が有する各種機能の設定などが行われる。また、操作部１３０は、リモートコントローラー（図示略）からの赤外光の信号を受光する受光部（図示略）を備えている。操作部１３０は、リモートコントローラーから送信された信号を電気信号に変換して制御部１１０へ供給し、制御部１１０は、供給される信号に応じて各部を制御する。

投写部１４０と映像処理部１５０は協働し、画像を表示する表示部として機能する。映像処理部１５０は、映像インターフェース１６０から供給される映像信号を取得する。また、映像処理部１５０は、プロジェクター１０を操作するためのＧＵＩや指示体２０が指し示す位置を表すカーソル、描画機能で描画する画像などのオンスクリーン画像の信号を制御部１１０から取得する。映像処理部１５０は、ＶＲＡＭ（Video RAM）１５１を備えており、映像信号を展開する領域と、オンスクリーン画像の信号を展開する領域を備えており、各信号をそれぞれの領域に展開する。映像処理部１５０は、各種の画像処理機能を備えており、ＶＲＡＭ１５１に展開された映像信号に画像処理を施し、投写する画像の画質を調整する。また、映像処理部１５０は、制御部１１０からオンスクリーン画像の信号が供給された場合には、オンスクリーン画像の信号を重畳した映像信号を投写部１４０へ供給する。

映像を投写する投写部１４０は、光源１４１、ライトバルブ１４２、駆動回路１４４及び投写光学系１４３を有している。光源１４１は、光を発するランプであり、光源１４１が発した光は、図示省略した複数のダイクロイックミラーやミラーによって赤、緑、青の光に分光され、分光された赤、緑、青のそれぞれの光はライトバルブ１４２に導かれる。なお、光源１４１は、ランプではなく、発光ダイオード又はレーザー光を発する半導体レーザー装置であってもよい。

駆動回路１４４は、映像処理部１５０から供給される映像信号を取得する。駆動回路１４４に供給される映像信号は、投写する画像における赤の成分の階調を表す階調データ、投写する画像における緑の成分の階調を表す階調データ及び投写する画像における青の成分の階調を表す階調データを有する。駆動回路１４４は、赤、緑、青の各色の階調データを抽出し、抽出した各色の階調データに基づいてライトバルブ１４２を駆動する。

ライトバルブ１４２は、前述の赤の光が入射する液晶ライトバルブ、前述の緑の光が入射する液晶ライトバルブ、及び前述の青の光が入射する液晶ライトバルブを有している。液晶ライトバルブは、透過型の液晶パネルであり、複数行複数列でマトリクス状に配置された画素を備えている。赤の光が入射する液晶ライトバルブは赤の階調データに基づいて駆動され、緑の光が入射する液晶ライトバルブは緑の階調データに基づいて駆動され、青の光が入射する液晶ライトバルブは青の階調データに基づいて駆動される。各液晶ライトバルブは、駆動回路１４４によって各画素が制御されて画素の透過率が変化する。画素の透過率が制御されることにより、液晶ライトバルブを透過した各色の光は、各階調データに対応した画像となる。液晶ライトバルブを透過した赤、緑、青の光の画像は、図示省略したダイクロイックプリズムにより合成されて投写光学系１４３に入射する。投写光学系１４３は、入射した画像を拡大する光学系であり、入射した画像をレンズやミラーによって拡大してスクリーンＳＣに投写する。スクリーンＳＣに画像が投写されると、表示面であるスクリーンＳＣに画像が表示される。なお、透過型の液晶パネルの替わりに反射型の液晶パネルを採用してもよいし、デジタルミラーデバイスなどを用いてもかまわない。

プロジェクター１０は、指示体２０や指の位置及びスクリーンＳＣまでの距離をステレオ方式によって特定するために、２つの撮像部１７０Ａ及び撮像部１７０Ｂを有している。撮像部１７０Ａ及び撮像部１７０Ｂは、発光部２３０が発する赤外光や、発光装置３０から出射されて指で反射した赤外光を受光する撮像素子（ＣＭＯＳやＣＣＤなど）、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１７０Ａ及び撮像部１７０Ｂは、スクリーンＳＣを含む範囲を撮像範囲とし、撮像した範囲の画像を生成し、生成した画像を表す画像信号を出力する。なお、本実施形態においては、プロジェクター１０がスクリーンＳＣの斜め上方に設置されるため、撮像部１７０Ａ及び撮像部１７０Ｂは、スクリーンＳＣを含む範囲を斜め上方から撮像することになる。通信部１８０は、赤外光を発する発光ダイオードを備えている。通信部１８０は、制御部１１０により、発光ダイオードの点灯及び消灯が制御され、発光部２３０の点灯及び消灯を制御するための赤外光の信号を送信する。また、通信部１８０は、ＰＣと通信を行うための通信インターフェースを有し、例えば、ＵＳＢやＬＡＮの通信インターフェースを備える。

図３は、制御部１１０がプログラムを実行することにより実現する機能と、制御部２１０において実現する機能の構成を示した機能ブロック図である。まず、プロジェクター１０の制御部１１０において実現する機能について説明する。

位置検出部１１３は、画像の投写領域において指示体２０の発光部２３０の位置や指示体の一例である指の位置を、例えば図４に示したタイムチャートで周期的に特定する。指の位置や発光部２３０の位置を特定する期間は、図４に示したようにフェーズＰ１１からフェーズＰ１４までの４つのフェーズを有する。指の位置や発光部２３０の位置を検出する際には、フェーズＰ１１からフェーズＰ１４までが繰り返される。フェーズＰ１１は、プロジェクター１０が撮像部１７０Ａ及び撮像部１７０Ｂで撮像を行うタイミングと、指示体２０が発光するタイミング及び発光装置３０が赤外光を出射するタイミングを同期させるためのフェーズである。フェーズＰ１１においては、位置検出部１１３は、所定期間ｔｅ１で赤外光の同期信号が出力されるように通信部１８０を制御する。

指示体２０においては、通信部２２０が同期信号を受光し、同期信号を受光してから所定時間が経過すると、予め設定された期間ｔｅ２で発光部２３０が点灯するように、制御部２１０が発光部２３０を制御する。本実施形態においては、フェーズＰ１２、フェーズＰ１３及びフェーズＰ１４の開始時点から発光部２３０が点灯するように制御される。また、位置検出部１１３は、フェーズＰ１２及びフェーズＰ１４の開始時間から期間ｔｅ２で発光装置３０が赤外光を出射するように、発光装置３０を制御する。

位置検出部１１３は、フェーズＰ１２〜フェーズＰ１４において、撮像部１７０Ａ及び撮像部１７０Ｂを制御し、設定されているシャッタースピードでスクリーンＳＣを含む所定範囲を撮像する。撮像部１７０Ａ及び撮像部１７０Ｂにおいて電子シャッター機能により露光が行われる露光期間は、フェーズＰ１２〜フェーズＰ１４の各フェーズの開始時点から始まり、露光が終了する時点は、設定されているシャッタースピードにより定まる。撮像部１７０Ａ及び撮像部１７０ＢがフェーズＰ１２〜フェーズＰ１４の露光期間で撮像した画像の画像信号は、位置検出部１１３へ供給される。

位置検出部１１３は、撮像部１７０Ａ及び撮像部１７０Ｂから供給された画像信号が表す画像を用いて、投写された画像上にある指や発光部２３０の位置、スクリーンＳＣから発光部２３０までの距離を特定する。具体的には、フェーズＰ１２とフェーズＰ１４において、発光装置３０が発した赤外光が指に照射されている場合には、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像に発光装置３０から出射されて指で反射した赤外光が映る。また、フェーズＰ１２とフェーズＰ１４において、発光部２３０が撮像部１７０Ａ及び撮像部１７０Ｂの撮像範囲内にあると、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像に発光部２３０が発した赤外光も映る。フェーズＰ１３においては、発光装置３０は光を出射しないため、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像には、発光部２３０が発した赤外光が映る。

位置検出部１１３は、フェーズＰ１２〜フェーズＰ１４において、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像に映る赤外光の位置及びスクリーンＳＣまでの距離をステレオ法により特定する。位置検出部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光の位置に近い位置の赤外光を特定し、特定した赤外光の位置を発光部２３０の位置とする。また、位置検出部１１３は、フェーズＰ１２とフェーズＰ１４において位置を特定した赤外光のうち、フェーズＰ１３において位置を特定した赤外光から遠い赤外光の位置を指の位置とする。なお、位置検出部１１３は、フェーズＰ１３において赤外光が撮像範囲内に無い場合には、フェーズＰ１２とフェーズＰ１４において特定した位置を指の位置とする。これらの特定した位置は、描画機能やＧＵＩの操作を行うときに使用される。

描画部１１２は、投写している画像に対し、位置検出部１１３が検知した位置に応じてオンスクリーン画像の信号を映像処理部１５０へ供給し、指示体２０や指が指示した位置に描画を行う。描画像制御部１１４は、指示体２０又は指の位置に応じて描画された画像（描画像）の記憶や当該画像の表示を制御する。輝度検出部１１５は、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成する。描画像制御部１１４は、輝度検出部１１５が作成したヒストグラムの変化に応じて映像処理部１５０を制御し、描画像の消去や復元を行う。

次に、指示体２０の制御部２１０において実現する機能について説明する。信号取得部２１１は、通信部２２０が受信した同期信号を取得する。発光制御部２１２は、信号取得部２１１から同期信号を取得し、同期信号を取得してから所定時間が経過すると、フェーズＰ１２〜フェーズＰ１４において期間ｔｅ２で発光部２３０が点灯するように、発光部２３０を制御する。

（実施形態の動作例）
次に描画機能がオンとなっているときの本実施形態の動作例について説明する。映像インターフェース１６０は、ＰＣ４０から映像信号が供給されると、ＰＣ４０から供給される映像信号を取得し、取得した映像信号を映像処理部１５０へ供給する。映像信号が映像処理部１５０へ供給されると、映像信号が表す画像がスクリーンＳＣに投写される。この画像は、描画機能により投写される画像の背景となるため、以下、説明の便宜上、ＰＣから供給された映像信号により投写される画像を背景画像と称する。例えば、ＰＣ４０で表示されている画像をプロジェクター１０で投写される場合を想定する。ＰＣ４０が表示している文書の１ページ目の画像の映像信号がＰＣ４０からプロジェクター１０へ供給されると、文書の１ページ目の画像がスクリーンＳＣに投写される。

ユーザーは、投写された画像に対して描画機能で描画を行う場合、スクリーンＳＣ上において描画を行う位置に指示体２０を接触させる。制御部１１０は、描画機能がオンである場合、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、指示体２０の位置を検出する。制御部１１０は、検出した指示体の位置に応じてオンスクリーン画像を生成し、生成したオンスクリーン画像を表す信号を映像処理部１５０へ供給する。オンスクリーン画像の信号が映像処理部１５０へ供給されると、オンスクリーン画像の信号がＶＲＡＭ１５１に展開され、オンスクリーン画像が文書の１ページ目の画像に重畳されて投写される。例えば、ユーザーがスクリーンＳＣに指示体２０を接触させながら移動させた場合、指示体２０の移動軌跡に対応した線のオンスクリーン画像（以下、説明の便宜上、描画像と称する）の信号がＶＲＡＭ１５１に展開され、指示体２０が移動した位置に描画像が投写される。

次に制御部１１０は、指示体２０がスクリーンＳＣから離れると、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成する。なお、背景画像の輝度値のヒストグラムは、外部装置から供給された映像信号に基づいて作成してもよい。次に制御部１１０は、作成したヒストグラムをＲＡＭに格納する。

制御部１１０は、指示体２０の位置を検出し、指示体２０がスクリーンＳＣに接していないときは、図５に示した処理を実行する。図５は、背景画像の輝度の変化に応じて描画像を消去する処理の流れを示したフローチャートである。

制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成する（ステップＳＡ１）。なお、背景画像の輝度値のヒストグラムは、外部装置から供給された映像信号に基づいて作成してもよい。次に制御部１１０は、ステップＳＡ１の処理を終えると、ステップＳＡ１で作成した背景画像の輝度値のヒストグラムが描画像の投写後にＲＡＭに格納したヒストグラムと同じであるか判断する（ステップＳＡ２）。

制御部１１０は、ステップＳＡ１で作成したヒストグラムとＲＡＭに格納されているヒストグラムが同じである場合（ステップＳＡ２でＹＥＳ）、処理の流れをステップＳＡ１へ戻す。例えば、指示体２０による描画が終わった後、表示しているページが１ページ目から変更されておらず、描画像の投写後にＲＡＭに格納されたヒストグラムと、ステップＳＡ１で作成されたヒストグラムが同じである場合、制御部１１０は、ステップＳＡ２でＹＥＳと判断する。

次に、例えば、ＰＣ４０で表示している文書のページが１ページ目から２ページ目に変更されると、２ページ目の画像の映像信号がＰＣ４０からプロジェクター１０へ供給される。プロジェクター１０は、この映像信号に応じて２ページ目の画像を投写する。ここで制御部１１０は、ステップＳＡ１において、この２ページ目の画像の輝度値のヒストグラムを作成する。ここで、ＲＡＭに格納されているヒストグラムは、文書の１ページ目の画像の輝度値のヒストグラムであるため、ＲＡＭに格納されているヒストグラムと、ステップＳＡ１で作成したヒストグラムが異なることとなる。

制御部１１０は、ステップＳＡ１で作成したヒストグラムとＲＡＭに格納したヒストグラムが異なる場合（ステップＳＡ２でＮＯ）、ＲＡＭに格納されているヒストグラムと、表示している描画像及び描画像の位置を対応付けて記憶部１２０に記憶させ（ステップＳＡ３）、ステップＳＡ１で作成したヒストグラムをＲＡＭに格納する（ステップＳＡ４）。

次に制御部１１０は、ステップＳＡ４でＲＡＭに格納したヒストグラムと同じヒストグラムが記憶部１２０に記憶されているか判断する（ステップＳＡ５）。制御部１１０は、ステップＳＡ４でＲＡＭに格納したヒストグラムと同じヒストグラムが記憶部１２０に記憶されていない場合（ステップＳＡ５でＮＯ）、ＶＲＡＭ１５１に展開されている描画像を消去し（ステップＳＡ６）、処理の流れをステップＳＡ１へ戻す。

例えば、ＰＣ４０で表示している文書のページが１ページ目から２ページ目に変更され、この２ページ目が初めて背景画像となった場合、この２ページ目の画像の輝度値のヒストグラムは、記憶部１２０に記憶されていないため、制御部１１０は、ステップＳＡ６で描画像を消去し、スクリーンＳＣには２ページ目の画像のみが投写される。

次に、この２ページ目の画像が表示されているときにユーザーが指示体２０をスクリーンＳＣ上で移動させると、指示体２０の移動に応じた描画像が２ページ目の画像に重畳されて投写される。制御部１１０は、指示体２０がスクリーンＳＣから離れると、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成する。次に制御部１１０は、作成したヒストグラムをＲＡＭに格納する。

この後、制御部１１０は、図５に示した処理を実行する。制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成する（ステップＳＡ１）。制御部１１０は、ステップＳＡ１の処理を終えると、ステップＳＡ１で作成した背景画像の輝度値のヒストグラムが描画像の投写後にＲＡＭに格納したヒストグラムと同じであるか判断する（ステップＳＡ２）。描画像を表示した後に背景画像が変化しない場合、ステップＳＡ１で作成するヒストグラムはＲＡＭに格納されているヒスとグラムと同じであるため、制御部１１０は、ステップＳＡ２でＹＥＳと判断し、処理の流れをステップＳＡ１へ戻す。

次に、ＰＣ４０で表示している文書のページが２ページ目から１ページ目に戻り、１ページ目が背景画像となった場合、制御部１１０は、この２ページ目の画像の輝度値のヒストグラムをステップＳＡ１で作成する。ここでＲＡＭには、上述したように２ページ目の画像の輝度値のヒストグラムが格納されているため、制御部１１０は、ステップＳＡ２でＮＯと判断する。制御部１１０は、ステップＳＡ２でＮＯと判断すると、２ページ目の画像の輝度値のヒストグラムと、表示している描画像及び描画像の位置を対応付けて記憶部１２０に記憶させ（ステップＳＡ３）、ステップＳＡ１で作成したヒストグラムをＲＡＭに格納する（ステップＳＡ４）。

次に制御部１１０は、ステップＳＡ４でＲＡＭに格納したヒストグラムと同じヒストグラムが記憶部１２０に記憶されているか判断する（ステップＳＡ５）。ここで、表示している文書の１ページ目の画像のヒストグラムは、上述したように記憶部１２０に記憶されているため、制御部１１０は、ステップＳＡ５でＹＥＳと判断する。制御部１１０は、ステップＳＡ５でＹＥＳと判断すると、ＶＲＡＭ１５１に展開されている描画像を消去し（ステップＳＡ７）、次に描画像の復元を行う（ステップＳＡ８）。

具体的には、制御部１１０は、ステップＳＡ４でＲＡＭに格納したヒストグラムと同じヒストグラムに対応付けられている描画像及び描画像の位置を取得する。制御部１１０は、取得した位置に取得した描画像が表示されるように、描画像の信号を映像処理部１５０へ供給する。

例えば、ＰＣ４０で表示している文書のページが２ページ目から１ページ目に変更され、上述したように、１ページ目の画像のヒストグラムと描画像及び描画像の位置が記憶部１２０に記憶されている場合、制御部１１０は、表示している背景画像（１ページ目の画像）のヒストグラムに対応付けて記憶部１２０に記憶されている描画像及び描画像の位置を取得する。制御部１１０が、取得した位置に取得した描画像が表示されるように、描画像の信号を映像処理部１５０へ供給すると、１ページ目の画像を表示していたときに投写した描画像が復元され、背景画像に重畳されて投写される。

なお、上記の説明においては、指示体２０を用いて描画を行う例を説明したが、本発明においては、指示体としてユーザーの指を使用する場合にも、指の位置に応じた描画や描画像の消去及び復元を行うことができる。

また、本発明においては、上述した描画像を消去する機能について、メニュー画面においてオン／オフを設定する構成として、オンに設定された場合には上述の動作を行い、オフに設定された場合には、上述の操作を行わず、描画像を消去する操作が行われるまでは描画像を消去しないようにしてもよい。
また、本発明においては、上述した描画像を復元する機能について、描画像を消去する機能がオンに設定された場合には、メニュー画面においてオン／オフを設定可能な構成として、オンに設定された場合には上述の動作を行い、オフに設定された場合には、ステップＳＡ３でＮＯと判断した後、処理の流れをステップＳＡ８へ移して描画像を消去するようにしてもよい。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した各実施形態及び以下の変形例は、一つ又は複数を適宜組み合わせて実施してもよい。

上述した実施形態においては、制御部１１０は、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号を解析し、当該画像信号が表す画像において描画像を除いて背景画像が映る領域を特定し、背景画像の輝度値のヒストグラムを作成しているが、背景画像の予め定められた領域の輝度値のヒストグラムを作成するようにしてもよい。例えば、投写される文書のページ番号の部分をユーザーの操作により指定し、指定された領域内の画像について輝度値のヒストグラムを作成するようにしてもよい。

上述した実施形態においては、背景画像の輝度値のヒストグラムを、撮像部１７０Ａ及び撮像部１７０Ｂから供給される画像信号に基づいて作成しているが、背景画像の輝度値のヒストグラムを作成する構成は、実施形態の構成に限定されるものではない。例えば、ＰＣ４０から供給された映像信号によりＶＲＡＭ１５１に展開された背景画像を解析し、背景画像の輝度値のヒストグラムを作成するようにしてもよい。

上述した実施形態においては、撮像部１７０Ａ及び撮像部１７０Ｂで背景画像を撮影し、背景画像の輝度値の変化に応じて描画像の消去や復元をしているが、描画像の消去や復元を行う構成は、実施形態の構成に限定されるものではない。例えば、撮像部１７０Ａ及び撮像部１７０ＢでスクリーンＳＣとスクリーンＳＣの周囲を撮影し、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像からプロジェクター１０が設置された部屋の明るさを特定する。プロジェクター１０は、特定した部屋の明るさが描画像を表示してから予め定められた閾値を超えて変化すると、描画像の消去や復元を行うようにしてもよい。また、この変形例の場合、特定した部屋の明るさが描画像を生成したときの明るさに戻ると、消去した描画像を復元するようにしてもよい。また、撮像部１７０Ａ及び撮像部１７０Ｂで得られた画像からスクリーンＳＣの近くにいるユーザーの動きを検知し、ユーザーの移動に応じて描画像の消去や復元を行うようにしてもよい。

上述した実施形態においては、外部装置から供給される映像信号の画像と描画像を表示する装置はプロジェクターとなっているが、外部装置から供給される映像信号の画像と描画像を表示する装置はプロジェクターに限定されるものではない。例えば、外部装置から供給される映像信号の画像と描画像を表示する装置は、直視型のディスプレイ装置であってもよい。

直視型のディスプレイ装置を備える表示装置の場合、例えば、指の位置を検出可能なタッチパネルを採用し、指示体である指の位置をタッチパネルで検出する。表示装置は、検出した指の位置に応じて描画像を表示する。また、表示装置においては、上述した変形例と同様に、背景画像の輝度値のヒストグラムを作成し、ヒストグラムの変化に応じて実施形態と同様に描画像の消去や復元を行う。

本発明においては、プロジェクター１０を据置型のプロジェクターとし、机上に設置されたプロジェクターが画像をスクリーンＳＣに投写する構成であってもよい。

１…表示システム、１０…プロジェクター、２０…指示体、３０…発光装置、４０…ＰＣ、１１０…制御部、１１２…描画部、１１３…位置検出部、１１４…描画像制御部、１１５…輝度検出部、１２０…記憶部、１３０…操作部、１４０…投写部、１５０…映像処理部、１６０…映像インターフェース、１７０Ａ、１７０Ｂ…撮像部、１８０…通信部、２１０…制御部、２１１…信号取得部、２１２…発光制御部、２２０…通信部、２３０…発光部、２４０…操作部、２５０…電源、ＳＣ…スクリーン。

Claims (6)

1. 描画像と外部装置から供給される背景画像を表示面に表示する表示部と、
   前記表示面に対する指示体の位置を検出する位置検出部と、
   前記描画像を前記位置検出部が特定した位置に応じて生成し、前記描画像を前記表示部へ供給する描画部と、
   前記背景画像における、ユーザーの操作により指定された領域内の輝度を検出する輝度検出部と、
   前記描画像の表示中に前記輝度検出部が検出した前記領域内の輝度が変化した場合、前記描画像を消去する描画像制御部と
   を備える表示装置。
2. 前記描画像制御部は、前記消去を行う設定がされている場合には、前記輝度検出部が検出した前記領域内の輝度が変化すると前記描画像を消去し、前記消去を行う設定がされていない場合には、前記輝度検出部が検出した前記領域内の輝度が変化しても前記描画像を消去しない
   請求項１に記載の表示装置。
3. 前記描画像制御部は、前記背景画像の表示中に前記描画部で生成された描画像を、前記輝度検出部により検出された前記背景画像における前記領域内の輝度と対応付けて記憶部に記憶させ、
   前記輝度検出部が検出した前記領域内の輝度が変化した場合、変化後の前記領域内の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給する
   請求項１又は請求項２に記載の表示装置。
4. 前記描画像制御部は、消去した画像を復元する設定がされている場合には、前記輝度検出部が検出した前記領域内の輝度が変化すると、変化後の前記領域内の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給し、消去した画像を復元する設定がされていない場合には、前記輝度検出部が検出した前記領域内の輝度が変化しても、変化後の前記領域内の輝度に対応付けて前記記憶部に記憶されている前記描画像を前記表示部へ供給しない
   請求項３に記載の表示装置。
5. 描画像と外部装置から供給される背景画像を表示面に表示する表示部を備える表示装置の制御方法であって、
   前記表示面に対する指示体の位置を検出する位置検出ステップと、
   前記描画像を前記位置検出ステップで特定した位置に応じて生成し、前記描画像を前記表示部へ供給する描画ステップと、
   前記背景画像における、ユーザーの操作により指定された領域内の輝度を検出する輝度検出ステップと、
   前記描画像の表示中に前記輝度検出ステップで検出した前記領域内の輝度が変化した場合、前記描画像を消去する描画像制御ステップと
   を備える表示装置の制御方法。
6. 表示装置であって、
   描画像と外部装置から供給される背景画像を表示面に表示する表示部と、
   前記表示面に対する指示体の位置を検出する位置検出部と、
   前記描画像を前記位置検出部が特定した位置に応じて生成し、前記描画像を前記表示部へ供給する描画部と、
   前記背景画像の輝度を検出する輝度検出部と、
   前記描画像の表示中に前記輝度検出部が検出した輝度が変化した場合、前記描画像を消去する描画像制御部と
   前記表示面を含む範囲を撮像範囲とし、撮像した範囲の画像を生成する撮像部を備え、
   前記輝度検出部は、前記撮像部が前記表示面と前記表示面の周囲を撮像した画像から、前記表示装置が設置された部屋の明るさを特定し、
   前記描画像制御部は、特定した前記部屋の明るさが前記描画像を表示してから予め定められた閾値を超えて変化した場合、前記描画像を消去する
   表示装置。

Images