JP6719768B2 - 多重情報表示システム及びこれに用いる照光装置 - Google Patents

Description

本発明は、多重情報表示システム及びこれに用いる照光装置に関する。

従来、プロジェクタにより映像が投影されたスクリーンに対して別の不可視光の赤外線光を照射し、不可視光をスクリーン後方に設置したカメラで検出することにより、不可視光で照射された領域にだけ異なる映像を重ね合わせて表示するものが知られている。

たとえば、ポインティングデバイスが投影面において指し示す位置を検出して、必要に応じて、投影された画像データを拡大することにより、細部まで表示できるようにしたものがある（例えば、特許文献１等参照）。

特開２０１４−２１９３３号公報

しかしながら、このような従来の投影装置では、投影されている画像を拡大表示できるが、不可視光同士を判別できない。このため、複数の画像を重ね合わせたり、同時に表示させることは困難であった。
また、追加する情報が増えると、複数の画像が重なる。追加する情報の画像をスクリーンの空いている場所に投影しても、投影されている画像のどの部分と関係しているのか分かりづらいといった問題があった。

そこで、本発明は、追加する付加情報の画像を投影されている画像に重ねて表示させることができる多重情報表示システム及びこれに用いる照光装置を提供することを課題としている。

本発明に係る多重情報表示システムは、画像を表示する表示装置と、画像の一定の領域を照射光によって照射する複数の照光装置と、照光装置で照射された場所を検出する赤外線カメラとを備えた多重情報表示システムであって、照光装置は、固有の赤外線を照射する照射光源を含み、表示装置は、赤外線カメラで捉えた照射された場所に照射光源ごとの異なる付加情報を、前記領域内の照射光の明るさによって表示される輝度を変更して表示する、多重情報表示システムを特徴としている。

このような構成によれば、スクリーン上に照射光源から照射された照射光の場所を赤外線カメラが捉えると、照射光源ごとに固有の赤外線によって、何れの照光装置のものであるか判別することができる。
このため、照射されている領域に、照光装置ごとに異なる付加情報を表示させることができる。

本発明によれば、追加する付加情報の画像を表示されている画像に重ねて表示することができる多重情報表示システム及びこれに用いる照光装置が提供される。

実施形態の多重情報表示システムで、概念を示す模式的な斜視図である。 実施形態の多重情報表示システムで、要部の構成を示す模式的なブロック図である。 実施形態の多重情報表示システムで、処理の流れを示すフローチャートである。 実施例１の多重情報表示システムで、異なる言語を表示した様子を説明すする正面図である。 実施例２の多重情報表示システムで、人体の骨肉、臓器等を表示した様子を示す正面図である。 実施例５の多重情報表示システムで、立体物のスクリーンに対して複数のライトとカメラとを用いる概念を示す模式的な斜視図である。 実施例５の多重情報表示システムで、要部の構成を示す模式的なブロック図である。

本発明の実施形態について、図１乃至図７を参照して詳細に示す。説明において、同一の要素には同一の番号を付し、重複する説明は省略する。

図１は、実施形態の多重情報表示システム及びこれに用いる照光装置を示す模式的な斜視図である。
実施形態の多重情報表示システムＳは、平面状のスクリーン２の略全面の領域Ｄに基礎情報としての画像を表示する表示装置としてのプロジェクタ１と、領域Ｄ中の画像中の一定の領域Ｄ１，Ｄ２を照射光によって照射する照光装置としての２台の赤外線ライト３，４と、赤外線ライト３，４で照射されたスクリーン２上の領域Ｄ１，Ｄ２の場所を検出する撮影部としての赤外線カメラ５とを備えている。
また、これらのプロジェクタ１と、赤外線カメラ５とは、制御部としての制御部１０に接続されている。

図２は、実施形態の多重情報表示システムＳの要部の構成を示す模式的なブロック図である。

プロジェクタ１の投影部は、制御部１０からの画像データＰｄに基づいてスクリーン２に画像を投影する。
また、本実施形態の赤外線ライト３，４は、携帯可能な懐中電灯型の外観形状を呈している。赤外線ライト３，４は、内部にそれぞれ固有の赤外線を照射する照射光源としての赤外線光源３ａ，４ａと、赤外線光源３ａ，４ａを制御する発光制御部３ｂ,４ｂと、通信部３ｃ,４ｃとをそれぞれ含んでいる。

ユーザは、赤外線ライト３，４の図示しないＯＮ,ＯＦＦスイッチにより、赤外線光源３ａ，４ａを点灯または消灯させることができる。
このうち、点灯中の赤外線光源３ａ，４ａは、発光制御部３ｂ,４ｂによって周期的に点滅する。点滅の周期は、通信部３ｃ,４ｃで受信したライト制御信号Ｌｓに応じてタイミングが調整される。

また、スクリーン２上では、プロジェクタ１によって投影された基礎情報の画像と赤外線ライト３,４で照射された領域とが重複した状態となっても、赤外線ライト３,４の照射光は、波長が可視光域から外れている。このため、ユーザからは赤外光で照射されている領域を目視できない。

一方、赤外線カメラ５の撮像部は、赤外線ライト３,４の波長の照射光を検出することが出来る。このため、赤外線カメラ５は、赤外線ライト３,４で照射された領域が基礎となる画像に重複していても、可視光域の画像とは区別して捉えることができる。
赤外線カメラ５は、制御部１０からのカメラ制御信号Ｃｓに応じて、撮像の開始および停止と、シャッタの開閉を行うように構成されている。そして、赤外線カメラ５は、撮像された撮像データＣｄを制御部１０に出力するように構成されている。

また、制御部１０は、画像合成部２１にて基礎情報である画像データに、異なる付加情報を合成した合成画像の画像データＰｄを生成し、プロジェクタ１に送信する。

そして、プロジェクタ１は、生成された合成画像の画像データＰｄ０に基づき、スクリーン２に画像を投影して表示する。これにより、赤外線カメラ５で捉えた赤外線光源３ａ，４ａごとに照光されている領域Ｄ１，Ｄ２に、制御部１０によって追加された異なる付加情報を重ね合わせて表示することができる。

制御部１０を構成するＰＣは、主にビデオカード等を含むＧＰＵ２０と、ＣＰＵ３０と、記憶部４０と、通信部としてのトランスミッタ１１とを備えている。

このうち、ＧＰＵ２０は、画像合成部２１と、この画像合成部２１にて合成する画像データを読み書き可能に記憶する記憶部２２とを含む。
この記憶部２２には、予め基礎情報となる画像データＰｄと、追加の付加情報となる各赤外線ライト３,４毎に割り振られたマスク画像のデータとが記憶されている。
そして、画像合成部２１は、これらの画像データＰｄとマスク画像のデータとを合成して、プロジェクタ１に送る画像データＰｄを生成する。

また、ＣＰＵ３０は、画像判定部３１と、画像処理部３２と、赤外線カメラ５に接続される撮影制御部３３と、トランスミッタ１１に接続されるライト制御部３４とを含む。
画像判定部３１は、アプリケーションを有している。アプリケーションでは、画像処理部３２による画像処理の結果と撮像データＣｄとを合せて使用して、様々な判定を行う。

画像処理部３２は、赤外線カメラ５によって撮像された撮像データＣｄを直接、あるいは記憶部４０に一時記憶して、後述するピクセルごとの処理を行い、画像判定部３１において判定に使用可能なデータの状態となるように生成する。

さらに、記憶部４０は、画像処理部３２にて処理される赤外線カメラ５によって撮像された撮像データＣｄを一時記憶して、画像処理部３２の必要に応じて、生成されたデータを読み書き可能としている。

トランスミッタ１１は、赤外線ライト３,４側の通信部３ｃ,４ｃとの間でデータ通信可能に構成されている。そして、トランスミッタ１１は、ライト制御部３４から送出されたライト制御信号Ｌｓを、赤外線ライト３,４の通信部３ｃ,４ｃとの間でやり取りする。本実施形態のデータ通信は、無線で行われているが有線で行われるように構成してもよい。

[ライトの判別]
複数の異なる付加情報の画像を同時にスクリーン２に投影するためには、赤外線ライト３，４に固有の照射光を付与して、照射光が何れの赤外線ライトから照射されているものであるか判別しなければならない。
特に２つの照射光の領域Ｄ１，Ｄ２が重なる場合では、いずれの赤外線ライト３，４の照射光であるかを判別する必要がある。

個々の赤外線ライト３，４に固有の赤外線を別々に認識できるように赤外線カメラ５で撮影する方法としては、たとえば、赤外線ライト３，４ごとに、照射光の波長を異ならせて固有の赤外線とする方法がある。
しかしながら、赤外線ライト３，４の波長の相違を認識させる方法では、複数の赤外線ライト３，４の照射光が重なると、判別が困難となる。

このため、本実施形態では、赤外線カメラ５が接続されている制御部１０に、通信部としてのトランスミッタ１１が接続されていて、各赤外線ライト３，４にシャッタと同期させた時間分割のライト制御信号Ｌｓを発信する。
そして、各赤外線ライト３，４の発光タイミングをずらすことより、異なるフレームに各赤外線ライト３，４から赤外線が照射されている画像を捉えて判別する。

[信号の構成]
説明の容易化のため、赤外線ライト３，４等を４台用いる場合を例示する。
赤外線ライト３の１台についてのスイッチのｏｎ／ｏｆｆを１と０とによって表すと、４台並べた場合、４ｂｉｔのように００００（全台消灯）や１１１１（全台点等）として、０か１かの１ｂｉｔの数を４つ並べて表現できる。

たとえば、１０００は、１台目のみ点灯していて、他の２〜４台目は消灯している状態となる。すなわち、一定の周期で、１０００→０１００→００１０→０００１→再び先頭の１０００と、点灯、消灯状態を１台目から４台目まで順次変更して繰り返す。本実施形態では、１００回／秒にて繰り返されるように構成されている。
これにより、１つ１つの赤外線ライト３等は、一定の周期で、かつ他の赤外線ライト４等が点灯していないタイミングで順番に点灯する。このため、個々の赤外線ライト３，４は、時間分割された固有の赤外線を発光することができる。
したがって、波長を異ならせて固有の赤外線を発光させたり、波長の相違を認識させる必要がない。

[信号送信側の動作]
スクリーン２上に照射されている赤外線ライト３の照射光を赤外線カメラ５で撮影すると、制御部１０の記憶部４０に一時記憶された観測結果の撮像データＣｄに基づいて、画像処理部３２は、同期する赤外線のライト制御信号Ｌｓを生成する。
そして、画像処理部３２は、全てのライトに対して一定の周期で、１０００→０１００→００１０→０００１→再び１０００と繰り返すライト制御信号Ｌｓをライト制御部３４から出力させる。

各赤外線ライト３，４等の発光と同時に、画像処理部３２は、撮影制御部３３にカメラ制御信号Ｃｓを送出して赤外線カメラ５のシャッタは開放される。赤外線カメラ５は、シャッタスピード分の時間（例えば１／１００秒）が経過した後、シャッタを閉じる。
そして、撮像されたカメラ画像は、対応して点灯された各赤外線ライト３，４等の番号に関連づけられて、記憶部４０に書き込まれる。

[信号受信側の動作]
赤外線ライト３，４等は、通信部３ｃによって制御部１０側のトランスミッタ１１からの通信を受信する。
そして、ライト制御信号Ｌｓの中から自分の番号に対応するビットを確認して、０（消灯）か１（点灯）かを取得する。

たとえば、信号が０の場合は、発光制御部３ｂが赤外線光源３ａをＯＦＦとして消灯する。また、信号が１の場合は、発光制御部３ｂが赤外線光源３ａをＯＮとして点灯させる。発光制御部３ｂは、赤外線カメラ５のシャッタスピード分の時間に対応する所定の時間、赤外線光源３ａを点灯させる。そして、点灯開始から所定の時間が経過した後に、再び赤外線光源３ａをＯＦＦとして消灯させる。

これにより、複数の赤外線ライト３等の０（消灯）か１（点灯）かを赤外線カメラ５のフレーム単位で制御することができる。そして、点灯している時間を各赤外線ライト３等の固有の時間とすることにより、複数の赤外線ライト３等の識別を可能としている。本実施形態では、３０フレーム／秒のレートにて同期するようにシャッタ周期および赤外線ライト３等の点灯周期が設定されている。

[画像の合成]
画像合成部２１は、基礎情報を含む画像データＰｄ０と付加情報を含むマスク画像のデータとを合成して、プロジェクタ１に送る画像データＰｄを生成する。
本実施形態では、スクリーン２に投影される基礎情報となる画像データＰｄ０に対して、赤外線ライト３等を４台用いる場合、各赤外線ライト３,４…ごとにマスク画像を割り当てて、合成された画像データＰｄを得ることができる。

すなわち、ここで、各ライト画像の画素値をlight0, light2, light3, light4とする。
以下、画素値は0.0〜1.0の範囲の値とする。0.0は完全に黒、1.0は完全に白の光の強さを示す。基礎情報となる画像データの画素値をfrontとする。
また、各ライト毎に異なるマスク画素値をback0, back1, back2, back3とする。

そして、出力画素値pixelColorは、以下の様に計算する:
alphaSum = alpha0 + alpha1 + alpha2 + alpha3;
power0 = alpha0 / alphaSum;
power1 = alpha1 / alphaSum;
power2 = alpha2 / alphaSum;
power3 = alpha3 / alphaSum;
ここで、powerは各ライト毎の照光の強さの割合を示す。
color0 = front * power0 + back0 * (1.0 - power0);
例えばpowerが50%の場合、 (0.5 * 前面 + 0.5 * 背面)となる。

color1 = front * power1 + back1 * (1.0 - power1);
color2 = front * power2 + back2 * (1.0 - power2);
color3 = front * power3 + back3 * (1.0 - power3);
pixelColor = color0 + color1 + color2 + color3;
出力画像のすべての画素（ピクセルとも記す）に対して、上記計算が行われる。
RGB3chのカラー画像の場合、各画素のr, g, b値に対して上記計算が行われる。

このように、本実施形態の多重情報表示システムＳでは、追加する付加情報をマスク画像として、投影されている基礎情報となる画像データＰｄと重ね合わせる際、表示比率を調整することができる。
例えば、画像データＰｄ側の比率を減少もしくは無くして投影することができる。
したがって、スクリーン２上の画像データＰｄを減少させたもしくは無くした領域Ｄ１，Ｄ２にマスク画像を明瞭に投影でき、付加情報を良好な視認性で表示させることができる。

しかも、本実施形態の多重情報表示システムＳでは、各赤外線ライト３，４毎の照光の強さの割合を出力画像のすべての画素（ピクセル）ごとに調整することができる。
このため、たとえば赤外線ライト３，４で照光された領域の中心部では明るく（強く）、周縁部では暗く（弱く）等、合成するマスク画像を調整することができる。

また、基礎情報となる画像データＰｄと、重ね合せられたマスク画像との配合比率は画素単位で調整できる。このため、画像の動きや遷移に併せて徐々に表示される付加情報の輝度を変更するようにしてもよい。

次に、本実施形態の多重情報表示システムＳの作用効果について説明する。
図３は、実施形態の多重情報表示システムＳで、処理の流れを示すフローチャートである。

まず、プロジェクタ１を用いてスクリーン２へ画像データＰｄ０の投影を開始する。
ステップＳ１にて、起動された制御部１０のライト制御部３４からのライト制御信号Ｌｓに合せて赤外線ライト３,４は、交互に点灯、消灯を繰り返す（ライト点滅）。

ステップＳ２にて、撮影制御部３３からのカメラ制御信号Ｃｓに合せて、赤外線カメラ５のシャッタを周期的に切り、赤外線画像を撮像する。
撮影制御部３３からのカメラ制御信号Ｃｓは、ライト制御部３４からのライト制御信号Ｌｓと同様に、ＣＰＵ３０の画像処理部３２による処理に基づいて生成されて送られて来る。このため、赤外線ライト３,４の点滅と、赤外線カメラ５のシャッタとを同期させることができる。

本実施形態では、赤外線カメラ５のシャッタタイミングに合わせて、シャッタを切る直前にライト制御信号Ｌｓ、すなわち、各ビッドを赤外線ライト３，４等のＯＮ／ＯＦＦに対応させた数ビットのＯＮ／ＯＦＦ同期信号がトランスミッタ１１から、全て赤外線ライト３，４等に送信される。

ステップＳ３にて、赤外線カメラ５の画像を画像処理部３２のプログラム上で画像処理する。記憶部４０には、赤外線カメラ５からの各赤外線ライト３，４等毎の画像がフレームごとに区分されて、記憶されている。
画像処理部３２では、赤外線光源３ａ，４ａの照射タイミングの周期に一致するフレームを読み出して、画像処理を行う。赤外線カメラ５のシャッタタイミングは、赤外線光源３ａ，４ａそれぞれの発光タイミングと同期している。
このため、確実に何れの赤外線ライト３または４による赤外線の照射領域の画像であるかを判別することができる。

また、このとき、個々の赤外線ライト３，４による照光領域の位置、面積、照度などの情報が画像処理部３２にて各々計算される。また、複数の赤外線ライト３，４による照光領域が存在する場合は、相対位置関係を計算にて求めるようにしてもよい。

ステップＳ４にて、画像判定部３１は、得られた赤外線画像と画像処理部３２による画像処理の結果とを合せて使用して様々な判定を行うことができる。
たとえば、アプリケーションがライトを使ったゲームであった場合、画像判定部３１は、位置などの情報に基づいて領域Ｄ１，Ｄ２同士の衝突等の判定を行う。この処理は、アプリケーション上にて行われる。判定を行う必要がない場合は、このステップＳ４を行わなくてもよい。

ステップＳ５にて、ＧＰＵ２０の画像合成部２１は、予め記憶部２２に記憶されている付加情報を画像に合成する。
合成は、赤外線ライト３，４側の画像をマスクとして使用する。このため、全面および背面の画像データＰｄに、すなわちライトの重ね合わせに応じた複数枚のマスク画像の画像データがここで合成される。
このステップＳ５では、ＧＰＵ２０による演算にて、赤外線ライト３，４に関連付けられているマスク画像をどの位置に、どのような輝度（強さ）で最終的にどのようにスクリーン２に投影されるかについて、予め決定される。

この演算は、たとえば、陰影処理を行うコンピュータプログラムであるシェーダプログラム等によって実行されて、ＧＰＵ２０にて、色彩や明度、輝度を徐々に変化させたり、あるいは陰影（グラディエーション）をつけることが行われる。

ステップＳ６にて、合成画像を再びプロジェクタ１を用いてスクリーン２に投影する。
そして、処理は再びステップＳ１に戻り、ステップＳ１〜ステップＳ６が繰り返される。

このように構成された実施形態の多重情報表示システムＳによれば、スクリーン２上に照射光源から照射された赤外線の領域Ｄ１，Ｄ２を赤外線カメラ５がフレーム単位で赤外線ライト３，４等ごとに捉えることができる。
時間分割されているフレームでは、同期して発光、照射された赤外線が赤外線ライト３，４等ごとに固有のものとして判別することができる。

このため、赤外線の照射された領域Ｄ１，Ｄ２に一致する赤外線ライト３，４ごとに与えられている付加情報の画像を、プロジェクタ１によって投影されている画像と個別に合成して重ねて、関連しているように表示することができる。
この際、複数の異なる赤外線ライト３，４から赤外線が照射されている領域Ｄ１，Ｄ２が重複していても、合成画像では、優先される画像をピクセル単位で比率を調整して表示することができる。

特に、本実施形態の赤外線ライト３，４は、円錐状に拡散される所定の立体角を有する赤外光によって、ポインティングデバイスに比べて広い領域を照射可能である。このため、比較的頻繁に赤外線の照射された領域Ｄ１，Ｄ２同士が重なることも想定される。しかしながら、このような場合でも、何れかの画像を優先させて、付加情報の内容を目視可能な状態で表示することができる。したがって、優先度の低い情報の領域が優先度の高い情報の領域に広い範囲で重なっても、優先度の高い情報の表示の妨げとはならない。

このように、赤外線ライト３，４ごとに異なる付加情報を重ねて同時に投影させることが可能となる。したがって、追加する情報が増えても、複数の画像を重ねることにより、一枚のスクリーン２の上に投影することができる。しかも、投影されている基礎情報の画像のどの部分と関係している付加情報の画像であるか位置的に分かりやすい。

[実施例１]
図４は、実施例１の多重情報表示システムで、異なる言語を表示した様子を示す正面図である。
基礎情報となる画像データの画像Ａは、英文の文章であり、マスク画像Ｂは、英文に対応する翻訳がなされた日本語の文章である。

図１に示すように１人のユーザが赤外線ライト３を用いて、スクリーン２の領域Ｄに投影されている英文の文章のうち、翻訳したい部分の領域Ｄ１を照光する。
図４に示すように領域Ｄ１では照光された領域の画像Ａは、マスク画像Ｂが重ねられるように差代えられて、プロジェクタ１から投影される。
このため、照光された英文の文章の一部をなぞらえると、領域Ｄ１内に順次日本語に翻訳された文章の状態でマスク画像Ｂが表示される。

このとき、別のユーザが赤外線ライト４を用いて、スクリーン２上を照射することにより、照射された領域の文章が別の言語に翻訳されたように、他の言語のマスク画像が重ねられて表示される。
よって、複数の言語の翻訳文を１つのスクリーン２上にて表示することができる。

さらに、照射された領域Ｄ１内の照射光の明るさによって投影される付加情報の輝度を変更することができる。
たとえば、照射光が重複する場合、優先して投影する必要がある言語の赤外線ライト３等の照度を高くする。これにより、表示される付加情報の輝度を重要度ごとに調整して多重に表示することができる。また、照射光が重複する場合、輝度に応じて最も優先する言語のみをマスク画像として表示させてもよい。

この実施例１では、照光の強さに対応させて、マスク画像Ｂ中心部分を明るく（強く）、周縁部では比較的暗く（弱く）等、徐々に変化させて合成することができる。
また、この実施例１では、マスク画像Ｂの周辺の画像Ａを比較的暗く（弱く）して、合成することができる。このとき、暗くなる部分同士を重複させてもよい。
このため、赤外線ライト３，４による照光によって、円錐状に拡散される光学的特性の照射光を有する懐中電灯によって照らしているかのような視覚効果を得られる。

[実施例２]
図５は、実施例２の多重情報表示システムＳで、人体の骨肉、臓器等を表示した様子を示す正面図である。
実施例２では、基礎情報となる画像データＰｄの画像Ｅは、人体の外観を表す画像であり、マスク画像Ｆとして人体の骨格の画像、マスク画像Ｇとして内臓器の画像が割り振られている。

この実施例２の赤外線ライト３，４は、照射光のスクリーン２への照光範囲を可変とするため、円錐状に拡散される赤外線光の立体角を、手元の図示しないスイッチの操作によって所定の範囲内で変更できるように構成されている。
また、この実施例２の赤外線ライト３，４は、照射光のスクリーン２への照光の照光量を手元の図示しないスイッチの操作で変更可能としている。
このため、スクリーン２までの距離に拘らず、所望の強さの照射光を所望の大きさの領域に照射することができる。

図１に示すように１人のユーザが赤外線ライト３を用いて、スクリーン２に投影されている人体の画像Ｅのうち、上半身部分を比較的広い領域Ｄ１を大きく設定された立体角の赤外線光にて上半身部分を照光する。
制御部１０は、人体の画像Ｅに骨格の画像Ｆを合成して、スクリーン２に投影する。

このとき、もう一人のユーザが赤外線ライト４を用いて、比較的狭い立体角に設定された赤外線光にて、人体の画像Ｅの胸部の領域Ｄ２を照光する。これにより、ピンポイントで心肺部分の画像Ｇが領域Ｄ２内で合成されてスクリーン２に投影される。
このため、骨格が全て画像Ｇによって隠されてしまうことなく、骨格の位置と臓器の位置とが関連づけられて表示されて、共通の認識に則した理解を深める事が出来る。

また、赤外線ライト３，４の照射光のスクリーン２への照光量が可変であるため、広い立体角の赤外線光にて照光を行う場合がある。また、スクリーン２までの距離が離れていたり、あるいは斜めに照射する場合がある。これらの場合でも、本実施形態の多重情報表示システムＳでは、赤外線カメラ５にて検出可能な光量を確保してマスク画像を表示させることができる。

さらに、赤外線ライト３，４は、手元の図示しないスイッチの操作によって所定の範囲内で照光する領域Ｄ１，Ｄ２を変更できるように構成されている。
このため、たとえば他の表示量とのバランスを考慮する等、必要に応じて、狭い範囲や広い範囲の追加情報を表示しやすい。

また、赤外線ライト３，４の数を増やして、付加情報として、血管を含む循環器系、筋肉、脂肪、内分分泌系、神経系等の画像や病巣等の要治療箇所を重ね合わせて表示するようにしてもよい。
この際、赤外線ライト３，４は、照射光のスクリーン２への照光範囲を変更可能であるため、円錐状に拡散される赤外線光の立体角を狭く設定することにより、追加される付加情報の種類が増大しても、１枚のスクリーン２内に収めることができる。

[実施例３]
また、デジタルサイネージ等にて、懐中電灯型の赤外線ライト３，４で照らして探す、探ることで新しい情報や隠された情報を得るようにしてもよい。特に赤外線ライト３，４毎に異なる画像（映像を含む）を提示可能であるので、多人数で赤外線ライト３，４…を重ね、その重ね合せの数に応じた効果が表示されたりする等の協力の結果を視覚化するなど協力要素を付加することが可能である。

[実施例４]
また、本実施形態の多重情報表示システムＳでは、スクリーン２に投影された基礎となる画像の中から、赤外線ライト３等で照射した領域を赤外線カメラ５にて直接検出している。
このため、照光されている領域の位置検出精度は、たとえばジャイロなどを用いて三次元位置や姿勢を推測するものと比して、ピクセル単位で検出可能であるため良好である。
したがって、赤外線ライトを入力手段として使用したゲームのアプリケーションでは、当たり判定処理の精度をさらに向上させることができる。

たとえば、図示しないテーブル型スクリーンを複数人で囲んで、懐中電灯型の赤外線ライト３，４と比較してさらに小型のペン型の赤外線ライトを用いる。
テーブル型スクリーンには、共通する情報を投影してその上から各ペン型の赤外線ライトに割り当てられた情報を、赤外線ライトにてかざすことにより、付加情報を表示させることが可能である。このため、テーブル型スクリーンを複数人で囲んだミーティング等に用いることで業務効率の向上を図ることができる。

[実施例４]
壁、天井、床が全てスクリーンになった空間で懐中電灯型の赤外線ライト３，４を持った複数のユーザが部屋内を自由に歩き廻りながら、コンテンツの中のキャラクターを探すなどのインタラクションに利用可能である。

[実施例５]
図６は、この発明の実施形態の実施例５の多重情報表示システムで、立体物のスクリーンに対して複数のライトとカメラとを用いる概念を示す模式的な斜視図である。また、図７は、実施例５の多重情報表示システムで、要部の構成を示す模式的なブロック図である。

なお、実施形態と同一乃至均等な部分については、同一符号を付して説明を省略する。
この実施例５の多重情報表示システムＳでは、２台のプロジェクタ１ａ,１ｂと、２台の赤外線カメラ５ａ,５ｂとを備えている。
そして、制御部１０と２台の赤外線カメラ５ａ,５ｂとの間には、トリガユニット３５が接続されていて、２台の赤外線カメラ５ａ,５ｂのシャッタ周期の同期を取るトリガ信号Ｔｓを送出するように構成されている。

また、本実施形態では、スクリーン２に換えて立体物１０２が投影対象物となっている。ここでは、立方体の立体物の複数の面、たとえば、正面側と裏面側や、左，右側面等に異なる情報を投影可能である。

このような立体物１０２に対しても実施形態と同様に、複数の懐中電灯型の赤外線ライト３，４等を使用して周囲から複数のユーザが立体物１０２に対して照射光を向けるようにしてもよい。
この場合、実施形態の作用効果に加えてさらに、立体物１０２の一側面だけでなく反対側の他側面にも多彩な付加情報を表示させることが可能となる。

しかも、追加する付加情報の画像を、立体物１０２へ投影されている画像に重ねて投影することができる。
このため、必要な情報の領域を直接、懐中電灯型の赤外線ライト３，４を使用して照光することにより、立体物１０２の照光された領域に関連する情報を、その場所に提示させることが可能である。したがって、ユーザは、立体物１０２の各側面にて異なる情報を見ることができる。

他の構成、および作用効果については、実施形態と同一乃至均等であるので、説明を省略する。

上述してきたように、本実施形態および実施例の多重情報表示システムＳでは、赤外線ライト３，４等が複数存在していて、照光される領域が重なり合っていても、赤外線ライト３，４等を１つ１つ順番に点灯させて固有の発光パターンを与えることができる。これにより、個々の赤外線ライト３，４等によって照光された領域を別々の画像として検出可能である。

また、赤外線ライト３，４等の数が多い場合でも赤外線カメラ５のフレームレートを高めることにより別々の画像として検出可能である。

さらに、赤外線ライト３，４等の間の距離が離れているものを同時に点灯させることにより、それぞれ固有の赤外線であると認識させることが出来、フレームレートの低下を防ぐこともできる。

しかも、赤外線カメラ５で撮影された赤外線ライト３，４ごとの赤外線映像は、制御部１０の記憶部４０からＣＰＵ３０に送られて、輝度と重なりとが演算される。演算データは、ＧＰＵ２０に送られてピクセル単位で、予め記憶部２２に記憶されていた追加される付加情報の映像データと合成されて、対応する画像データＰｄとなる。画像データＰｄはプロジェクタ１に送られて、スクリーン２上に所望の画像を表示することができる。

以上、本実施形態に係る多重情報表示システムＳ及びこれに用いる照光装置について詳述してきたが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。

例えば、本実施形態では、照光装置として赤外線ライト３，４等を用いたものを示して説明してきたが特にこれに限らず、不可視光を照光できるライトであればどのような光源の種類のライトであってもよい。

また、本実施形態では、画像を表示する表示装置として、スクリーン２上に画像を投影して表示するプロジェクタ１を示して説明してきたが特にこれに限らず、アナログブラウン管（ＣＲＴ）、プラズマディスプレイ装置（ＰＤＰ）、液晶パネル表示装置（ＬＣＤ）や、有機ＥＬパネル表示装置など、どのような表示装置であってもよい。

そして、本実施形態では、平面状のスクリーン２を、実施例５では、立体物１０２からなる立方体形状の多面体の外側面をスクリーンとして用いているが、特にこれに限らず、建物の内外壁や、噴水を膜状のスクリーンとするもの等、画像を投影するものであれば、スクリーンの凹凸や曲面を含む形状、数量、角度、曲率、および材質が特に限定されるものではなく、立体物の種類も、正四面体、正六面体、正八面体、正十二面体、正二十面体の五種類の正多面体および他の多面体を含む多面体や、球体、半球体等の球体とこれらの多面体と球面体の組み合わせ等、形状、数量および材質が特に限定されるものではない。

さらに、実施例５では、２台の赤外線ライト３，４と、２台のプロジェクタ１ａ,１ｂと、２台の赤外線カメラ５ａ,５ｂとを備えている多重情報表示システムＳを示して説明してきたが、特にこれに限らず、各１台以上の複数台であってもよく、赤外線ライト３等とプロジェクタ１ａ等と赤外線カメラ５ａ等との台数が一致していなくてもよい。

また、実施形態では、赤外線カメラ５のシャッタスピード等が３０フレーム／秒のレートにて同期させるように設定されている。しかしながら、特にこれに限らず、たとえば１６フレーム／秒、２４フレーム／秒、６０フレーム／秒等、他のレートであっても、赤外線ライト３，４の発光と同期するものであればよい。

さらに、実施形態では、赤外線ライト３，４に、それぞれ時間分割された固有の赤外線を照射する赤外線光源３ａ，３ｂが一つずつ設けられたものを例示して説明してきたが特にこれに限らない。たとえば、一つの赤外線ライト３に、２つ以上、複数の赤外線光源３ａ，３ｂを設けて、周期的に発光させるようにしてもよい。
この場合、ユーザは、追加したい付加情報の赤外線光源３ａ，３ｂを手元のスイッチなどによって選択して、ＯＮ，ＯＦＦすることにより、所望の画像を一人で容易に合成して、スクリーン２に投影して表示させることができる。

１，１ａ，１ｂ プロジェクタ（表示装置）
２ スクリーン
３，４ 赤外線ライト（照光装置）
３ａ，４ａ 赤外線光源（照射光源）
３ｂ，４ｂ 発光制御部
３ｃ，４ｃ 通信部
５，５ａ，５ｂ 赤外線カメラ（撮影部）
１０ 制御部
１１ トランスミッタ（通信部）
２０ ＧＰＵ
２１ 画像合成部
２２，４０ 記憶部
３０ ＣＰＵ
３１ 画像判定部
３２ 画像処理部
３３ 撮影制御部
３４ ライト制御部
１０２ 立体物（スクリーンの一つ）

Claims (6)

1. 画像を表示する表示装置と、
   前記画像の一定の領域を照射光によって照射する複数の照光装置と、
   前記照光装置で照射された場所を検出する赤外線カメラとを備えた多重情報表示システムであって、
   前記照光装置は、固有の赤外線を照射する照射光源を含み、
   前記表示装置は、前記赤外線カメラで捉えた照射された場所に照射光源ごとの異なる付加情報を、前記領域内の照射光の明るさによって表示される輝度を変更して表示する、多重情報表示システム。
2. 画像を表示する表示装置と、
   前記画像の一定の領域を照射光によって照射する複数の照光装置と、
   前記照光装置で照射された場所を検出する赤外線カメラとを備えた多重情報表示システムであって、
   前記照光装置は、時分割された固有の赤外線を照射する照射光源を含み、
   前記表示装置は、他の照射光源の赤外線から時間分割で判別して、前記赤外線カメラで捉えた照射された場所に照射光源ごとの異なる付加情報を表示する、多重情報表示システム。
3. 前記表示装置は、スクリーンに画像を投影するプロジェクタを含む投影装置であることを特徴とする、請求項１または２記載の多重情報表示システム。
4. 前記照射光の照光範囲を可変としたことを特徴とする、請求項１〜３の何れか一項に記載の多重情報表示システムに用いる照光装置。
5. 前記照射光の照光量を可変としたことを特徴とする、請求項１〜３の何れか一項に記載の多重情報表示システムに用いる照光装置。
6. 前記照光装置は、個別に異なる付加情報を有することを特徴とする、請求項１〜３の何れか一項に記載の多重情報表示システムに用いる照光装置。

Images