JP5724607B2 - インタラクティブシステム、およびインタラクティブシステムの制御方法 - Google Patents

Description

本発明は、インタラクティブシステム、およびインタラクティブシステムの制御方法に関する。

従来、パーソナルコンピューターの画像をプロジェクターによってホワイトボードに投写し、赤外線等の発信機能を備えるマーカーで板書すると、その位置をホワイトボードに装備された座標読取装置で検知し、その位置および操作をパーソナルコンピューターに取り込ませることができるインタラクティブシステムが知られている。また、このようなインタラクティブシステムでは、マーカーで投写画面上をクリックすると、パーソナルコンピューターに所定の操作を実行させることが可能になっている（例えば特許文献１）。

しかし、このようなインタラクティブシステムでは、座標読取装置をホワイトボードに装備する必要があり、大掛かりなシステムとなってしまうという問題があった。そこで、プロジェクターにカメラ等の撮像装置を備え、赤外線を発信するマーカーの位置を撮像して検知し、パーソナルコンピューターに通知するインタラクティブシステムが知られている。

特開２００７−２３３９９９号公報

しかしながら、プロジェクターに撮像装置を備えたインタラクティブシステムでは、ユーザーが、プロジェクターの投写画面の前でマーカーを用いて文字や図形の情報を入力する際に、ユーザーに遮られてマーカーから発信される情報を撮像装置（カメラ）で撮像できない場合があった。このような場合には、パーソナルコンピューターに、マーカーの位置や軌跡、操作情報等を通知することができないという問題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例に係るインタラクティブシステムは、複数のプロジェクターと、前記複数のプロジェクターに画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備えたインタラクティブシステムであって、前記複数のプロジェクターは、それぞれが投写する投写画像を同一の投写領域に重畳させて表示させるように設置され、前記複数のプロジェクターのそれぞれは、光源から射出された光を前記画像信号に応じて変調して、前記投写画像として投写面に投写する画像投写部と、前記投写画像を含む範囲を撮像して前記光信号に基づく第１の光信号情報を形成する撮像部と、前記第１の光信号情報を前記コンピューターに出力する光信号出力部と、を有し、前記コンピューターは、前記複数のプロジェクターから前記第１の光信号情報を入力する光信号入力部と、前記光信号入力部が入力した複数の前記第１の光信号情報に基づいて、第２の光信号情報を形成する光信号情報処理部と、前記第２の光信号情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作部と、を有することを特徴とする。

このようなインタラクティブシステムによれば、複数のプロジェクターとコンピューターと発信器とを備えている。複数のプロジェクターは、投写画像を同一の投写領域に重畳させて表示する。複数のプロジェクターはそれぞれ、画像投写部と撮像部と光信号出力部とを有している。撮像部は、投写画像を含む範囲を撮像して光信号に基づく第１の光信号情報を形成する。光信号出力部は、第１の光信号情報をコンピューターに出力する。コンピューターは、光信号入力部と光信号情報処理部とオブジェクト操作部とを有している。光信号情報処理部は、複数のプロジェクターから光信号入力部に入力された複数の第１の光信号情報に基づいて、第２の光信号情報を形成する。オブジェクト操作部は、第２の光信号情報に基づき、画像信号が表す画像に含まれるオブジェクトを操作する。これにより、プロジェクターの撮像部は、異なる方向から投写画像を含む範囲を撮像することができるため、ユーザーがプロジェクターの投写領域の前で発信器を用いる際に、ユーザーに遮られて発信器から発信される光信号を撮像部で検知できない状態となることを低減できる。そして、コンピューターは、光信号に基づいてオブジェクトを操作することが可能になる。

［適用例２］上記適用例に係るインタラクティブシステムにおいて、前記光信号情報処理部は、複数の前記第１の光信号情報を合成することによって、前記第２の光信号情報を形成することを特徴とする。

このようなインタラクティブシステムによれば、複数のプロジェクターのうち、光信号を検知できないプロジェクターがあっても、少なくとも１つのプロジェクターが検知できていれば、第２の光信号情報を形成することができるため、有益である。

［適用例３］本適用例に係るインタラクティブシステムの制御方法は、光源から射出された光を画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、前記投写画像を含む範囲を撮像する撮像部とを有する複数のプロジェクターと、前記複数のプロジェクターに前記画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備え、前記複数のプロジェクターは、それぞれが投写する前記投写画像を同一の投写領域に重畳させて表示させるように設置されたインタラクティブシステムの制御方法であって、前記複数のプロジェクターのそれぞれは、前記撮像部が撮像した前記光信号に基づく第１の光信号情報を形成する撮像ステップと、前記第１の光信号情報を前記コンピューターに出力する光信号出力ステップと、を有し、前記コンピューターは、前記複数のプロジェクターから前記第１の光信号情報を入力する光信号入力ステップと、前記光信号入力ステップによって入力された複数の前記第１の光信号情報に基づいて、第２の光信号情報を形成する光信号情報処理ステップと、前記第２の光信号情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作ステップと、を有することを特徴とする。

このようなインタラクティブシステムの制御方法によれば、プロジェクターの撮像部は、異なる方向から投写画像を含む範囲を撮像することができるため、ユーザーがプロジェクターの投写領域の前で発信器を用いる際に、ユーザーに遮られて発信器から発信される光信号を撮像部で検知できない状態となることを低減できる。そして、コンピューターは、光信号に基づいてオブジェクトを操作することが可能になる。

実施形態に係るインタラクティブシステムの機器の配置を示す説明図。 スタック投写を行った場合の投写画像を簡略的に表す図。 インタラクティブシステムの構成を示すブロック図。 ＰＣの操作検出処理のフローチャート。

以下、実施形態について説明する。

（実施形態）
本実施形態では、撮像部を有する複数のプロジェクターを備えたインタラクティブシステムについて説明する。

図１は、本実施形態に係るインタラクティブシステムの機器の配置を示す説明図である。
図１では、発表者Ｈがプレゼンテーションを行っている態様を表している。図１に示すように、本実施形態のインタラクティブシステム１は、プロジェクター１００と、プロジェクター２００と、コンピューターとしてのパーソナルコンピューター（ＰＣ）３００と、光信号を発信する発信器としての発光ペン４００と、発光ペン４００を保持した発表者Ｈと、ホワイトボード等の投写面Ｓとが表されている。

プロジェクター１００は、投写レンズ１３とＣＣＤ（Charge Coupled Device）カメラ等からなる撮像部５０とを有している。投写レンズ１３から投写された投写画像は、投写面Ｓに投写される。撮像部５０は、投写画像を含む範囲を撮像する。ここで、投写画像光は破線で表しており、撮像範囲は一点鎖線で表している。同様に、プロジェクター２００は、投写レンズ２１３と撮像部２５０とを有している。投写レンズ２１３から投写された投写画像は、投写面Ｓに投写される。撮像部２５０は、投写画像を含む範囲を撮像する。ここで、プロジェクター１００およびプロジェクター２００は、異なる方向から投写面Ｓ上の同一の投写領域に重畳させて投写画像を表示、即ちスタック投写させるように設置されている。そして、プロジェクター１００およびプロジェクター２００は、スタック投写された投写画像を含む範囲を、それぞれ撮像する。

ＰＣ３００は、画像ケーブルＣ１および通信ケーブルＣ３を介してプロジェクター１００と接続されている。また、ＰＣ３００は、画像ケーブルＣ２および通信ケーブルＣ４を介してプロジェクター２００と接続されている。ＰＣ３００は、画像ケーブルＣ１を介してプロジェクター１００に画像信号を出力し、画像ケーブルＣ２を介してプロジェクター２００に同一の画像信号を出力する。また、ＰＣ３００は、通信ケーブルＣ３を介してプロジェクター１００から撮像画像の情報を受信し、通信ケーブルＣ４を介してプロジェクター２００から撮像画像の情報を受信する。本実施形態では、画像ケーブルＣ１，Ｃ２は、アナログＲＧＢのケーブルとし、通信ケーブルＣ３，Ｃ４は、ＵＳＢ（Universal Serial Bus）ケーブルとする。なお、画像ケーブルおよび通信ケーブルの種類は他の種別のケーブルとしてもよい。

ここで、スタック投写について説明する。
図２は、スタック投写を行った場合の投写画像を簡略的に表す図である。

図１に示したように２つのプロジェクター１００，２００を異なる方向から投写面Ｓ上の同一の投写領域に重畳させて投写画像を表示させた状態、即ちスタック投写させた状態について説明する。ここで、プロジェクター１００とプロジェクター２００は、同様の矩形状の画像を投写している。すると、投写面Ｓに対して斜め方向から投写するため、図２に示すように、プロジェクター１００から投写された画像は、投写画像Ｇ１のように歪んだ四辺形となる。同様に、プロジェクター２００から投写された画像は、投写画像Ｇ２のように、投写画像Ｇ１と逆方向に歪んだ四辺形となる。また、プロジェクター１００の撮像領域Ｐ１も歪んだ四辺形となり、プロジェクター２００の撮像領域Ｐ２も歪んだ四辺形となる。

ＰＣ３００は、投写画像Ｇ１および投写画像Ｇ２の重畳されている領域のうちの矩形部分を、重畳画像領域Ｇ３として算出する。この処理をスタック投写のキャリブレーション処理という。ＰＣ３００は、プロジェクター１００およびプロジェクター２００に指示を出し、このスタック投写のキャリブレーション処理によって算出された重畳画像領域Ｇ３上に、入力画像に基づく画像が形成されるように、画像の補正処理を行わせる。

さらに、ＰＣ３００は、撮像領域Ｐ１上および撮像領域Ｐ２上における座標から重畳画像領域Ｇ３上の座標に変換する座標変換式を生成する。そして、この座標変換式を用いることでインタラクティブシステム１は、重畳画像領域Ｇ３上で操作された発光ペン４００の位置情報（座標）を検出することができる。なお、座標変換式ではなく、座標変換のための変換テーブル（図示せず）を生成してもよい。

図３は、本実施形態に係るインタラクティブシステム１の構成を示すブロック図である。
図３に示すように、インタラクティブシステム１は、プロジェクター１００と、プロジェクター２００と、ＰＣ３００と、発光ペン４００と、投写面Ｓとを備えて構成されている。

プロジェクター１００は、画像投写部１０、制御部２０、操作受付部２１、光源制御部２２、画像信号入力部３１、画像処理部３２、ＯＳＤ（オンスクリーンディスプレイ）処理部３３、撮像部５０、光信号出力部５１等を備えて構成されている。

画像投写部１０は、光源１１、光変調装置としての３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ、投写光学系としての投写レンズ１３、ライトバルブ駆動部１４等を含んでいる。画像投写部１０は、光源１１から射出された光を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂで変調して画像光を形成し、この画像光を投写レンズ１３から投写して投写面Ｓ等に表示する。

光源１１は、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプ１１ａと、光源ランプ１１ａが放射した光を液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ側に反射するリフレクター１１ｂとを含んで構成されている。光源１１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色Ｒ、緑色Ｇ、青色Ｂの各色光成分に分離された後、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。

液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂには、マトリクス状に配列された複数の画素（図示せず）が形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。ライトバルブ駆動部１４が、入力される画像情報に応じた駆動電圧を各画素に印加すると、各画素は、画像情報に応じた光透過率に設定される。このため、光源１１から射出された光は、この液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを透過することによって変調され、画像情報に応じた画像が色光毎に形成される。形成された各色の画像は、図示しない色合成光学系によって画素毎に合成されてカラー画像となった後、投写レンズ１３から投写される。

制御部２０は、ＣＰＵ（Central Processing Unit）、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＦｅＲＡＭ（Ferroelectric RAM：強誘電体メモリー）等の不揮発性のメモリー等（いずれも図示せず）を備え、コンピューターとして機能するものである。制御部２０は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、プロジェクター１００の動作を統括制御する。

操作受付部２１は、ユーザーからの入力操作を受け付けるものであり、ユーザーがプロジェクター１００に対して各種指示を行うための複数の操作キーを備えている。操作受付部２１が備える操作キーとしては、電源のオン・オフを切り替えるための電源キー、各種設定を行うためのメニュー画面の表示・非表示を切り替えるメニューキー、メニュー画面におけるカーソルの移動等に用いられるカーソルキー、各種設定を決定するための決定キー等がある。ユーザーが操作受付部２１の各種操作キーを操作（押下）すると、操作受付部２１は、この入力操作を受け付けて、ユーザーの操作内容に応じた操作信号を制御部２０に出力する。なお、操作受付部２１として、遠隔操作が可能なリモコン（図示せず）を用いた構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線等の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部２０に伝達する。

光源制御部２２は、電源回路（図示せず）で生成された直流電流を交流矩形波電流に変換するインバーター（図示せず）や、光源ランプ１１ａの電極間の絶縁破壊を行って、光源ランプ１１ａの始動を促すためのイグナイター（図示せず）等を備えており、制御部２０の指示に基づいて光源１１の点灯を制御する。具体的には、光源制御部２２は、光源１１を始動させて所定の電力を供給することにより光源１１を点灯させるとともに、電力の供給を停止して光源１１を消灯させることができる。また、光源制御部２２は、制御部２０の指示に基づいて光源１１に供給する電力を制御することにより、光源１１の輝度（明るさ）を調整することが可能である。

画像信号入力部３１には、ＰＣ３００と画像ケーブルＣ１を介した接続を行うための入力端子（図示せず）が備えられており、ＰＣ３００から画像信号が入力される。画像信号入力部３１は、入力される画像信号を、画像処理部３２で処理可能な形式の画像情報に変換して、画像処理部３２に出力する。

画像処理部３２は、画像信号入力部３１から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素の階調を表す画像データに変換する。ここで、変換された画像データは、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素に対応する複数の画素値によって構成されている。画素値とは、対応する画素の光透過率を定めるものであり、この画素値によって、各画素から射出する光の強弱（階調）が規定される。また、画像処理部３２は、制御部２０の指示に基づき、変換した画像データに対して、明るさ、コントラスト、シャープネス、色合い等を調整するための画質調整処理等を行い、処理後の画像データをＯＳＤ処理部３３に出力する。

ＯＳＤ処理部３３は、制御部２０の指示に基づいて、メニュー画面やメッセージ画面等のＯＳＤ画像を、画像処理部３２から入力される画像データに重畳する処理を行う。ＯＳＤ処理部３３は、図示しないＯＳＤメモリーを備えており、ＯＳＤ画像を形成するための図形やフォント等を表すＯＳＤ画像データを記憶している。制御部２０が、ＯＳＤ画像の重畳を指示すると、ＯＳＤ処理部３３は、必要なＯＳＤ画像データをＯＳＤメモリーから読み出し、入力画像の所定の位置にＯＳＤ画像が重畳されるように、画像処理部３２から入力される画像データにこのＯＳＤ画像データを合成する。ＯＳＤ画像データが合成された画像データは、ライトバルブ駆動部１４に出力される。なお、制御部２０からＯＳＤ画像を重畳する旨の指示がない場合には、ＯＳＤ処理部３３は、画像処理部３２から出力される画像データを、そのままライトバルブ駆動部１４に出力する。

ライトバルブ駆動部１４が、ＯＳＤ処理部３３から入力される画像データに従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動すると、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、画像データに応じた画像を形成し、この画像が投写レンズ１３から投写される。

撮像部５０は、ＣＣＤセンサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ（図示せず）を備えている。撮像部５０は、プロジェクター１００の投写レンズ１３の近傍に配置され、投写面Ｓに投写された画像（投写画像）を含む範囲を所定のフレームレートで撮像する。本実施形態では、撮像部５０は、赤外光を撮像可能となっている。そして、撮像部５０は、撮像した赤外光の画像（撮像画像）を表す光信号画像情報を順次生成し、光信号出力部５１から出力する。ここで、光信号画像情報が、第１の光信号情報に相当する。なお、スタック投写のキャリブレーション処理の際には、撮像部５０は、可視光を撮像可能とする。

光信号出力部５１は、所定の通信手段を用い、通信ケーブルＣ３を介して、ＰＣ３００に、撮像部５０が撮像した光信号画像情報を出力する。本実施形態では、光信号出力部５１が用いる通信手段は、ＵＳＢを用いた通信手段とする。なお、光信号出力部５１が用いる通信手段は、ＵＳＢに限定するものではなく、他の通信手段を用いてもよい。

プロジェクター２００は、プロジェクター１００と同様な構成とする。よって、説明は省略する。

発光ペン４００は、ペン状の本体の先端部（ペン先）に、押圧スイッチと、赤外光を発する発光ダイオードとを備えている。そして、ユーザーが発光ペン４００のペン先を投写面Ｓに押し付ける操作（押圧操作）を行って、押圧スイッチを押圧すると、発光ダイオードが発光するようになっている。

ＰＣ３００は、光信号入力部３１０、光信号情報変換部３２０、光信号情報処理部３３０、操作部３４０、ＣＰＵ３５０、メモリー３６０、画像出力部３７０を備えている。ここで、光信号情報処理部３３０、操作部３４０、ＣＰＵ３５０、メモリー３６０、画像出力部３７０は、バスＢを介して互いに接続されている。

光信号入力部３１０は、所定の通信手段を用い、通信ケーブルＣ３を介して、プロジェクター１００から光信号画像情報を入力する。また、光信号入力部３１０は、通信ケーブルＣ４を介して、プロジェクター２００から光信号画像情報を入力する。本実施形態では、光信号入力部３１０が用いる通信手段は、ＵＳＢを用いた通信手段とする。なお、光信号出力部５１が用いる通信手段は、ＵＳＢに限定するものではなく、他の通信手段を用いてもよい。

光信号情報変換部３２０は、座標変換情報記憶部３２０ａを有している。座標変換情報記憶部３２０ａには、前述した撮像領域Ｐ１上および撮像領域Ｐ２上における座標から重畳画像領域Ｇ３上の座標に変換する座標変換式が記憶される。光信号情報変換部３２０は、光信号入力部３１０に入力された光信号画像情報を、座標変換情報記憶部３２０ａに記憶された座標変換式に基づいて重畳画像領域Ｇ３上の位置情報（座標）に変換する。具体的には、光信号画像情報に基づいて、画像内で発光ペン４００が発光したか否かを判別する。そして、発光があった場合には、発光した位置、即ち撮像画像内において押圧操作がなされた位置情報（座標）を検出する。光信号情報変換部３２０は、発光した位置情報（座標）を検出すると、座標変換式を用いて、撮像画像上の位置情報から重畳画像領域Ｇ３上の位置情報（座標）への変換を行う。

光信号情報処理部３３０は、プロジェクター１００から入力された光信号画像情報に基づく重畳画像領域Ｇ３上の位置情報（座標）と、プロジェクター２００から入力された光信号画像情報に基づく重畳画像領域Ｇ３上の位置情報（座標）とを合成し、発光した位置を表す光位置情報として認識する。光位置情報が、第２の光信号情報に相当する。さらに、光信号情報処理部３３０は、プロジェクター１００から入力された光信号画像情報と、プロジェクター２００から入力された光信号画像情報とに基づき、発光ペン４００の発信パターン（発光パターン）を、発信パターン情報として認識する。

操作部３４０は、ＰＣ３００に対して各種指示を行うためのキーボードやマウス等を備えている。メモリー３６０には、発光ペン４００をポインティングデバイスのように利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、ＰＣ３００は、プロジェクター１００および２００から入力される光信号画像情報に基づく光位置情報に基づいて、投写画像内で発光ペン４００が発光した位置、即ち投写画像内において押圧操作がなされた位置を認識する。そして、画像に含まれるオブジェクトを操作する。このときのＰＣ３００のソフトウェア動作を行うＣＰＵ３５０が、オブジェクト操作部に相当する。ＰＣ３００は、発光した位置を認識すると、この位置でポインティングデバイスによるクリック操作がなされた場合と同一の処理を行う。つまり、ユーザーは、投写画像内において発光ペン４００で押圧操作を行うことにより、ＰＣ３００に対して、ポインティングデバイスで行う指示と同一の指示を行うことができる。

画像出力部３７０は、画像に基づいた画像信号をプロジェクター１００およびプロジェクター２００に出力する。

次に、インタラクティブシステム１のＰＣ３００が行う発光ペン４００の操作検出処理について説明する。
図４はＰＣ３００の操作検出処理のフローチャートである。

プロジェクター１００，２００から、ＰＣ３００の光信号入力部３１０に光信号画像情報が入力されると、光信号情報変換部３２０は、入力された光信号画像情報を座標変換式に基づいて重畳画像領域Ｇ３上の位置情報に変換する（ステップＳ１０１）。

光信号情報処理部３３０は、プロジェクター１００から入力された光信号画像情報に基づいた位置情報と、プロジェクター２００から入力された光信号画像情報に基づいた位置情報とを合成する（ステップＳ１０２）。このように合成することによって、プロジェクター１００およびプロジェクター２００から入力された２つの光信号画像情報の一方において発光ペン４００の光信号が検出されず、他の一方において光信号が検出された場合に、光信号情報処理部３３０は光信号情報を認識することが可能になる。

光信号情報処理部３３０は、合成された位置情報に基づいて、発光ペン４００の光信号を検知した光位置情報を認識する（ステップＳ１０３）。さらに、光信号情報処理部３３０は、発光ペン４００の発信パターン情報を認識する（ステップＳ１０４）。

そして、ＣＰＵ３５０は、光位置情報および発信パターン情報に基づいて、画像に含まれるオブジェクトを操作する（ステップＳ１０５）。ここで、オブジェクトの操作とは、光位置情報が表す画像上の位置において、ポインティングデバイスによるクリック操作がなされた場合と同一の処理を表す。そして、ＰＣ３００の操作検出処理を終了する。

上述した実施形態によれば、以下の効果が得られる。
（１）インタラクティブシステム１のプロジェクター１００およびプロジェクター２００は、投写画像を同一の投写領域に重畳させて表示し、それぞれの撮像部５０は、投写画像を含む範囲を撮像して光信号画像情報として、ＰＣ３００に出力する。ＰＣ３００は、プロジェクター１００とプロジェクター２００から入力された光信号画像情報に基づいて位置情報を形成する。これにより、プロジェクター１００，２００は、異なる方向から投写画像を含む範囲を撮像することができるため、発表者Ｈがプロジェクターの投写領域の前で発光ペン４００を用いる際に、一方の撮像画像が遮られても、他方の撮像画像を用いて、発光ペン４００によるペン入力操作を検知することができる。よって、発表者Ｈに遮られて発光ペン４００から発信される光信号の情報を撮像部５０で撮像できない状態となることを低減することができる。

（２）インタラクティブシステム１のＰＣ３００は、プロジェクター１００およびプロジェクター２００から入力された光信号画像情報に基づいた位置情報の合成を行う。ＰＣ３００は、合成された位置情報に基づいて、発光ペン４００の光信号を検知した光位置情報と発信パターン情報とを認識する。そして、ＰＣ３００は、光位置情報および発信パターン情報に基づいて、画像に含まれるオブジェクトを操作する。これにより、プロジェクター１００またはプロジェクター２００のうち、少なくとも一方が撮像領域を撮像できていれば、ＰＣ３００は、位置情報の合成を行うことで、光位置情報および発信パターン情報に基づいて、画像に含まれるオブジェクトを操作することが可能であるため、有益である。

なお、上述した実施形態に限定されず、種々の変更や改良等を加えて実施することが可能である。変形例を以下に述べる。

（変形例１）上記実施形態では、インタラクティブシステム１は、撮像部を有するプロジェクターを２つ備えるものとしたが、撮像部を有するプロジェクターの数はこれに限定するものではなく、２つ以上としてもよい。

（変形例２）上記実施形態では、ＰＣ３００は、プロジェクター１００およびプロジェクター２００の光信号画像情報に基づいた位置情報の合成を行うものとした。しかし、位置情報の合成は行わずに、一方のプロジェクターの光信号画像情報に基づいた位置情報によって、発光ペン４００の光信号の有無を判断し、光信号が検出されなかった場合に、他方のプロジェクターの光信号画像情報に基づいた位置情報を用いて光信号の検出を行うものとしてもよい。

（変形例３）上記実施形態では、光信号情報変換部３２０および光信号情報処理部３３０は、独立した構成要素として記載しているが、メモリー３６０内にプログラムとして内蔵する構成としてもよい。そして、ＣＰＵ３５０がメモリー３６０の当該プログラムを実行することで、光信号画像情報を位置情報へ変換する処理や、位置情報の合成処理、光位置情報の認識処理、発信パターン情報の認識処理等を行ってもよい。

（変形例４）上記実施形態では、投写画像に対して、赤外光を発光する発光ペン４００を用いて操作を行う態様を示したが、この態様に限定されず、例えば、レーザーポインターで操作を行う態様としてもよい。

（変形例５）上記実施形態では、プロジェクター１００，２００の光源１１は、放電型の光源ランプ１１ａによって構成されているが、ＬＥＤ（Light Emitting Diode）光源やレーザー等の固体光源や、その他の光源を用いることもできる。

（変形例６）上記実施形態では、プロジェクター１００，２００の光変調装置として、透過型の液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を用いることもできる。

１…インタラクティブシステム、１０…画像投写部、１１…光源、１１ａ…光源ランプ、１１ｂ…リフレクター、１２Ｒ，１２Ｇ，１２Ｂ…液晶ライトバルブ、１３…投写レンズ、１４…ライトバルブ駆動部、２０…制御部、２１…操作受付部、２２…光源制御部、３１…画像信号入力部、３２…画像処理部、３３…ＯＳＤ処理部、５０…撮像部、５１…光信号出力部、１００，２００…プロジェクター、２１３…投写レンズ、２５０…撮像部、３００…ＰＣ、３１０…光信号入力部、３２０…光信号情報変換部、３２０ａ…座標変換情報記憶部、３３０…光信号情報処理部、３４０…操作部、３５０…ＣＰＵ、３６０…メモリー、３７０…画像出力部、４００…発光ペン。

Claims (2)

1. 第１のプロジェクターおよび前記第１のプロジェクターとは異なる第２のプロジェクターを含む複数のプロジェクターと、前記複数のプロジェクターに画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備えたインタラクティブシステムであって、
   前記複数のプロジェクターは、それぞれが投写する投写画像を同一の投写領域に重畳させて表示させるように設置され、
   前記複数のプロジェクターのそれぞれは、
   光源から射出された光を前記画像信号に応じて変調して、前記投写画像として投写面に投写する画像投写部と、
   前記投写画像を含む範囲を撮像して前記光信号に基づく第１の光信号情報を形成する撮像部と、
   前記第１の光信号情報を前記コンピューターに出力する光信号出力部と、
   を有し、
   前記コンピューターは、
   前記複数のプロジェクターから前記第１の光信号情報を入力する光信号入力部と、
   前記第１のプロジェクターから入力した前記第１の光信号情報に前記光信号が存在するか否かを判定し、前記光信号が存在すると判定した場合は前記第１のプロジェクターから入力した前記第１の光信号情報に基づいて第２の光信号情報を形成し、前記光信号が存在しないと判定した場合は前記第２のプロジェクターから入力した前記第１の光信号情報に基づいて前記第２の光信号情報を形成する光信号情報処理部と、
   前記第２の光信号情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作部と、
   を有することを特徴とするインタラクティブシステム。
2. 光源から射出された光を画像信号に応じて変調して、投写画像として投写面に投写する画像投写部と、前記投写画像を含む範囲を撮像する撮像部とを有する複数のプロジェクターと、前記複数のプロジェクターに前記画像信号を供給するコンピューターと、所定の操作に基づき光信号を発信する発信器と、を備え、前記複数のプロジェクターは、それぞれが投写する前記投写画像を同一の投写領域に重畳させて表示させるように設置されたインタラクティブシステムの制御方法であって、
   前記複数のプロジェクターは第１のプロジェクターおよび前記第１のプロジェクターとは異なる第２のプロジェクターを含み、前記複数のプロジェクターのそれぞれは、
   前記撮像部が撮像した前記光信号に基づく第１の光信号情報を形成する撮像ステップと、
   前記第１の光信号情報を前記コンピューターに出力する光信号出力ステップと、
   を有し、
   前記コンピューターは、
   前記複数のプロジェクターから前記第１の光信号情報を入力する光信号入力ステップと、
   前記第１のプロジェクターから入力した前記第１の光信号情報に前記光信号が存在するか否かを判定し、前記光信号が存在すると判定した場合は前記第１のプロジェクターから入力した前記第１の光信号情報に基づいて第２の光信号情報を形成し、前記光信号が存在しないと判定した場合は前記第２のプロジェクターから入力した前記第１の光信号情報に基づいて前記第２の光信号情報を形成する光信号情報処理ステップと、
   前記第２の光信号情報に基づき、前記画像信号が表す画像に含まれるオブジェクトを操作するオブジェクト操作ステップと、
   を有することを特徴とするインタラクティブシステムの制御方法。

Images