JP6372487B2 - 情報処理装置、制御方法、プログラム、および記憶媒体 - Google Patents

Description

本開示は、情報処理装置、制御方法、プログラム、および記憶媒体に関する。

画像を大型スクリーンに投影して表示することができるプロジェクタは、会社の会議や発表会、学校の授業等、様々な場面で用いられている。また、プロジェクタで画像を拡大投影して説明を行う際には、投影画像に対してレーザー光を投射するレーザーポインタが使われることは公知である。近年、このようなレーザー光を投射する機能を有するレーザーポインタを、プロジェクタのＵＩ操作に活用する技術が、以下の通り提案されている。

例えば、下記特許文献１では、投影画像データと、投影画像面を撮像した撮像画像データの差分を算出することにより、レーザーポインタの動きを認識し、レーザーポインタの所定の動きに関連付けられたコマンドを実行する制御システムが開示されている。具体的には、かかる制御システムは、レーザーポインタにより照射されたポインタが右矢印を形成するように動いた場合、関連付けられた「次のスライドに進め」というディスプレイ・コマンドを実行するよう制御する。

また、下記特許文献２では、スクリーン設置場所の明るさが変わるような場合でも、プロジェクタによる投影画像上でのレーザーポインタの指示位置を正しく検出するための判定システムが提示されている。具体的には、かかる判定システムは、投影開始前にポインタ位置判定スレッシュ値を設定し、現フレームの撮影画像データと前フレームの撮影画像データとの差分の画像データを計算し、スレッシュ値を超える画素位置をレーザーポインタによる照射位置として判定する。

特開２００１−１２５７３８号公報 特開２００８−１５５６０号公報

しかしながら、上記特許文献１、２では、撮像画像に基づいてレーザーポインタによるレーザー光の照射位置の座標を認識するだけであった。投影画像に対してクリック操作やドラッグ操作等を行うためには、プロジェクタに投影画像データを送信しているコンピュータに接続されたマウス等の入力デバイスを操作しなければならず、講演者（ユーザ）がスクリーン付近で立って説明している状況では使いにくかった。また、コンピュータのディスプレイ画面の表示信号がプロジェクタに送信され投影されている場合、マウス等の入力デバイスを介して画面上のカーソルを移動させる操作を行うと、処理遅延が発生し、ユーザは遅延を許容して操作を行う必要があった。処理遅延とは、すなわち、マウス等の入力デバイスにおける検出処理、コンピュータの内部処理、およびディスプレイへの表示処理それぞれにおいて発生する処理遅延である。

そこで、本開示では、レーザーポインタを動かすことで投影画像中のオブジェクトに対して直感的に操作入力を行うことが可能な、新規かつ改良された情報処理装置、制御方法、プログラム、および記憶媒体を提案する。

本開示によれば、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタの移動情報を取得する取得部と、前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、を備える、情報処理装置を提案する。

本開示によれば、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、前記レーザーポインタの移動情報を取得するステップと、前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力するステップと、を含む、制御方法を提案する。

本開示によれば、コンピュータに、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタの移動情報を取得する取得部と、前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、として機能させるための、プログラムを提案する。

本開示によれば、コンピュータに、投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、前記レーザーポインタの移動情報を取得する取得部と、前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、レーザーポインタを動かすことで投影画像中のオブジェクトに対して直感的に操作入力を行うことが可能となる。

本開示の一実施形態による操作システムの概要を説明するための図である。 本開示の一実施形態による操作システムの第１のシステム構成例を説明するための図である。 本開示の一実施形態による操作システムの第２のシステム構成例を説明するための図である。 本開示の一実施形態による操作システムの第３のシステム構成例を説明するための図である。 プロジェクタがＰＣから投影用画像データを受信する場合について説明するための図である。 プロジェクタがネットワーク上からコンテンツを取得する場合について説明するための図である。 本実施形態による操作システムの内部構成の一例を示すブロック図である。 本実施形態による操作システムの動作処理を示すシーケンス図である。 照射位置の円を描く軌跡に基づく操作入力について説明するための図である。 照射位置の横線を引く軌跡に基づく操作入力について説明するための図である。 複数の照射位置によるピンチアウト／ピンチインの軌跡に基づく操作入力について説明するための図である。 複数の照射位置が回転する軌跡に基づく操作入力について説明するための図である。 本実施形態によるレーザーポインタの動かし方の種類について説明するための図である。 ロール回転の動きを用いた操作入力例について説明するための図である。 前後垂直移動の動きを用いた操作入力例について説明するための図である。 左右にパンさせる動きを用いた操作入力例について説明するための図である。 複数のレーザーポインタを用いて３Ｄオブジェクトの視点位置操作を行う場合について説明するための図である。 複数の剛体が関節を介して接続されて形成される３Ｄオブジェクトを操作する場合について説明するための図である。 非可視光マーカーによる操作入力について説明するための図である。 複数のレーザーポインタによる各照射位置の識別について説明するための図である。 本実施形態による操作システムのシステム構成の変形例について説明するための図である。 本変形例による操作システムの内部構成の一例を示すブロック図である。 本実施形態による表示画面の正対制御について説明するための図である。 投影色域の制御について説明するための図である。 照射可能領域について説明するための図である。 スワイプイン、スワイプアウト操作について説明するための図である。 ユーザ情報の明示について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による操作システムの概要
２．システム構成例
２−１．第１のシステム構成例
２−２．第２のシステム構成例
２−３．第３のシステム構成例
３．内部構成および動作処理
３−１．内部構成
３−２．動作処理
４．レーザーポインタによる操作入力例
４−１．照射位置の軌跡による操作入力
４−２．動きに応じた操作入力
５．変形例
５−１．システム構成
５−２．内部構成
６．補足
７．まとめ

＜＜１．本開示の一実施形態による操作システムの概要＞＞
まず、本開示の一実施形態による操作システムの概要について図１を参照して説明する。図１に示すように、本開示の一実施形態による操作システムは、プロジェクタ１、レーザーポインタ２、および投影用のコンテンツをプロジェクタ１に出力するＰＣ（パーソナルコンピュータ）３を含む。投影用のコンテンツとは、図表、文章、その他種々のグラフィック画像や、地図、ウェブサイト、３Ｄオブジェクト等であって、以下投影用の画像データと称する。

プロジェクタ１は、ＰＣ３から受信した画像データ（表示信号）を、ＰＣ３からの制御信号にしたがって投写スクリーンや壁（以下一例としてスクリーンＳを用いる）に投影する。スクリーンＳに投影される投影画像には、例えば編集操作可能なオブジェクトｏｂｊ１〜３が含まれている。

レーザーポインタ２は、ユーザ（講演者）による操作ボタン２０ａの押下操作に応じて、可視光のレーザー光を照射する機能を有する。ユーザは、レーザーポインタ２を使用して、スクリーンＳに投影された画像上にレーザー光を照射して、照射位置Ｐを説明個所に合せて指示しながらプレゼンテーションを行うことができる。

ＰＣ３は、投影用の画像を電子的に生成し、画像データをプロジェクタ１に有線／無線により送信し、投影制御を行う。図１では、一例としてノート型ＰＣを示しているが、本実施形態によるＰＣ３はノート型ＰＣに限定されず、デスクトップ型ＰＣや、ネットワーク（クラウド）上のサーバであってもよい。

（背景）
ここで、上述したように、上記特許文献１、２では、投影画像を撮像した撮像画像に基づいてレーザーポインタによるレーザー光の照射位置の座標を認識するだけであった。したがって、レーザーポインタを用いて投影画像中の編集可能なオブジェクトｏｂｊ１〜３に対して操作入力を行うことができず、オブジェクトｏｂｊ１〜３を動かすためには、ＰＣ３の入力デバイス（マウス、タッチパッド、キーボード等）を操作しなければならなかった。

そこで、上記事情を一着眼点にして本開示の各実施形態による操作システムを創作するに至った。本開示の各実施形態による操作システムは、レーザーポインタを動かすことで投影画像中のオブジェクトに対して直感的に操作入力を行うことができる。具体的には、例えば図１に示すように、レーザーポインタ２の操作ボタン２０ａを押下して操作対象とするオブジェクトをオブジェクトｏｂｊ１に決定した後、レーザーポインタ２を回転させることで、オブジェクトｏｂｊ１を回転操作することができる。以下、本開示の一実施形態による操作システムのシステム構成例について具体的に説明する。

＜＜２．システム構成例＞＞
＜２−１．第１のシステム構成例＞
図２は、本開示の一実施形態による操作システムの第１のシステム構成例を説明するための図である。図２に示すように、第１のシステム構成例は、プロジェクタ１、レーザーポインタ２（本開示による情報処理装置）、およびＰＣ３により形成される。

本実施形態によるプロジェクタ１は、ＰＣ３と有線／無線接続し、ＰＣ３から受信した投影用の画像データ（表示信号）に基づいて、スクリーンＳに画像を投影する。また、プロジェクタ１は、投影画像上へのレーザーポインタ２による可視光のレーザー光Ｖの照射位置Ｐを認識するための可視光撮像部１３ｖを有する。可視光撮像部１３ｖは、プロジェクタ１に内蔵されていてもよいし、外付けされてもよい。

また、可視光撮像部１３ｖは、プロジェクタ１に設けられることで、撮像対象である投影画像の範囲のキャリブレーションを自動的に行うことができる。具体的には、可視光撮像部１３ｖは、撮像範囲や撮像方向を、プロジェクタ１による投影方向に連動して変更することができる。なお可視光撮像部１３ｖが投影画像の範囲よりも広範囲のエリアを撮像することで、投影画像の範囲外（画面の外側）に対するレーザー照射もＵＩ操作に活用され得る。

レーザーポインタ２は、レーザーポインタ２に設けられている操作ボタン２０ａの押下に応じて、人間の眼に見える可視光線のレーザー光Ｖを照射する。レーザーポインタ２は、ユーザがレーザー光Ｖで投影画像上の任意の位置を指し示すために使用される。具体的には、レーザーポインタ２は、操作ボタン２０ａが半押し（照射指示操作の一例）された場合にレーザー光Ｖを照射する。なお本実施形態によるレーザーポインタ２は、可視光線のレーザー光Ｖの他、可視光のマーカー画像（以下、可視光マーカーとも称する）を照射してもよい。可視光マーカーは、例えば任意の図形（十字型やハート型等）や、ユーザＩＤ等の情報が埋め込まれた１次元／２次元バーコードである。また、可視光マーカーは、静止画像に限定されず、色や形が変化する動画像であってもよい。

また、レーザーポインタ２は、操作ボタン２０ａが全押し（決定操作の一例）された場合に、レーザー光Ｖの照射を継続しつつ、決定操作を検出した旨を示す情報（以下、決定操作情報とも称する）を、無線通信によりプロジェクタ１に送信する。ここで、操作ボタン２０ａの全押し操作は、投影画像中のオブジェクトを操作対象として決定するための決定操作の一例である。ユーザは、レーザーポインタ２を手に持ってスクリーンＳに向け、操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置Ｐを投影画像中のオブジェクトのうち任意のオブジェクトに合せた際に操作ボタン２０ａを全押しして操作対象として決定する。

さらに、ユーザは、レーザーポインタ２を移動させて、決定したオブジェクトに対して直感的な操作入力を行うことができる。具体的には、ユーザは、レーザーポインタ２をスクリーンＳの投影画像に対して垂直／平行移動、回転移動、または、パン方向／チルト方向に動かすことで、投影画像中のオブジェクトに対してレーザーポインタ２の動きに対応する操作入力を行うことができる。例えば、図１に示すように、レーザーポインタ２を回転させることで、操作対象に決定したオブジェクトｏｂｊ１を回転操作することができる。このようなレーザーポインタ２の移動情報は、レーザーポインタ２に設けられたジャイロセンサ、加速度センサ、地磁気センサ等の各種センサにより検知され、無線通信によりプロジェクタ１に送信される。

レーザーポインタ２により照射されたレーザー光Ｖは、プロジェクタ１に設けられた可視光撮像部１３ｖにより撮像され、照射位置Ｐの位置座標がプロジェクタ１に認識される。また、プロジェクタ１は、レーザーポインタ２から決定操作情報が送信された際に、照射位置Ｐの座標位置に位置する投影画像中のオブジェクトを操作対象として決定する。

また、プロジェクタ１は、レーザーポインタ２からレーザーポインタ２の移動情報を受信する。そして、プロジェクタ１は、操作対象として決定したオブジェクトを、レーザーポインタ２から受信した移動情報に応じて表示変化させるための制御信号（以下、ポインタ情報とも称する）をＰＣ３に送信（出力）する。

ＰＣ３は、プロジェクタ１から受信した制御信号（ポインタ情報）にしたがってオブジェクトに対する表示変化処理を実行し、実行後の画像データをプロジェクタ１に送信する。

このように、図２に示す第１のシステム構成例によれば、レーザーポインタ２を用いた投影画像中の任意のオブジェクトに対するレーザーポインタ２の動きに応じた直感的な操作入力が可能となる。

＜２−２．第２のシステム構成例＞
次に、本開示の一実施形態による操作システムの第２のシステム構成例について図３を参照して説明する。図３は、本開示の一実施形態による操作システムの第２のシステム構成例を説明するための図である。図３に示すように、操作システムの第２のシステム構成は、プロジェクタ１ｂ（本開示による情報処理装置）、レーザーポインタ２ｂ、およびＰＣ３から形成される。

ここで、上記第１のシステム構成例では、レーザーポインタ２から可視光のレーザー光Ｖが照射される場合について説明したが、本実施形態によるレーザーポインタ２から照射されるレーザー光は、可視光に限定されず、例えば非可視光のレーザー光が照射されてもよい。

例えば、図３に示すように、レーザーポインタ２ｂが、操作ボタン２０ａの操作に応じて、可視光のレーザー光Ｖと、人間の眼に見えない赤外線などの非可視光のレーザー光Ｎとを照射する。具体的には、例えば操作ボタン２０ａが半押しされた場合に可視光のレーザー光Ｖを照射し、操作ボタン２０ａがさらに押し込まれた場合（全押しされた場合）、可視光のレーザー光Ｖの照射を継続しつつ、非可視光のレーザー光Ｎを照射する。

この場合、講演者や聴衆は可視光のレーザー光Ｖで指示される照射位置Ｐｖを視認し、プロジェクタ１ｂは、プロジェクタ１ｂに設けられた非可視光撮像部１３ｎにより投影画像を撮像した非可視光撮像画像に基づいて非可視光のレーザー光Ｎで指示される照射位置Ｐｎを認識する。なお非可視光のレーザー光Ｎによる照射位置Ｐｎは、レーザー光Ｖの照射位置Ｐｖと同じ位置または近傍に位置している。

このように、第２のシステム構成例によれば、プロジェクタ１ｂ（本開示による情報処理装置）は、レーザーポインタ２ｂから照射される非可視光のレーザー光Ｎの照射位置Ｐｎを認識することができる。

また、第２のシステム構成例においても、第１のシステム構成例と同様に、レーザーポインタ２ｂで検出された決定操作情報（例えば操作ボタン２０ａの全押し操作情報）がプロジェクタ１ｂに送信される。プロジェクタ１ｂは、決定操作情報を受信した際に投影画像上でレーザー光Ｎにより指示されているオブジェクト（照射位置Ｐｎの座標位置に位置する投影画像中のオブジェクト）を、操作対象のオブジェクトとして決定する。

また、レーザーポインタ２ｂは、レーザーポインタ２ｂに設けられたジャイロセンサ等により検出した移動情報（垂直／平行移動、回転移動、チルト／パン動作）に関しても第１のシステム構成例と同様に、プロジェクタ１ｂに送信する。

そして、プロジェクタ１ｂは、第１のシステム構成例に含まれるプロジェクタ１と同様に、操作対象として決定したオブジェクトを、レーザーポインタ２ｂから受信した移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信（出力）する。

このように、図３に示す第２のシステム構成例では、非可視光のレーザー光Ｎを照射するレーザーポインタ２ｂを用いた投影画像中の任意のオブジェクトに対するレーザーポインタ２ｂの動きに応じた直感的な操作入力が可能となる。

＜２−３．第３のシステム構成例＞
次に、本開示の一実施形態による操作システムの第３のシステム構成例について図４を参照して説明する。図４は、本開示の一実施形態による操作システムの第３のシステム構成例を説明するための図である。図４に示すように、操作システムの第３のシステム構成は、プロジェクタ１ｃ（本開示による情報処理装置）、レーザーポインタ２ｃ、およびＰＣ３から形成される。

ここで、上記第１、第２のシステム構成例では、プロジェクタ１、１ｂは、レーザーポインタ２、２ｂの移動情報を無線通信により受信（取得）しているが、本実施形態による移動情報の取得方法はこれに限定されず、例えばレーザーポインタ２ｂから照射される非可視光マーカーＭに基づいて取得されてもよい。

例えば図４に示すように、レーザーポインタ２ｃが、操作ボタン２０ａの操作に応じて、可視光のレーザー光Ｖと、人間の眼に見えない赤外線などの非可視光のマーカーＭとを照射する。具体的には、例えば操作ボタン２０ａが半押しされた場合に可視光のレーザー光Ｖを照射し、操作ボタン２０ａがさらに押し込まれた場合（全押しされた場合）、可視光のレーザー光Ｖの照射を継続しつつ、非可視光のマーカーＭを照射する。

この場合、講演者や聴衆は可視光のレーザー光Ｖで指示される照射位置Ｐを視認し、プロジェクタ１ｃは、プロジェクタ１ｃに設けられた非可視光撮像部１３ｎにより投影画像を撮像した非可視光撮像画像に基づいて非可視光のマーカーＭの位置座標（照射位置）を認識する。なお非可視光のマーカーＭの照射位置は、レーザー光Ｖの照射位置Ｐと同じ位置または近傍に位置している。

また、非可視光マーカーＭは、例えば任意の図形（十字型やハート型等）や、ユーザＩＤ等の情報が埋め込まれた１次元／２次元バーコード等、面積を持つ画像である。プロジェクタ１ｃは、非可視光マーカーＭの形、大きさ、傾き、歪み等を解析することで、レーザーポインタ２ｃの投影画像に相対する位置を認識でき、さらに非可視光マーカーＭの形、大きさ、歪み等の変化を継続的に解析することで、レーザーポインタ２ｃの移動情報を取得できる。なお非可視光マーカーＭは、静止画像に限定されず、色や形が変化する動画像であってもよい。

また、第３のシステム構成例においても、第１、第２のシステム構成例と同様に、レーザーポインタ２ｃで検出された決定操作情報（例えば操作ボタン２０ａの全押し操作情報）がプロジェクタ１ｃに送信される。プロジェクタ１ｃは、決定操作情報を受信した際に投影画像上で非可視光マーカーＭにより指示されているオブジェクトを、操作対象のオブジェクトとして決定する。

そして、プロジェクタ１ｃは、第１、第２のシステム構成例に含まれるプロジェクタ１、１ｂと同様に、操作対象として決定したオブジェクトを、レーザーポインタ２ｃの移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信（出力）する。

このように、図４に示す第３のシステム構成例では、非可視光のマーカーＭを照射するレーザーポインタ２ｃを用いた投影画像中の任意のオブジェクトに対するレーザーポインタ２ｃの動きに応じた直感的な操作入力が可能となる。

以上、本実施形態による操作システムの第１〜第３のシステム構成例について説明した。以下、プロジェクタ１〜１ｃを個別に説明する必要がない場合はプロジェクタ１と総称する。また同様に、レーザーポインタ２〜２ｃを個別に説明する必要がない場合はレーザーポインタ２と総称する。

本実施形態によるレーザーポインタ２の操作部は、図２〜図４に示すような１つの操作ボタン２０ａで複数段階（半押し、全押し）のユーザ操作が検出できる構成に限定されず、例えば複数のボタンにより複数段階のユーザ操作を検出する構成であってもよい。
例えば、レーザーポインタ２の筐体上面と下面にそれぞれ操作ボタンが設けられ、上面の操作ボタンが押下された場合は第１段階（上記半押し操作に相当）のユーザ操作を検出し、さらに下面の操作ボタンも押下された場合は第２段階（上記全押し操作に相当）のユーザ操作を検出する。このように、レーザーポインタ２は、ボタンが１つ押されている段階（第１段階）と２つ同時に押されている段階（第２段階）とで２段階のユーザ操作を検出することができる。

また、レーザーポインタ２に設けられる操作部は、物理的な構造によるボタンに限定されず、指の接触／近接を検知するセンサにより実現されてもよい。例えば、レーザーポインタ２の筐体上面にタッチパネルが操作部として設けられ、レーザーポインタ２は、指の接触／近接の検知結果に基づいて、接触の回数（タップ回数）等に応じて複数段階のユーザ操作を検出する。

また、本実施形態によるレーザーポインタ２の形状は、図２〜図４Ｂに示した直方体形状に限定されず、例えば先端に照射部が設けられた指し棒の形状等であってもよい。

また、上述した第１〜第３のシステム構成例では、図５Ａに示すように、プロジェクタ１にＰＣ３から投影用の画像データ（表示信号）が送信され、プロジェクタ１からＰＣ３にポインタ情報（制御信号）が送信される。そして、ＰＣ３において、ポインタ情報にしたがった表示制御処理が実行され、実行後の画像データ（表示信号）がプロジェクタ１に送信される。

しかしながら、本実施形態による操作システムの構成は図５Ａに示す例に限定されず、例えば上記ＰＣ３の機能を含むプロジェクタ１’が、図５Ｂに示すようにネットワーク（クラウド）上のコンテンツサーバ４からコンテンツデータ（写真、動画、ゲーム、ウェブサイト等）を取得する構成であってもよい。この場合、プロジェクタ１’は、取得したコンテンツデータに基づいて表示信号（投影用の画像データ）を生成し、投影制御を行う。また、プロジェクタ１’は、ポインタ情報にしたがった表示制御処理を実行し、実行後の画像データを投影する。

＜＜３．内部構成および動作処理＞＞
続いて、本実施形態による操作システムの内部構成および動作処理について図６〜図７を参照して説明する。

＜３−１．内部構成＞
図６は、本実施形態による操作システムの内部構成の一例を示すブロック図である。

（プロジェクタ１）
プロジェクタ１は、図５に示すように、投影画像受信部１０、画像投影部１１、撮像部１３、位置認識部１４、情報取得部１５、およびポインタ情報出力部１６を有する。

投影画像受信部１０は、ＰＣ３から有線／無線により投影用の画像データを受信し、受信した画像データを画像投影部１１に出力する。

画像投影部１１は、画像投影部１１から送られた画像データを投写スクリーンや壁に投写（投影）する。

撮像部１３は、スクリーンＳに投影された投影画像を撮像し、撮像画像を位置認識部１４に出力する。撮像部１３は、赤外線カメラや紫外線カメラ等の非可視光（不可視光）撮像を行う非可視光撮像部１３ｎ、または可視光撮像を行う可視光撮像部１３ｖにより実現される。

位置認識部１４は、投影画像を撮像した可視光／非可視光撮像画像に基づいて、投影画像に対するレーザーポインタ２による可視光レーザー光Ｖの照射位置Ｐｖ、非可視光レーザー光Ｎの照射位置Ｐｎ、または非可視光マーカーＭの座標位置を認識する認識部として機能する。例えば、位置認識部１４は、画像投影部１１により投影されている画像と、投影画像を撮像した可視光／非可視光撮像画像の差分を検出することによって、照射位置（位置座標）を検出する。また、位置認識部１４は、現在投影されている画像の前のフレームの可視光／非可視光撮像画像と、現在投影されている画像の可視光／非可視光撮像画像との差分も分析に加えることで精度を高めることができる。位置認識部１４は、認識した照射位置情報（位置座標情報）をポインタ情報出力部１６に出力する。

情報取得部１５は、レーザーポインタ２から決定操作情報および／または移動情報を無線により受信する機能を有する。プロジェクタ１とレーザーポインタ２間の無線通信の方式は特に限定しないが、例えばＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）等によりデータの送受信が行われる。

なお情報取得部１５は、図４に示した第３のシステム構成例においては、非可視光撮像部１３ｎにより撮像された非可視光撮像画像を解析して、非可視光マーカーＭの形、大きさ、傾き、歪み等に応じてレーザーポインタ２の移動情報を取得する。

情報取得部１５は、取得した決定操作情報および移動情報をポインタ情報出力部１６に出力する。

ポインタ情報出力部１６は、情報取得部１５から出力された決定情報と、位置認識部１４から出力された照射位置情報とに基づいて、画像投影部１１から投影されている投影画像中の操作対象とするオブジェクトを決定する。そして、ポインタ情報出力部１６は、上記決定したオブジェクトを、情報取得部１５から出力される移動情報に応じて表示変化させるための制御信号をポインタ情報として検出し、ＰＣ３に有線／無線により送信（出力）する。

（レーザーポインタ２）
レーザーポインタ２は、図６に示すように、操作部２０、可視光レーザー照射部２１、非可視光照射部２２、送信部２３、および姿勢検知センサ２４を有する。

操作部２０は、複数段階のユーザ操作を検出する機能を有し、単数／複数の操作ボタンやタッチパネルにより実現される。例えば、第１段階のユーザ操作（具体的には、操作ボタン２０ａの半押し操作）を検出した場合、操作部２０は、可視光レーザー照射部２１に照射指示操作が検出された旨を出力する。また、第２段階のユーザ操作（具体的には、操作ボタン２０ａの全押し操作）を検出した場合、操作部２０は、非可視光照射部２２および送信部２３に、決定操作が検出された旨を出力する。

可視光レーザー照射部２１は、操作部２０において第１段階のユーザ操作（照射指示操作）が検出された場合に可視光のレーザー光Ｖを照射する機能を有する。また、可視光レーザー照射部２１によるレーザー光Ｖの照射は、操作部２０において第２段階のユーザ操作（決定操作）が検出された場合も継続して行われる。

非可視光照射部２２は、操作部２０において第２段階のユーザ操作（決定操作）が検出された場合に非可視光のレーザー光Ｎまたは非可視光マーカーＭ（非可視光画像とも称す）を照射する機能を有する。非可視光照射部２２による非可視光の照射は、可視光レーザー照射部２１により照射される可視光のレーザー光Ｖの照射位置Ｐｖと同じ位置または近傍に照射される。

なお、本実施形態による非可視光照射部２２は、操作部２０において第１段階のユーザ操作（照射指示操作）が検出された場合に、ユーザＩＤ等の情報を埋め込んだ１次元／２次元バーコードによる非可視光マーカーＭを照射してもよい。

送信部２３は、操作部２０において第２段階のユーザ操作（決定操作）が検出された場合に、決定操作情報をプロジェクタ１に無線送信する機能を有する。また、送信部２３は、第２段階のユーザ操作（決定操作）が検出されている間（例えば操作ボタン２０ａが全押しされている間）、姿勢検知センサ２４から出力される検知結果を、移動情報として継続的にプロジェクタ１に無線送信する。

姿勢検知センサ２４は、レーザーポインタ２の姿勢情報を検知する検知部であって、例えばジャイロセンサ、加速度センサ、地磁気センサ等により実現される。これにより、レーザーポインタ２は、自身の上下左右移動や回転移動、パン／チルト方向への動き（移動情報）を取得することができる。姿勢検知センサ２４の検知結果は、送信部２３に出力される。

（ＰＣ３）
ＰＣ３は、図６に示すように、制御部３０、画像出力部３１、および操作入力部３２を有する。

制御部３０は、ＰＣ３の各構成を制御する機能を有する。具体的には、例えば制御部３０は、操作入力部３２により検出した操作入力情報（プロジェクタ１から送信されたポインタ情報を含む）に従った表示制御処理を実行し、実行後の画像データを、画像出力部３１からプロジェクタ１に出力（送信）する。具体的には、制御部３０は、操作対象として決定された投影画像中のオブジェクトを、レーザーポインタ２の移動情報（上下左右移動や回転移動、パン／チルト方向への動き）に合せて表示変化させる。例えば、レーザーポインタ２が投影画像に対して右に回転する動きが移動情報で示されている場合、制御部３０は、決定された投影画像中のオブジェクトを同様に右に回転させるよう処理する。

操作入力部３２は、ＰＣ３に接続されたキーボードやマウス等からユーザ操作の入力（操作入力情報）を受け付ける機能を有する。また、操作入力部３２は、プロジェクタ１からポインタ情報（制御信号）を操作入力情報として受信する受信部としても機能する。操作入力部３２は、受け付けた操作入力情報を制御部３０に出力する。

画像出力部３１は、投影用の画像データをプロジェクタ１に有線／無線により送信する機能を有する。投影用の画像データの送信は、継続的に行われてもよい。

以上説明した構成により、本実施形態による操作システムでは、ユーザはレーザーポインタ２を用いて投影画像中のオブジェクトに対して、レーザーポインタ２の動きに応じた直感的な操作入力を行うことができる。

＜３−２．動作処理＞
次に、本実施形態による操作システムの動作処理について説明する。ここでは、上述した本実施形態による操作システムの第１〜第３のシステム構成例のうち、一例として第１のシステム構成例における動作処理について説明する。

図７は、本実施形態による操作システムの動作処理を示すシーケンス図である。図７に示すように、まず、ステップＳ１０３において、レーザーポインタ２ａとプロジェクタ１ａが自動または手動によりペアリング（接続設定）される。

次に、ステップＳ１０６において、ＰＣ３とプロジェクタ１が有線／無線により接続される。接続方法については本明細書では特に限定しない。

次いで、ステップＳ１０９において、ＰＣ３の画像出力部３１は、投影用の画像データをプロジェクタ１に送信する。

次に、ステップＳ１１２において、プロジェクタ１ａの画像投影部１１は、投影画像受信部１０によりプロジェクタ１ａから受信した投影画像をスクリーンＳに投影する。

次いで、ステップＳ１１５において、プロジェクタ１ａは、可視光撮像部１３ｖによる投影画像の範囲を対象とする可視光撮像を開始する。

一方、ステップＳ１１８およびＳ１２１において、レーザーポインタ２ａは、ユーザ操作に応じてレーザー光Ｖを照射する。具体的には、例えばレーザーポインタ２ａは、操作ボタン２０ａが半押しされた場合、可視光レーザー照射部２１によりレーザー光Ｖを照射する。これにより、ユーザ（講演者）は、レーザー光Ｖで投影画像中の任意の場所を指示しながら聴衆に説明を行うことができる。

次に、ステップＳ１２４において、プロジェクタ１ａの位置認識部１４は、可視光撮像部１３ｖにより撮像された可視光撮像画像に基づいて、レーザー光Ｖの照射位置Ｐ（座標位置）を認識する。

次いで、ステップＳ１２７において、レーザーポインタ２ａは、操作部２０により決定操作（例えば操作ボタン２０ａの全押し操作）を検出する。

続いて、ステップＳ１３０において、レーザーポインタ２ａは、操作部２０により検出された決定操作情報（決定コマンド）をプロジェクタ１ａに無線送信する。

次に、ステップＳ１３１において、プロジェクタ１ａのポインタ情報出力部１６は、レーザーポインタ２ａから決定操作情報を受信した際に、位置認識部１４により認識された照射位置Ｐの座標位置に位置する投影画像中のオブジェクトを、操作対象として決定する。

一方、ステップＳ１３３において、レーザーポインタ２ａは、姿勢検知センサ２４により、レーザーポインタ２ａの姿勢を検知する。具体的には、姿勢検知センサ２４により、レーザーポインタ２ａの向きや傾き、角速度等を検知する。

次に、ステップＳ１３５において、レーザーポインタ２ａの送信部２３は、姿勢検知センサ２４による検知結果をレーザーポインタ２ａの移動情報として継続的にプロジェクタ１ａに送信する。なお送信部２３は、操作部２０により決定操作が検出され続けている間、レーザーポインタ２ａの移動情報を継続的に送信してもよい。

次いで、ステップＳ１３６において、プロジェクタ１ａのポインタ情報出力部１６は、上記Ｓ１３１で決定したオブジェクトを、情報取得部１５によりレーザーポインタ２ａから受信した移動情報に応じて表示変化させるためのポインタ情報（制御信号）を検出する。

続いて、ステップＳ１３９において、プロジェクタ１ａのポインタ情報出力部１６は、検出したポインタ情報をＰＣ３に送信する。

次に、ステップＳ１４２において、ＰＣ３の制御部３０は、操作入力部３２によりプロジェクタ１ａから受信したポインタ情報にしたがった表示制御処理を実行する。

そして、ステップＳ１４５において、ＰＣ３の画像出力部３１は、表示制御処理実行後の（ポインタ情報に従った処理後の）投影用画像を、プロジェクタ１ａに送信する。

以降、上記Ｓ１１２〜Ｓ１４５に示す処理が繰り返される。以上、図７を参照して本実施形態による操作システムの動作処理の一例について具体的に説明した。

＜＜４．レーザーポインタによる操作入力例＞＞
続いて、本実施形態による送信システムにおけるレーザーポインタ２を用いた直感的な操作入力について具体例を挙げて説明する。ここでは、上述した本実施形態による操作システムの第１〜第３のシステム構成例のうち、一例として第１のシステム構成例におけるレーザーポインタ２ａによる操作入力の具体例について説明する。

＜４−１．照射位置の軌跡による操作入力＞
本実施形態による操作システムでは、上述したレーザーポインタ２の移動情報に応じた操作入力の他、照射位置Ｐの軌跡に基づいた操作入力を行うことも可能である。プロジェクタ１ａは、可視光撮像部１３ｖにより撮像した可視光撮像画像に基づいて、照射位置Ｐの位置の変化を認識して照射位置Ｐの軌跡を把握し、所定の軌跡を描くジェスチャーに対応付けられた指示コマンドをポインタ情報として出力する。以下、図８を参照して説明する。

図８は、照射位置Ｐの軌跡に基づく操作入力の具体例を示す図である。例えば図８Ａに示すように、レーザーポインタ２ａにより照射されたレーザー光Ｖによる照射位置Ｐが円を描く軌跡を辿った場合、プロジェクタ１ａは、決定コマンドをポインタ情報として出力する。

また、図８Ｂに示すように、レーザーポインタ２ａにより照射されたレーザー光Ｖによる照射位置Ｐが線を横に引く軌跡を辿った場合、プロジェクタ１ａは、取り消しや削除コマンドをポインタ情報として出力する。

また、図８Ｃに示すように、２つのレーザーポインタ２ａ−Ｒ、２ａ−Ｌによる照射位置Ｐｒ、Ｐｌが、ピンチアウト（照射位置Ｐｒ、Ｐｌが離れる）またはピンチイン（照射位置Ｐｒ、Ｐｌが近づく）の軌跡を辿った場合、プロジェクタ１ａは、拡大または縮小コマンドをポインタ情報として出力する。

また、図８Ｄに示すように、２つのレーザーポインタ２ａ−Ｒ、２ａ−Ｌによる照射位置Ｐｒ、Ｐｌが、互いに対向する位置関係のまま回転する軌跡を辿った場合、プロジェクタ１ａは、回転コマンドをポインタ情報として出力する。

＜４−２．動きに応じた操作入力＞
次に、図９〜図１４を参照してレーザーポインタ２ａの動き（移動情報）を用いた直感的な操作入力について具体的に説明する。

図９は、本実施形態によるレーザーポインタ２ａの動かし方の種類について説明するための図である。レーザーポインタ２ａの動かし方は、総じて６種類の軸に対する移動／回転の自由度を持つ。

具体的には、図９上に示すように、ｘ方向の並進である左右水平移動、ｙ方向の並進である上下水平移動、ｚ方向の並進である前後垂直移動と、図９下に示すように、上下にチルトさせる動き（垂直方向の首振り）、左右にパンさせる動き（水平方向の首振り）、および回転移動である。

本操作システムでは、決定した投影画像中のオブジェクトを、この６自由度の動きに応じて動かす（表示変化させる）表示制御処理を行う。例えばレーザーポインタ２ａを、図９上に示すようなｘ、ｙ、ｚ方向に並進させることで、オブジェクトもｘ、ｙ、ｚ方向に並進される。また、図９下に示すようなレーザーポインタ２ａを上下にチルトさせる動きに応じて、オブジェクトはｘ軸について回転され（ピッチング）、左右にパンさせる動きに応じて、オブジェクトはｙ軸について回転され（ヨーイング）、回転移動に応じて、オブジェクトはｚ軸について回転される（ローリング）。

これにより、例えば３Ｄ ＣＡＤ、３Ｄ ＣＧモデリングソフトにおける視点制御を行うことも可能である。また、マウスのような２自由度の入力デバイスでは、ｘｙ方向／ｙｚ方向／ｘｚ方向に対する並進、ヨー・ピッチ回転、ロール回転などのモードの切替を、ＧＵＩのボタンやキーボード操作、マウスのボタンの押下状態等によって行う必要があり操作が煩雑であった。しかし、本実施形態による操作システムによれば、モードレスでシームレスにこれらの視点位置操作を行うことが可能になる。

以下、レーザーポインタ２ａの６自由度の動きを用いた操作入力例について具体例を挙げて説明する。

（ロール回転）
図１０は、ロール回転の動きを用いた操作入力例について説明するための図である。図１０左に示すように、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置ＰをスクリーンＳに投影されている画像中の任意のオブジェクト（ｏｂｊ）に合せる。その後、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを全押しして操作対象とするオブジェクト（ｏｂｊ）を決定し、操作ボタン２０ａを全押しした状態でレーザーポインタ２ａを回転（ｚ軸について回転、ローリング）させる。この際、レーザーポインタ２ａからは移動情報（傾きや角速度）がプロジェクタ１ａに送信され、プロジェクタ１ａは、操作対象に決定されたオブジェクトをレーザーポインタ２ａの移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信する。ＰＣ３は、ポインタ情報にしたがって、操作対象に決定されたオブジェクトをレーザーポインタ２ａの回転に合せて回転するよう表示制御する。そして、ＰＣ３は、オブジェクトを回転させる表示制御した投影画像をプロジェクタ１ａに送信し、プロジェクタ１ａは送信された投影画像をスクリーンＳに投影する。

これにより、図１０右に示すように、オブジェクト（ｏｂｊ）がレーザーポインタ２ａのロール回転に応じてｚ軸について回転する。

（前後垂直移動）
図１１は、前後垂直移動の動きを用いた操作入力例について説明するための図である。図１１に示すように、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置ＰをスクリーンＳに投影されている画像中の任意のオブジェクト（例えば地図画像）に合せる。

その後、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを全押しして操作対象とするオブジェクト（ｏｂｊ）を決定し、操作ボタン２０ａを全押しした状態でレーザーポインタ２ａをスクリーンＳに対して前後垂直方向に動かす（ｚ軸方向に並進させる）。この際、レーザーポインタ２ａからは移動情報（加速度や方向）がプロジェクタ１ａに送信され、プロジェクタ１ａは、操作対象に決定されたオブジェクトをレーザーポインタ２ａの移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信する。ＰＣ３は、ポインタ情報にしたがって、操作対象に決定されたオブジェクトをレーザーポインタ２ａの前後垂直移動に合せて拡大／縮小するよう表示制御する。そして、ＰＣ３は、オブジェクトを拡大／縮小させる表示制御した投影画像をプロジェクタ１ａに送信し、プロジェクタ１ａは送信された投影画像をスクリーンＳに投影する。

これにより、図１１に示すように、例えばレーザーポインタ２ａを垂直方向後ろに動かすと、地図画像（オブジェクト）が縮小表示され（ズームアウト）、レーザーポインタ２ａを垂直方向前に動かすと、地図画像（オブジェクト）が拡大表示される（ズームイン）。

（パン移動）
図１２は、左右にパンさせる動きを用いた操作入力例について説明するための図である。図１２左に示すように、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置ＰをスクリーンＳに投影されている画像中の任意のオブジェクト（例えば３Ｄオブジェクト）に合せる。

その後、ユーザは、レーザーポインタ２ａの操作ボタン２０ａを全押しして操作対象とするオブジェクト（ｏｂｊ）を決定し、操作ボタン２０ａを全押しした状態でレーザーポインタ２ａをスクリーンＳに対して左右水平方向にパン移動させる（左右に首振りさせる）。この際、レーザーポインタ２ａからは移動情報（加速度や方向）がプロジェクタ１ａに送信され、プロジェクタ１ａは、操作対象に決定されたオブジェクトをレーザーポインタ２ａの移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信する。ＰＣ３は、ポインタ情報にしたがって、操作対象に決定されたオブジェクトをレーザーポインタ２ａのパン移動に合せてｙ軸について回転（ヨーイング）するよう表示制御する。そして、ＰＣ３は、オブジェクトをヨーイング制御した投影画像をプロジェクタ１ａに送信し、プロジェクタ１ａは送信された投影画像をスクリーンＳに投影する。

これにより、図１２右に示すように、例えばレーザーポインタ２ａをパン移動させると、３Ｄオブジェトがｙ軸方向について回転（ヨーイング）される。

（複数のレーザーポインタ２ａによる操作入力）
本実施形態による操作システムでは、複数のレーザーポインタ２ａを同時に用いて操作入力を行うことも可能である。以下、図１３〜図１４を参照して説明する。

図１３は、複数のレーザーポインタ２ａを用いて３Ｄオブジェクト（剛体）の視点位置操作を行う場合について説明するための図である。図１３左に示すように、ユーザは、複数のレーザーポインタ２ａ−Ｒ、２ａ−Ｌを両手に持ってそれぞれ操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置Ｐｒ、ＰｌをスクリーンＳに投影されている画像中の任意のオブジェクト（例えば３Ｄオブジェクト）に合せる。

その後、ユーザは、レーザーポインタ２ａ−Ｒ、２ａ−Ｌの操作ボタン２０ａを全押しして操作対象とするオブジェクト（ｏｂｊ）を決定し、操作ボタン２０ａを全押しした状態でレーザーポインタ２ａ−Ｒ、２ａ−ＬをスクリーンＳに対して左右水平方向にパン移動させる（左右に首振りさせる）。この際、プロジェクタ１ａは、投影画像の可視光撮像画像に基づいて、レーザーポインタ２ａ−Ｒ、２ａ−Ｌによる各照射位置Ｐｒ、Ｐｌの座標位置をそれぞれ認識し、照射位置Ｐｒ、Ｐｌを両端に保持される３Ｄオブジェクトを操作対象に決定する。

また、レーザーポインタ２ａ−Ｒ、２ａ−Ｌからは移動情報（加速度や方向）がプロジェクタ１ａに送信される。プロジェクタ１ａは、操作対象に決定されたオブジェクトをレーザーポインタ２ａ−Ｒ、２ａ−Ｌの移動情報に応じて表示変化させるための制御信号（ポインタ情報）をＰＣ３に送信する。

ＰＣ３は、ポインタ情報にしたがって、操作対象に決定されたオブジェクトをレーザーポインタ２ａのパン移動に合せてｙ軸について回転（ヨーイング）するよう表示制御する。そして、ＰＣ３は、オブジェクトをヨーイング制御した投影画像をプロジェクタ１ａに送信し、プロジェクタ１ａは送信された投影画像をスクリーンＳに投影する。

これにより、図１３右に示すように、複数のレーザーポインタ２ａ−Ｒ、２ａ−Ｌから照射されるレーザー光Ｖの照射位置Ｐｒ、Ｐｌで保持した３Ｄオブジェクトを、レーザーポインタ２ａ−Ｒ、２ａ−Ｌをパン移動させることで、ｙ軸方向について回転することができる。

以上説明した図１３に示す例では、操作対象に決定される３Ｄオブジェクトが１つの剛体から形成されているが、本実施形態による操作対象は図１３に示す例に限定されず、例えば複数の剛体が関節を介して接続されて形成される３Ｄオブジェクトであってもよい。以下図１４を参照して具体的に説明する。

図１４は、複数の剛体が関節を介して接続されて形成される３Ｄオブジェクトを操作する場合について説明するための図である。図１４上に示すように、ユーザは、複数のレーザーポインタ２ａ−Ｒ、２ａ−Ｌを両手に持ってそれぞれ操作ボタン２０ａを半押ししてレーザー光Ｖを照射させ、照射位置Ｐｒ、ＰｌをスクリーンＳに投影されている画像中の任意のオブジェクト（例えば３Ｄオブジェクト）に合せる。具体的には、ユーザは、照射位置Ｐｒを、３Ｄオブジェクト（ｏｂｊ）を形成する剛体Ｇ１と剛体Ｇ２の関節部分に合せ、また、照射位置Ｐｒを剛体Ｇ１に関節を介して接続される剛体Ｇ２に合せる。

その後、ユーザは、レーザーポインタ２ａ−Ｒ、２ａ−Ｌの操作ボタン２０ａを全押しして操作対象とするオブジェクト（照射位置Ｐｒで指示されている剛体Ｇ２）を決定し、操作ボタン２０ａを全押しした状態でレーザーポインタ２ａ−Ｌを水平方向に移動させる。この際、プロジェクタ１ａは、投影画像の可視光撮像画像に基づいて、レーザーポインタ２ａ−Ｒ、２ａ−Ｌによる各照射位置Ｐｒ、Ｐｌの座標位置をそれぞれ認識する。

また、レーザーポインタ２ａ−Ｒ、２ａ−Ｌからは移動情報（加速度や方向）がプロジェクタ１ａに送信される。プロジェクタ１ａは、照射位置Ｐｒで指示された剛体Ｇ２を、レーザーポインタ２ａ−Ｒの移動情報に応じて照射位置Ｐｌで指示された関節部分で折り曲げるための制御信号（ポインタ情報）をＰＣ３に送信する。

ＰＣ３は、ポインタ情報にしたがって、操作対象に決定された３Ｄオブジェクトの剛体Ｇ２を、レーザーポインタ２ａの水平移動に合せて、指示された関節部分で折り曲げるよう表示制御する。そして、ＰＣ３は、剛体Ｇ２を所定の関節部分で折り曲げるよう表示制御した投影画像をプロジェクタ１ａに送信し、プロジェクタ１ａは送信された投影画像をスクリーンＳに投影する。

これにより、図１４下に示すように、複数の剛体から形成される３Ｄオブジェクトにおいて、レーザーポインタ２ａ−Ｌによる照射位置Ｐｌで指示した３Ｄオブジェクトの関節部分で、当該関節部分に接続される剛体Ｇ２をレーザーポインタ２ａ−Ｒの動きに応じて動かすことができる。

（非可視光マーカーＭによる操作入力）
図４を参照して説明したように、第３のシステム構成で形成される操作システムにおいては、非可視光マーカーＭを介してレーザーポインタ２ｃの移動情報がプロジェクタ１ｃに取得される。ここで、図１５を参照して、非可視光マーカーＭによる操作入力について説明する。

例えば、図１５上に示すように、レーザーポインタ２ｃから照射される非可視光マーカーＭは、レーザーポインタ２ｃの回転と同様に回転する。非可視光マーカーＭが照射されている投影画像を非可視光撮像するプロジェクタ１ｃは、非可視光撮像画像を解析して、当該非可視光マーカーＭの傾きを解析し、非可視光マーカーＭの傾きに応じて、レーザーポインタ２ｃの移動情報（回転移動）を取得することができる。

また、図１５中央に示すように、レーザーポインタ２ｃから照射される非可視光マーカーＭの大きさは、レーザーポインタ２ｃがスクリーンＳから遠ざかる程大きくなる。非可視光マーカーＭが照射されている投影画像を非可視光撮像するプロジェクタ１ｃは、非可視光撮像画像を解析して、当該非可視光マーカーＭの大きさを解析し、非可視光マーカーＭの大きさの変化に応じて、レーザーポインタ２ｃの移動情報（垂直移動）を取得することができる。

また、図１５下に示すように、レーザーポインタ２ｃから照射される非可視光マーカーＭの形は、レーザーポインタ２ｃがスクリーンＳに対して斜めに移動する程歪む。非可視光マーカーＭが照射されている投影画像を非可視光撮像するプロジェクタ１ｃは、非可視光撮像画像を解析して、当該非可視光マーカーＭの形を解析し、非可視光マーカーＭの形の変化（歪み）に応じて、レーザーポインタ２ｃの移動情報（パン／チルト移動）を取得することができる。

以上、非可視光マーカーＭによる操作入力について説明した。なお、レーザーポインタ２ｃから照射される非可視光マーカーＭの一例は、図１５に示すような２次元バーコードであるが、かかる２次元バーコードの解析には、例えばサイバーコード等の画像認識技術が用いられる。また、以上説明した例では、非可視光マーカーＭを用いたが、上記図３を参照して説明したシステム構成により形成される操作システムにおいては、可視光マーカーによる操作入力も同様に可能である。

（複数ユーザによる照射入力）
本実施形態による操作システムは、複数のユーザによるそれぞれ独立した操作入力を受け付けることも可能である。以下、図１６を参照して説明する。

図１６は、複数のレーザーポインタ２ｃによる各照射位置の識別について説明するための図である。図１６に示すように、各レーザーポインタ２ｃ−１〜２ｃ−３から照射される非可視光マーカーＭ１〜Ｍ３の形状や色が、互いに異なるものである場合、プロジェクタ１ｃは、非可視光マーカーＭ１〜Ｍ３の形状や色に基づいて識別でき、各レーザーポインタ２ｃの軌跡を特定できる。なお非可視光マーカーＭ３は、非可視光レーザーが多数平行して照射されている。

また、非可視光マーカーＭは、単なる形状や色の違いではなく、ユーザＩＤを埋め込むことが可能な２次元バーコード（図１６に示す非可視光マーカーＭ４）としてもよい。これにより、より多くのユーザの同時照射による混信を回避することができ、ロバストな識別を可能にする。

また、プロジェクタ１ｃは、非可視光マーカーＭ１〜Ｍ３に示すような形状や色の違いに応じて、また、非可視光マーカーＭ４から読み取ったユーザＩＤに基づいて、レーザーポインタ２ｃ−１〜２ｃ−４の操作者（ユーザ）の特定を行うことも可能である。各ユーザが特定できる場合、プロジェクタ１ｃは、どのユーザの操作を優先するかといった優先権の設定を行うことができる。例えば、プロジェクタ１ｃは、特定のユーザの操作を優先して受け付けたり、最初に照射を開始したユーザを優先したり、照射を開始して一定時間の間は特定のユーザを優先したり、他ユーザの割り込みを優先する後出し勝ち方式で優先権を移行したりする。特に、ボタン押下による投影画像の画面遷移や、全画面のスクロールなど、全員が閲覧している状態を大きく変化させる操作が競合した場合に、上記いずれかの優先方法にしたがって操作を受け付けることで、複数ユーザによる操作時の利便性が向上する。

＜＜５．変形例＞＞
続いて、本実施形態による操作システムのシステム構成の変形例について、図１７〜図１８を参照して説明する。上述した第１〜第３のシステム構成例では、プロジェクタ１に設けられた撮像部１３で、スクリーンＳに投影された画像（投影画像）を可視光／非可視光撮像し、撮像画像に基づいて照射位置Ｐを認識していた。

しかしながら、本開示による操作システムのシステム構成例は、上記第１〜第３のシステム構成に限定されず、例えばレーザーポインタ２側に撮像部を設け、投影画像を非可視光撮像し、かかる非可視光撮像画像に基づいて照射位置Ｐを認識するシステムであってもよい。また、レーザーポインタ２側に撮像部は、操作ボタン２０ａが押下された場合にのみ非可視光撮像を行うことで、消費電力の無駄を省くことができる。

＜５−１．システム構成＞
図１７は、本実施形態による操作システムのシステム構成の変形例について説明するための図である。図１７に示すように、本変形例によるシステム構成は、プロジェクタ１ｄ（本開示による情報処理装置）、レーザーポインタ２ｄ、およびＰＣ３から形成される。

プロジェクタ１ｄは、ＰＣ３と有線／無線により接続し、投影用の画像データをＰＣ３から受信し、受信した投影用の画像データをスクリーンＳに投影する。さらに、本実施形態によるプロジェクタ１ｄは、赤外線など非可視光の座標特定用マップ（座標認識用画像とも称す）Ｑを、スクリーンＳ（画像投影エリア）に重畳投影する。非可視光の座標特定用マップＱの投影エリアは、画像投影エリアを含む範囲であればよい。また、プロジェクタ１ｄは、スクリーンＳ上に大きく１種類の座標特定用マップＱを投影してもよいし、スクリーンＳ上の何カ所かに異なる種類の座標特定用マップＱを拡散して投影してもよい。複数個の異なる座標特定用マップＱを投影することで、レーザーポインタ２ｄに設けられた撮像部の画角にスクリーンＳの全域が入らなくとも部分的な画角で照射位置が特定され得る。

レーザーポインタ２ｄは、操作ボタン２０ａの押下状態に応じて、可視光線のレーザー光Ｖの照射を行う。具体的には、例えばレーザーポインタ２ｄは、操作ボタン２０ａが半押しされた場合に可視光のレーザー光Ｖを照射し、全押しされた場合にもレーザー光Ｖの照射を継続する。

さらに、本実施形態によるレーザーポインタ２ｄは、操作ボタン２０ａが全押しされた場合、レーザー光Ｖの照射位置Ｐを含む範囲を非可視光撮像する。また、レーザーポインタ２ｄは、非可視光撮像画像に含まれる座標特定用マップＱ’を認識し、座標特定情報や、座標特定用マップＱ’の大きさ、傾き、歪み等を読み取る。そして、レーザーポインタ２ｄは、読み取った情報（以下、読取情報とも称す）を無線通信によりプロジェクタ１ｄに送信する。

レーザーポインタ２ｄから決定操作情報と読取情報を受信したプロジェクタ１ｄは、読取情報に基づいてレーザーポインタ２ｄの照射位置Ｐを認識し、操作対象とするオブジェクトを決定する。また、プロジェクタ１ｄは、読取情報で示される座標特定用マップＱ’の大きさ、傾き、歪み等に基づいて、レーザーポインタ２ｄの動き（移動情報）を取得する。

そして、プロジェクタ１ｃは、決定されたオブジェクトに対してレーザーポインタ２ｄの移動情報に応じた表示変化をさせるための制御信号（ポインタ情報）を検出し、ＰＣ３に送信する。

ＰＣ３は、送信されたポインタ情報に従って表示制御処理を実行し、実行後の投影用の画像データをプロジェクタ１ｄに送信する。

このように、本変形例による操作システムによれば、プロジェクタ１ｄから投影画像上に非可視光の座標特定用マップを重畳投影し、レーザーポインタ２ｄ側で非可視光撮像することで、当該非可視光撮像画像に基づいてレーザーポインタ２ｄによる照射位置Ｐが認識される。

＜５−２．内部構成＞
続いて、本実施形態による操作システムに含まれる各装置の内部構成について図１８を参照して具体的に説明する。図１８は、本変形例による操作システムの内部構成の一例を示すブロック図である。以下、各構成について具体的に説明する。なおＰＣ３の内部構成は、図６を参照して上述したので、ここでの説明は省略する。

（プロジェクタ１ｄ）
プロジェクタ１ｄは、投影画像受信部１０、画像投影部１１、非可視光画像生成部１７、非可視光投影部１８、情報取得部１５ｄ、位置認識部１４ｄ、およびポインタ情報出力部１６を有する。

投影画像受信部１０および画像投影部１１は、図６を参照して上述したので、ここでの説明は省略する。

非可視光画像生成部１７は、レーザーポインタ２ｄによる照射位置Ｐを認識する際に利用される座標特定情報を埋め込んだ非可視光の座標特定用マップＱを生成する。

非可視光投影部１８は、非可視光画像生成部１７により生成された非可視光の座標特定用マップＱを、スクリーンＳの投影画像上に重畳投影する。なお、非可視光投影部１８および画像投影部１１による投影は、同一の光源で異なるフィルタを通じた投影としてもよい。

情報取得部１５ｄは、レーザーポインタ２ｄと無線通信し、レーザーポインタ２ｄから決定操作情報および読取情報を受信する。

位置認識部１４ｄは、非可視光画像生成部１７が作成した座標特定用マップＱと、情報取得部１５ｄにより受信された読取情報に含まれる、非可視光撮像された座標特定用マップＱ’から読み取られた座標特定情報とに基づいて、レーザーポインタ２ｄによる照射位置Ｐ（座標位置）を認識する。例えば位置認識部１４ｄは、座標特定用マップＱと座標特定情報で示される座標特定用マップＱ’とを比較し、座標特定用マップＱにおける座標特定用マップＱ’の位置を特定する。そして、位置認識部１４ｄは、座標特定用マップＱ’の中心位置を、レーザーポインタ２ｄによる照射位置Ｐ（座標位置）として認識する。

ポインタ情報出力部１６は、情報取得部１５ｄにより決定操作情報を受信した際に、位置認識部１４ｄにより認識された照射位置Ｐの位置に対応する投影画像中のオブジェクトを、操作対象として決定する。そして、ポインタ情報出力部１６は、決定したオブジェクトを、情報取得部１５ｄにより受信した読取情報で示されるレーザーポインタ２ｄの動き（移動情報）に応じて表示変化させるための制御信号（ポインタ情報）を検出し、検出したポインタ情報をＰＣ３に有線／無線送信する。

（レーザーポインタ２ｄ）
レーザーポインタ２ｄは、図１８に示すように、操作部２０、可視光レーザー照射部２１、非可視光撮像部２５、情報読取部２６、送信部２３、および姿勢検知センサ２４を有する。

可視光レーザー照射部２１は、操作部２０において第１段階のユーザ操作（照射指示操作）が検出された場合に可視光のレーザー光Ｖを照射する機能を有する。具体的には、例えば可視光レーザー照射部２１は、操作ボタン２０ａが半押しされた場合にレーザー光Ｖを照射する。

非可視光撮像部２５は、操作部２０において第２段階のユーザ操作（決定操作）が検出された場合に、レーザー光Ｖにより照射されている位置（照射位置Ｐ）を含む範囲を非可視光撮像する機能を有する。例えば、非可視光撮像部２５は、操作ボタン２０ａが全押しされた場合に非可視光撮像を行う。

情報読取部２６は、非可視光撮像画像に基づいて、座標特定用マップＱ’を認識し、座標特定情報や、座標特定用マップＱ’の大きさ、傾き、歪み等を読み取る。

送信部２３は、情報読取部２６により読み取られた情報（読取情報）と、操作部２０により検出された第２段階のユーザ操作を示す情報（決定操作情報）を、無線通信によりプロジェクタ１ｄに送信する。また、送信部２３は、第２段階のユーザ操作（決定操作）が検出されている間（例えば操作ボタン２０ａが全押しされている間）、姿勢検知センサ２４から出力される検知結果を、移動情報として継続的にプロジェクタ１ｄに無線送信する。

姿勢検知センサ２４は、図６を参照して上述したので、ここでの説明は省略する。

以上説明したように、本変形例による操作システムでは、レーザーポインタ２ｄに非可視光撮像部２５が設けられ、レーザーポインタ２ｄにおいて投影画像の非可視光撮像が行われる。また、プロジェクタ１ｄは、レーザーポインタ２ｄ側で非可視光撮像された座標特定用マップＱ’から読み取られた座標特定情報を受信し、当該座標特定情報に基づいて、レーザーポインタ２ｄによる照射位置Ｐを認識することができる。また、プロジェクタ１ｄは、非可視光撮像された座標特定用マップＱ’の大きさ、傾き、歪み等に基づいて、レーザーポインタ２ｄの動き（移動情報）を取得することができる。

＜＜６．補足＞＞
続いて、本実施形態による操作システムについて補足する。

＜６−１．表示画面の正対制御＞
本実施形態によるプロジェクタ１は、レーザーポインタ２から照射されるレーザー光の方向や移動情報に基づいて、スクリーンＳに対するレーザーポインタ２の相対的な位置を推定することが可能である。

この場合、例えばプロジェクタ１は、推定したレーザーポインタ２の位置に操作者（ユーザ）が居ると仮定して、ユーザに対して見やすいよう表示画面（投影画像中のオブジェクト）を正対表示させるための制御信号を検出してＰＣ３に出力する。特に、レーザーポインタ２を操作してプレゼンテーションを行うユーザは、図１９左に示すように、スクリーンＳに対して浅い角度でレーザー光Ｖを照射しながら閲覧していることが多く、このような場合は斜めに歪んで見える表示画面（ｏｂｊ）を脳内で補正して認識する必要があった。

そこで、プロジェクタ１は、ユーザ方向に表示画面（ｏｂｊ）を正対表示させるための制御信号を検出してＰＣ３に出力し、ＰＣ３により当該制御信号に従った表示制御処理が実行され、実行後の画像データがプロジェクタ１に送信され、投影される。これにより、図１９右に示すように、表示画面（ｏｂｊ）がユーザに（レーザー光Ｖが照射される方向等に基づいて推定されたレーザーポインタ２の相対位置に）正対するよう表示制御される。

このように、ユーザに対して正対するよう表示制御することで、ユーザの閲覧負荷を低減することができる。また、照射位置Ｐの座標位置に対応して位置する画面項目毎に正対表示制御されることで、ユーザは、画面項目を選択的に確認することができる。また、画面項目が誰に向けて表示されているのかが明示的に示される。また、画面項目を形成するボタン等の面積が操作者に対して保証されるので、スクリーンＳに対して浅い角度からの操作を行う場合の操作感の悪化を防止することができる。

＜６−２．投影色域の制御＞
プロジェクタ１による投影画像の輝度が高い場合や、レーザーポインタ２から照射される可視光のレーザー光Ｖが同系色の表示領域に位置する場合、レーザーポインタ２の軌跡が視認しづらくなることがある。そこで、本実施形態によるプロジェクタ１およびＰＣ３は、図２０に示すように、スクリーンＳ上にレーザーポインタ２による照射位置Ｐが検出された際は、照射位置Ｐ付近の表示領域を暗くしたり、色の彩度を落としたり等の表示制御を行う。これにより、レーザーポインタ２の軌跡が視認しづらくなることを回避することができる。

＜６−３．照射領域の制限＞
本実施形態による操作システムでは、レーザーポインタ２からのレーザー光の照射領域をスクリーンＳ上に限定することができる。例えば、本実施形態によるプロジェクタ１は、上述したように、レーザーポインタ２による照射位置Ｐの座標位置を認識することができるので、照射位置ＰがスクリーンＳから外れる場合、レーザーポインタ２に対してレーザー光の照射を停止するための制御信号を無線送信する。これにより、レーザーポインタ２は、照射位置ＰがスクリーンＳから外れる場合は自動的にレーザー光の照射を停止する。

また、プロジェクタ１により、レーザーポインタ２とスクリーンＳの間に人が居ることが検知された場合も、プロジェクタ１は、レーザーポインタ２に対してレーザー光の照射を停止するための制御信号を無線送信する。これにより、レーザーポインタ２から照射されるレーザー光が誤って人に向けられた際には自動的にレーザー光の照射を停止するので、安全性を保つことができる。以下、図２１を参照して具体的に説明する。

図２１は、照射可能領域について説明するための図である。照射可能領域は、例えばプロジェクタ１に設けられた撮像部により撮像された、投影画像を画角内に含む撮像画像に基づいて、プロジェクタ１において顔認識等を行い、スクリーンＳ付近に人が居るか否かを判断し、人が居ない部分を照射可能領域Ｄに設定する。

したがって、例えば図２１に示すように、レーザーポインタ２とスクリーンＳの間に人５が検知された場合、プロジェクタ１は、スクリーンＳ上のうち、人５に対応する領域を除く領域を、照射可能領域Ｄに設定する。そして、プロジェクタ１は、図２１上に示すように、照射位置Ｐが照射可能領域Ｄ内に位置する場合は照射を継続させる。また、図２１左下に示すように、レーザーポインタ２の動きおよび照射位置Ｐの軌跡に応じて、照射位置ＰがスクリーンＳ上の照射可能領域Ｄから外れると判断された場合、プロジェクタ１は、レーザーポインタ２に対してレーザー光の照射を停止するための制御信号を無線送信する。これによりレーザーポインタ２は、照射可能領域Ｄから外れた際に自動的にレーザー光の照射を停止することができる。

また、図２１右下に示すように、レーザーポインタ２の動きおよび照射位置Ｐの軌跡に応じて、照射位置ＰがスクリーンＳ外に出ると判断された場合も、プロジェクタ１は、レーザーポインタ２に対してレーザー光の照射を停止するための制御信号を無線送信する。これによりレーザーポインタ２は、スクリーンＳから外れた際に自動的にレーザー光の照射を停止することができる。

＜６−４．スクリーンＳ外を用いた操作入力＞
以上、レーザーポインタ２によるレーザー光Ｖや非可視光マーカーＭ等をスクリーンＳの範囲内に照射して行う操作入力について説明したが、本実施形態による操作システムにおける操作入力の範囲は、スクリーンＳの範囲内に限定されない。

例えば、プロジェクタ１に設けられている撮像部１３の画角が、スクリーンＳの周囲も含む場合、図２２左に示すように、スクリーンＳ（または設定された画面範囲）外の照射位置Ｐの位置座標も認識され得る。これにより、プロジェクタ１は、画面外から画面内へ照射位置Ｐが移動するスワイプインや、画面内から外面外へ照射位置Ｐが移動するスワイプアウトのようなジェスチャー操作に対応することができる。

この場合、スクリーンＳ外の検出可能な位置に照射位置Ｐがポイントされたとき、図２２左に示すように、スワイプイン操作が可能なことを示すインジケータ４０がスクリーンＳに表示（投影）される。また、実際にスワイプイン操作が行われると、図２２右に示すように、例えばメニューを表示するなどの動作が発動される。

また、本実施形態による操作システムは、スワイプ動作だけでなく、スクリーンＳ外で円を描くなど、様々なジェスチャー操作に対応することも可能である。また、可能なスクリーンＳ外のジェスチャー操作に対応するガイド表示が、スクリーンＳ内の端（スクリーンＳ外の照射位置Ｐの至近位置）に表示（投影）される。

＜６−５．操作者情報の表示＞
本実施形態による操作システムは、レーザーポインタ２の操作者情報（ユーザ情報）を、照射位置Ｐ付近に表示（投影）させることができる。具体的には、プロジェクタ１およびＰＣ３は、レーザーポインタ２から受信した情報や、レーザーポインタ２から照射された１次元／２次元バーコードによる非可視光／可視光マーカーの解析結果に基づいて、レーザーポインタ２を識別し、ユーザ情報を取得する。

そして、プロジェクタ１は、ユーザ情報を示す画像４４をレーザーポインタ２による照射位置Ｐ付近に重畳表示（投影）させ、スクリーンＳを見ている閲覧者等に対して、誰が照射しているかを分かり易くすることができる。

また、プロジェクタ１は、投影画像に対して操作入力可能な情報示すカーソル４５を投影し、レーザーポインタ２の照射位置Ｐを強調し、操作状態をわかりやすくすることもできる。

＜＜７．まとめ＞＞
上述したように、本実施形態による操作システムでは、レーザーポインタ２を動かすことで投影画像中のオブジェクトに対して直感的に操作入力を行うことができる。レーザー光Ｖの照射は、１段階目の操作（例えば操作ボタン２０ａの半押し）により開始され、続く２段階目の操作（例えば操作ボタン２０ａの全押し）に応じて操作対象のオブジェクトが決定される。そして、２段階目の操作が継続されたままレーザーポインタ２を上下左右前後、パン／チルト移動、または回転移動させることで、決定したオブジェクトも同様に表示変化させるための操作入力を直感的に行うことができる。

また、レーザー光の照射距離は一般的な電波と比べると非常に長いので、広い場所で遠くから大型の投影画像に対して操作を行うような状況にも有用である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、プロジェクタ１、レーザーポインタ２、ＰＣ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したプロジェクタ１、レーザーポインタ２、ＰＣ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

なお、本技術は以下のような構成も取ることができる。
（１）
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタの移動情報を取得する取得部と、
前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、
を備える、情報処理装置。
（２）
前記出力部は、前記レーザーポインタに設けられた操作部において検出された決定操作情報を受信した際に前記照射位置に対応して位置するオブジェクトを、操作対象のオブジェクトとして決定する、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記決定操作を示す情報を前記レーザーポインタから受信する受信部をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記認識部は、前記レーザーポインタから照射される可視光のレーザー光または非可視光のレーザー光の照射位置を認識する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記認識部は、前記レーザーポインタから照射される可視光マーカーまたは非可視光マーカーの位置座標を前記レーザー光の照射位置として認識する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（６）
前記可視光マーカーまたは非可視光マーカーは、図形または一次元／二次元バーコードである、前記（５）に記載の情報処理装置。
（７）
前記取得部は、前記可視光マーカーまたは前記非可視光マーカーの大きさ、傾き、および歪みの少なくともいずれかに基づいて、前記レーザーポインタの移動情報を取得する、前記（５）または（６）に記載の情報処理装置。
（８）
前記移動情報は、前記レーザーポインタの前記投影画像に対する垂直／水平方向の移動、回転移動、またはパン／チルトの動きを示す情報である、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記取得部は、前記移動情報を前記レーザーポインタから受信する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記認識部は、前記投影画像上に重ねて投影された非可視光の座標認識用画像を前記レーザーポインタに設けられた非可視光撮像部で撮像した非可視光撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、前記（１）に記載の情報処理装置。
（１１）
前記認識部は、複数のレーザーポインタから前記投影画像に対して照射される各可視光／非可視光マーカーの形状、色、またはマーカーに埋め込まれたユーザＩＤに基づいて、前記複数のレーザーポインタによる各照射位置を識別して認識する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、
前記レーザーポインタの移動情報を取得するステップと、
前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力するステップと、
を含む、制御方法。
（１３）
コンピュータに、
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタの移動情報を取得する取得部と、
前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、
として機能させるための、プログラム。
（１４）
コンピュータに、
投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
前記レーザーポインタの移動情報を取得する取得部と、
前記照射位置に対応する投影画像中のオブジェクトを、前記移動情報に応じて表示変化させるための制御信号を出力する出力部と、
として機能させるためのプログラムが記憶された、記憶媒体。

１、１ａ〜１ｄ プロジェクタ
２、２ａ〜２ｄ レーザーポインタ
３ ＰＣ
１０ 投影画像受信部
１１ 画像投影部
１３ 撮像部
１３ｖ 可視光撮像部
１３ｎ 非可視光撮像部
１４、１４ｄ 位置認識部
１５、１５ｄ 情報取得部
１６ ポインタ情報出力部
１７ 非可視光画像生成部
１８ 非可視光投影部
２０ 操作部
２０ａ 操作ボタン
２１ 可視光レーザー照射部
２３ 送信部
２４ 姿勢検知センサ
２５ 非可視光撮像部
２６ 情報読取部
３０ 制御部
３１ 画像出力部
３２ 操作入力部

Claims (13)

1. 投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
   前記レーザーポインタの移動情報を取得する取得部と、
   前記レーザーポインタに設けられた操作部において前記レーザー光の照射を行う第１段階の操作から対象オブジェクトを決定する第２段階の操作に移行したことを示す決定操作情報を取得した際、前記照射位置に対応して位置する、投影画像中のオブジェクトを、操作対象オブジェクトとして決定し、当該操作対象オブジェクトを前記移動情報に応じて表示変化させる制御信号を出力する出力部と、
   を備え、
   前記出力部は、１の前記操作対象オブジェクトに対して照射を行う複数のレーザーポインタの各移動情報に応じて前記操作対象オブジェクトを表示変化させる制御信号を出力する、情報処理装置。
2. 前記操作対象オブジェクトは、複数の剛体が間接を介して接続されて形成されるオブジェクトであって、
   前記出力部は、前記複数のレーザーポインタにより前記オブジェクトの間接部分および剛体がそれぞれ照射されている場合、前記剛体を照射しているレーザーポインタの移動情報に応じて、前記間接部分を支点として前記剛体を表示変化させる制御信号を出力する、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記決定操作情報を前記レーザーポインタから受信する受信部をさらに備える、請求項１または２に記載の情報処理装置。
4. 前記認識部は、前記レーザーポインタから照射される可視光のレーザー光または非可視光のレーザー光の照射位置を認識する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記認識部は、前記レーザーポインタから照射される可視光マーカーまたは非可視光マーカーの位置座標を前記レーザー光の照射位置として認識する、請求項１に記載の情報処理装置。
6. 前記取得部は、前記可視光マーカーまたは前記非可視光マーカーの大きさ、傾き、および歪みの少なくともいずれかに基づいて、前記レーザーポインタの移動情報を取得する、請求項５に記載の情報処理装置。
7. 前記移動情報は、前記レーザーポインタの前記投影画像に対する垂直／水平方向の移動、回転移動、またはパン／チルトの動きを示す情報である、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記取得部は、前記移動情報を前記レーザーポインタから受信する、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記認識部は、前記投影画像上に重ねて投影された非可視光の座標認識用画像を前記レーザーポインタに設けられた非可視光撮像部で撮像した非可視光撮像画像に基づいて、前記レーザーポインタによる前記投影画像に対するレーザー光の照射位置を認識する、請求項１に記載の情報処理装置。
10. 前記認識部は、複数のレーザーポインタから前記投影画像に対して照射される各可視光／非可視光マーカーの形状、色、またはマーカーに埋め込まれたユーザＩＤに基づいて、前記複数のレーザーポインタによる各照射位置を識別して認識する、請求項１〜９のいずれか１項に記載の情報処理装置。
11. プロセッサが、
    投影画像に対するレーザーポインタによるレーザー光の照射位置を認識するステップと、
    前記レーザーポインタの移動情報を取得するステップと、
    前記レーザーポインタに設けられた操作部において前記レーザー光の照射を行う第１段階の操作から対象オブジェクトを決定する第２段階の操作に移行したことを示す決定操作情報を取得した際、前記照射位置に対応して位置する、投影画像中のオブジェクトを、操作対象オブジェクトとして決定し、当該操作対象オブジェクトを前記移動情報に応じて表示変化させる制御信号を出力するステップと、
    を含み、
    前記出力するステップは、１の前記操作対象オブジェクトに対して照射を行う複数のレーザーポインタの各移動情報に応じて前記操作対象オブジェクトを表示変化させる制御信号を出力する、制御方法。
12. コンピュータを、
    投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
    前記レーザーポインタの移動情報を取得する取得部と、
    前記レーザーポインタに設けられた操作部において前記レーザー光の照射を行う第１段階の操作から対象オブジェクトを決定する第２段階の操作に移行したことを示す決定操作情報を取得した際、前記照射位置に対応して位置する、投影画像中のオブジェクトを、操作対象オブジェクトとして決定し、当該操作対象オブジェクトを前記移動情報に応じて表示変化させる制御信号を出力する出力部と、
    として機能させ、
    前記出力部は、１の前記操作対象オブジェクトに対して照射を行う複数のレーザーポインタの各移動情報に応じて前記操作対象オブジェクトを表示変化させる制御信号を出力する、プログラム。
13. コンピュータを、
    投影画像に対するレーザーポインタによるレーザー光の照射位置を認識する認識部と、
    前記レーザーポインタの移動情報を取得する取得部と、
    前記レーザーポインタに設けられた操作部において前記レーザー光の照射を行う第１段階の操作から対象オブジェクトを決定する第２段階の操作に移行したことを示す決定操作情報を取得した際、前記照射位置に対応して位置する、投影画像中のオブジェクトを、操作対象オブジェクトとして決定し、当該操作対象オブジェクトを前記移動情報に応じて表示変化させる制御信号を出力する出力部と、
    として機能させ、
    前記出力部は、１の前記操作対象オブジェクトに対して照射を行う複数のレーザーポインタの各移動情報に応じて前記操作対象オブジェクトを表示変化させる制御信号を出力するためのプログラムが記憶された、記憶媒体。

Images