JP6340958B2 - プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 - Google Patents

Description

本発明は、プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法に関する。

近年、プロジェクタ装置（画像投影装置）によって投影された画面上の操作を検出して、プロジェクタ装置、パーソナルコンピュータ装置等の機器の操作を可能とするインタラクティブシステムが知られている。このインタラクティブシステムの場合、ユーザが電子ペン、ペンまたは指などで投影面を操作すると、投影面上のカーソルまたはポインタ等が操作に応じて移動表示される。また、このインタラクティブシステムの場合、ユーザが投影面上の所望の位置をタッチ操作すると、例えば操作メニューの表示、または、表示画像の切り替え等のタッチ操作された位置に対応する動作を行うように、機器の制御が行われる。

特許文献１（特開２０１２−１８５７９８号公報）には、投影面に対する指示体の接触タイミングを正確に判断可能な情報処理装置が開示されている。この情報処理装置は、投影面上の座標を検出する座標検出装置、検出した座標を処理する情報処理装置、および投影面に対する指示体の接触を検知する接触検知装置を有している。

座標検出装置は、投影面に対する指示体の接近通知および近接位置座標の検出を行う。接触検知装置は、指示体の接近通知により、情報処理装置を介して、投影面に対する指示体の接近を検出すると、所定時間内に指示体の接触の有無を検出する。そして、接触検知装置は、投影面に対する指示体の接触を検出した際に、指示体の接触を示すイベントを発行する。これにより、投影面に対する指示体の接触タイミングを正確に判断できる。

しかし、特許文献１に開示されている技術を含め、従来のインタラクティブシステムは、一度に複数の指示体を識別することは困難であった。このため、投影面上を複数の指示体で操作された場合に、より正確なインタラクティブ動作に支障を来す問題があった。

本発明は、上述の課題に鑑みてなされたものであり、複数の指示体の操作に対応して、より正確なインタラクティブ動作を可能としたプロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法の提供を目的とする。

本発明は、上述した課題を解決し、目的を達成するために、投影面に投影画像を投影する投影部と、投影面を操作する指示体から送信される、指示体の固有識別情報および操作方向を示す第１の操作方向情報を受信する受信部と、投影面を撮影する撮影部と、撮影部で撮影された複数の撮影画像から、投影面を操作する指示体の操作方向を示す第２の操作方向情報を生成する生成部と、第１の操作方向情報に合致する第２の操作方向情報と、固有識別情報とを関連付ける関連付け部と、関連付けられた固有識別情報および第２の操作方向情報を含む操作情報を生成する操作情報生成部と、生成された操作情報を被制御機器に送信する送信部とを有する。

本発明によれば、複数の指示体の操作に対応して、より正確なインタラクティブ制御を行うことができるという効果を奏する。

図１は、第１の実施の形態のインタラクティブシステムのシステム構成図である。 図２は、第１の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置のハードウェア構成図である。 図３は、第１の実施の形態のインタラクティブシステムで用いられているペンのハードウェア構成図である。 図４は、プロジェクタ装置およびペンの機能ブロック図である。 図５は、第１の実施の形態のインタラクティブシステムの各装置の動作を示すシーケンス図である。 図６は、第１の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置の動作を示すフローチャートである。 図７は、第２の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置の動作を示すフローチャートである。 図８は、第３の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置の動作を示すフローチャートである。

以下、添付図面を参照して、本発明を適用した実施の形態のインタラクティブシステムを詳細に説明する。

（概要）
まず、インタラクティブシステムとしては、例えば「光反射方式」のインタラクティブシステムとしてもよいし、または「光遮断方式」のインタラクティブシステムとしてもよい。「光反射方式」のインタラクティブシステムの場合、プロジェクタ装置などで映像が投影される投影面上部に赤外線装置を設け、投影面全体を撮影部（カメラ部）で撮影する。赤外線装置は、投影面全体に赤外線光を投射する。ユーザがペンまたは指などの指示体で投影面を操作すると、操作した箇所で赤外線光が反射する。操作検出部は、撮影部で撮影された投影面上で反射する赤外線光の画像を用いて、指示体によりポイントされた位置、または、ユーザの操作形態等を検出する。

これに対して、「光遮断方式」のインタラクティブシステムの場合、投影面外枠に再帰性反射シートを設ける。また、投影面の角端部等に投影面全体に光を照明する照明部を設けると共に、投影面に投射された光を受光部で受光する構成とする。そして、投影面内で操作を行うことで光を遮蔽するペンまたは指等の指示体（遮蔽物）と受光部間の角度から、指示体によりポイントされた位置、または、ユーザの操作形態等を検出する。

「光反射方式」および「光遮断方式」のインタラクティブシステムは、いずれもペン等の指示体に光が照射されたタイミングを、投影面に指示体が接触したタイミングとして検出している。しかし、指示体に光が照射されたタイミングと、投影面に指示体が接触したタイミングとが、異なるタイミングとなることは多々ある。このため、ユーザが指示体を投影面から十分に離していないことで、指示体に対して継続して光が照射され、指示体が認識し続けられ、インタラクティブ動作が不正確になることがある。

このような不都合を防止するために、指示体となっているペンの先にスイッチ部を設け、ペンの先端が投影面に接触したときにスイッチを導通させ、投影面とペンの先端が接触している状態であることを無線で通知する構成とする。これにより、操作位置を検出し、かつ、投影面とペンの先端との接触を示す通知を受信している間を、投影面に接触したペンで操作が行われている間として検出して、より正確なインタラクティブ制御を可能とすることができる。なお、この構成によればペンと指を識別することが可能となる。すなわち、位置を検出した際に、投影面と接触している状態であることが通知されていればペン、通知されていなければ指（等のペン以外の指示体）と識別できる。

ここで、いずれのインタラクティブシステムにおいても、複数の指示体で投影面が操作された場合には、各指示体の識別が困難であることから、正確なインタラクティブ制御が困難となる。例えば「光反射方式」のインタラクティブシステムにおいて、第１のペンを投影面に接触させて操作を行った場合、撮影部によって第１のペンの操作位置が検出されると共に、第１のペンが接触状態になったことが通知される。このとき、第１のペンは、自身の固有識別情報も合わせて通知していれば、システム側においては、検出した操作位置は、第１のペンで操作されていることを認識できる。同一の投影面を複数のペンで操作した場合でも、各ペンを交互に投影面に接触させて操作すれば、検出位置と通知情報の関連付けから、各ペンを識別して、より正確なインタラクティブ制御を可能とすることができる。

しかし、第１のペンと第２のペンを同時に投影面に接触させて操作した場合、撮影部によって第１のペンの操作位置と第２のペンの操作位置がそれぞれ検出されると共に、第１のペンと第２のペンからそれぞれ接触状態になったことが通知される。この場合、検出した各操作位置がどちらのペンの操作位置か特定できず、正確なインタラクティブ制御に支障を来すおそれがある。

実施の形態のインタラクティブシステムは、指示体の一例であるペンが、固有の識別子とペン側で検知した方向（角度）をシステム側に通知する。そして、システム側では、ペンから通知された方向と、システム側で検出した位置座標から算出した方向とを比較して、各ペンの固有の識別子と操作位置を関連付けして、インタラクティブ制御を行う。これにより、複数のペンが略々同時に投影面に接触した場合でも、各ペンを識別して、より正確なインタラクティブ制御を行うことができる。

［第１の実施の形態］
（システム構成）
図１に、第１の実施の形態のインタラクティブシステムのシステム構成図を示す。一例として、第１の実施の形態のインタラクティブシステムは、プロジェクタ装置１、ペン２、パーソナルコンピュータ装置３、撮影部５、およびレーザーモジュール６を有している。プロジェクタ装置１とパーソナルコンピュータ装置３は、映像を入力するための、例えばＨＤＭＩ（登録商標）ケーブル等の映像ケーブル７で接続されている。ＨＤＭＩ（登録商標）は、「High Definition Multimedia Interface」の略記である。さらに、プロジェクタ装置１とパーソナルコンピュータ装置３は、操作情報を送受信するための、例えばＵＳＢケーブル等の有線ケーブル８で接続されている。ＵＳＢは、「Universal Serial Bus」の略記である。なお、ブルートゥース（登録商標）等の近距離無線通信で操作情報を送受信してもよい。

レーザーモジュール６は、投影面４から少し離れたところに並行に赤外線光を投射する。撮影部（カメラ部）５は、投影面４に投射されている赤外線光を撮影する。このため、指示体であるペン２（または指）で反射された赤外線光は、撮影部５で撮影される（光反射方式）。ペン２はペン先のスイッチが押下されると、固有識別情報（ペン識別子）および角度情報をプロジェクタ装置１へ無線送信する。プロジェクタ装置１は、撮影部５の撮影画像、ペン２からのペン識別子および角度情報を用いて、投影面４上におけるペン２の操作位置を検出し、操作情報に変換してパーソナルコンピュータ装置３へ送信する。なお、第１の実施の形態のインタラクティブシステムは、光反射方式が適用されている例であるが、光遮断方式等の他の方式を用いてもよい。

（プロジェクタ装置のハードウェア構成）
図２は、プロジェクタ装置１のハードウェア構成図である。プロジェクタ装置１は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ＵＳＢＩ／Ｆポート１４、光学部１５、電源部１６、電源制御部１７、ファン部１８、ランプ部１９、およびランプ制御部２０を有している。また、プロジェクタ装置１は、映像信号処理部２１、映像信号受付部２２、操作受付部２３、無線ユニット２４、および撮影部５を有している。撮影部５、およびＣＰＵ１１〜無線ユニット２４は、バスライン２５を介して相互に接続されている。なお、図２では、撮影部５は、プロジェクタ装置１と一体的に構成されているように図示しているが、撮影部５は、プロジェクタ装置１に対して外付けの構成としてもよい。

ＣＰＵ１１は、プロジェクタ装置１の動作を制御する、「プロジェクタ装置１用のインタラクティブプログラム」を実行する。ＲＡＭ１２は、ＣＰＵ１１のワークエリア等を構成する。ＲＯＭ１３は、ＣＰＵ１１が実行するインタラクティブプログラム、およびインタラクティブプログラムの実行に必要なデータを記憶する。ＵＳＢＩ／Ｆポート１４は、ＵＳＢケーブルの接続口である。光学部１５は、映像を作り出す部分であり、ＤＬＰ（登録商標）プロジェクタならＤＭＤ（登録商標）またはカラーホイールとなる。ＤＬＰは、「デジタル・ライト・プロッセシング」の略記である。ＤＭＤは、「Digital Micro mirror Device」の略記である。

電源部１６は、プロジェクタ装置１へ電源を供給する。電源制御部１７は、電源部１６の電源供給制御を行う。ファン部１８は、プロジェクタ装置１の本体を冷却する。ランプ部１９は、光源となる光を生成する。ランプ制御部２０は、ランプ部１９を制御するバラストである。映像信号受付部２２は、例えばD-subminiature（D-Sub）、ＨＤＭＩ（登録商標）、ビデオ等の映像入力種別毎の映像信号ポートである。映像信号処理部２１は、映像信号ポートからの映像信号入力を受信して処理する。操作受付部２３は、例えば操作キーであり、ユーザの操作を受け付ける。無線ユニット２４は、例えば赤外線無線通信、または、ブルートゥース（登録商標）の通信規格の無線通信を行うことで、ペン２からの情報を受信する。撮影部５は、カメラ装置であって、上述のように投影面４を撮影する。

（ペンのハードウェア構成）
図３は、ペン２のハードウェア構成図である。この図３に示すように、ペン２は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、接触検知部３４、加速度検知部３５、無線ユニット３６を有している。ＣＰＵ３１〜無線ユニット３６は、バスライン３７を介して相互に接続されている。ＣＰＵ３１は、ペン２の動作制御を行う「ペン２用のインタラクティブプログラム」を実行する。ＲＡＭ３２は、ＣＰＵ３１のワークエリア等を構成する。ＲＯＭ３３は、ＣＰＵ３１が実行するインタラクティブプログラム、および、インタラクティブプログラムの実行に必要なデータを記憶する。接触検知部３４は、投影面４に接触したペン先の押下を検知するセンサである。加速度検知部３５は、ペン２の加速度、加速方向、およびペン２の傾き角を検知するセンサである。無線ユニット３６は、例えば赤外線無線通信、または、ブルートゥース（登録商標）通信規格の無線通信を用いて、ペン２のペン識別子、加速度情報、加速方向情報、および傾き角情報等の各種情報をプロジェクタ装置１に送信する。

（プロジェクタ装置およびペンの機能ブロック）
図４は、プロジェクタ装置１のＣＰＵ１１が、プロジェクタ装置１用のインタラクティブプログラムを実行することで実現される各機能の機能ブロック図である。また、図４は、ペン２のＣＰＵ３１が、ペン２用のインタラクティブプログラムを実行することで実現される各機能の機能ブロック図である。プロジェクタ装置１の機能ブロックは、映像入力受付部４１〜撮影制御部５０である。また、ペン２の機能ブロックは、ペン接触検知部５１〜ペン情報通信部５３である。

なお、この例では、プロジェクタ装置１の映像入力受付部４１〜撮影制御部５０、および、ペン２のペン接触検知部５１〜ペン情報通信部５３は、それぞれソフトウェアで実現されることとして説明を進めるが、全てまたは一部の機能をハードウェアで実現してもよい。

また、プロジェクタ装置１用およびペン２用の各インタラクティブプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、各インタラクティブプログラムは、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disk」の略記である。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、各インタラクティブプログラムを、機器内のＲＯＭ等に予め組み込んで提供してもよい。

図４において、プロジェクタ装置１は、映像入力受付部４１、映像編集部４２、投影部４３、位置座標算出部４４、ペン情報通信部４５、およびＰＣ操作座標情報変換部４６を有している。また、プロジェクタ装置１は、ペン方向算出部４７、ペン識別部４８、操作情報通信部４９、および撮影制御部５０を有している。位置座標算出部４４は、生成部の一例である。ペン情報通信部４５は、受信部の一例である。ＰＣ操作座標情報変換部４６は、操作情報生成部の一例である。操作情報通信部４９は、送信部の一例である。撮影制御部５０は、撮影部の一例である。

映像入力受付部４１は、ＨＤＭＩ（登録商標）、ＶＧＡまたはネットワークを経由して入力された映像入力を受け付ける。ＶＧＡは、「Video Graphics Array」の略記である。映像編集部４２は、変倍など投影する画像の編集処理を実行する。投影部４３は、映像信号を外部へ投影する。位置座標算出部４４は、投影面４の撮影画像から投影画像上のペンの位置座標を算出する。ペン情報通信部４５は、ペン２と通信を行い、情報の送受信を行う。ＰＣ操作座標情報変換部４６は、算出した位置座標およびペン識別子をパーソナルコンピュータ装置３の操作座標情報へと変換し、操作情報通信部４９を介してパーソナルコンピュータ装置３に送信する。

ペン方向算出部４７は、検出した位置座標の連続性からペン２の操作方向（角度）を算出する。ペン識別部４８は、ペン２から受信した、ペン２の加速度情報と、プロジェクタ装置１側で算出したペン２の操作方向とを比較して、ペン２を識別する。操作情報通信部４９は、パーソナルコンピュータ装置３と操作情報の通信を行う。撮影制御部５０は、投影面４を撮影している撮影部５を撮影制御する。

ペン２のペン接触検知部５１は、投影面４に対するペン先の接触の有無を検知する。ペン方向検知部５２は、ペン２の操作方向を検知する。ペン情報通信部５３は、プロジェクタ装置１と通信により情報の送受信を行う。

（各装置間の動作）
次に、図５は、投影面４の接触操作時における各装置の動作を示すシーケンス図である。図５に示すステップＳ１〜ステップＳ５は、並列処理（ｐａｒ）を示している。また、ステップＳ１〜ステップＳ５の各処理は、ペン２で投影面４が接触操作されている間、定期的に繰り返し実行されるループ処理（ｌｏｏｐ）である。

すなわち、ペン２で投影面４が接触されると、プロジェクタ装置１側において、撮影部５からの撮影画像により反射光が検出される。プロジェクタ装置１は、ステップＳ１において、撮影部５からの撮影画像を用いて、ペン２の操作位置を検出する。また、プロジェクタ装置１は、ステップＳ２において、ペン２の操作位置に対応する位置座標を算出する。

次に、ステップＳ３において、ペン２は、投影面４に対するペン先の接触の有無を検知し、接触検知情報を生成する。また、ペン２は、ステップＳ４において、移動操作されているペン２の加速度を検出し、加速度情報を生成する。そして、ペン２は、ステップＳ５において、接触検知情報、加速度情報、およびペン２に対して固有に割り当てられているペン識別子を含む通知情報を、プロジェクタ装置１に送信する。プロジェクタ装置１およびペン２は、ペン２が投影面４に接触している間、上述のステップＳ１〜ステップＳ５の各処理を、定期的に繰り返し実行する。

次に、プロジェクタ装置１は、ステップＳ６において、ステップＳ２で算出した位置座標を用いて、ペン２の操作方向を算出する。一例として、投影面４を二次元に見たときの傾斜角度等を、ペン２の操作方向として用いることができる。また、ステップＳ６において、プロジェクタ装置１は、ステップＳ５でペン２から通知された加速度情報を用いて、ペン２の操作方向を算出する。そして、ステップＳ６において、プロジェクタ装置１は、それぞれ算出したペン２の操作方向を比較する。

ペン２から通知された加速度情報から算出した操作方向と、ペン２の位置座標から算出した操作方向とが一致すれば、各操作方向は、同じペン２の操作方向であることを意味する。このため、投影面４上が複数のペン２で同時に操作された場合でも、ステップＳ２で検出する各ペン２の位置座標と、各ペン２から通知された通知情報（接触検知情報、加速度情報およびペン識別子）を関連付けができる。

次に、ステップＳ７において、プロジェクタ装置１は、検出した位置座標とペン２の識別子からパーソナルコンピュータ装置３用の操作情報を生成する。そして、プロジェクタ装置１は、ステップＳ８において、生成した操作情報をパーソナルコンピュータ装置３に送信する。ステップＳ９において、パーソナルコンピュータ装置３は、プロジェクタ装置１から受信した操作情報に対応して、例えばプロジェクタ装置１を介して投影しているカーソル、スクロールバー、または、所定のオブジェクト等の移動表示制御を行う。また、パーソナルコンピュータ装置３は、受信した操作情報に対応して、例えば表示画面の切り替え制御、指定されたアプリケーションの起動制御等を行う。これにより、複数のペン２で同時に投影面４上を操作した場合でも、各ペン２の操作を識別して、より正確なインタラクティブ制御を行うことができる。

次に、図６のフローチャートに、プロジェクタ装置１のインタラクティブ動作の流れを示す。図６のフローチャートのステップＳ１１において、ペン２または指等の指示体で投影面４が操作されると、図４に示す位置座標算出部４４が、撮影制御部５０の制御で撮影部５により撮影された撮影画像から、投影面４に対する指示体の接触を検知する。そして、位置座標算出部４４は、ステップＳ１２において、撮影画像から指示体の位置座標（ペン２または指等で指し示されている座標）を算出する。

現在、投影面４上を操作している指示体がペン２であれば、無線通信で上述の通知情報が通知される。すなわち、図４に示したペン２のペン接触検知部５１で、投影面４に対するペン先の接触が検知されると、ペン２が移動操作されることで発生する加速度をペン方向検知部５２が検出する。そして、ペン情報通信部５３が、接触検知情報、加速度情報およびペン２に固有に付されている固有識別情報（ペン識別子）を含む通知情報を、プロジェクタ装置１に送信する。ペン２から通知情報を受信するタイミングと、プロジェクタ装置１側で指示体の位置座標を検出するタイミングとの間には、タイムラグがある。このため、ペン識別部４８は、ステップＳ１３で、例えば１００ｍｓｅｃ等の一定時間、待機する。そして、ペン識別部４８は、ステップＳ１４において、一定時間、待機している間に、ペン２から通知情報を受信したか否かを判別する。ペン２からの通知情報を受信した場合（ステップＳ１４：Ｙｅｓ）、処理はステップＳ１５に進む。また、ペン２からの通知情報を受信しなかった場合（ステップＳ１４：Ｎｏ）、処理はステップＳ１９に進む。

ステップＳ１９では、ペン識別部４８が、上述の待機時間内にペン２からの通知情報を受信しなかったため、指示体はペン２ではなく、通知情報の送信機能を持たない指等の指示体であると判断する。そして、ステップＳ１８に処理が進み、ＰＣ操作座標情報変換部４６が、「指」という指示体の識別子、および、算出した指の位置座標からパーソナルコンピュータ装置３用の操作情報を生成し、パーソナルコンピュータ装置３に送信して、図６のフローチャートの処理を終了する。

これに対して、一定時間、待機している間に、ペン２からの通知情報を受信することで、ステップＳ１５に処理が進むと、ペン識別部４８は、現在、指示体としてペン２が使用されているものと判断する。ステップＳ１６では、ペン方向算出部４７が、過去および現在において、撮影画像を用いて算出した複数の位置座標から、ペン２が移動操作されている方向（例えば、角度）を算出する。

次に、ステップＳ１７において、ペン識別部４８は、撮影画像から算出したペン２の操作方向と、ペン２から通知されたペン２の操作方向とを比較する。ペン識別部４８は、両者が一致した場合、通知情報に含まれるペン２のペン識別子を、撮影画像から算出した位置座標に関連付ける。ＰＣ操作座標情報変換部４６は、ステップＳ１８において、撮影画像から算出した位置情報に関連付けられたペン識別子からパーソナルコンピュータ装置３用の操作情報を生成する。そして、操作情報通信部４９は、生成した操作情報をパーソナルコンピュータ装置３に送信する。これにより、図６のフローチャートの処理が終了する。

以上の説明から明らかなように、第１の実施の形態のインタラクティブシステムは、パーソナルコンピュータ装置３からの映像が、プロジェクタ装置１の投影部４３を介して投影されている投影面４を撮影部５で撮影する。そして、位置座標算出部４４が、撮影画像を解析することで、投影面４上を操作する指示体の座標位置を算出する。

また、ペン２は、ペン接触検知部５１が投影面４に対するペン先の接触の有無を検出して接触検知情報を生成する。また、ペン２は、操作状況に応じた加速度情報を生成する。そして、ペン２は、接触検知情報、加速度情報、および、固有に付されている固有識別情報を含む通知情報をプロジェクタ装置１に送信する。

プロジェクタ装置１のペン識別部４８は、撮影画像から算出したペン２の操作方向と、ペン２から通知されたペン２の操作方向（加速度情報）とを比較する。ペン識別部４８は、両者が一致した場合、通知情報に含まれるペン２の固有識別情報（ペン識別子）を、撮影画像から算出した位置座標に関連付ける。

ＰＣ操作座標情報変換部４６は、撮影画像から算出した位置情報に関連付けられたペン識別子からパーソナルコンピュータ装置３用の操作情報を生成する。操作情報通信部４９は、生成した操作情報をパーソナルコンピュータ装置３に送信する。パーソナルコンピュータ装置３は、例えばプロジェクタ装置１を介して投影しているカーソル、スクロールバー、または、所定のオブジェクト等の移動表示制御を行う。また、パーソナルコンピュータ装置３は、受信した操作情報に対応して、例えば表示画面の切り替え制御、指定されたアプリケーションの起動制御等を行う。これにより、複数のペン２で同時に投影面４上を操作した場合でも、各ペン２の操作を識別して、より正確なインタラクティブ制御を行うことができる。

［第２の実施の形態］
次に、第２の実施の形態のインタラクティブシステムを説明する。一つのペン２で投影面４が操作されている場合、撮影画像で算出される操作方向は、ペン２の操作方向である。このため、一つのペン２で投影面４が操作されている場合、プロジェクタ装置１側で撮影画像から算出した操作方向と、ペン２の固有識別情報の関連付けを行う処理は、不要となる。

このようなことから、第２の実施の形態では、投影面４が複数のペン２で操作されている場合に、上述の関連付けの処理を行うものである。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態は、この点のみが異なる。このため、以下、差異の部分のみ説明し、重複説明は省略する。

図７のフローチャートに、第２の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置１の動作の流れを示す。第２の実施の形態の場合、図７のフローチャートのステップＳ１５およびステップＳ１６の間に、ペン識別部４８が、投影面４で操作されているペン２は、複数であるか否かを判別するステップＳ２０の処理を有している。ステップＳ２０において、ペン識別部４８が、投影面４で操作されているペン２が複数であると判別した場合（ステップＳ２０：Ｙｅｓ）、処理はステップＳ１６に進み、上述のように各ペン２の固有識別情報と、投影画像から算出された各ペン２の操作方向との関連付けを行う。そして、各ペン２の操作に応じて、インタラクティブ制御を行う。

これに対して、ステップＳ２０において、ペン識別部４８が、投影面４で操作されているペン２が単数（一つ）であると判別した場合（ステップＳ２０：Ｎｏ）、処理はステップＳ１８に進む。すなわち、投影面４で操作されているペン２が単数である場合、撮影画像で算出される操作方向は、ペン２の操作方向である。このため、一つのペン２で投影面４が操作されている場合は、プロジェクタ装置１側で撮影画像から算出した操作方向と、ペン２の固有識別情報の関連付けを行う処理は、不要となる。このため、ペン識別部４８が、投影面４で操作されているペン２が単数（一つ）であると判別した場合（ステップＳ２０：Ｎｏ）、上述の関連付けの処理であるステップＳ１６およびステップＳ１７の各処理をスキップしてステップＳ１８に処理を進める。そして、撮影画像から算出したペン２の位置座標等が操作情報としてパーソナルコンピュータ装置３に送信され、一つのペン２の操作に対応したインタラクティブ制御が行われる。

このような第２の実施の形態のインタラクティブシステムの場合、投影面４で操作されているペン２が一つの場合は、操作方向とペンとの関連付けの処理を省略できる。このため、プロジェクタ装置１の演算動作を軽減できる他、上述の第１の実施の形態と同じ効果を得ることができる。

［第３の実施の形態］
次に、第３の実施の形態のインタラクティブシステムを説明する。第３の実施の形態のインタラクティブシステムでは、プロジェクタ装置１が、投影面４を操作している指示体を識別して、インタラクティブ制御を可能としたものである。すなわち、第３の実施の形態の場合、プロジェクタ装置１は、ペン２、および例えば指等のペン２以外の指示体を識別して、インタラクティブ制御を可能とする。なお、上述の各実施の形態と以下に説明する第３の実施の形態は、この点のみが異なる。このため、以下、差異の部分のみ説明し、重複説明は省略する。

図８のフローチャートに、第３の実施の形態のインタラクティブシステムに設けられているプロジェクタ装置１の動作の流れを示す。第３の実施の形態の場合、図７のフローチャートのステップＳ１４とステップＳ１５との間に、ステップＳ２１の処理を有する。また、ステップＳ２１で「Ｎｏ」と判別された場合に実行されるステップＳ２２〜ステップＳ２６の処理を有する。

この図８のフローチャートのステップＳ１４において、ペン２から通知情報が通知されることで処理がステップＳ２１に進むと、ペン認識部４８は、通知情報に含まれる固有識別情報に基づいて、通知情報を送信しているペン２の数（通知情報の通知数）を検出する。また、ステップＳ２１において、ペン認識部４８は、検出したペン２の数と、撮影画像から検出した指示体の数とを比較する。

ペン認識部４８により、通知情報の通知数から検出したペン２の数と、撮影画像から検出した指示体の数とが等しいと判別された場合（ステップＳ２１：Ｙｅｓ）、処理がステップＳ１５に進み、第１の実施の形態および第２の実施の形態で説明したように、複数または単数のペン２の操作に対応するインタラクティブ制御が行われる。

一方、ペン認識部４８により、通知情報の通知数から検出したペン２の数と、撮影画像から検出した指示体の数とが異なる数であると判別された場合（ステップＳ２１：Ｎｏ）、処理がステップＳ２２に進む。ペン認識部４８は、ステップＳ２２およびステップＳ２３において、撮影画像から検出した指示体の中に、通知情報を通知するペン２と、通知情報の通知機能を持たない、例えば指等の指示体が混在しているものと認識する。

ステップＳ２４では、ペン方向算出部４７が、撮影部５により撮影された複数の撮影画像上の各指示体の位置座標から、各指示体の操作方向を算出する。ステップＳ２５では、ペン識別部４８が、ペン方向算出部４７で算出された操作方向（算出操作方向）のうち、ペン２から受信した通知情報に含まれる操作方向（通知操作方向）に合致する算出操作方向を検出する。そして、ペン識別部４８が、通知操作方向に合致する算出操作方向に対して、通知情報に含まれるペン２の固有識別情報を関連付けする。また、ステップＳ２６では、ペン識別部４８は、ペン方向算出部４７で算出された算出操作方向のうち、ペン２から通知された通知操作方向と一致しない算出操作方向は、通知情報の通知機能を持たない、例えば指等の指示体の操作方向であるものと認識する。換言すれば、ペン識別部４８は、関連付けする固有識別情報の無い算出操作方向は、例えば指等の指示体の操作方向であるものと認識する。

ペン２の固有識別情報が関連付けされた算出操作方向、および通知情報の通知機能を持たない指等の指示体の操作方向と認識された算出操作方向（＝関連付けする固有識別情報が存在しない算出操作方向）は、ステップＳ１８において、ＰＣ操作座標情報変換部４６により、パーソナルコンピュータ装置３用の操作情報に変換される。そして、操作情報通信部４９により、パーソナルコンピュータ装置３に送信され、インタラクティブ制御に用いられる。

このような第３の実施の形態のインタラクティブシステムは、通知情報の送信機能を有するペン２と、通知情報の送信機能を有さない指等の指示体とが混在している場合でも、各指示体の操作を分別して正確に検出し、インタラクティブ制御を行うことができる他、上述の各実施の形態と同じ効果を得ることができる。

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。実施の形態および実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ プロジェクタ装置
２ ペン
３ パーソナルコンピュータ装置
４ 投影面
５ 撮影部
６ レーザーモジュール
７ 映像ケーブル
８ 有線ケーブル
３４ 接触検知部
３５ 加速度検知部
３６ 無線ユニット
４１ 映像入力受付部
４２ 映像編集部
４３ 投影部
４４ 位置座標算出部
４５ ペン情報通信部
４６ ＰＣ操作座標情報変換部
４７ ペン方向算出部
４８ ペン識別部
４９ 操作情報通信部
５０ 撮影制御部
５１ ペン接触検知部
５２ ペン方向検知部
５３ ペン情報通信部

特開２０１２−１８５７９８号公報

Claims (5)

1. 投影面に投影画像を投影する投影部と、
   前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第１の操作方向情報を受信する受信部と、
   前記投影面を撮影する撮影部と、
   前記撮影部で撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第２の操作方向情報を生成する生成部と、
   前記第１の操作方向情報に合致する前記第２の操作方向情報と、前記固有識別情報とを関連付ける関連付け部と、
   関連付けられた前記固有識別情報および前記第２の操作方向情報を含む操作情報を生成する操作情報生成部と、
   生成された前記操作情報を被制御機器に送信する送信部と
   を有するプロジェクタ装置。
2. 前記撮影部で撮影された前記撮影画像から、前記投影面を操作する前記指示体の数を検出する指示体数検出部を、さらに備え、
   前記関連付け部は、検出された前記指示体の数が単数である場合、前記関連付けの処理を停止し、
   前記操作情報生成部は、検出された前記指示体の数が単数である場合、前記受信部で受信された前記指示体の前記固有識別情報、および、前記生成部で生成された前記第２の操作方向情報を含む操作情報を生成すること
   を特徴とする請求項１に記載のプロジェクタ装置。
3. 受信された前記固有識別情報のうち、異なる前記固有識別情報の数を、前記投影面を操作する前記指示体の数として検出する第１の数検出部と、
   前記撮影部で撮影された前記撮影画像から、前記指示体の数を検出する第２の数検出部と、をさらに備え、
   前記関連付け部は、前記第１の数検出部で検出された前記指示体の数と、前記第２の数検出部で検出された前記指示体の数とが異なる場合、前記生成部で検出された前記第２の操作方向情報のうち、前記第１の操作方向情報に合致する前記第２の操作方向情報と、当該第１の操作方向情報と共に受信された前記固有識別情報とを関連付けし、
   前記操作情報生成部は、関連付けされた前記固有識別情報および前記第２の操作方向情報を含む操作情報を生成すると共に、関連付けする前記固有識別情報が存在しない前記第２の操作方向情報を含む操作情報を生成すること
   を特徴とする請求項１または請求項２に記載のプロジェクタ装置。
4. 操作情報に対応する投影画像を生成する投影画像生成部と、
   生成された投影画像を投影面に投影する投影部と、
   前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第１の操作方向情報を受信する受信部と、
   前記投影面を撮影する撮影部と、
   前記撮影部で撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第２の操作方向情報を生成する生成部と、
   前記第１の操作方向情報に合致する前記第２の操作方向情報と、前記固有識別情報とを関連付ける関連付け部と、
   関連付けられた前記固有識別情報および前記第２の操作方向情報を含む操作情報を生成する操作情報生成部と、
   生成された前記操作情報を前記投影画像生成部に送信する送信部と
   を有するインタラクティブシステム。
5. 投影画像生成部が、操作情報に対応する投影画像を生成する投影画像生成ステップと、
   投影部が、生成された前記投影画像を投影面に投影する投影ステップと、
   受信部が、前記投影画像の前記投影面を操作する指示体から送信される、前記指示体の固有識別情報および操作方向を示す第１の操作方向情報を受信する受信ステップと、
   撮影部が、前記投影面を撮影する撮影ステップと、
   生成部が、撮影された複数の撮影画像から、前記投影面を操作する前記指示体の操作方向を示す第２の操作方向情報を生成する生成ステップと、
   関連付け部が、前記第１の操作方向情報に合致する前記第２の操作方向情報と、前記固有識別情報とを関連付けする関連付けステップと、
   操作情報生成部が、関連付けされた前記固有識別情報および前記第２の操作方向情報を含む操作情報を生成する操作情報生成ステップと、
   送信部が、生成された前記操作情報を投影画像生成部に送信する送信ステップと
   を有するインタラクティブ制御方法。

Images