JP6232730B2 - プロジェクターおよび制御方法 - Google Patents

Description

本発明は、プロジェクターおよび制御方法に関する。

投射面に画像を投射するプロジェクターと、投射された画像上でユーザーによって操作される発光ペンと、を備えたインタラクティブシステムが知られている（例えば、特許文献１参照）。発光ペンは、ペン先から赤外線を発光し、プロジェクターは、発光ペンからの赤外線を撮像部で撮影して、発光ペンの位置を認識する。このようなインタラクティブシステムで、発光ペンの位置を正確に認識するためには、投射される画像（投射画像）上の位置と、撮影された画像（撮影画像）上の位置とを対応付けるためのキャリブレーションを事前に行う必要がある。

特開２０１２−１７３４４７号公報

しかしながら、キャリブレーションをした後に、プロジェクターと投射面との位置関係が変わる場合（例えば、何らかの要因でプロジェクターが動かされる場合）がある。この場合、投射画像上の位置と撮影画像上の位置との対応関係がずれてしまうため、発光ペンの位置を正確に認識することができなくなるという問題があった。このように、インタラクティブシステムにおいてユーザーの利便性が十分でないという問題があった。

本発明は上記の点に鑑みてなされたものであり、インタラクティブシステムにおいてユーザーの利便性を向上させることができるプロジェクターおよび制御方法を提供することを課題とする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、投射面に投射画像を投射する投射部と、前記投射部が投射した前記投射画像を含む範囲を撮影した撮影画像を生成する撮像部と、前記撮像部が撮影した前記撮影画像に基づいて、自装置の動きを検出する検出部と、前記検出部が前記自装置の動きを検出した場合、前記投射画像の座標系と前記撮影画像の座標系と対応付けるキャリブレーションに関して予め定められた処理を実行する実行部と、を備えることを特徴とするプロジェクターである。

この構成によれば、プロジェクターは、撮影画像に基づいて自装置の動きを検出することができ、自装置の動きを検出した場合にキャリブレーションに関して予め決められた処理を実行することができる。このため、インタラクティブシステムにおいてユーザーの利便性を向上させることができる。

（２）また、本発明の一態様は、前記実行部が実行する前記処理は、前記キャリブレーションの実行を促す処理であることを特徴とするプロジェクターである。

この構成によれば、プロジェクターは、撮影画像に基づいて自装置の動きを検出でき、検出結果に基づいてキャリブレーションの実行をユーザーに促すことができる。

（３）また、本発明の一態様は、前記実行部が実行する前記処理は、前記キャリブレーションを実行する処理であることを特徴とするプロジェクターである。

この構成によれば、プロジェクターは、撮影画像に基づいて自装置の動きを検出でき、検出結果に基づいてキャリブレーションを自動で実行できる。

（４）また、本発明の一態様は、前記検出部は、前記撮像部が予め撮影した基準画像と、前記基準画像を撮影した後に前記撮像部が撮影した撮影画像との間の画像の変化に基づいて前記自装置の動きを検出することを特徴とするプロジェクターである。

この構成によれば、予め撮影した基準画像と、撮影した撮影画像との間の画像変化に応じて自装置の動きを検出できる。

（５）また、本発明の一態様は、前記検出部は、前記基準画像と、前記基準画像を撮影した後に前記撮像部が撮影した複数の撮影画像との間の画像の変化に基づいて前記自装置の動きを検出することを特徴とするプロジェクターである。

この構成によれば、プロジェクターは、基準画像と複数の撮影画像との間の画像変化に基づいて自装置の動きを検出することができる。

（６）また、本発明の一態様は、前記検出部は、前記複数の撮影画像のそれぞれについて、前記基準画像との絶対値差分和を算出し、算出した前記絶対値差分和の平均および分散の少なくとも一方を所定の閾値と比較し、当該比較結果に基づいて自装置の動きを検出することを特徴とするプロジェクターである。

この構成によれば、プロジェクターは、複数の撮影画像と、基準画像との絶対値差分和を算出することで自装置の動きを検出することができる。このため、人がある撮影画像に一時的に映り込んだ場合などの変化をプロジェクターの動きとして誤検出することを抑制することができ、プロジェクターの動きの検出精度を向上させることができる。また、プロジェクターは、基準画像と、撮影した複数の撮影画像との差分和の平均または分散の一方と閾値とを比較してプロジェクターの動きを検出することで、プロジェクターの動き検出処理を簡易化することができる。

（７）また、本発明の一態様は、プロジェクターが、投射面に投射画像を投射する投射ステップと、前記投射ステップにおいて投射された前記投射画像を含む範囲を撮影して撮影画像を生成する撮像ステップと、前記撮像ステップにおいて撮影された前記撮影画像に基づいて、自装置の動きを検出する検出ステップと、前記検出ステップにおいて自装置の動きを検出した場合、前記投射画像の座標系と前記撮影画像の座標系と対応付けるキャリブレーションに関して予め定められた処理を実行する実行ステップと、を有することを特徴とする制御方法である。

この構成によれば、制御方法は、プロジェクターが、撮影画像に基づいて自装置の動きを検出することができ、自装置の動きを検出した場合にキャリブレーションに関して予め決められた処理を実行することを制御することができる。このため、インタラクティブシステムにおいてユーザーの利便性を向上させることができる。

本発明によれば、インタラクティブシステムにおいてユーザーの利便性を向上させることができる。

本発明の実施形態に係るインタラクティブシステムの構成の一例を示す概略図である。 本発明の実施形態に係るプロジェクターの構成の一例を示す概略ブロック図である。 本実施形態に係る撮像部が撮影する撮影画像の一例を示す図である。 本実施形態に係る撮影画像に対して画像処理装置が検出フィルター処理をしたときの一例を示す図である。 本実施形態に係る位置検出装置の状態遷移の一例を示す状態遷移図である。 本実施形態に係る位置検出装置の初期化処理の一例を示すフローチャートである。 本実施形態に係る位置検出装置のペントラッキング処理の一例を示すフローチャートである。 本実施形態に係る位置検出装置のキャリブレーション処理の一例を示すフローチャートである。 本実施形態に係る位置検出装置の動き検出処理の一例を示すフローチャートである。 本実施形態に係る画像処理装置の生成部において生成され、投射部により投射されるダイアログ表示画像の一例を示す概略図である。

（実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の実施形態に係るインタラクティブシステムＳ１の構成の一例を示す概略図である。
インタラクティブシステムＳ１は、投射面ＳＣに画像を投射するプロジェクター１と、ペン先から赤外線を発光する発光ペン２と、を含んで構成される。ユーザーは、投射面ＳＣに投射された投射画像Ｇ０上の所望の位置を発光ペン２で指示する操作を行ったり、投射画像Ｇ０上に発光ペン２で文字や図形などを描画する操作を行ったりすることができる。プロジェクター１は、赤外線を検出して発光ペン２の位置を認識し、ユーザーの操作内容に応じた動作を行う。

図２は、本発明の実施形態に係るプロジェクター１の構成の一例を示す概略ブロック図である。
プロジェクター１は、位置検出装置１０と、投射部１６と、を含んで構成される。位置検出装置１０は、撮像部１１と、画像処理装置１２と、フレームメモリー１３と、不揮発メモリー１４と、インターフェース部１５と、を含んで構成される。撮像部１１は、レンズ１１１と、フィルター切り替え装置１１２と、撮像素子１１３と、を含んで構成される。フィルター切り替え装置１１２は、可視光透過フィルター１１２１と、赤外線透過フィルター１１２２と、を含んで構成される。画像処理装置１２は、位置検出部１２１と、動き検出部１２２と、実行部１２３と、制御部１２４と、を含んで構成される。プロジェクター１は、その他、一般的なプロジェクターの機能を備えるが、図示および説明は省略する。

撮像部１１は、プロジェクター１の投射レンズ（図示せず）の近傍に配置され、投射面ＳＣに投射された投射画像Ｇ０を含む範囲を所定のフレームレートで撮影する。撮像部１１は、撮影した画像（以下、撮影画像と称する。）を表す画像情報を生成し、生成した画像情報を画像処理装置１２に出力する。

フィルター切り替え装置１１２は、画像処理装置１２から入力される指示信号に基づいて、可視光透過フィルター１１２１と、赤外線透過フィルター１１２２と、を切り替える。可視光透過フィルター１１２１は、可視光を透過させる光学フィルターであり、赤外線透過フィルター１１２２は、赤外線を透過させる光学フィルターである。
撮像素子１１３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：シーシーディー）センサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：シーモス）センサーなどの撮像素子である。

フィルター切り替え装置１１２が可視光透過フィルター１１２１に切り替えている状態では、撮像部１１は、レンズ１１１と可視光透過フィルター１１２１とを介し、投射面ＳＣに投射されている投射画像Ｇ０を含む範囲の可視光を撮像素子１１３上に結像させる。また、フィルター切り替え装置１１２が赤外線透過フィルター１１２２に切り替えている状態では、撮像部１１は、レンズ１１１と赤外線透過フィルター１１２２とを介し、発光ペン２などが発する赤外線を撮像素子１１３上に結像させる。

画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）、各種データの一時記憶などに用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｃｅｓｓ Ｍｅｍｏｒｙ：ラム）、およびマスクＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ロム）やフラッシュメモリー、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：強誘電体メモリー）などの不揮発性メモリー（いずれも図示せず）を備えている。また、画像処理装置１２は、プロジェクター１を制御する制御装置および画像を処理するプロセッサーなどを備える。
画像処理装置１２は、撮像部１１から入力される画像情報に基づいて、発光ペン２の位置を表す位置情報を生成し、生成した位置情報をインターフェース部１５を介し、投射部１６に出力する。また、画像処理装置１２は、インターフェース部１５を介して投射部１６にコマンドを出力し、投射部１６に各種指示を行うことができる。

実行部１２３は、キャリブレーション（投射画像と撮影画像との間の位置の対応づけ）を実行する。例えば、実行部１２３は、複数の測定点を含む所定の画像（キャリブレーション画像）を投射部１６に投射させ、さらに、投射部１６がキャリブレーション画像を投射している状態で、撮像部１１に投射面ＳＣ（可視光）を撮影させる。そして、実行部１２３は、投射画像（キャリブレーション画像）における測定点の位置と、撮影画像における測定点の位置と基づいて、投射画像と撮影画像との間の位置の対応関係を導出する。具体的には、実行部１２３は、撮影画像上の位置と投射画像上の位置とを対応付けた変換テーブル、すなわち撮影画像上の位置から投射画像上の位置に変換するための変換テーブルを生成し、不揮発メモリー１４に記憶する。

実行部１２３は、キャリブレーションの実行に伴って、投射面ＳＣに投射された投射画像Ｇ０を含む範囲の可視光を撮像部１１に撮影させる。そして、実行部１２３は、撮影した撮影画像に対しエッジ検出を行い、エッジ検出した画像情報をフレームメモリー１３および不揮発メモリー１４に記憶させる。なお、以降の説明において、実行部１２３がキャリブレーション時に撮像部１１に撮影させ、フレームメモリー１３に記憶させた画像情報を基準画像情報と称し、基準画像情報が表す画像のことを基準画像と称する。

図３は、本実施形態に係る撮像部１１が撮影する撮影画像Ｇ１の一例を示す画像である。
図４は、本実施形態に係る撮影画像Ｇ１に対して画像処理装置１２の実行部１２３が検出フィルター処理をしたときの一例を示す画像である。
図３における撮影画像Ｇ１は、投射面ＳＣに投射された投射画像Ｇ０（図３）を含む範囲の画像である。実行部１２３は、当該撮影画像Ｇ１に対して、検出フィルター（例えば、エッジ検出フィルター）を用いたフィルター処理を施し、図４に示すエッジ検出画像Ｇ２を得る。実行部１２３は、当該エッジ検出画像Ｇ２を表す画像情報を、基準画像情報としてフレームメモリー１３および不揮発メモリー１４に記憶させる。

位置検出部１２１は、撮像部１１から入力された画像情報に基づいて、発光ペン２の位置（投射画像上の位置座標）を検出する。具体的には、位置検出部１２１は、撮像部１１が赤外線透過フィルター１１２２を介して撮影して生成した画像情報に基づいて、撮影画像における発光ペン２の位置を検出する。そして、位置検出部１２１は、キャリブレーションによって生成された変換テーブルに基づいて、投射画像における発光ペン２の位置を導き、この位置を表す位置情報を投射部１６に出力する。なお、以降の説明において、位置検出部１２１が発光ペン２の位置の検出を行うことをペントラッキングと称する。

動き検出部１２２は、投射画像Ｇ０を含む範囲の可視光を撮像部１１に撮影させて取得した画像情報を解析し、解析結果からプロジェクター１の動きを検出する。ここで、プロジェクター１の動き検出とは、プロジェクター１がキャリブレーションを実行した後に、何らかの外的要因でプロジェクター１と投射面ＳＣとの位置関係が変化したとき、すなわち、投射面ＳＣに対する設置角度、投射面ＳＣとプロジェクター１との間の距離、床面または天井などの設置面に設置されたプロジェクター１の高さなどが変更されたとき、これらの変化をプロジェクター１の動きとして検出することである。動き検出部１２２は、位置検出部１２１が発光ペン２のペントラッキングを実行しなくても問題がないとき（例えば、発光ペン２が発光していないとき）に、短時間でプロジェクター１の動き検出を実行する。
動き検出部１２２は、撮影した撮影画像に対しエッジ検出を行い、エッジ検出を行った画像情報と、フレームメモリー１３に記憶されている基準画像情報とを比較して、プロジェクター１の動きを検出する。つまり、動き検出部１２２は、キャリブレーションを実行したときとの撮影画像の変化に基づいてプロジェクター１の動きを検出する。

制御部１２４は、上述した実行部１２３、位置検出部１２１及び動き検出部１２２を含む画像処理装置１２全体の動作を制御する。

フレームメモリー１３は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ディーラム）などの大容量揮発性メモリーであり、撮像部１１が撮影した撮影画像を表す画像情報を記憶する。

不揮発メモリー１４は、例えばフラッシュメモリーなどの不揮発性メモリーであり、撮像部１１が撮影した撮影画像を表す画像情報を記憶する。
これにより、プロジェクター１は、何らかの要因でプロジェクター１の電源がオフの状態にされた場合であっても、不揮発メモリー１４がフレームメモリー１３と同様の画像情報を記憶しているため、プロジェクター１の電源がオンの状態になったときに、電源がオフ状態になる前の基準画像情報が保持されているため、基準画像情報を改めて取得し直すことなく、動き検出を行うことができる。

インターフェース部１５は、画像処理装置１２が投射部１６に発光ペン２の位置情報やコマンドなどの出力を行うときに用いられる、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ：ユーエスビー）などのインターフェースである。

投射部１６は、放電ランプなどの光源、液晶パネルなどの光変調装置、投射レンズなどの投射光学系（いずれも図示せず）などを備え、光源から射出された光を、外部から入力される画像信号に基づいて光変調装置で変調し、投射光学系から投射する。また、投射部１６は、画像処理装置１２から入力されるコマンドに基づいて、キャリブレーション画像を投射したり、画像処理装置１２から入力される位置情報が表す位置に所定のマーク（矢印状のポインターなど）を重畳させて投射したりすることができる。

発光ペン２は、赤外線を発光する発光素子（例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：発光ダイオード））と、押下式のスイッチとを備えており、発光素子とスイッチとは、ともにペン先に配置されている。発光ペン２は、スイッチが押下されているか否かに応じて発光パターンを変化させる。このため、プロジェクター１は、発光ペン２のペン先が投射面ＳＣに接触している状態と、投射面ＳＣからペン先が離れている状態（以下、ホバー状態と称する。）と、を識別することができる。なお、発光ペン２を、スイッチが押下されている場合にのみ発光する態様としてもよい。

図５は、本実施形態に係る位置検出装置１０の状態遷移の一例を示す状態遷移図である。
プロジェクター１の主電源（図示せず）がオン状態になると、位置検出装置１０は、ステップＳＴ１００（初期化状態）に遷移し、後述する初期化処理を行った後でステップＳＴ２００（ペントラッキング状態）に遷移する。
ステップＳＴ２００において、位置検出装置１０は、ペントラッキングを実行する。ここで、位置検出装置１０は、一定時間、発光ペン２が検出されないとき（発光ペン非検出のとき）、ステップＳＴ４００（動き検出状態）に状態遷移する。また、位置検出装置１０は、ユーザーによってキャリブレーションの実行が指示されたとき、ステップＳＴ３００（キャリブレーション状態）に状態遷移する。
ステップＳＴ３００において、位置検出装置１０は、キャリブレーションを実行する。位置検出装置１０は、キャリブレーションが終了すると、ステップＳＴ２００（ペントラッキング状態）に状態遷移する。
ステップＳＴ４００において、位置検出装置１０は、プロジェクター１の動き検出を実行する。位置検出装置１０は、プロジェクター１の動きが検出されない場合（動き非検出）、ステップＳＴ２００（ペントラッキング状態）に状態遷移する。また、位置検出装置１０は、プロジェクター１の動きを検出した場合、キャリブレーションの実行をユーザーに促す。そして、ユーザーによってキャリブレーションの実行が指示された場合にステップＳＴ３００（キャリブレーション状態）に状態遷移する。

図６は、本実施形態に係る位置検出装置１０の初期化処理の一例を示すフローチャートである。
本フローチャートは、図５におけるステップＳＴ１００の初期化状態での初期化処理を説明するものである。
ステップＳＴ１０１において、制御部１２４は、フィルター切り替え装置１１２に可視光透過フィルター１１２１から赤外線透過フィルター１１２２への切り替えを指示する指示信号を出力する。フィルター切り替え装置１１２は、当該指示信号に基づいて赤外線透過フィルター１１２２に切り替える。
ステップＳＴ１０２において、制御部１２４は、ＳＡＤ保存インデックスｉを初期値（例えば、０）に初期化する。ＳＡＤ保存インデックスｉについては、後述する。
ステップＳＴ１０３において、制御部１２４は、プロジェクター１の動き検出を実施するか否かを表す動き検出実施フラグをオン（実施する）に設定する。
位置検出装置１０は、初期化処理が終了すると、ステップＳＴ２００（ペントラッキング状態）に進む。

図７は、本実施形態に係る位置検出装置１０のペントラッキング処理の一例を示すフローチャートである。
本フローチャートは、図５におけるステップＳＴ２００のペントラッキング状態でのペントラッキング処理を説明するものである。
ステップＳＴ２０１において、位置検出部１２１は、発光ペン２の検出を行う。位置検出部１２１が、発光ペン２を検出した場合、ステップＳＴ２０４に進む。一方、位置検出部１２１が発光ペン２を検出しない場合、ステップＳＴ２０２に進む。
ステップＳＴ２０２において、位置検出部１２１は、動き検出実施フラグがオンか否かを判定する。動き検出実施フラグがオンである場合、ステップＳＴ２０３に進む。一方、動き検出実施フラグがオフである場合、ステップＳＴ２０１に戻る。

ステップＳＴ２０３において、位置検出部１２１は、一定時間以上、発光ペン２を検出していないか否かを判定する。一定時間以上、発光ペン２を検出していない場合、ステップＳＴ４００（動き検出状態）に進む。一方、発光ペン２を検出していない時間が一定時間未満である場合、ステップＳＴ２０１に戻る。
ステップＳＴ２０４において、位置検出部１２１は、撮像部１１が撮影した撮影画像から発光ペン２の位置（撮影画像の座標系における発光ペン２の位置座標）を検出する。
ステップＳＴ２０５において、位置検出部１２１は、撮影画像の座標系における発光ペン２の位置座標を投射部１６が投射する投射画像の座標系の位置座標に座標変換する。

ステップＳＴ２０６において、位置検出部１２１は、変換した投射画像の座標系における発光ペン２の位置座標がキャリブレーションされたエリア内（例えば、投射画像の範囲内）であるか否かを判定する。投射画像の座標系における発光ペン２の位置座標がキャリブレーションされたエリア内である場合、ステップＳＴ２０７に進む。一方、投射画像の座標系における発光ペン２の位置座標がキャリブレーションされたエリア内でない場合、ステップＳＴ２０１に戻る。
ステップＳＴ２０７において、制御部１２４は、位置検出部１２１が変換した投射画像の座標系における発光ペン２の位置座標を、インターフェース部１５を介し、位置情報として投射部１６に出力し、ステップＳＴ２０１に戻る。投射部１６は、この位置情報が入力されると、例えば、位置情報が表す位置に所定のマーク（矢印状のポインターなど）を重畳させて投射する。

図８は、本実施形態に係る位置検出装置１０のキャリブレーション処理の一例を示すフローチャートである。
本フローチャートは、図５におけるステップＳＴ３００のキャリブレーション状態でのキャリブレーション処理を説明するものである。
ステップＳＴ３０１において、制御部１２４は、フィルター切り替え装置１１２に赤外線透過フィルター１１２２から可視光透過フィルター１１２１への切り替えを指示する指示信号を出力する。フィルター切り替え装置１１２は、当該指示信号に基づいて可視光透過フィルター１１２１に切り替える。このとき、実行部１２３は、投射部１６にコマンドを出力して、キャリブレーション画像を投射させる。

ステップＳＴ３０２において、実行部１２３は、上述したキャリブレーションを実行する。
ステップＳＴ３０３において、実行部１２３は、撮像部１１が撮影した撮影画像を取得する。
ステップＳＴ３０４において、実行部１２３は、取得した撮影画像に対してエッジ検出フィルターによるフィルター処理を行ってエッジ検出を行う。
ステップＳＴ３０５において、実行部１２３は、エッジ検出した当該撮影画像を基準画像としてフレームメモリー１３に記憶させる。

ステップＳＴ３０６において、制御部１２４は、ＳＡＤ保存インデックスｉを初期値（例えば、０）に初期化する。ＳＡＤ保存インデックスｉについては、後述する。
ステップＳＴ３０７において、制御部１２４は、フィルター切り替え装置１１２に可視光透過フィルター１１２１から赤外線透過フィルター１１２２への切り替えを指示する指示信号を出力する。フィルター切り替え装置１１２は、当該指示信号に基づいて赤外線透過フィルター１１２２に切り替える。
位置検出装置１０は、キャリブレーション処理が終了すると、ステップＳＴ２００（ペントラッキング状態）に進む。

図９は、本実施形態に係る位置検出装置１０の動き検出処理の一例を示すフローチャートである。
本フローチャートは、図５におけるステップＳＴ４００の動き検出状態での動き検出処理を説明するものである。
ステップＳＴ４０１において、制御部１２４は、フィルター切り替え装置１１２に赤外線透過フィルター１１２２から可視光透過フィルター１１２１への切り替えを指示する指示信号を出力する。フィルター切り替え装置１１２は、当該指示信号に基づいて可視光透過フィルター１１２１に切り替える。

ステップＳＴ４０２において、動き検出部１２２は、撮像部１１が撮影した可視光の撮影画像を取得する。
ステップＳＴ４０３において、制御部１２４は、フィルター切り替え装置１１２に可視光透過フィルター１１２１から赤外線透過フィルター１１２２への切り替えを指示する指示信号を出力する。フィルター切り替え装置１１２は、当該指示信号に基づいて赤外線透過フィルター１１２２に切り替える。このように、制御部１２４は、撮像部１１に可視光の撮影画像を撮影させるために、一時的に赤外線透過フィルター１１２２から可視光透過フィルター１１２１への切り替えを指示する指示信号を出力する。

ステップＳＴ４０４において、動き検出部１２２は、取得した撮影画像に対してエッジ検出フィルターによるフィルター処理を行ってエッジ検出を行う。
ステップＳＴ４０５において、動き検出部１２２は、エッジ検出した撮影画像と、フレームメモリー１３に記憶されている基準画像とを比較して、プロジェクター１の動きを検出する。具体的には、動き検出部１２２は、エッジ検出した撮影画像と、基準画像とについて、対応する画素ごとの差分を導いて、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：絶対値差分和）を算出する。動き検出部１２２は、算出したＳＡＤを、画像処理装置１２内のＲＡＭに配列ＳＡＤ［ｉ］（ｉ＝０〜Ｎ−１）として保存する。ここで、ｉは、前述したＳＡＤ保存インデックスであり、Ｎは、撮像部１１に撮影を行わせる回数である。つまり、動き検出部１２２は、撮像部１１に撮影を行わせる度にＳＡＤを算出して配列ＳＡＤ［ｉ］に順次保存し、撮影回数がＮ回に達した場合に、配列ＳＡＤ［０］〜ＳＡＤ［Ｎ−１］にそれぞれ保存されている複数のＳＡＤに基づいてプロジェクター１の動きを検出する。

なお、本実施形態では、複数回の撮影によってプロジェクター１の動きを検出するようにしているが、例えば、一回の撮影のみでプロジェクター１の動きを検出する場合には、撮影範囲内に一時的に進入した人などが撮像部１１において撮影されることで、動き検出部１２２が算出するＳＡＤが大きくなり、プロジェクター１の動きとして誤検出することが生じ得る。このような誤検出を抑制するために、本実施形態では、複数回の撮影によってプロジェクター１の動きを検出するようにしており、これにより、検出精度を向上させることができる。

ステップＳＴ４０６において、動き検出部１２２は、配列ＳＡＤ［ｉ］のＳＡＤ保存インデックスｉをインクリメント（ｉ＝ｉ＋１）する。

ステップＳＴ４０７において、動き検出部１２２は、インクリメント後のＳＡＤ保存インデックスｉと撮影回数Ｎとを比較し、ＳＡＤ保存インデックスｉが撮影回数Ｎ未満か否かを判定する。ＳＡＤ保存インデックスｉが撮影回数Ｎ未満である場合、ステップＳＴ２００（ペントラッキング状態）に戻る。一方、ＳＡＤ保存インデックスｉが撮影回数Ｎ未満でない場合、すなわちＳＡＤ保存インデックスｉが撮影回数Ｎ以上である場合、ステップＳＴ４０８に進む。
ステップＳＴ４０８において、動き検出部１２２は、配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの分散を算出し、算出した分散が所定の閾値以下か否かを判定する。配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの分散が所定の閾値以下でない場合、ステップＳＴ４０９に進む。一方、配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの分散が所定の閾値以下である場合、ステップＳＴ４１０に進む。

ステップＳＴ４０９において、動き検出部１２２は、ＳＡＤの分散、すなわち撮影画像毎の画像の変化（ばらつき）が大きすぎることから、プロジェクター１の動きを正確に検出することが困難であると判断する。そして、ＳＡＤ保存インデックスｉを初期化し、ステップＳＴ２００（ペントラッキング状態）に戻る。
ステップＳＴ４１０において、動き検出部１２２は、配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの平均が所定の閾値以上か否かを判定する。配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの平均が所定の閾値以上でない場合、すなわち当該平均が所定の閾値未満である場合、プロジェクター１は動いていないと判定し、ステップＳＴ４０９に進む。一方、配列ＳＡＤ［０］から配列ＳＡＤ［Ｎ−１］までの平均が所定の閾値以上である場合、プロジェクター１が動いたと判定し、ステップＳＴ４１１に進む。

ステップＳＴ４１１において、制御部１２４は、投射部１６にコマンドを出力して、ダイアログ表示画像Ｗ１を投射させる。

図１０は、投射部１６により投射されるダイアログ表示画像の一例を示す概略図である。
ダイアログ表示画像Ｗ１は、例えば投射画像Ｇ３の右上端に表示される。当該ダイアログ表示画像Ｗ１には、キャリブレーションを促すメッセージ、例えば、「キャリブレーションを行いますか？」Ｃ１と、コメント「今後、このメッセージを表示しない」Ｃ２と、操作アイコン（操作ボタン）「はい」Ｂ１および「いいえ」Ｂ２と、前述のコメント「今後、このメッセージを表示しない」Ｃ２に対応するチェックボックスＣＢと、が含まれる。ユーザーは、例えば、プロジェクター１に備えられた操作部（図示せず）を用いて、チェックボックスＣＢにチェックＭを挿入したり、操作アイコン「はい」Ｂ１または「いいえ」Ｂ２のいずれかを選択したりすることができる。

図９に戻り、ステップＳＴ４１２において、制御部１２４は、ダイアログ表示画像Ｗ１を投射させてから所定時間が経過したか否かを判定する。所定時間が経過した場合、ステップＳＴ４１３に進む。一方、所定時間が経過していない場合、ステップＳＴ４１４に進む。
ステップＳＴ４１３において、制御部１２４は、投射部１６にコマンドを出力して、ダイアログ表示画像Ｗ１を投射画像から消去させる。そして、ステップＳＴ４０９においてＳＡＤ保存インデックスｉを初期化した後で、ステップＳＴ２００（ペントラッキング状態）に戻る。

ステップＳＴ４１４において、制御部１２４は、ダイアログ表示画像Ｗ１に含まれる操作アイコン「はい」Ｂ１または操作アイコン「いいえ」Ｂ２が選択されたか否かを判定する。操作アイコン「はい」Ｂ１または操作アイコン「いいえ」Ｂ２が選択された場合、ステップＳＴ４１５に進む。一方、操作アイコン「はい」Ｂ１と操作アイコン「いいえ」Ｂ２のいずれも選択されていない場合、ステップＳＴ４１２に戻る。

ステップＳＴ４１５において、制御部１２４は、ダイアログ表示画像Ｗ１を今後表示しないか否か、すなわちチェックボックスＣＢにチェックＭが挿入されているか否かを判定する。ダイアログ表示画像Ｗ１を今後表示しない、すなわちチェックボックスＣＢにチェックＭが挿入されている場合、ステップＳＴ４１６に進む。一方、ダイアログ表示画像Ｗ１を今後表示する、すなわちチェックボックスＣＢにチェックＭが挿入されていない場合、ステップＳＴ４１７に進む。
ステップＳＴ４１６において、制御部１２４は、動き検出実施フラグをオフに変更し、ステップＳＴ４１７に進む。
ステップＳＴ４１７において、制御部１２４は、操作アイコン「はい」Ｂ１と操作アイコン「いいえ」Ｂ２のどちらが選択されたかを判定する。操作アイコン「はい」Ｂ１が選択された場合、制御部１２４は、ステップＳＴ３００（キャリブレーション状態）に状態遷移し、実行部１２３にキャリブレーションを実行させる。一方、操作アイコン「いいえ」Ｂ２が選択された場合、制御部１２４は、ステップＳＴ２００（ペントラッキング状態）に状態遷移し、位置検出部１２１にペントラッキングを実行させる。

なお、本実施形態において、プロジェクター１の動き検出において、エッジ検出を用いて説明したが、ジャイロセンサーなどでプロジェクター１の動きを検出し、検出結果から動き検出を行ってもよいし、エッジ検出とジャイロセンサーの検出結果とを併用してプロジェクター１の動きを検出してもよい。これにより、プロジェクター１の動き検出における検出精度を向上させることができる。また、本実施形態において、キャリブレーションの実行を促す場合について説明したが、キャリブレーションの実行を促さずに自動でキャリブレーションを行ってもよい。

このように、本実施形態によれば、プロジェクター１は、投射面ＳＣに投射画像を投射する投射部１６と、投射部１６が投射した投射画像を含む範囲を撮影した撮影画像を生成する撮像部１１と、撮像部１１が撮影した撮影画像に基づいて、自装置の動きを検出する検出部（動き検出部１２２）と、検出部（動き検出部１２２）が自装置の動きを検出した場合、投射画像の座標系と撮影画像の座標系と対応付けるキャリブレーションに関して予め定められた処理を実行する実行部１２３と、を備える。

これにより、プロジェクター１は、プロジェクター１の設置状態の変化を画像処理で判定することができるため、ハードウェア構成を変更することなく、プロジェクター１の動きを検出することができる。また、プロジェクター１は、撮影画像に基づいて自装置の動きを検出することができ、自装置の動きを検出した場合にキャリブレーションに関して予め決められた処理を実行することができる。このため、インタラクティブシステムにおいてユーザーの利便性を向上させることができる。

なお、上述した各実施形態における位置検出装置１０、画像処理装置１２、プロジェクター１の一部、または全部をコンピューターで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピューター読み取り可能な記憶媒体に記憶して、この記憶媒体に記憶されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現してもよい。

なお、ここでいう「コンピューターシステム」とは、位置検出装置１０、画像処理装置１２、プロジェクター１に内蔵されたコンピューターシステムであって、ＯＳや周辺機器などのハードウェアを含むものとする。また、「コンピューター読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピューターシステムに内蔵されるハードディスクなどの記憶装置のことをいう。さらに「コンピューター読み取り可能な記憶媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピューターシステムにすでに記憶されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における位置検出装置１０、画像処理装置１２、プロジェクター１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などの集積回路として実現してもよい。位置検出装置１０、画像処理装置１２、プロジェクター１の各機能ブロックは個別にプロセッサー化してもよいし、一部、または全部を集積してプロセッサー化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサーで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更などをすることが可能である。

例えば、上述した実施形態では、Ｎ回分のＳＡＤの分散が所定の閾値以下で、Ｎ回分のＳＡＤの平均が所定の閾値以上の場合に、プロジェクター１が動いたと判定しているが、平均のみ、または分散のみでプロジェクター１の動きを判定してもよい。
また、発光ペン２が発する光は、赤外線に限定されず、可視光であってもよい。また、プロジェクター１と発光ペン２との間の通信は、光を利用した態様に限定されず、ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ラン）などのように、電波を用いた態様であってもよい。

１・・・プロジェクター、１０・・・位置検出装置、１１・・・撮像部、１１１・・・レンズ、１１２・・・フィルター切り替え装置、１１２１・・・可視光透過フィルター、１１２２赤外線透過フィルター、１１３・・・撮像素子、１２・・・画像処理装置、１２１・・・位置検出部、１２２・・・動き検出部、１２３・・・実行部、１２４・・・制御部、１３・・・フレームメモリー、１４・・・不揮発メモリー、１５・・・インターフェース部、１６・・・投射部

Claims (8)

1. 投射面に投射画像を投射する投射部と、
   可視光を撮影する状態と、赤外線を撮影する状態とを切り替え可能に構成され、前記投射部が投射した前記投射画像を含む範囲を撮影した撮影画像を生成する撮像部と、
   前記撮像部が赤外線を撮影した前記撮影画像に基づいて、赤外線を発する発光ペンの位置を検出する位置検出部と、
   前記撮像部が可視光を撮影した前記撮影画像に基づいて、自装置の動きを検出する動き検出部と、
   前記動き検出部が前記自装置の動きを検出した場合、前記投射画像の座標系と前記撮影画像の座標系とを対応付けるキャリブレーションに関して予め定められた処理を実行する実行部と、
   前記撮像部が赤外線を撮影する状態において前記位置検出部が前記発光ペンを一定時間以上検出していない場合に、前記撮像部を、可視光を撮影する状態に切り替えて、前記動き検出部に前記自装置の動きの検出を開始させる制御部と、
   を備えることを特徴とするプロジェクター。
2. 前記実行部が実行する前記処理は、前記キャリブレーションの実行を促す処理であること
   を特徴とする請求項１に記載のプロジェクター。
3. 前記実行部が実行する前記処理は、前記キャリブレーションを実行する処理であること
   を特徴とする請求項１に記載のプロジェクター。
4. 前記動き検出部は、
   前記撮像部が予め撮影した基準画像と、前記基準画像を撮影した後に前記撮像部が撮影した撮影画像との間の画像の変化に基づいて前記自装置の動きを検出すること
   を特徴とする請求項１から請求項３のいずれか一項に記載のプロジェクター。
5. 前記動き検出部は、
   前記基準画像と、前記基準画像を撮影した後に前記撮像部が撮影した複数の撮影画像との間の画像の変化に基づいて前記自装置の動きを検出すること
   を特徴とする請求項４に記載のプロジェクター。
6. 前記動き検出部は、
   前記複数の撮影画像のそれぞれについて、前記基準画像との絶対値差分和を算出し、算出した前記絶対値差分和の平均および分散の少なくとも一方を所定の閾値と比較し、当該比較結果に基づいて自装置の動きを検出すること
   を特徴とする請求項５に記載のプロジェクター。
7. 投射面に投射画像を投射する投射部と、
   前記投射部が投射した前記投射画像を含む範囲を撮影した撮影画像を生成する撮像部と、
   前記撮像部が予め撮影した基準画像と、前記基準画像を撮影した後に前記撮像部が撮影した複数の撮影画像との間の画像の変化に基づいて、自装置の動きを検出する検出部と、
   前記検出部が前記自装置の動きを検出した場合、前記投射画像の座標系と前記撮影画像の座標系とを対応付けるキャリブレーションに関して予め定められた処理を実行する実行部と、を備え、
   前記検出部は、
   前記複数の撮影画像のそれぞれについて、前記基準画像との絶対値差分和を算出し、算出した前記絶対値差分和の平均および分散の少なくとも一方を所定の閾値と比較し、当該比較結果に基づいて自装置の動きを検出すること
   を特徴とするプロジェクター。
8. プロジェクターが、
   投射面に投射画像を投射する投射ステップと、
   可視光を撮影する状態と、赤外線を撮影する状態とを切り替え可能に構成された撮像部により、前記投射画像を含む範囲の赤外線を撮影して撮影画像を生成する赤外線撮像ステップと、
   前記赤外線撮像ステップにおいて赤外線を撮影して生成された前記撮影画像に基づいて、赤外線を発する発光ペンの位置を検出する位置検出ステップと、
   前記撮像部により、前記投射画像を含む範囲の可視光を撮影して撮影画像を生成する可視光撮像ステップと、
   前記可視光撮像ステップにおいて可視光を撮影して生成された前記撮影画像に基づいて、自装置の動きを検出する動き検出ステップと、
   前記動き検出ステップにおいて前記自装置の動きを検出した場合、前記投射画像の座標系と前記撮影画像の座標系とを対応付けるキャリブレーションに関して予め定められた処理を実行する実行ステップと、
   前記位置検出ステップにおいて前記発光ペンを一定時間以上検出していない場合に、前記撮像部を、可視光を撮影する状態に切り替えて、前記動き検出ステップを開始させる制御ステップと、
   を有すること
   を特徴とする制御方法。