JP6631281B2 - インタラクティブプロジェクター、及び、そのオートキャリブレーション実行方法 - Google Patents

Description

本発明は、投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターに関する。

特許文献１には、インタラクティブプロジェクターが開示されている。インタラクティブプロジェクターは、投写画面をスクリーンに投写するとともに、発光ペンや指などの指示体（pointing element）を含む画像をカメラで撮像し、この撮像画像を用いて指示体の位置を検出することが可能である。すなわち、インタラクティブプロジェクターは、指示体の先端がスクリーンに接しているときに投写画面に対して描画等の所定の指示が入力されているものと認識し、その指示に応じて投写画面を再描画する。従って、ユーザーは、投写画面をユーザーインターフェースとして用いて、各種の指示を入力することが可能である。

特許文献１では、複数のキャリブレーションマークを含むオートキャリブレーション画像を用いたオートキャリブレーション（投写画像と撮影画像の位置の対応付け）を行う提案がなされている。オートキャリブレーションでは、プロジェクターからオートキャリブレーション画像を投写し、投写されたオートキャリブレーション画像をプロジェクターのカメラで撮像し、その撮像画像を解析することによって投写画像上の位置と撮影画像上の位置が対応付けられる。

特開２０１５−１５９５２４号公報

しかしながら、本願の発明者は、プロジェクターの設置環境の影響によっては、撮像されたオートキャリブレーション画像の明度が画像解析のための好ましい範囲を外れてしまう場合があることを見いだした。例えば、環境光が過度に明るい場合には、撮像画像の明度が過大になり、キャリブレーションマークの位置を精度良く検出できない。この結果、投写画像上の位置と撮影画像上の位置の対応付けを精度良く行えないという問題が生じ得ることが判明した。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
本発明の第１形態は、投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、投写画像メモリーに格納された画像データに従って前記投写面に画像を投写する投写部と、前記投写面を撮像して撮像画像を生成する撮像部と、前記投写部から複数のキャリブレーションマークを含むオートキャリブレーション画像を投写させている状態で前記撮像部に前記投写面を撮像させ、撮像されたオートキャリブレーション画像内の前記複数のキャリブレーションマークの位置に基づいて、前記撮像部で撮像される撮像画像上の位置と前記投写画像メモリー内の画像データ上の位置との対応関係を決定するオートキャリブレーションを実行可能なキャリブレーション実行部と、前記オートキャリブレーションで決定された位置の対応関係を用い、前記撮像部で撮像された指示体を含む撮像画像に基づいて、前記指示体により指示された指示位置を検出する検出部と、を備える。前記キャリブレーション実行部は、前記オートキャリブレーションの実行時において、前記撮像部により撮像されたオートキャリブレーション画像の周縁に存在する一部の領域を除外し、除外した領域以外の中央領域における最も高い明度を調べ、前記最も高い明度が予め定めた許容範囲内に収まるように、前記撮像部の露出を調整し、前記撮像部の露出の調整を、前記オートキャリブレーション画像から前記キャリブレーションマークの検出を行う前に実行する。
本発明の第２形態は、投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターのオートキャリブレーション実行方法であって、（ａ）投写画像メモリーに格納されたオートキャリブレーション画像データに従って、複数のキャリブレーションマークを含むオートキャリブレーション画像を前記投写面に投写する工程と、（ｂ）前記投写面を撮像部で撮像することによって、撮像されたオートキャリブレーション画像を生成する工程と、（ｃ）前記撮像されたオートキャリブレーション画像内の前記複数のキャリブレーションマークの位置に基づいて、前記撮像部で撮像される撮像画像上の位置と前記投写画像メモリー内の画像データ上の位置との対応関係を決定する工程と、を備える。前記工程（ｂ）は、前記撮像部により撮像されたオートキャリブレーション画像の周縁に存在する一部の領域を除外する工程と、除外した領域以外の中央領域における最も高い明度を調べる工程と、前記最も高い明度が予め定めた許容範囲内に収まるように、前記撮像部の露出を調整する工程と、を含み、前記撮像部の露出の調整は、前記オートキャリブレーション画像から前記キャリブレーションマークの検出を行う前に実行される。

（１）本発明の一形態によれば、投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像メモリーに格納された画像データに従って前記投写面に画像を投写する投写部と；前記投写面を撮像して撮像画像を生成する撮像部と；前記投写部から複数のキャリブレーションマークを含むオートキャリブレーション画像を投写させている状態で前記撮像部に前記投写面を撮像させ、撮像されたオートキャリブレーション画像内の前記複数のキャリブレーションマークの位置に基づいて、前記撮像部で撮像される撮像画像上の位置と前記投写画像メモリー内の画像データ上の位置との対応関係を決定するオートキャリブレーションを実行可能なキャリブレーション実行部と；前記オートキャリブレーションで決定された位置の対応関係を用い、前記撮像部で撮像された指示体を含む撮像画像に基づいて、前記指示体により指示された指示位置を検出する検出部と；を備える。前記キャリブレーション実行部は、前記オートキャリブレーションの実行時において、前記撮像部により撮像されたオートキャリブレーション画像の明度が予め定めた許容範囲内に収まるように、前記撮像部の露出を調整する。
このインタラクティブプロジェクターによれば、撮像部の露出を調整することによって、撮像されたオートキャリブレーション画像の明度を画像解析のための好ましい範囲に納めることができ、投写画像上の位置と撮影画像上の位置の対応付けを精度良く行うことが可能である。

（２）上記インタラクティブプロジェクターにおいて、前記キャリブレーション実行部は、前記撮像されたオートキャリブレーション画像内の最も高い明度が前記許容範囲内に収まるように前記撮像部の露出を調整するものとしてもよい。
この構成によれば、撮像されたオートキャリブレーション画像内の最高明度が許容範囲内に収まるので、キャリブレーションマークの位置を精度良く検出することができ、投写画像上の位置と撮影画像上の位置の対応付けを精度良く行うことが可能である。

（３）上記インタラクティブプロジェクターにおいて、前記キャリブレーション実行部は、前記撮像されたオートキャリブレーション画像内の明度を調べる際に、前記撮像されたオートキャリブレーション画像の周縁に存在する一部の領域を除外し、除外した領域以外の中央領域における明度を調べるものとしてもよい。
この構成によれば、環境光の影響が少ない中央領域の明度が許容範囲内に収まるように露出の調整を行うので、適切な露出調整を行うことが可能である。

本発明は、種々の形態で実現することが可能であり、例えば、インタラクティブプロジェクター、指示体とインタラクティブプロジェクターとを含むプロジェクションシステム、そのオートキャリブレーション実行方法、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の様々な形態で実現することができる。

位置検出システムの斜視図。 位置検出システムの正面図。 位置検出システムの側面図。 プロジェクターの内部構成を示すブロック図。 オートキャリブレーション画像の一例を示す説明図。 不適切な明度を有するキャリブレーションマークの例を示す説明図。 オートキャリブレーションの実行手順を示すフローチャート。

図１は、本発明の一実施形態としてのインタラクティブプロジェクションシステム９００の斜視図である。このシステム９００は、インタラクティブプロジェクター１００と、操作面を提供するスクリーン板９２０と、層状検出光照射部４４０（ライトカーテンユニット）と、自発光指示体７０とを有している。なお、層状検出光照射部４４０は、インタラクティブプロジェクター１００の一部であるが、図１では、図示の便宜上、別体として描いている。スクリーン板９２０の前面は、投写スクリーン面ＳＳ（projection Screen Surface）として利用される。プロジェクター１００は、支持部材９１０によってスクリーン板９２０の前方かつ上方に固定されている。なお、図１では投写スクリーン面ＳＳを鉛直に配置しているが、投写スクリーン面ＳＳを水平に配置してこのシステム９００を使用することも可能である。

プロジェクター１００は、投写スクリーン面ＳＳ上に投写画面ＰＳ（Projected Screen）を投写する。投写画面ＰＳは、通常は、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「投写スクリーン面ＳＳ」とは、画像が投写される部材の表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって投写スクリーン面ＳＳ上に投写された画像の領域を意味する。通常は、投写スクリーン面ＳＳの一部に投写画面ＰＳが投写される。投写スクリーン面ＳＳを「投写面ＳＳ」とも呼ぶ。

自発光指示体７０は、発光可能な先端部７１と、使用者が保持する軸部７２と、軸部７２に設けられたボタンスイッチ７３とを有するペン型の指示体である。自発光指示体７０の先端部７１は、例えば赤外光を発する。自発光指示体７０の構成や機能については後述する。このシステム９００では、１つ又は複数の自発光指示体７０とともに、１つ又は複数の非発光指示体８０（非発光のペンや指など）を利用可能である。

図２Ａは、インタラクティブプロジェクションシステム９００の正面図であり、図２Ｂはその側面図である。本明細書では、投写面ＳＳの左右に沿った方向をＸ方向と定義し、投写面ＳＳの上下に沿った方向をＹ方向と定義し、投写面ＳＳの法線に沿った方向をＺ方向と定義している。また、図２Ａにおける投写面ＳＳの左上の位置を座標（Ｘ，Ｙ）の原点（０，０）としている。なお、便宜上、Ｘ方向を「左右方向」とも呼び、Ｙ方向を「上下方向」とも呼び、Ｚ方向を「前後方向」とも呼ぶ。また、Ｙ方向（上下方向）のうち、プロジェクター１００から見て投写画面ＰＳが存在する方向を「下方向」と呼ぶ。なお、図２Ｂでは、図示の便宜上、スクリーン板９２０のうちの投写画面ＰＳの範囲にハッチングを付している。

プロジェクター１００は、投写画面ＰＳを投写面ＳＳ上に投写する投写レンズ２１０と、投写画面ＰＳの領域を撮像するカメラ３１０と、指示体（自発光指示体７０及び非発光指示体８０）に層状検出光ＬＬ（図２Ｂ）を照射するための層状検出光照射部４４０とを有している。層状検出光照射部４４０は、非発光指示体８０が投写画面ＰＳ（すなわち投写面ＳＳ）に接していることを検出するために、投写画面ＰＳの表面全体に亘って層状（又はカーテン状）の検出光ＬＬを射出する照射部である。層状検出光ＬＬとしては、例えば赤外光を利用できる。ここで、「層状」又は「カーテン状」とは、ほぼ一様な厚さの薄い空間形状を意味する。投写面ＳＳと層状検出光ＬＬとの間の距離は、例えば１〜１０ｍｍ（好ましくは１〜５ｍｍ）の範囲の値に設定される。

カメラ３１０は、層状検出光ＬＬ（赤外光）と自発光指示体７０が発する赤外光の波長を含む波長領域の光を受光して撮像する第１の撮像機能を少なくとも有している。カメラ３１０は、更に、可視光を含む光を受光して撮像する第２の撮像機能を有し、これらの２つの撮像機能を切り替え可能に構成されていることが好ましい。例えば、カメラ３１０は、可視光を遮断して近赤外光のみを通過させる近赤外フィルターをレンズの前に配置したりレンズの前から後退させたりすることが可能な近赤外フィルター切換機構（図示せず）をそれぞれ備えることが好ましい。図２Ｂに示すように、カメラ３１０は投写面ＳＳからＺ方向に距離Ｌだけ離れた位置に設置されている。

図２Ａの例は、インタラクティブプロジェクションシステム９００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、自発光指示体７０や非発光指示体８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。投写面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指示体を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム９００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図２Ａの例では、ユーザーがペンツールを選択した後、自発光指示体７０の先端部７１を投写面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、プロジェクター１００の内部の投写画像生成部（後述）によって行われる。

なお、インタラクティブプロジェクションシステム９００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム９００は、パーソナルコンピューター（図示せず）から通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールやアイコンを利用してデータの入力、作成、修正等を行うことが可能となる。

図３は、インタラクティブプロジェクター１００と自発光指示体７０の内部構成を示すブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、信号光送信部４３０と、層状検出光照射部４４０とを有している。

制御部７００は、プロジェクター１００内部の各部の制御を行う。また、制御部７００は、位置検出部６００で検出された指示体（自発光指示体７０や非発光指示体８０）の指示位置に応じて、投写画面ＰＳ上で行われた指示の内容を判定するとともに、その指示の内容に従って投写画像を作成又は変更することを投写画像生成部５００に指令する。

投写画像生成部５００は、投写画像を記憶する投写画像メモリー５１０を有しており、投写部２００によって投写面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳ（図２Ａ）の台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。

投写部２００は、投写画像生成部５００で生成された投写画像を投写面ＳＳ上に投写する機能を有する。投写部２００は、図２Ｂで説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、投写画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって投写面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。

信号光送信部４３０は、自発光指示体７０によって受信される装置信号光ＡＳＬを送信する機能を有する。装置信号光ＡＳＬは、同期用の近赤外光信号であり、プロジェクター１００の信号光送信部４３０から自発光指示体７０に対して定期的に発せられる。自発光指示体７０の先端発光部７７は、装置信号光ＡＳＬに同期して、予め定められた発光パターン（発光シーケンス）を有する近赤外光である指示体信号光ＰＳＬ（後述）を発する。また、撮像部３００のカメラ３１０は、指示体（自発光指示体７０及び非発光指示体８０）の位置検出を行う際に、装置信号光ＡＳＬに同期した所定のタイミングで撮像を実行する。

撮像部３００は、図２Ａ，図２Ｂで説明したカメラ３１０を有している。前述したように、このカメラ３１０は、層状検出光ＬＬと自発光指示体７０が発する赤外光の波長を含む波長領域の光を受光して撮像する機能を有する。図３の例では、層状検出光照射部４４０によって照射された層状検出光ＬＬが指示体（自発光指示体７０及び非発光指示体８０）で反射され、その反射検出光ＲＤＬがカメラ３１０によって受光されて撮像される様子が描かれている。カメラ３１０は、更に、自発光指示体７０の先端発光部７７から発せられる近赤外光である指示体信号光ＰＳＬも受光して撮像する。カメラ３１０の撮像は、層状検出光照射部４４０から発せられる層状検出光ＬＬがオン状態（発光状態）である第１の期間と、層状検出光ＬＬがオフ状態（非発光状態）である第２の期間と、の両方で実行される。位置検出部６００は、これらの２種類の期間における画像を比較することによって、画像内に含まれる個々の指示体が、自発光指示体７０と非発光指示体８０のいずれであるかを判定することが可能である。

位置検出部６００は、カメラ３１０で撮像された画像を解析して、指示体（自発光指示体７０や非発光指示体８０）の指示位置を決定する機能を有する。この際、位置検出部６００は、自発光指示体７０の発光パターンを利用して、画像内の個々の指示体が自発光指示体７０と非発光指示体８０のいずれであるかについても判定する。本実施形態において、位置検出部６００は、検出部６１０と、キャリブレーション実行部６２０と、を有している。検出部６１０は、カメラ３１０で撮像された撮像画像を解析して指示体の指示位置を検出する機能を有する。キャリブレーション実行部６２０は、後述するオートキャリブレーション（撮像画像上の位置と投写画像メモリー５１０内の画像データ上の位置との対応付け）を実行する機能を有する。オートキャリブレーションの結果は、検出部６１０が指示体の指示位置を検出する際に利用される。すなわち、図２Ａに示すように指示体７０を用いた指示が行われると、検出部６１０は、オートキャリブレーションで決定された位置の対応関係を用い、撮像部３００のカメラ３１０で撮像された指示体７０を含む撮像画像に基づいて、指示体７０により指示された指示位置を検出する。このオートキャリブレーションの結果、撮像画像上の位置と投写画像メモリー５１０内の画像データ上の位置との対応関係が決定される。この対応関係は、投写面ＳＳ上の位置とプロジェクター１００の座標との対応関係にも相当する。

自発光指示体７０には、ボタンスイッチ７３の他に、信号光受信部７４と、制御部７５と、先端スイッチ７６と、先端発光部７７とが設けられている。信号光受信部７４は、プロジェクター１００の信号光送信部４３０から発せられた装置信号光ＡＳＬを受信する機能を有する。先端スイッチ７６は、自発光指示体７０の先端部７１が押されるとオン状態になり、先端部７１が解放されるとオフ状態になるスイッチである。先端スイッチ７６は、通常はオフ状態にあり、自発光指示体７０の先端部７１が投写面ＳＳに接触するとその接触圧によってオン状態になる。先端スイッチ７６がオフ状態のときには、制御部７５は、先端スイッチ７６がオフ状態であることを示す特定の第１の発光パターンで先端発光部７７を発光させることによって、第１の発光パターンを有する指示体信号光ＰＳＬを発する。一方、先端スイッチ７６がオン状態になると、制御部７５は、先端スイッチ７６がオン状態であることを示す特定の第２の発光パターンで先端発光部７７を発光させることによって、第２の発光パターンを有する指示体信号光ＰＳＬを発する。これらの第１の発光パターンと第２の発光パターンは、互いに異なるので、位置検出部６００は、カメラ３１０で撮像された画像を分析することによって、先端スイッチ７６がオン状態かオフ状態かを識別することが可能である。

自発光指示体７０のボタンスイッチ７３は、先端スイッチ７６と同じ機能を有する。従って、制御部７５は、ユーザーによってボタンスイッチ７３が押された状態では上記第２の発光パターンで先端発光部７７を発光させ、ボタンスイッチ７３が押されていない状態では上記第１の発光パターンで先端発光部７７を発光させる。換言すれば、制御部７５は、先端スイッチ７６とボタンスイッチ７３の少なくとも一方がオンの状態では上記第２の発光パターンで先端発光部７７を発光させ、先端スイッチ７６とボタンスイッチ７３の両方がオフの状態では上記第１の発光パターンで先端発光部７７を発光させる。

但し、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てるようにしてもよい。例えば、ボタンスイッチ７３に対してマウスの右クリックボタンと同じ機能を割り当てた場合には、ユーザーがボタンスイッチ７３を押すと、右クリックの指示がプロジェクター１００の制御部７００に伝達され、その指示に応じた処理が実行される。このように、ボタンスイッチ７３に対して先端スイッチ７６と異なる機能を割り当てた場合には、先端発光部７７は、先端スイッチ７６のオン／オフ状態及びボタンスイッチ７３のオン／オフ状態に応じて、互いに異なる４つの発光パターンで発光する。この場合には、自発光指示体７０は、先端スイッチ７６とボタンスイッチ７３のオン／オフ状態の４つの組み合わせを区別しつつ、プロジェクター１００に伝達することが可能である。

図３に描かれている５種類の信号光の具体例をまとめると以下の通りである。
（１）投写画像光ＩＭＬ：投写面ＳＳに投写画面ＰＳを投写するために、投写レンズ２１０によって投写面ＳＳ上に投写される画像光（可視光）である。
（２）層状検出光ＬＬ： 非発光指示体８０の指示位置を検出するために、投写画面ＰＳの全面にわたって照射されるカーテン状の近赤外光である。
（３）反射検出光ＲＤＬ：層状検出光ＬＬとして照射された近赤外光のうち、指示体（自発光指示体７０及び非発光指示体８０）によって反射され、カメラ３１０によって受光される近赤外光である。
（４）装置信号光ＡＳＬ：プロジェクター１００と自発光指示体７０との同期をとるために、プロジェクター１００の信号光送信部４３０から定期的に発せられる近赤外光である。
（５）指示体信号光ＰＳＬ：装置信号光ＡＳＬに同期したタイミングで、自発光指示体７０の先端発光部７７から発せられる近赤外光である。指示体信号光ＰＳＬの発光パターンは、自発光指示体７０のスイッチ７３，７６のオン／オフ状態に応じて変更される。また、複数の自発光指示体７０を識別する固有の発光パターンを有する。

図４は、オートキャリブレーションに利用されるオートキャリブレーション画像ＡＣＰの一例を示す説明図である。この例では、５×５個のキャリブレーションマークＣＭを含むオートキャリブレーション画像ＡＣＰが、投写面ＳＳ上に投写されている。図４の下部に拡大して示すように、１つのキャリブレーションマークＣＭは、複数の明領域ＬＡ（明るい矩形部分）と複数の暗領域ＤＡ（暗い矩形部分）が規則的に配列された形状を有する。なお、この例では、暗領域ＤＡの明度は背景と同じであり、背景の一部となっている。キャリブレーションマークＣＭの中心位置ＣＣは、中央にある明領域ＬＡと暗領域ＤＡの交点位置として認識される。撮像部３００（カメラ３１０）は、投写面ＳＳ上に投写されたオートキャリブレーション画像ＡＣＰを多階調画像として撮像することが可能である。なお、投写画像メモリー５１０（図３）に格納されているオートキャリブレーション画像データでは、例えば、明領域ＬＡは全白の領域であり、暗領域ＤＡは全黒の領域である。但し、投写面ＳＳ上に投写された状態では、投写面ＳＳの光反射／吸収特性や環境光の影響のため、明領域ＬＡは全白領域でなく、暗領域ＤＡも全黒領域ではない。従って、撮像部３００で撮像される多階調のオートキャリブレーション画像ＡＣＰにおいて、明領域ＬＡは画素値がその可能最大値（例えば１０ビットでは１０２３）よりもやや小さな画素値を有する高明度の領域となり、暗領域ＤＡは画素値がゼロよりもやや大きな画素値を有する低明度の領域となる。

キャリブレーション実行部６２０（図３）は、このオートキャリブレーション画像ＡＣＰを投写部２００に投写させた状態で撮像部３００に撮像させ、撮像されたオートキャリブレーション画像ＡＣＰを解析して、個々のキャリブレーションマークＣＭの中心位置ＣＣを検出する。一方、このオートキャリブレーション画像ＡＣＰの画像データは、投写画像メモリー５１０内に格納されており、その画像データにおけるキャリブレーションマークＣＭの中心位置ＣＣは既知である。従って、キャリブレーション実行部６２０は、撮像されたオートキャリブレーション画像ＡＣＰの解析結果から、撮像部３００で撮像される撮像画像上の位置と、投写画像メモリー５１０内の画像データ上の位置との対応関係を決定することが可能である。

図５は、不適切な明度を有するオートキャリブレーション画像ＡＣＰにおけるキャリブレーションマークＣＭの例を示す説明図である。この例では、図４に比べて明領域ＬＡと暗領域ＤＡの明度がいずれも過度に高くなっている。このようなキャリブレーションマークＣＭでは、明領域ＬＡと暗領域ＤＡの境界が不明確なので、キャリブレーションマークＣＭの中心位置ＣＣを精度良く検出することが困難であり、オートキャリブレーションの精度が低下してしまう可能性がある。そこで、キャリブレーション実行部６２０は、以下に説明するように、撮像されたオートキャリブレーション画像ＡＣＰが適切な明度を有するように、撮像部３００（カメラ３１０）の露出の調整を実行する。

図６は、露出調整を含むオートキャリブレーションの実行手順を示すフローチャートである。この実行手順は、キャリブレーション実行部６２０の制御の下で行われる。ステップＳ１１０では、撮像部３００のカメラ３１０の露出を初期設定する。露出の初期設定値としては、例えば、カメラ３１０の最小露出値又はそれに近い値を利用可能である。この理由は、撮像されるオートキャリブレーション画像ＡＣＰが不適切な明度を有するのは、外部からの環境光（例えば太陽光）が強すぎて、露出過多となる場合が多いと想定されるからである。

ステップＳ１２０では、投写部２００がオートキャリブレーション画像ＡＣＰを投写面ＳＳに投写し、撮像部３００がその画像を撮像する。ステップＳ１３０では、撮像されたオートキャリブレーション画像ＡＣＰのうちの周辺領域を除外して、中央領域のみを明度の調査対象とする。この理由は、周辺領域は環境光の影響によるノイズが多く含まれている可能性があるため、周辺領域を含むオートキャリブレーション画像ＡＣＰの全体に関して明度を求めてしまうと、露出調整に適した明度が得られない可能性があるためである。

図６のステップＳ１３０に示した例では、撮像されたオートキャリブレーション画像ＡＣＰのうちで、左右の両端部の領域をそれぞれ除外しているが、この代わりに、上端部の領域と下端部の領域とをそれぞれ除外しても良い。或いは、左右の両端部の領域に加えて、上下の両端部の領域も除外しても良い。また、図６の例では、除外した左端部と右端部の領域のサイズは、撮像されたオートキャリブレーション画像ＡＣＰの幅のそれぞれ約１／３であり、残った中央領域の幅も撮像されたオートキャリブレーション画像ＡＣＰの幅の約１／３となっているが、除外する領域のサイズは適宜好ましい値に設定可能である。これらの説明から理解できるように、明度を調べる際には、撮像されたオートキャリブレーション画像ＡＣＰの周縁に存在する一部の領域を除外し、除外した領域以外の中央領域における明度を調べることが好ましい。但し、周縁の領域を除外せずに、撮像されたオートキャリブレーション画像ＡＣＰの全体を明度の調査対象としても良い。

ステップＳ１４０では、撮像されたオートキャリブレーション画像ＡＣＰの調査対象領域の画素の画素値を調べて、最高明度Ｌｍａｘを求める。この際、精度をより高めるために、オートキャリブレーション画像ＡＣＰの撮像を複数回実行し、撮像された複数のオートキャリブレーション画像ＡＣＰの最高明度Ｌｍａｘの平均値を求めるようにしてもよい。なお、本明細書において、「最高明度Ｌｍａｘ」とは、特定の表色系の明度を意味しているのではなく、調査対象領域の画素値の中で最も大きな画素値を意味している。

ステップＳ１５０では、得られた最高明度Ｌｍａｘが予め設定された許容範囲内にあるか否かが判定される。最高明度Ｌｍａｘが許容範囲内に無い場合にはステップＳ１６０に移行し、許容範囲内にある場合にはステップＳ１７０に移行する。最高明度Ｌｍａｘの許容範囲は、例えば、明度の可能最大値の８０％±５％の範囲に設定可能である。ここで、「明度の可能最大値」は、複数ビットの画素値が取り得る最大値を意味している。例えば画素値が１０ビットで表現される場合には、「明度の可能最大値」は十進数で１０２３である。なお、最高明度Ｌｍａｘの許容範囲は、明度の可能最大値（例えば１０２３）を含まないことが好ましい。この理由は、環境光の影響で明領域ＬＡの最高明度Ｌｍａｘが可能最大値（＝１０２３）に達している場合に、それが許容範囲内にあるものと判定しないようにするためである。なお、キャリブレーションマークＣＭの中心位置ＣＣを精度良く求めるために、最高明度Ｌｍａｘの許容範囲は、明度の中央値（１０ビットの画素値では十進数で５１２）よりも可能最大値により近い範囲に設定されることが好ましい。

最高明度Ｌｍａｘが許容範囲内に無い場合には、ステップＳ１６０において、カメラ３１０の露出が調整される。例えば、最高明度Ｌｍａｘが許容範囲よりも低い場合にはカメラ３１０の露出値をＮ１だけ増大させ、逆に、最高明度Ｌｍａｘが許容範囲よりも高い場合にはカメラ３１０の露出値をＮ２だけ減少させる。露出の増大幅Ｎ１は、露出の減少幅Ｎ２より大きく設定しておくことが好ましい。例えば、露出値を８ビットで表現する場合には、Ｎ１＝８、Ｎ２＝１に設定することが可能である。ここで、露出の増大幅Ｎ１を減少幅Ｎ２よりも大きくした理由は、ステップＳ１１０における露出の初期設定値をカメラ３１０の最小露出値に近い値としたからである。露出の増大幅Ｎ１を減少幅Ｎ２よりも大きくしておけば、最高明度Ｌｍａｘを短時間で許容範囲に近づけることが可能である。また、最高明度Ｌｍａｘが許容範囲よりも高くなった後は、より小さな減少幅Ｎ２で露出を調整することによって、最高明度Ｌｍａｘを適切な許容範囲に納めることが可能となる。但し、露出の調整方法は、上述したものに限らず、他の各種の調整方法を採用可能である。

上述したステップＳ１１０〜Ｓ１６０の処理によってカメラ３１０の露出が適正な値に調整されると、ステップＳ１７０において、その適正露出で撮像されたオートキャリブレーション画像ＡＣＰを用いて、オートキャリブレーションが実行される。すなわち、キャリブレーション実行部６２０は、撮像されたオートキャリブレーション画像ＡＣＰを解析して、個々のキャリブレーションマークＣＭの中心位置ＣＣを検出し、撮像部３００で撮像される撮像画像上の位置と、投写画像メモリー５１０内の画像データ上の位置との対応関係を決定する。

以上のように、本実施形態では、撮像部３００により撮像されたオートキャリブレーション画像ＡＣＰの明度が予め定めた許容範囲内に収まるように撮像部３００の露出を調整するので、撮像されたオートキャリブレーション画像ＡＣＰの明度を画像解析のための好ましい範囲に納めることができる。この結果、プロジェクター１００の設置環境の影響によって撮像画像の明度が不適切となってしまう可能がある場合にも、投写画像メモリー５１０内の投写画像上の位置と、撮像部３００で撮像された撮影画像上の位置の対応付けを精度良く行うことが可能である。

・変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

・変形例１：
上記実施形態では、撮像されたオートキャリブレーション画像ＡＣＰの最高明度Ｌｍａｘがその許容範囲内に収まるように撮像部３００の露出を調整していたが、最高明度Ｌｍａｘ以外の他の明度値を利用して露出の調整を行っても良い。例えば、撮像されたオートキャリブレーション画像ＡＣＰの調査対象領域における平均明度がその許容範囲内に収まるように撮像部３００の露出を調整しても良く、或いは、調査対象領域内にある明領域ＬＡの平均明度がその許容範囲内に収まるように撮像部３００の露出を調整しても良い。後者の場合には、個々の画素が明領域ＬＡに属しているか否かは、例えば、その画素値が中央値（１０ビットの画素値では十進数で５１２）以上か否かによって判定することができる。

・変形例２：
上記実施形態では、明領域ＬＡ（白領域）と暗領域ＤＡ（黒領域）の２種類の矩形形状が組み合わされたキャリブレーションマークＣＭを有するオートキャリブレーション画像ＡＣＰを利用していたが、オートキャリブレーション画像としてはこれ以外の種々の形状を有するキャリブレーションマークを含む画像を利用可能である。また、キャリブレーションマークの個数も任意に設定可能である。

・変形例３：
上記実施形態では、層状検出光ＬＬを利用したインタラクティブプロジェクターを説明したが、本発明は、層状検出光ＬＬを利用しないタイプのインタラクティブプロジェクターにも適用可能である。例えば、複数のカメラで撮像した複数の撮像画像を用い、ステレオカメラ方式（三角測量）で指示体の指示位置を検出するインタラクティブプロジェクターにも本発明を適用可能である。この場合には、各カメラに関して図６で説明した露出調整を行うことが好ましい。

以上、いくつかの実施例に基づいて本発明の実施の形態について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることはもちろんである。

７０…自発光指示体，７１…先端部，７２…軸部，７３…ボタンスイッチ，７４…信号光受信部，７５…制御部，７６…先端スイッチ，７７…先端発光部，８０…非発光指示体，１００…インタラクティブプロジェクター，２００…投写部，２１０…投写レンズ，２２０…光変調部，２３０…光源，３００…撮像部，３１０…カメラ，４３０…信号光送信部，４４０…層状検出光照射部，５００…投写画像生成部，５１０…投写画像メモリー，６００…位置検出部，６１０…検出部，６２０…キャリブレーション実行部，７００…制御部，９００…インタラクティブプロジェクションシステム，９１０…支持部材，９２０…スクリーン板，ＡＣＰ…オートキャリブレーション画像，ＡＳＬ…装置信号光，ＣＣ…中心位置，ＣＭ…キャリブレーションマーク，ＤＡ…暗領域，ＥＲＢ…消しゴムボタン，ＦＲＢ…前方／後方ボタン，ＩＭＬ…投写画像光，Ｌ…距離，ＬＡ…明領域，ＬＬ…層状検出光，ＰＥＢ…ペンボタン，ＰＳ…投写画面，ＰＳＬ…指示体信号光，ＰＴＢ…ポインターボタン，ＲＤＬ…反射検出光，ＳＳ…投写面，ＴＢ…ツールボックス，ＵＤＢ…取消ボタン

Claims (2)

1. 投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターであって、
   投写画像メモリーに格納された画像データに従って前記投写面に画像を投写する投写部と、
   前記投写面を撮像して撮像画像を生成する撮像部と、
   前記投写部から複数のキャリブレーションマークを含むオートキャリブレーション画像を投写させている状態で前記撮像部に前記投写面を撮像させ、撮像されたオートキャリブレーション画像内の前記複数のキャリブレーションマークの位置に基づいて、前記撮像部で撮像される撮像画像上の位置と前記投写画像メモリー内の画像データ上の位置との対応関係を決定するオートキャリブレーションを実行可能なキャリブレーション実行部と、
   前記オートキャリブレーションで決定された位置の対応関係を用い、前記撮像部で撮像された指示体を含む撮像画像に基づいて、前記指示体により指示された指示位置を検出する検出部と、
   を備え、
   前記キャリブレーション実行部は、前記オートキャリブレーションの実行時において、前記撮像部により撮像されたオートキャリブレーション画像の周縁に存在する一部の領域を除外し、除外した領域以外の中央領域における最も高い明度を調べ、前記最も高い明度が予め定めた許容範囲内に収まるように、前記撮像部の露出を調整し、前記撮像部の露出の調整を、前記オートキャリブレーション画像から前記キャリブレーションマークの検出を行う前に実行する、インタラクティブプロジェクター。
2. 投写面に対するユーザーの指示体による指示を受け取ることが可能なインタラクティブプロジェクターのオートキャリブレーション実行方法であって、
   （ａ）投写画像メモリーに格納されたオートキャリブレーション画像データに従って、複数のキャリブレーションマークを含むオートキャリブレーション画像を前記投写面に投写する工程と、
   （ｂ）前記投写面を撮像部で撮像することによって、撮像されたオートキャリブレーション画像を生成する工程と、
   （ｃ）前記撮像されたオートキャリブレーション画像内の前記複数のキャリブレーションマークの位置に基づいて、前記撮像部で撮像される撮像画像上の位置と前記投写画像メモリー内の画像データ上の位置との対応関係を決定する工程と、
   を備え、
   前記工程（ｂ）は、
   前記撮像部により撮像されたオートキャリブレーション画像の周縁に存在する一部の領域を除外する工程と、
   除外した領域以外の中央領域における最も高い明度を調べる工程と、
   前記最も高い明度が予め定めた許容範囲内に収まるように、前記撮像部の露出を調整する工程と、
   を含み、
   前記撮像部の露出の調整は、前記オートキャリブレーション画像から前記キャリブレーションマークの検出を行う前に実行される、インタラクティブプロジェクターのオートキャリブレーション実行方法。

Images