JP5251475B2 - 指示システム、指示装置及び指示プログラム - Google Patents

Description

本発明は、指示システム、指示装置及び指示プログラムに関する。

会議システム等においては、端末側から対象物等の実物体側へ向けて作業手順の指示等の各種指示を行う場合がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末においてその撮像画像に基づいて指示された注釈画像を、実物体側でビデオカメラと同じ光軸で設置されたプロジェクタにより対象物へ投影する指示システムが知られている（例えば特許文献１参照）。

また、ビデオカメラとプロジェクタの光軸が違う場合にハーフミラーを用いて光軸を整合させ、端末に表示される撮像画像上の注釈画像の表示位置と実物体側に投影される注釈画像の投影位置のずれを抑える技術も知られている（例えば特許文献２参照）。さらに、注釈画像による指示対象物が立体物である場合に、その立体物の３次元形状を計測することで、正確な作業指示を実現する技術も知られている（例えば、特許文献３参照）。

特開２００５−３３７５６号公報 特開２００７−２０８７４１号公報 特開２００３−２７０７１９号公報

本発明は、ビデオカメラとプロジェクタの光軸の合焦位置が注釈画像の投影位置とずれている場合に、光軸を整合させる手段を利用せずに、端末に表示される注釈画像の表示位置と注釈画像の投影位置とのずれを抑え得る指示システム、指示装置及び指示プログラムを提供することを目的とする。

請求項１に記載の発明は、対象物が載置される載置面に焦点が合わされた、対象物を含む対象領域内を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す第１注釈画像を対象領域内に含まれる対象物上に投影する、載置面に焦点が合わされた投影手段と、撮像画像から第１注釈画像を抽出する抽出部、抽出部によって抽出された第１注釈画像を構成する光点を選択する選択部、選択部によって選択された光点を通過する補正値算出用補助線を決定する決定部、決定部によって決定された補正値算出用補助線と指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索部、探索部によって探索された交点と選択部によって選択された光点との距離を補正値として算出する算出部、算出部によって算出された補正値に基づいて、第１注釈画像の投影位置を補正する補正部、及び第１注釈画像を補正部によって補正された投影位置に向けて投影手段に投影させる投影制御部、を具備する制御手段と、を有することを特徴とする指示システムである。

請求項２に記載の発明は、請求項１に記載の発明において、探索部は、探索の結果、補正値算出用補助線上に複数の光点が存在すると判定した場合、該複数の光点をそれぞれ識別可能な光点に変更してから探索することを特徴としている。

請求項３に記載の発明は、請求項２に記載の発明において、探索部は、複数の光点の色、形状、又は大きさのいずれかを変更することにより識別可能な光点とすることを特徴としている。

請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、決定部は、抽出部によって抽出された第１注釈画像を構成する光点のすべてについて補正値算出用補助線を決定することを特徴としている。

請求項５に記載の発明は、請求項１から３のいずれか１項に記載の発明において、決定部は、抽出部によって抽出された第１注釈画像を構成する光点の一部について補正値算出用補助線を決定し、補正部は、一部の光点以外の光点について補間処理により投影位置を補正することを特徴としている。

請求項６に記載の発明は、対象物が載置される載置面に焦点を合わせて、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像から、該撮像画像に基づく指示に応じた注釈を表す第１注釈画像を抽出する抽出手段と、抽出手段によって抽出された第１注釈画像を構成する光点を選択する選択手段と、選択手段によって選択された光点を通過する補正値算出用補助線を決定する決定手段と、決定手段によって決定された補正値算出用補助線と指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索手段と、探索手段によって探索された交点と選択手段によって選択された光点との距離を補正値として算出する算出手段と、算出手段によって算出された補正値に基づいて、第１注釈画像の投影位置を補正する補正手段と、第１注釈画像を、投影領域内であって、補正手段によって補正された投影位置に向けて載置面に焦点が合わされた投影手段に投影させる投影制御手段と、を有することを特徴とする指示装置である。

請求項７に記載の発明は、コンピュータを、対象物が載置される載置面に焦点を合わせて、対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像から、該撮像画像に基づく指示に応じた注釈を表す第１注釈画像を抽出する抽出手段、抽出手段によって抽出された第１注釈画像を構成する光点を選択する選択手段、選択手段によって選択された光点を通過する補正値算出用補助線を決定する決定手段、決定手段によって決定された補正値算出用補助線と指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索手段、探索手段によって探索された交点と選択手段によって選択された光点との距離を補正値として算出する算出手段、算出手段によって算出された補正値に基づいて、第１注釈画像の投影位置を補正する補正手段、第１注釈画像を、投影領域内であって、補正手段によって補正された投影位置に向けて載置面に焦点が合わされた投影手段に投影させる投影制御手段、として機能させることを特徴とする指示プログラムである。

請求項１に記載の発明によれば、ビデオカメラとプロジェクタの光軸の合焦位置が第１注釈画像の投影位置とずれていても、光軸を整合させる手段を利用せずに、端末に表示される第２注釈画像の表示位置と第１注釈画像の投影位置とのずれを抑えることができる。

請求項２に記載の発明によれば、補正により移動させる光点の移動先が一意に決定される。

請求項３に記載の発明によれば、複数の光点の色、形状、又は大きさのいずれかを変更するようにしてもよい。

請求項４に記載の発明によれば、本構成を有しない場合に比較して、補正処理後の第１注釈画像が正確に再現される。

請求項５に記載の発明によれば、本構成を有しない場合に比較して、補正処理の高速化が図れる。

請求項６に記載の発明によれば、ビデオカメラとプロジェクタの光軸の合焦位置が第１注釈画像の投影位置とずれていても、光軸を整合させる手段を利用せずに、端末に表示される第２注釈画像の表示位置と第１注釈画像の投影位置とのずれを抑えることができる。

請求項７に記載の発明によれば、ビデオカメラとプロジェクタの光軸の合焦位置が第１注釈画像の投影位置とずれていても、光軸を整合させる手段を利用せずに、端末に表示される第２注釈画像の表示位置と第１注釈画像の投影位置とのずれを抑えることができる。

以下、本発明の実施形態について図面を参照して説明する。

図１は、指示システムの構成図の一例である。

指示システムは、対象物側装置１０と端末１００等とを含んで構成される。対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末をネットワーク３００を通じて対象物側装置１０へ接続可能である。

対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または指示装置としてのサーバ５０を含んで構成される。

ビデオカメラ２０は、例えばＣＣＤカメラ等で構成される。ビデオカメラ２０は、テーブル７０上に置かれた対象物２００を含む対象領域内を撮像する。その撮像画像の情報はサーバ５０に取り込まれる。尚、対象領域は、ビデオカメラ２０の撮像領域となることが好ましい。

プロジェクタ４０は、液晶プロジェクタ等で構成される。端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを対象領域内に投影する。図１では、アノテーション画像ＡＮは、対象物２００に投影されている。アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。プロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じ対象物２００へ投影する。

尚、ビデオカメラ２０とプロジェクタ４０は、これらの光軸から決定される平面がテーブル７０に垂直になるように設置されることが好ましい。また、プロジェクタ４０の光軸とビデオカメラ２０の光軸とによって決定される平面がテーブル７０に垂直になるように、キャリブレーション処理を実施するようにしてもよい。さらに、ビデオカメラ２０とプロジェクタ４０は、これらの光軸の交点がテーブル７０上に載るように設置されることが望ましい。この結果、アノテーション画像ＡＮをテーブル７０に投影する場合に、端末１００での描画指示に基づくアノテーション画像ＡＮの表示位置とテーブル７０にプロジェクタ４０から投影されるアノテーション画像ＡＮの投影位置とのずれが抑えられる。

サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。

このように、対象物側装置１０は、ビデオカメラ２０とプロジェクタ４０のとの光軸を整合させる手段（例えばハーフミラーやビームスプリッタ等の光学素子）を利用していない。したがって、対象物側装置１０は、光軸を整合させる手段を含む場合に比べて、簡易な構成となり、製造コストが低減する。

端末１００は、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等を含んで構成される。

表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する描画指示を形成するのに用いられる。コンピュータ１２０は、表示装置１１０及びポインティングデバイス１３０の動作を制御する。

ここで、上述したサーバ５０について図２及び図３を参照してさらに詳しく説明する。

図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。

サーバ５０は、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２、端末１００からの描画指示や接続／切断要求等、各種指示を受信する指示受信部５３、プロジェクタ４０を制御し、アノテーション画像ＡＮを投影させる投影制御部５４を備える。

また、サーバ５０は、画像送信部５２から撮像画像を取得し、撮像画像からアノテーション画像ＡＮを抽出するアノテーション画像抽出部５５、アノテーション画像ＡＮを光の点（以下、光点という。）の集合体に分解し、これらの光点を選択する光点選択部５６、光点選択部５６によって選択された光点を通過する補助線（基準線）を決定する補助線決定部５７を備える。尚、この補助線は、後述する補正値を算出する際に用いられる。

さらに、サーバ５０は、補助線決定部５７によって決定された補助線と描画指示に基づくアノテーション画像ＡＮとの交点を探索する交点探索部５８、交点探索部５８によって探索された交点と光点選択部５６によって選択された光点との距離を補正値として算出する補正値算出部５９、補正値算出部５９によって算出された補正値に基づいて、アノテーション画像ＡＮの投影位置を補正する投影補正部６０とを備える。

したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象領域内へ投影させる。そして、端末１００の撮像画像上に表示される、描画指示に基づくアノテーション画像ＡＮの表示位置と、プロジェクタ４０から対象物２００に投影されるアノテーション画像ＡＮの投影位置とにずれがある場合、対象物２００に投影されるアノテーション画像ＡＮの投影位置を補正して投影させる。

尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。

したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。

次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
まず、対象物側装置１０の動作について図４を参照して説明する。

図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。

画像送信部５２は、図４に示すように、まず、撮像制御部５１の制御に基づき、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、指示受信部５３は、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、指示受信部５３は、コンピュータ１２０からの接続要求があったと判断した場合には（ステップＳ１２：ＹＥＳ）、画像送信部５２は、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。

指示受信部５３は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。指示受信部５３は、上記の描画指示を受信した場合に（ステップＳ１４：ＹＥＳ）、投影制御部５４は、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。

一方、指示受信部５４は、上記の描画指示を受信しない場合には（ステップＳ１４：ＮＯ）、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無いと判断した場合には（ステップＳ１６：ＮＯ）、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する。

指示受信部５４は、切断要求があったと判断した場合には、画像送信部５２は、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、指示受信部５３は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には（ステップＳ１８：ＮＯ）、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には（ステップＳ１８：ＹＥＳ）、処理を終了する。

次に、端末１００の動作について図５及び図６を参照して説明する。

図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。

まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、サーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００が、これらの上方に設置されたビデオカメラ２０によって撮像された画像を表している。

次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には（ステップＳ２３：ＹＥＳ）、その描画指示に応じた処理を行う（ステップＳ２４）。

具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上のポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮ１を指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。アノテーション画像ＡＮ１は、描画指示に基づいてコンピュータ１２０によって生成され、表示装置１１０に表示されるアノテーション画像である。

尚、アノテーション画像ＡＮ１の描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像の描画を行わせる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。この際、コンピュータ１２０は、表示装置１１０に描画指示に応じたアノテーション画像ＡＮ１を表示する。

この結果、サーバ５０は、描画指示に応じたアノテーション画像を生成し、プロジェクタ４０に投影させる。そして、ビデオカメラ２０は、アノテーション画像ＡＮ２が投影された対象物２００を含む対象領域内を撮像する。そして、サーバ５０はビデオカメラ２０による撮像画像を端末１００に送信する。これにより、図６に示すように、表示装置１１０は、アノテーション画像ＡＮ２が投影された対象物２００を含む対象領域内の撮像画像１１１を表示する。図６によれば、アノテーション画像ＡＮ１の表示とアノテーション画像ＡＮ２の投影位置にずれがある。

次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像１１１に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、完了したと判断した場合には（ステップＳ２６：ＹＥＳ）、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が完了していない場合には（ステップＳ２６：ＮＯ）、ステップＳ２２に戻って上記の処理を繰り返す。

続いて、アノテーション画像ＡＮの投影位置の補正処理について、アノテーション画像ＡＮの抽出処理とアノテーション画像ＡＮの投影位置の補正処理とに分けて説明する。

まず、アノテーション画像ＡＮの抽出処理について図７及び図８を参照して説明する。

図７は、アノテーション画像ＡＮの抽出処理の一例を示すフローチャート、図８は、アノテーション画像ＡＮの抽出処理を説明するための概念図である。尚、図７に示すフローチャートは、図４に示すフローチャートのステップＳ１５の処理に含むことが望ましく、より詳細には、描画指示処理を行った後に含むことが好ましい。後述するフローチャートについても同様である。

アノテーション画像抽出部５５は、まず、対象物２００及びテーブル７０を含む対象領域内を撮像する（ステップＳ３１）。この結果、図８（ａ）に示すように、アノテーション画像抽出部５５は、アノテーション画像ＡＮがまだ投影されていない、対象物２００、テーブル７０を含む対象領域内の撮像画像１１１ａを得る。

アノテーション画像抽出部５５は、次いで、端末１００から描画指示を受信すると、描画指示に応じたアノテーション画像を生成し（ステップＳ３２）、生成されたアノテーション画像ＡＮをプロジェクタ４０に投影させる（ステップＳ３３）。この結果、アノテーション画像抽出部５５は、図８（ｂ）に示すように、アノテーション画像ＡＮが投影された対象物２００、テーブル７０を含む撮像画像１１１ｂを得る。

アノテーション画像抽出部５５は、次いで、撮像画像の差分処理によりアノテーション画像ＡＮを抽出する（ステップＳ３５）。具体的には、アノテーション画像抽出部５５は、上述した図８（ａ）に示す撮像画像１１１ａ及び同図（ｂ）に示す撮像画像１１１ｂとの差分処理により、図８（ｃ）に示すアノテーション画像ＡＮを抽出する。抽出処理が終了すると、アノテーション画像抽出部５５は、アノテーション画像の投影位置を補正する処理を開始する（ステップＳ３６）。

次に、アノテーション画像ＡＮの投影位置の補正処理について、図９から図１１を参照して説明する。

図９は、アノテーション画像ＡＮの投影位置を補正する処理の一例を示すフローチャート、図１０は、アノテーション画像ＡＮの投影位置を補正する処理について説明するための概念図、図１１は、アノテーション画像ＡＮの投影位置を補正する処理について説明するための他の概念図である。

光点選択部５６は、まず、上述した抽出処理によって抽出されたアノテーション画像ＡＮを光点の集合体に分解し（ステップＳ４１）、光点の集合体から一の光点を選択する（ステップＳ４２）。この結果、図１０（ａ）に示すように、アノテーション画像ＡＮは、複数の光点に分解され、例えば、光点Ｌが選択される。分解後の光点の集合体は、元のアノテーション画像ＡＮの形状と適合することが望ましい。尚、アノテーション画像ＡＮの光点への分解はさらに細かく分解してもよい。また、分解後の光点の形状についても、円だけでなく、多角形にしてもよい。これらの大きさを変えたり、これらを組み合わせたりしてもよい。さらに、分解後の光点の色についても、一色だけでなく、多色で構成されていてもよい。さらに、他の光点と識別するために、個々の光点が識別情報を有することが望ましい。

補助線決定部５７は、光点選択部５６が光点の選択処理を終了すると、選択された光点を通過する基準線（補助線）２１０を決定する（ステップＳ４３）。基準線２１０は、アノテーション画像ＡＮの正確な復元を実現するために、すべての光点Ｌについて決定されることが望ましい。具体的には、図１０（ｂ）に示すように、光点Ｌを通過する基準線２１０を決定する。この基準線２１０は、ビデオカメラ２０の光軸ａとプロジェクタの光軸ｂとによって決定される平面が、対象物２００を突き抜けることよって構成される線である。この基準線２１０は、プロジェクタ４０によって投影される訳ではなく、説明の都合上、仮想的に示すものである。尚、図１０（ｂ）において、光軸ａ，ｂの交点Ｏは、テーブル７０上に生じる。すなわち、交点Ｏが光軸ａ，ｂの合焦位置となる。光軸ａ，ｂについても説明の都合上、仮想的に示している。

また、図１０（ｂ）では、説明の都合上、補正処理後のアノテーション画像ＡＮも仮想的に示している。このアノテーション画像ＡＮの投影位置は、端末１００に表示されるアノテーション画像ＡＮの表示位置と整合する。したがって、図１０（ｂ）に示す光点の集合体を補正処理によりアノテーション画像ＡＮの位置に移動すれば、端末１００に表示されるアノテーション画像ＡＮの表示位置と整合する。これは、アノテーション画像ＡＮの投影位置が、端末１００におけるアノテーション画像ＡＮの表示位置とずれていても、そのずれは、基準線２１０上にしかずれないことに基づく。

交点探索部５８は、補助線決定部５７によって基準線２１０が決定されると、決定された基準線２１０とアノテーション画像ＡＮとの交点２２０を探索する（ステップＳ４４）。この際、描画指示に基づくアノテーション画像ＡＮも光点に分解しておくことが望ましい。図１０（ｂ）によれば、光点Ｌを基準線２１０上を移動させ、アノテーション画像ＡＮと接する点を交点２２０とする。

補正値算出部５９は、交点探索部５８によって交点２２０が探索されると、その交点２２０と、選択された光点Ｌとの距離を補正値ｈとして算出する（ステップＳ４５）。図１１（ａ）を参照して説明すると、光点Ｌと交点２２０との距離が補正値ｈとされる。尚、この補正値ｈは、光点Ｌ及び交点２２０のそれぞれの３次元位置座標が定まれば算出される。

補正値算出部５９は、補正値ｈが算出されると、補正値が算出されていない光点Ｌが存在するか否かを判定する（ステップＳ４６）。上述したように、アノテーション画像ＡＮは、光点Ｌの集合体で構成されるため、補正値ｈが算出された光点以外の光点についても補正値ｈを算出する。このため、補正値ｈが算出されていない光点Ｌが存在する場合には（ステップＳ４６：ＹＥＳ）、上述したステップＳ４２からＳ４６の処理を繰り返し、すべての補正値ｈを算出する。

補正値算出部５９は、ステップＳ４６の処理において、補正値が算出されていない光点がないと判定した場合には（ステップＳ４６：ＮＯ）、補正値ｈを投影位置補正部６０に送信する（ステップＳ４７）。

投影位置補正部６０は、補正値算出部５９から補正値ｈを受信すると、光点Ｌを補正値ｈの分だけ基準線２２０上で移動させる（ステップＳ４８）。具体的には、図１１（ｂ）に示すように、光点Ｌを補正値ｈの分だけ基準線２２０を移動させる。そして、一の光点の移動が終了すると、同図（ｃ）に示すように、順次、他の光点Ｌのすべてを補正値ｈの分だけ基準線２２０上を移動させる。

この結果、投影位置補正部６０は、同図（ｄ）に示すように、補正処理後のアノテーション画像ＡＮを得る。したがって、投影制御部５４は、この補正処理後のアノテーション画像ＡＮを取得して、プロジェクタ４０に投影させる。尚、移動後の光点の集合体からアノテーション画像ＡＮを生成する場合、分解処理と逆の処理を行えばよい。この処理は、光点Ｌごとに行ってもよいし、光点Ｌが集合体となったことを確認した後にまとめて行ってもよい。

図１２は、表示装置１１０におけるアノテーション画像ＡＮの表示例である。

表示装置１１０は、描画指示に基づくアノテーション画像ＡＮを自己に表示すると共に、撮像画像１１１を表示する。撮像画像１１１には、プロジェクタ４０から投影されたアノテーション画像ＡＮが含まれるが、表示装置１１０に表示されるアノテーション画像の表示位置と整合するため、図１２では示していない。このように、表示装置１１０でのアノテーション画像ＡＮの表示位置と、プロジェクタ４０から投影されるアノテーション画像ＡＮの投影位置が補正され、補正処理がない場合に比べて、指示位置の誤りが低減する。

図１３は、アノテーション画像ＡＮの投影位置の補正処理について説明するための他の概念図である。

図１３に示すように、アノテーション画像ＡＮの形状が楕円である。したがって、図１１を参照して説明した場合と比較した場合、交点探索部５８が光点Ｌに基づいて基準線２２０上を探索すると、同図（ａ）に示すように、２つの交点２２１，２２２を探索結果として得る。この結果、例えば、２つの光軸の合焦位置が対象物２００の上方にある場合、対象物２００の形状によっては、光点の位置関係が反転することも起こり得る。

このような場合、同図（ｂ）に示すように、交点探索部５８は、光点Ｌの色を変えてから探索処理を行う。これにより、光点Ｌが交点２１１，２２２のいずれの交点と対応するか一意となる。この結果、同図（ｃ）に示すように、光点Ｌの移動先が一意に決定され、同図（ｄ）に示すように、アノテーション画像ＡＮの補正処理が完了する。尚、交点探索部５８は、補正処理を行っている間、探索元となる光点Ｌを点滅させ、他の光点Ｌを消灯させるようにしてもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

例えば、上述したアノテーション画像ＡＮの投影位置を補正する処理は、２つの光軸の合焦位置とアノテーション画像ＡＮの投影位置の違いからアノテーション画像ＡＮの位置ずれが生じた場合に稼動すればよい。例えば合焦位置と投影位置が共にテーブル７０上にある場合、アノテーション画像ＡＮの位置ずれは発生せず、補正処理を行わないようにしてもよい。補正処理は、操作者の操作負担を回避すべく、描画指示が完了したことを検出した時点で稼動すればよい。

また、光点を図１０等に示す分解より細かく分解し、基準線２１０を細かく決定すればアノテーション画像ＡＮの復元精度が上がる。逆に、光点を図に示す分解より荒く分解し、基準線２２０を荒く決定すれば処理速度が向上する。荒く分解した場合には、精度の不足を補間処理により補うようにしてもよい。補間処理としては例えば線形補間、ラグランジュ補間やスプライン補間等がある。

指示システムの構成図の一例である。 サーバの要部構成を例示するブロック図である。 サーバのハードウェア構成を例示するブロック図である。 対象物側装置のサーバにおける処理の一例を示すフローチャートである。 端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。 端末側の操作の一例を説明するための図である。 アノテーション画像の抽出処理の一例を示すフローチャートである。 アノテーション画像の抽出処理を説明するための概念図である。 アノテーション画像の投影位置を補正する処理の一例を示すフローチャートある。 アノテーション画像の投影位置を補正する処理について説明するための概念図である。 アノテーション画像の投影位置を補正する処理について説明するための他の概念図である。 表示装置におけるアノテーション画像の表示例である。 アノテーション画像の投影位置の補正処理について説明するための他の概念図である。

符号の説明

１０ 対象物側装置
２０ ビデオカメラ
４０ プロジェクタ
５０ サーバ
５１ 撮像制御部
５２ 画像送信部
５３ 指示受信部
５４ 投影制御部
５５ アノテーション画像抽出部
５６ 光点選択部
５７ 補助線決定部
５８ 交点探索部
５９ 補正値算出部
６０ 投影位置補正部
７０ テーブル
１００ 端末
１１０ 表示装置
１１１ 撮像画像
１２０ コンピュータ
１３０ ポインティングデバイス
２００ 対象物
２１０ 基準線（補助線）
２２０ 交点
３００ ネットワーク
ＡＮ，ＡＮ１，ＡＮ２ アノテーション画像
Ｐｔ ポインタ
ＢＴ ボタン
Ｌ 光点

Claims (7)

1. 対象物が載置される載置面に焦点が合わされた、前記対象物を含む対象領域内を撮像する撮像手段と、
   前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す第１注釈画像を前記対象領域内に含まれる対象物上に投影する、前記載置面に焦点が合わされた投影手段と、
   前記撮像画像から前記第１注釈画像を抽出する抽出部、前記抽出部によって抽出された第１注釈画像を構成する光点を選択する選択部、前記選択部によって選択された光点を通過する補正値算出用補助線を決定する決定部、前記決定部によって決定された補正値算出用補助線と前記指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索部、前記探索部によって探索された交点と前記選択部によって選択された光点との距離を補正値として算出する算出部、前記算出部によって算出された補正値に基づいて、前記第１注釈画像の投影位置を補正する補正部、及び前記第１注釈画像を前記補正部によって補正された投影位置に向けて前記投影手段に投影させる投影制御部、を具備する制御手段と、
   を有することを特徴とする指示システム。
2. 前記探索部は、探索の結果、前記補正値算出用補助線上に複数の光点が存在すると判定した場合、該複数の光点をそれぞれ識別可能な光点に変更してから探索することを特徴とする請求項１に記載の指示システム。
3. 前記探索部は、前記複数の光点の色、形状、又は大きさのいずれかを変更することにより識別可能な光点とすることを特徴とする請求項２に記載の指示システム。
4. 前記決定部は、前記抽出部によって抽出された第１注釈画像を構成する光点のすべてについて補正値算出用補助線を決定することを特徴とする請求項１から３のいずれか１項に記載の指示システム。
5. 前記決定部は、前記抽出部によって抽出された第１注釈画像を構成する光点の一部について補正値算出用補助線を決定し、
   前記補正部は、前記一部の光点以外の光点について補間処理により投影位置を補正することを特徴とする請求項１から３のいずれか１項に記載の指示システム。
6. 対象物が載置される載置面に焦点を合わせて、前記対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像から、該撮像画像に基づく指示に応じた注釈を表す第１注釈画像を抽出する抽出手段と、
   前記抽出手段によって抽出された第１注釈画像を構成する光点を選択する選択手段と、
   前記選択手段によって選択された光点を通過する補正値算出用補助線を決定する決定手段と、
   前記決定手段によって決定された補正値算出用補助線と前記指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索手段と、
   前記探索手段によって探索された交点と前記選択手段によって選択された光点との距離を補正値として算出する算出手段と、
   前記算出手段によって算出された補正値に基づいて、前記第１注釈画像の投影位置を補正する補正手段と、
   前記第１注釈画像を、前記投影領域内であって、前記補正手段によって補正された投影位置に向けて前記載置面に焦点が合わされた投影手段に投影させる投影制御手段と、
   を有することを特徴とする指示装置。
7. コンピュータを、
   対象物が載置される載置面に焦点を合わせて、前記対象物を含む対象領域内を撮像する撮像手段で撮像された撮像画像から、該撮像画像に基づく指示に応じた注釈を表す第１注釈画像を抽出する抽出手段、
   前記抽出手段によって抽出された第１注釈画像を構成する光点を選択する選択手段、
   前記選択手段によって選択された光点を通過する補正値算出用補助線を決定する決定手段、
   前記決定手段によって決定された補正値算出用補助線と前記指示に基づいて表示装置に表示される第２注釈画像との交点を探索する探索手段、
   前記探索手段によって探索された交点と前記選択手段によって選択された光点との距離を補正値として算出する算出手段、
   前記算出手段によって算出された補正値に基づいて、前記第１注釈画像の投影位置を補正する補正手段、
   前記第１注釈画像を、前記投影領域内であって、前記補正手段によって補正された投影位置に向けて前記載置面に焦点が合わされた投影手段に投影させる投影制御手段、
   として機能させることを特徴とする指示プログラム。

Images