JP5092459B2 - 遠隔指示システム及び遠隔指示システム用のプログラム - Google Patents

Description

本発明は、遠隔指示システム及び遠隔指示プログラムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより対象物へ投影する技術が知られている（例えば、特許文献１等参照）。
米国特許公開２００４／００７０６７４号公報 特開２００５−３３７５６号公報

ところで、アノテーション画像は、例えば、文字や記号等で表示する態様を含んでいるが、指定した文字等の大きさでアノテーション画像を表示させたり、見易い位置にアノテーション画像を表示させたりするために投影位置を調整したりする場合においては、遠隔指示システムにその文字の大きさ等を事前に設定しておく必要がある。そのため、ユーザが操作中に文字の大きさ等を調整する場合には、その都度操作を中断し、設定し直さなければならなかった。このような操作はユーザにとって煩わしいだけでなく、画像を用いた円滑な遠隔指示を実現する遠隔指示システムの目的に対して望ましいものではなかった。

本発明は、このような事情に鑑みてなされたものであり、アノテーション画像を調整するための操作負担を軽減して、円滑な遠隔指示が可能な遠隔指示システムを提供する。

本発明の遠隔指示システムは、対象物を撮像する撮像手段と、撮像手段の撮像領域内に、撮像画像上に入力されたアノテーション画像を投影する投影手段と、撮像手段の撮像領域内の状態に応じて、アノテーション画像の表示態様を調整するアノテーション調整手段とを有し、アノテーション調整手段は、アノテーション画像の書き込み位置がユーザにより指定されたときに、対象物の形状及び配置の情報と背景の情報とに応じた、当該アノテーション画像のサイズ又は記入方向を推薦する推薦手段を備えることを特徴とする。

また、本発明は、アノテーション調整手段が、撮像画像に基づいて、表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、アノテーション画像と対象物との関係に応じて、表示態様を調整することを特徴としている。

また、本発明は、アノテーション画像と対象物との関係が、少なくとも、位置、大きさ、色、明るさのいずれかの関係を含むことを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像におけるアノテーション画像の対象物に対する表示位置に基づいて、表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像上において、アノテーション画像を重ねるように表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像上において、アノテーション画像が対象物に重ならない場合に、アノテーション画像を対象物に重ねない限度において拡大するように表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像上において、アノテーション画像が対象物に包含される場合に、アノテーション画像を対象物に包含される限度で拡大するように表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像上に表示されるアノテーション画像と対象物との角度に応じて、アノテーション画像を回転させるように表示態様を調整することを特徴としている。

また、本発明は、アノテーション調整手段が、撮像画像上において、アノテーション画像に重なる対象物の色に応じて、アノテーション画像の色の表示態様を調整することを特徴としている。

また、本発明は、撮像手段及び投影手段を管理するサーバと、サーバから撮像画像を受信すると共に、アノテーション調整手段を備え、調整したアノテーション画像をサーバへ送信する遠隔端末とを有することを特徴としている。

また、本発明は、アノテーション調整手段が、操作に応じて、起動・停止可能に形成されていることを特徴としている。

また、本発明は、推薦手段が、アノテーション画像としての文字アノテーションの書き込み位置がユーザにより指定されたときに、対象物の形状及び配置の情報と背景の情報とに応じた、当該文字アノテーションの文字サイズ又は記入方向を推薦することを特徴としている。

また、本発明は、アノテーション調整手段が、文字アノテーションの書き込み位置、文字アノテーションの描画範囲の大きさ及び位置、文字アノテーションの文字サイズ又は記入方向との関係を規定するテーブル情報を備えていることを特徴とする。

また、本発明の遠隔指示システム用のプログラムは、対象物を撮像する撮像手段と、撮像手段の撮像領域内にアノテーション画像を投影する投影手段とを有する遠隔指示システム用のプログラムであって、撮像手段の撮像領域内の状態に応じて、アノテーション画像の表示態様を調整するステップ、及びアノテーション画像の書き込み位置がユーザにより指定されたときに、対象物の形状及び配置の情報と背景の情報とに応じた、当該アノテーション画像のサイズ又は記入方向を推薦するステップをコンピュータに実行させることを特徴とする。

請求項１によれば、アノテーション画像の表示態様が自動的に調整され、遠隔指示システムに対するユーザの操作負担が軽減されるため、円滑な遠隔指示ができる。また、ユーザにとって、アノテーション画像のサイズ又は記入方向を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項２によれば、アノテーション調整手段は、撮像画像に基づいて調整するため、ユーザの操作負担が軽減され、円滑な遠隔指示ができる。

請求項３によれば、アノテーション調整手段は、アノテーション画像と対象物との関係に応じて調整するため、ユーザの操作負担が軽減され、円滑な遠隔指示ができる。

請求項４によれば、少なくとも位置、大きさ、色、明るさのいずれかの関係により投影条件が調整されるため、細かな調整が可能となる。

請求項５によれば、ユーザにとって、アノテーション画像の調整基準を設定する操作負担が軽減され、円滑な遠隔指示ができる。

請求項６によれば、ユーザにとって、アノテーション画像の表示位置を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項７によれば、ユーザにとって、アノテーション画像の大きさを調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項８によれば、ユーザにとって、アノテーション画像の大きさを調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項９によれば、ユーザにとって、アノテーション画像の回転角度を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項１０によれば、ユーザにとって、アノテーション画像の色を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項１１によれば、遠隔端末によってアノテーション画像の表示態様を調整することができ、アノテーション画像をサーバが制御する投影手段に投影させることができる。

請求項１２によれば、ユーザにとって、アノテーション調整手段の機能が好ましくない場合においては、適宜、その機能を停止させることができる。

請求項１３によれば、ユーザにとって、文字アノテーションの文字サイズ又は記入方向を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

請求項１４によれば、テーブル情報に従って、対象物や背景の状況に応じた文字サイズ又は記入方向が推薦されるので、文字アノテーションが見やすくなる。

請求項１５によれば、アノテーション画像の表示態様が自動的に調整され、遠隔指示システムに対するユーザの操作負担が軽減され、円滑な遠隔指示ができる。また、ユーザにとって、アノテーション画像のサイズ又は記入方向を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

以下、本発明の実施の形態について、図面を参照して具体的に説明する。
図１は本発明の実施の形態に係る遠隔指示システムの構成図、及び、図２はホワイドボードと対象物との位置関係を説明するための図である
この遠隔指示システムは、図１に示すように、実物体側装置１００、遠隔端末３００等を備えており、実物体側装置１００と遠隔端末３００とは、ネットワーク２００を介して接続される。尚、図１においては、遠隔端末３００を１台のみ示しているが、複数の遠隔端末３００がネットワーク２００を介して実物体側装置１００の後述するサーバ２５へ接続させることも可能である。

実物体側装置１００は、撮像手段としてのビデオカメラ１０、投影手段としてのプロジェクタ２０、制御手段としてのサーバ２５等から構成される。

ビデオカメラ１０は、例えばＣＣＤ（Charge Coupled Device：電荷結合素子）カメラで構成され、ホワイトボード３３の前に配置される対象物３１、３２を撮像可能な位置に配置されていると共に、その撮像画像はサーバ２５に取り込まれる。尚、対象物は、ビデオカメラ１０の撮像領域内に配置されるすべてのものを含む。

プロジェクタ２０は、ビデオカメラ１０に隣接して設置されており、その画角（視野）がビデオカメラ１０の画角（視野）に略一致するように配置されている。このプロジェクタ２０には、液晶プロジェクタ等が使用される。尚、プロジェクタ２０は、対象物３１、３２だけでなく、ビデオカメラ１０の視野（画角）内に収まる他の対象物に対してもアノテーション画像を投影可能である。例えば、図２に示すように、対象物３１や対象物３２がホワイトボード３３の前の撮像領域ＡＲ内に配置されるが、ビデオカメラ１０は、他の対象物としてのホワイトボード３３も撮像しており、当該ホワイトボード３３に対してもアノテーション画像ＡＮを投影可能である。

サーバ２５は、ビデオカメラ１０及びプロジェクタ２０の動作を制御すると共に、ネットワーク２００を介して遠隔端末３００との間で各種情報を授受する。また、サーバ２５は、ビデオカメラ１０の撮像画像を遠隔端末３００へ送信すると共に、遠隔端末３００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ２０により対象物３１、３２や、ホワイトボード３３へ投影させる。尚、アノテーション画像は、上述したように、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。

遠隔端末３００は、液晶ディスプレイ、ＣＲＴディスプレイ等からなる表示装置３３０、ネットワーク２００に接続されたコンピュータ３１０、コンピュータ３１０に接続されたポインティングデバイス（マウス）３２０等から構成される。
表示装置３３０は、その表示画面３３１に実物体側装置１００から送信される画像等を表示する。

図３は遠隔端末３００のコンピュータ３１０の要部構成を示す機能ブロック図である。尚、図３に示す各機能ブロックは、ＣＰＵ等の処理装置、ＳＲＡＭやＤＲＡＭ等の半導体記憶装置、ハードウェア及び所要のソフトウェアによりそれぞれ構成される。

コンピュータ３１０は、画像受信部３１１、記憶部３１２、アノテーション送信部３１３、シルエットマップ生成部３１４、制御部３１５、アノテーション調整手段としてのアノテーション調整部３１６等を備える。

画像受信部３１１は、サーバ２５から送信される対象物３１、３２やアノテーション画像ＡＮ等を含む撮像領域内の撮像画像を受信して、記憶部３１２に記憶させる機能を有する。
記憶部３１２は、撮像画像を記憶すると共に、後述するシルエットマップ生成部３１４で生成されるシルエット画像、アノテーション調整部３１６で生成される調整後のアノテーション画像や当該アノテーション画像を表示させるための描画コマンドをデータとして記憶する。尚、以下において、当該データをアノテーションデータという。

アノテーション送信部３１３は、アノテーションデータをサーバ２５へ送信する機能を有する。
シルエットマップ生成部３１４は、記憶部３１２に記憶される撮像画像からシルエット画像を生成する機能を有する。より詳しくは、記憶部３１２から抽出した撮像画像に対し、輪郭抽出処理（エッジ抽出処理）を施し、シルエット画像を生成する。当該処理は、画像データが更新される度に行われ、生成されたシルエット画像は、再度、記憶部３１２に記憶される。さらに、シルエットマップ生成部３１４は、生成されたシルエット画像の４隅の座標情報、及び当該シルエット画像に含まれる対象物に対応する影部分の座標情報も記憶部３１２に記憶する。

アノテーション調整部３１６は、記憶部３１２に記憶されるシルエット画像とコンピュータ３１０に入力されるアノテーション画像とから当該アノテーション画像の表示態様を調整するアノテーションデータを生成する機能を有する。表示態様を調整するアノテーションデータは、記憶部３１２に記憶される。

制御部３１５は、上述した記憶部３１２、シルエットマップ生成部３１４、アノテーション調整部３１６を総合的に制御する機能を有する。

次に、上記構成の遠隔指示システムの動作の一例について、図４及び図５を参照して説明する。
図４は遠隔端末のコンピュータにおけるシルエット画像生成処理の一例を示すフローチャート、及び、図５は表示装置における対象物の表示例及びその表示例におけるシルエット画像を説明するための図である。

コンピュータ３１０は、まず、図４に示すように、サーバ２５から対象物３１、３２や、アノテーション画像ＡＮ等の撮像画像を順次受信する（ステップＳ１）。次に、コンピュータ３１０は、受信した撮像画像が更新されているか否かを判断する（ステップＳ２）。すなわち、受信した撮像画像と、所定時間前に受信し、すでに記憶部３１２に記憶される撮像画像とを比較した場合に、撮像画像が一致していない場合には、受信した撮像画像は、記憶部３１２に記憶される撮像画像に対して更新されていると判断することができる。

撮像画像が更新されている場合には、受信した撮像画像に対し輪郭抽出処理によるシルエット画像を生成する（ステップＳ３）。例えば、表示装置３３０は、コンピュータ３１０から撮像画像が送信され、図５（ａ）に示すように、表示画面３３１上に対象物３１、３２やアノテーション画像ＡＮを表示する。コンピュータ３１０は、表示画面３３１に表示される対象物３１等に対し、図５（ｂ）に示すように、対象物３１、３２やアノテーション画像ＡＮに対しては影部分ＢＬとし、背景となる領域を空白部分ＷＨとするシルエット画像ＩＭを生成する。そして、当該シルエット画像ＩＭの４隅の座標情報、各影部分ＢＬの座標情報及び当該シルエット画像ＩＭは、記憶部３１２に記憶される。尚、表示画面３３１とシルエット画像ＩＭのサイズは同一であり、コンピュータ３１０のアノテーション調整部３１６は、表示画面３３１とシルエット画像ＩＭの共通の座標情報を利用して、各影部分ＢＬ、空白部分ＷＨ、後述する指定点及び後述する描画エリアの位置や大きさを特定する。各影部分ＢＬ、空白部分ＷＨ、指定点及び描画エリアの座標情報は、適宜記憶部３１２に記憶される。

コンピュータ３１０は、記憶部３１２にシルエット画像ＩＭが記憶されたことを確認すると、引き続き、撮像画像を受信することになる（ステップＳ１）。
ここで、コンピュータ３１０が、ステップＳ２の処理において、撮像画像が更新されていないと判断した場合には、次に、アノテーション画像の入力があったか否かを判断する（ステップＳ４）。コンピュータ３１０は、アノテーション画像の入力がないと判断した場合には、引き続き、撮像画像を受信し（ステップＳ１）、入力があった場合には、当該アノテーション画像をデータとして記憶する（ステップＳ５）。

続いて、アノテーション画像の表示態様の調整処理について図６乃至図１０を参照して説明する。
図６は遠隔端末のコンピュータ（特に、アノテーション調整部３１６）における処理の一例を示すフローチャート、図７は調整処理されなかったアノテーション画像の一例を説明するための図、及び、図８乃至図１０は調整処理されたアノテーション画像の一例を説明するための図である。

まず、アノテーション画像の表示態様について説明する。
コンピュータ３１０が、アノテーションデータを取得すると（ステップＳ１１）、当該アノテーションデータによって指定される描画エリアの指定位置（以下、指定点という。）がシルエット画像ＩＭにおける影部分に重なるか否か判断する（ステップＳ１２）。

アノテーションデータは、表示する文字等の描画エリアを特定するデータ（以下、描画エリア用データという。）と、当該描画エリアの表示位置を特定するデータ（以下、指定点用データという。）とを有する。より具体的には、描画エリア用データは表示する文字等の描画エリアを特定する座標情報であり、指定点用データは、当該描画エリアの表示位置を特定する座標情報である。したがって、コンピュータ３１０が表示画面３３１に文字の態様をしたアノテーション画像（以下、文字型アノテーション画像ＡＮＬという。）を表示する場合には、コンピュータ３１０は、指定点用データによって指定された位置に描画エリアを設定し、当該描画エリアに表示される文字を表示画面３３１に表示する。

例えば、図７（ａ）においては、シルエット画像ＩＭにおける文字型アノテーション画像ＡＮＬの指定点５０の位置が、アノテーション画像ＡＮの影部分に重なる。このような場合には、コンピュータ３１０は、ステップＳ１２の処理において、指定点５０の位置情報とアノテーション画像ＡＮの影部分の位置情報を検出し、それぞれの位置情報から、指定点５０がシルエット画像ＩＭ上の影部分に重なっていると判断する。

次に、コンピュータ３１０は、文字型アノテーション画像ＡＮＬが影部分に包含されているか否かについて判断する（ステップＳ１３）。例えば、図７（ａ）においては、指定点５０が、アノテーション画像ＡＮの影部分に重なっているが、描画エリアＡＲＤに表示される文字の部分は、その一部の部分がアノテーション画像ＡＮの影部分に重なっているに過ぎず、それ以外の部分は、空白部分に表示されることになる。したがって、このような場合には、コンピュータ３１０は、文字型アノテーション画像ＡＮＬが影部分に包含されていないと判断する。

一方で、例えば、図８（ａ）においては、指定点５０が、対象物３１の影部分に重なっており、さらに、描画エリアＡＲＤに表示される文字の部分についても、そのすべての部分が対象物３１の影部分に重なっている。したがって、このような場合には、コンピュータ３１０は、文字型アノテーション画像ＡＮＬが影部分に包含されていると判断する。

コンピュータ３１０は、文字型アノテーション画像ＡＮＬが影部分に包含されていると判断した場合には、影部分及び描画エリアの座標情報に基づいて、文字型アノテーション画像ＡＮＬの文字の大きさを、影部分に包含される最大限の大きさまで拡大する（ステップＳ１５）。例えば、図８（ａ）においては、描画エリアＡＲＤに表示される文字の大きさは、対象物３１の影部分に対し、最大限の大きさにまで拡大されていないが、ステップＳ１５の処理によって、図８（ｂ）に示すように、文字の大きさは対象物３１の影部分に対して、最大限の大きさにまで拡大することになる。

一方、指定点５０がシルエット画像ＩＭ上の影部分に重ならない場合では、コンピュータ３１０は、描画エリアＡＲＤに表示される文字部分が、シルエット画像ＩＭ上の影部分に重なるか否かについて判断する（ステップＳ１４）。例えば、図９（ａ）においては、指定点５０が、シルエット画像ＩＭ上のどの影部分にも重ならず、かつ、描画エリアＡＲＤに表示される文字の部分についても、シルエット画像ＩＭ上のどの影部分にも重なっていない。したがって、このような場合には、空白部分又は影部分及び描画エリアの座標情報に基づいて、図９（ｂ）に示すように、シルエット画像ＩＭ上の影部分に重ならない程度に、文字の大きさを拡大する（ステップＳ１６）。

また、例えば、図１０（ａ）においては、指定点５０が、シルエット画像ＩＭ上のどの影部分にも重なっていないが、描画エリアＡＲＤに表示される文字の部分の一部は、対象物３２の影部分に重なる。したがって、このような場合には、コンピュータ３１０は、デフォルト（遠隔指示システムに事前に設定された初期値）の文字の大きさによる描画サイズを算出し（ステップＳ１７）、その後、影部分及び描画エリアの座標情報に基づいて、図１０（ｂ）に示すように、指定点５０に最も近接する対象物３２の影部分であって、その長手方向の傾斜に合わせるように描画エリアＡＲＤの回転角度を算出し、指定点５０を中心に、描画エリアＡＲＤ及びそこに表示される文字の部分を当該回転角度に基づき回転させる。

次にアノテーション画像の色調整について説明する。
コンピュータ３１０は、描画エリアの周辺画像の平均輝度に比して文字の指定色の輝度がダイナミックレンジの１／４の近さであるか否か判断する（ステップＳ１９）。例えば、周辺画像の平均輝度は、図８（ａ）に示すように、対象物３１の色で表すことができる。したがって、コンピュータ３１０は、描画エリアＡＲＤに表示される文字の色と対象物３１の色とを比較した場合に、その比較結果がダイナミックレンジ（画像が使っている濃度値の範囲）の１／４以下である場合には、文字の色と対象物３１の色とが近いと判断し、図８（ｂ）に示すように、文字色の輝度を反転した設定とする（ステップＳ２０）。

一方、コンピュータ３１０は、描画エリアの周辺画像の平均輝度に比して文字の指定色の輝度がダイナミックレンジの１／４の近さにない場合には、次に、コンピュータ３１０は、撮像画像の画像全体の平均輝度が１／２以下か否か判断する（ステップＳ２１）。すなわち、撮像画像全体が暗い場合には、文字の色が例えば黒等暗い色であると表示画面３３１で視認できないため、文字色を白の設定とする（ステップＳ２２）。また、コンピュータ３１０は、撮像画像全体の平均輝度が１／２以下でないと判断した場合には、文字色をデフォルトとした設定色のままとする（ステップＳ２３）。

上述したように、コンピュータ３１０は、文字型アノテーション画像ＡＮＬの表示態様や表示色の設定がなされたアノテーションデータから、文字描画コマンドを生成して、当該コマンドをサーバ２５へ送信する（ステップＳ２４）。したがって、サーバ２５は、表示態様等が調整された文字描画コマンドを受信して、プロジェクタ２０にアノテーション画像を投影させる。

図６の遠隔端末のコンピュータにおける処理では、アノテーションデータ（描画エリア用データ及び指定点用データ）を取得すると、描画エリアの指定位置（指定点）及びシルエット画像ＩＭにおける影部分の位置関係に応じて、文字サイズや文字位置が自動的に決定されている（ステップＳ１２〜Ｓ１８）。これに代えて、コンピュータ３１０は、指定点用データ（即ち、指定点５０の座標情報）を取得したとき、対象物の形状及び配置の情報（即ち、対象物の座標情報）と背景の情報（即ち、空白部分の座標情報）とに応じた、お勧めの文字サイズ（例えば８ポイント、１０ポイント、１２ポイントなど）又は記入方向（例えば垂直方向、水平方向、対象物の外形に沿った方向など）をテキスト枠のような形状の描画エリアで表示装置３３０に表示するようにしてもよい。尚、この描画エリアの表示位置及び大きさ、並びに文字サイズ及び記入方向の調整は、記憶部３１２に記憶されているテーブル情報に基づいて、アノテーション調整部３１６で実行される。

記憶部３１２に記憶されているテーブル情報の一例を図１１に示す。同図において、描画エリアについては、描画される文字数や文字サイズに応じて、その大きさや位置は適宜変更可能である。さらに、テーブル情報内のお勧めの文字サイズ及び記入方向は、お勧めの文字サイズ、及びお勧めの記入方向のいずれか一方であってもよい。

図１２（ａ）、（ｂ）は、図１１のテーブル情報に基づいて、表示装置３３０に表示される描画エリアの例を示す図である。

図１２（ａ）では、指定点５０が対象物やアノテーション画像ＡＮと重ならず、指定点５０の周辺（右方向５〜１００ピクセルの距離）に大きな背景（空白部分）があるので、水平方向８０ピクセル及び垂直方向１４ピクセルの描画エリアが表示される。この描画エリアには１２ポイントの大きさで水平方向に文字が記入できる。

図１２（ｂ）では、指定点５０が対象物やアノテーション画像ＡＮと重ならないものの、指定点５０の周辺（右方向５〜５０ピクセルの距離）に対象物３２があるので、背景（空白部分）に対象物の外形に沿った矩形の形状で、縦方向１２ピクセル及び横方向４０ピクセルの描画エリアが表示される。この描画エリアには１０ポイントの大きさで対象物３２の外形に沿った方向に文字が記入できる。

以上のように、アノテーション調整部３１６は、文字アノテーション画像の書き込み位置が指定されたときに、対象物の形状及び配置の情報と背景の情報とに応じた、文字アノテーションの文字サイズ又は記入方向を推薦する機能を有していてもよい。これにより、文字アノテーション画像として描画される文字アノテーションのサイズ又は記入方向を調整するための操作負担が軽減され、円滑な遠隔指示ができる。また、テーブル情報に従って、対象物や背景の状況に応じた文字サイズ又は記入方向が推薦されるので、文字アノテーションが見やすくなる。

さらに、アノテーション調整部３１６は、アノテーション画像の書き込み位置が指定されたときに、対象物の形状及び配置の情報と背景の情報とに応じた、当該アノテーション画像のサイズ又は記入方向を推薦する機能を有していてもよい。これにより、ユーザにとって、アノテーション画像のサイズ又は記入方向を調整するための操作負担が軽減され、円滑な遠隔指示ができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

また、上述した実施の形態においては、１つのサーバによってビデオカメラ及びプロジェクタを制御する実施の形態としたが、例えば、２台以上のサーバによってビデオカメラやプロジェクタをそれぞれ制御する実施の形態としてもよい。

さらに、事前に遠隔指示システムに設定されたアノテーション画像の文字等の指定色に対し、調整処理によってその色が調整された場合、視認性を高めるため、例えば、アノテーション画像の文字に対し、影付きの文字とする実施の形態としてもよい。

さらに、文字型アノテーション画像を拡大する調整処理がなされた結果、対称物に投影されるアノテーション画像の文字の部分が歪む場合には、例えば、アフィン変換等によってその歪みを調整するようにしてもよい。さらに、撮像手段の代わりに各種センサ等を使用し、当該センサの検知領域内の状態に応じて投影条件を調整するようにしてもよい。

さらに、アノテーション調整手段の機能がユーザにとって好ましくない場合においては、当該機能を起動・停止可能なスイッチをアノテーション調整手段に設けることで、当該機能を好む者と共用を図るようにしてもよい。

以上説明したように、本発明によれば、アノテーション画像の調整が自動的となり、遠隔指示システムに対してアノテーション画像の表示態様を調整する事前の設定が不要となるため、産業上の利用可能性が高い。

遠隔指示システムの構成図である。 スクリーン上の対象物の関係を説明するための図である。 遠隔端末の機能ブロック図である。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 対象物の表示装置における表示例及びシルエット画像を説明するための図である。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 調整処理されなかったアノテーション画像の一例を説明するための図である。 調整処理されたアノテーション画像の一例を説明するための図である。 調整処理されたアノテーション画像の一例を説明するための図である。 調整処理されたアノテーション画像の一例を説明するための図である。 記憶部に記憶されているテーブル情報の一例を示す図である。 （ａ）、（ｂ）は、図１１のテーブル情報に基づいて、表示装置に表示される描画エリアの例を示す図である。

符号の説明

１０ ビデオカメラ
２０ プロジェクタ
２５ サーバ
３１、３２ 対象物
３３ ホワイトボード
５０ 指定点
１００ 実物体側装置
２００ ネットワーク
３００ 遠隔端末
３１０ コンピュータ
３１１ 画像受信部
３１２ 記憶部
３１３ アノテーション送信部
３１４ シルエットマップ生成部
３１５ 制御部
３１６ アノテーション調整部
３２０ ポインティングデバイス（マウス）
３３０ 表示装置
３３１ 表示画面
ＡＮ アノテーション画像
ＡＮＬ 文字型アノテーション画像
ＩＭ シルエット画像
ＢＬ 影部分
ＷＨ 空白部分

Claims (15)

1. 対象物を撮像する撮像手段と、
   前記撮像手段の撮像領域内に、撮像画像上に入力されたアノテーション画像を投影する投影手段と、
   前記撮像手段の撮像領域内の状態に応じて、前記アノテーション画像の表示態様を調整するアノテーション調整手段とを有し、
   前記アノテーション調整手段は、前記アノテーション画像の書き込み位置がユーザにより指定されたときに、前記対象物の形状及び配置の情報と背景の情報とに応じた、当該アノテーション画像のサイズ又は記入方向を推薦する推薦手段を備えることを特徴とする遠隔指示システム。
2. 前記アノテーション調整手段は、前記撮像画像に基づいて、前記表示態様を調整することを特徴とする請求項１に記載の遠隔指示システム。
3. 前記アノテーション調整手段は、前記アノテーション画像と前記対象物との関係に応じて、前記表示態様を調整することを特徴とする請求項１または２に記載の遠隔指示システム。
4. 前記アノテーション画像と前記対象物との関係は、少なくとも、位置、大きさ、色、明るさのいずれかの関係を含むことを特徴とする請求項３に記載の遠隔指示システム。
5. 前記アノテーション調整手段は、前記撮像画像における前記アノテーション画像の前記対象物に対する表示位置に基づいて、前記表示態様を調整することを特徴とする請求項１から４のいずれか１項に記載の遠隔指示システム。
6. 前記アノテーション調整手段は、前記撮像画像上において、前記アノテーション画像を重ねるように前記表示態様を調整することを特徴とする請求項１から５のいずれか１項に記載の遠隔指示システム。
7. 前記アノテーション調整手段は、前記撮像画像上において、前記アノテーション画像が前記対象物に重ならない場合に、前記アノテーション画像を前記対象物に重ねない限度において拡大するように前記表示態様を調整することを特徴とする請求項１から６のいずれか１項に記載の遠隔指示システム。
8. 前記アノテーション調整手段は、前記撮像画像上において、前記アノテーション画像が前記対象物に包含される場合に、前記アノテーション画像を前記対象物に包含される限度で拡大するように表示態様を調整することを特徴とする請求項１から７のいずれか１項に記載の遠隔指示システム。
9. 前記アノテーション調整手段は、前記撮像画像上に表示される前記アノテーション画像と前記対象物との角度に応じて、前記アノテーション画像を回転させるように前記表示態様を調整することを特徴とする請求項１から８のいずれか１項に記載の遠隔指示システム。
10. 前記アノテーション調整手段は、前記撮像画像上において、前記アノテーション画像に重なる対象物の色に応じて、前記アノテーション画像の色の前記表示態様を調整することを特徴とする請求項１から９のいずれか１項に記載の遠隔指示システム。
11. 前記撮像手段及び前記投影手段を管理するサーバと、
    前記サーバから前記撮像画像を受信すると共に、前記アノテーション調整手段を備え、調整したアノテーション画像を前記サーバへ送信する遠隔端末と
    を有することを特徴とする請求項１から１０のいずれか１項に記載の遠隔指示システム。
12. 前記アノテーション調整手段は、操作に応じて、起動・停止可能に形成されていることを特徴とする請求項１から１１のいずれか１項に記載の遠隔指示システム。
13. 前記推薦手段は、前記アノテーション画像としての文字アノテーションの書き込み位置がユーザにより指定されたときに、前記対象物の形状及び配置の情報と背景の情報とに応じた、当該文字アノテーションの文字サイズ又は記入方向を推薦することを特徴とする請求項１乃至１２のいずれか１項に記載の遠隔指示システム。
14. 前記アノテーション調整手段は、前記文字アノテーションの書き込み位置、前記文字アノテーションの描画範囲の大きさ及び位置、前記文字アノテーションの文字サイズ又は記入方向との関係を規定するテーブル情報を備えていることを特徴とする請求項１３に記載の遠隔指示システム。
15. 対象物を撮像する撮像手段と、前記撮像手段の撮像領域内にアノテーション画像を投影する投影手段とを有する遠隔指示システム用のプログラムであって、
    前記撮像手段の撮像領域内の状態に応じて、前記アノテーション画像の表示態様を調整するステップ、及び
    前記アノテーション画像の書き込み位置がユーザにより指定されたときに、前記対象物の形状及び配置の情報と背景の情報とに応じた、当該アノテーション画像のサイズ又は記入方向を推薦するステップ
    をコンピュータに実行させることを特徴とする遠隔指示システム用のプログラム。

Images