JP4581900B2 - 遠隔指示システム及び方法 - Google Patents

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システム及び方法に関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔端末側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

ところで、上記のような遠隔指示システムでは、遠隔端末からの指示によりビデオカメラの撮像範囲を変更するには、被写体側に存在する作業者や観察者等に被写体の撮像位置を変更する指示をする必要がある。
このため、遠隔端末側において被写体の撮像位置を変更した後の撮像画像を得るまでには時間を要し、円滑な指示作業をすることが困難であった。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、遠隔端末の操作性が向上した遠隔指示システムを提供することにある。

本発明に係る遠隔指示システムは、撮像手段による被写体の複数の撮像画像を連続的に遠隔端末に送信すると共に遠隔端末でなされた描画指示に応じたアノテーション画像を投影手段により被写体へ投影させる遠隔指示システムであって、遠隔端末からの相対位置変更指示に応じて制御されて投影手段及び撮像手段に対する被写体の相対的な位置を変更する相対位置変更手段と、遠隔端末からの相対位置変更指示がされた後であって、相対位置変更手段によって被写体の相対位置が変更される前に、撮像手段による複数の撮像画像から一の撮像画像を抜き出して、遠隔端末において参照するための参照用画像として記憶手段へ蓄積する画像蓄積手段と、を備え、遠隔端末は、送信された撮像画像を順次表示する場合であって、相対位置変更手段により被写体の相対的な位置を変更するときに、記憶手段から参照用画像を取得して、撮像画像の代替として表示する、ことを特徴としている。
この構成によれば、被写体の撮像位置を変更したい場合に、撮像手段により過去に撮像した画像を、実際の撮像画像に対する代替的な画像情報として各遠隔端末で利用することができる。また、この構成によれば、遠隔端末側から被写体の撮像位置を変更することが可能となると共に、各相対位置における参照用画像を形成できる。

上記構成において、参照用画像は、アノテーション画像が投影された被写体の撮像画像を含む、構成を採用できる。
この構成によれば、過去に投影されたアノテーション画像を再び確認したい場合等に、蓄積された参照用画像によりアノテーション画像を参照することが可能となる。

上記構成において、画像蓄積手段は、被写体の相対的位置を変更するコマンドを遠隔端末が発行した後被写体の相対的位置が変更される前に、参照用画像を蓄積する、構成を採用できる。
この構成によれば、被写体の参照用画像が自動的に蓄積されるので遠隔端末を操作する者の操作負担を軽減することができる。

上記構成において、画像蓄積手段は、被写体の相対的な位置情報を参照用画像に付加して蓄積する、構成を採用できる。
この構成によれば、撮像した参照用画像を側面位置情報に基づいて検索することができる。

上記構成において、画像蓄積手段は、アノテーション画像を投影する指示をした遠隔端末に関する情報を参照用画像に付加して蓄積する、構成を採用できる。
この構成によれば、例えば、複数遠隔端末がインターネットを通じてサーバにアクセスする場合において、ドメイン名等から蓄積された参照用画像を検索することができる。

上記構成において、画像蓄積手段は、アノテーション画像の投影毎に参照用画像を抜き出して蓄積する、構成を採用できる。
この構成によれば、アノテーション画像の履歴を形成でき、所望のアノテーション画像を検索し参照することができる。

本発明に係るプログラムは、撮像手段による被写体の複数の撮像画像を連続的に遠隔端末に送信すると共に遠隔端末でなされた描画指示に応じたアノテーション画像を投影手段により被写体へ投影させるためのプログラムであって、プログラムは、サーバに、遠隔端末からの相対位置変更指示に応じて制御されて投影手段及び撮像手段に対する被写体の相対的な位置を変更する相対位置変更ステップと、遠隔端末からの相対位置変更指示がされた後であって、相対位置変更ステップによって被写体の相対位置が変更される前に、撮像手段による複数の撮像画像から一の撮像画像を抜き出して、遠隔端末において参照するための参照用画像として記憶手段へ蓄積する画像蓄積ステップと、を実行させ、参照用画像は、送信された撮像画像が遠隔端末に順次表示される場合であって、相対位置変更ステップにより被写体の相対的な位置が変更されるときに、記憶手段から取得されて、撮像画像の代替として遠隔端末に表示される、ことを特徴としている。
この構成によれば、被写体の撮像位置を変更したい場合に、撮像手段により過去に撮像した画像を、実際の撮像画像に対する代替的な画像情報として各遠隔端末で利用することができる。また、この構成によれば、遠隔端末側から被写体の撮像位置を変更することが可能となると共に、各相対位置における参照用画像を形成できる。

本発明によれば、遠隔端末から過去に撮像した蓄積画像を参照できるので遠隔端末の操作性を向上させることができる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図であり、データベースがサーバ側に配置される場合を表すものである。
この遠隔指示システムは、図１に示すように、被写体側装置１０、遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００はネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、データベース３０、投影手段としてのプロジェクタ４０、サーバ５０、ハーフミラー６０、相対位置変更手段としての回転テーブル７０等から構成されている（以下、単にテーブル７０と記載する）。

ビデオカメラ２０は、例えば、ＣＣＤカメラで構成されテーブル７０上に置かれた被写体２００を撮像可能に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６０を透過した画像を撮像する。

データベース３０は、例えば、リレーショナルデータベースで構成されビデオカメラ２０が撮像した画像をサーバ５０が取り込み、その撮像画像を参照用画像として蓄積し、その蓄積された画像のうち遠隔端末１００で指定されたものを遠隔端末１００へ送信する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、ハーフミラー６０によりビデオカメラ２０のその光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。アノテーション画像は、ハーフミラー６０で反射されて被写体２００へ投影される。

テーブル７０は、サーバ５０により制御されて、その上面に置かれた被写体２００を回動（移動）させることにより、ビデオカメラ２０及びプロジェクタ４０に対する被写体２００の位置を変更する。

サーバ５０は、ビデオカメラ２０、データベース３０、プロジェクタ４０、テーブル７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０の撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。
更に、サーバ５０は、テーブル７０による被写体２００の回動に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置及び撮像位置を変更する制御を行う。
また、サーバ５０は、遠隔端末１００からアノテーション画像の投影、テーブル７０の回動、参照用画像の蓄積を指示される毎にデータベース３０へ参照用画像を蓄積する。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたマウス１３０等から構成されている。

表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。

マウス１３０は、参照用画像が表示された表示画面１１１においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、テーブル７０の回動による被写体２００を回動する指示、データベース３０に蓄積された参照用画像を表示する指示、撮像画像を参照用画像としてデータベース３０に蓄積する指示をするために用いられる。

次に、上記構成の遠隔指示システムの動作について図２及び図３に示すフローチャートと図４を参照して説明する。
ここで、図２はサーバの処理の一例を示すフローチャートであり、図３はコンピュータにおける処理の一例を示すフローチャートであり、図４は遠隔端末における操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０は、予め設定された初期投影画像をプロジェクタ４０により投影し、ビデオカメラ２０の撮像画像の取り込みを開始し遠隔端末１００側のコンピュータ１２０へ撮像画像の常時送出を開始する（ステップＳＴ１）。

そして、遠隔端末１００側のコンピュータ１２０により送出されたコマンドを受領する（ステップＳＴ２）。その後、受領したコマンドがアノテーション画像の描画を指示するものであるかを判断する（ステップＳＴ３）。描画を指示するものである場合にはステップＳＴ４を、そうでない場合にはステップＳＴ６を実行する。

サーバ５０は、ステップＳＴ３において、受領したコマンドが描画コマンドであると判断した場合には、描画コマンドに沿ってアノテーション画像を被写体２００へ投影する処理を実行する（ステップＳＴ４）。次に、撮像を参照用画像としてデータベース３０へ蓄積する（ステップＳＴ５）。
描画コマンド等からアノテーション画像を投影する指示をした遠隔端末１００の情報を取得しておくことで、ステップＳＴ５においてその情報を付加して参照用画像を蓄積することができる。また、サーバ５０のシステム時刻等を用いることで撮像時刻情報を付加して参照用画像を蓄積することができる。テーブル７０の位置情報を付加することも可能である。また、これによりアノテーション画像が被写体２００に投影される毎に被写体２００の撮像画像を参照用画像としてデータベース３０に蓄積することができる。

次に、終了要求の有無を判断し（ステップＳＴ６）、終了要求がある場合には処理を終了し、そうでない場合にはステップＳＴ２に戻り上記処理を繰り返す。

サーバ５０は、ステップＳＴ３において、受領したコマンドが描画コマンドでないと判断した場合には、受領したコマンドがテーブル制御コマンドであるかを判断する（ステップＳＴ６）。受領したコマンドがテーブル制御コマンドである場合にはステップＳＴ７をそうでない場合にはステップＳＴ９を実行する。

次に、ステップＳＴ６において、受領したコマンドがテーブル制御コマンドであると判断した場合には、被写体２００の撮像を参照用画像としてデータベース３０に蓄積する（ステップＳＴ７）。その後、制御コマンドに沿ったテーブル７０の回動処理を行い（ステップＳＴ８）、ステップＳＴ６の処理を実行する。
これにより、被写体２００の相対位置が変更される毎及び相対的位置を変更するコマンドを遠隔端末１００が発行した後被写体２００の相対的位置が変更される前にその参照用画像を蓄積することができる。また、ステップＳＴ５の説明において示したようにアノテーション画像を投影する指示をした遠隔端末１００の情報、撮像時刻情報、テーブル７０の位置情報を付加することも可能である。

サーバ５０は、ステップＳＴ６において、受領したコマンドがテーブル制御コマンドでないと判断した場合には、当該コマンドは蓄積コマンドであり、撮像画像を参照用画像としてデータベース３０に蓄積する（ステップＳＴ９）処理を行う。
これにより、遠隔端末１００を操作する者に必要な画像のみを選択的に蓄積したアノテーション画像の投影履歴を作成することができる。その後、ステップＳＴ６を実行する。

次に、図３に示すコンピュータ１２０における処理を説明する。
オペレータがマウス１３０等により表示装置１１０の各種ボタンを操作することで、コンピュータ１２０はコマンドを入力される（ステップＳＴ２１）。
具体的には、遠隔端末１００のオペレータは、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら操作をする。

アノテーション画像を被写体２００へ投影する場合には、オペレータは、表示画面１１１に形成されたアノテーション指定ボタンＢＴを操作して、投影すべきアノテーション画像を描画する。また、被写体２００の撮像位置を変更する場合には、回転方向指定ボタンＲ及び回転量指定枠ＡＧを操作して、テーブル７０の回転方向及び回転量を指示する。参照したい蓄積画像がデータベース３０に存在するかを確認するためには、履歴表示ボタンＨを操作する。
オペレータは、必要な画像のみを選択的に蓄積する場合には、表示画面１１１に形成された蓄積ボタンＳを操作する。この操作によって、上記と異なり、オペレータにとって必要な画像のみを選択的に履歴として蓄積することができる。
また、これらのオペレータの操作により、ステップＳＴ２１においてコンピュータ１２０へ、描画、テーブル制御、蓄積コマンドがそれぞれ入力される。

なお、データベース３０に蓄積された画像のうちメイン画面１１３へ表示させたい参照用画像１１４が存在する場合は、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させる。これにより、参照用画像１１４を選択することができる。コンピュータ１２０は選択された参照用画像１１４をメイン画面１１３に表示する。
参照用画像１１４を実際の撮像画像の代替的な画像情報として使用することができるため、テーブル７０を回動する必要性が減少する。特に、複数の遠隔端末１００が被写体側装置１０のサーバ５０へ接続している場合にはテーブル７０の制御権に対する競合の発生が減少する。

ここで、リアルタイム画面１１２には現在の撮像領域を指定している遠隔端末１００による操作の様子が表示される。更に、メイン画面１１３にリアルタイム画面１１２に表示された操作の様子を表示する場合にはポインティングデバイス１３０を操作してリアルタイム画面１１２上へポインタＰｔを移動させる。これによりリアルタイム画面１１２が消え、メイン画面１１３にリアルタイム画面１１２に表示されていた操作の様子を表示することができる。
また、撮像領域を指定している遠隔端末１００において、表示画面１１１にはリアルタイム画面１１２が表示されず、メイン画面１１３に当該遠隔端末１００による操作の様子が表示される。

コンピュータ１２０は、入力されたコマンドが参照用画像表示コマンドであるかを判断する（ステップＳＴ２２）。参照用画像表示コマンドの場合にはステップ２３の処理を実行する。そうでない場合にはステップＳＴ２６の処理を実行する。

次に、入力コマンドが参照用画像表示コマンドであると判断した場合には、参照用画像の問合せ，取得を行う（ステップＳＴ２３）。その後、取得した参照用画像を描画する（ステップＳＴ２４）。
これにより過去に蓄積した参照用画像を表示することができる。

その後、終了要求の有無を判断し（ステップＳＴ２５）、終了要求がある場合には処理を終了し、そうでない場合にはステップＳＴ２１に戻り上記処理を繰り返す。

コンピュータ１２０は、ステップＳＴ２２において、入力コマンドが参照用画像表示コマンドでないと判断した場合には、入力されたコマンドが描画コマンドであるかを判断する（ステップＳＴ２６）。描画コマンドである場合にはステップＳＴ２７を、そうでない場合にはテーブル制御又は蓄積コマンドあり、ステップＳＴ２８を実行する。

次に、ステップＳＴ２６において、入力コマンドが描画コマンドであると判断した場合には、画像描画処理を行う（ステップＳＴ２７）。

コンピュータ１２０は、サーバ５０に向けてコマンドを送出する処理を行う（ステップＳＴ２８）。この際に遠隔端末１００に対する情報を付加してサーバ５０に送出すること等で、アノテーション画像を投影する指示をした遠隔端末１００の情報を付加して参照用画像をデータベース３０に蓄積することができる。

以上のように、本実施形態によれば、アノテーション画像が投影された被写体２００をカメラ２０が撮像し、サーバ５０が撮像から参照用画像を抜き出してデータベース３０に蓄積するので、参照用画像により過去に投影したアノテーションを確認することが可能となる。

上記サーバ５０は、遠隔端末１００から受領したテーブル制御コマンドに従ってテーブル７０を操作するため、遠隔端末側１００から被写体２００の撮像位置を変更することが可能となる。また、実際に撮像位置を変更する代わりに参照用画像を参照することもできる。

サーバ５０は、テーブル７０の回動毎及びアノテーション画像の投影毎に自動的に参照用画像をデータベース３０に蓄積するので、遠隔端末１００を操作する者の操作負担を軽減することができる。

さらに、ドメイン名、時刻、テーブルの相対位置を付加して参照用画像を蓄積するため、ドメイン名、時刻範囲、相対位置を指定して参照用画像を検索又は履歴に沿って参照することができる。

また、オペレータは、蓄積ボタンＳを操作することにより、参照用画像をデータベース３０に蓄積するコマンドをコンピュータ１２０に入力するので、オペレータが必要な画像のみを選択的に履歴として蓄積することができる。

図５は、本発明の他の実施形態を示す構成図である。尚、図５及び図６において上記構成と同一構成部分については同一符号を使用している。本構成においては、データベース１４０が遠隔端末１００側のコンピュータに配置されている点で図１に示したシステムと構成が異なる。

次に、上記構成における遠隔指示システムの動作の一例について図６又は図７に示すフローチャートを参照して説明する。
ここで、図６はサーバにおける処理の一例を示すフローチャートであり、図７はコンピュータにおける処理の一例を示すフローチャートである。

図６に示すように、サーバ５０は、予め設定された初期投影画像をプロジェクタ４０により投影し、ビデオカメラ２０の撮像画像の取り込みを開始し遠隔端末１００側のコンピュータ１２０へ撮像画像の常時送出を開始する（ステップＳＴ３１）。

そして、サーバ５０は、遠隔端末１００側のコンピュータ１２０により送出されたコマンドを受領する（ステップＳＴ３２）。受領したコマンドがテーブル７０の回動を指示するコマンドであるかを判断する（ステップＳＴ３３）。コマンドが回動を指示するものである場合にはステップＳＴ３４の処理を、そうでない場合にはステップＳＴ３６の処理を実行する。

次に、ステップＳＴ３３において、受領コマンドがテーブル７０の回動を指示するコマンドであると判断した場合には、制御コマンドに沿ったテーブル７０の回動処理を行う（ステップＳＴ３４）。
次に、終了要求の有無を判断し（ステップＳＴ３５）、終了要求がある場合には処理を終了し、そうでない場合にはステップＳＴ３２に戻り上記処理を繰り返す。

サーバ５０は、ステップＳＴ３３において、受領コマンドがテーブル７０の回動を指示するコマンドでないと判断した場合には、受領したコマンドはアノテーション画像の描画を指示するコマンドであり、描画コマンドに沿ったアノテーション画像の投影処理を行う（ステップＳＴ３６）。その後、描画同期コマンドを遠隔端末に向けて送出する（ステップＳＴ３７）。ここで、描画同期コマンドとは、サーバ５０から遠隔端末１００へ向けて送出されるコマンドであり、アノテーション画像をサーバ５０による投影処理が完了した事を遠隔端末側に通知するためのものである。また、描画同期コマンド等にアノテーション画像を投影する指示をした遠隔端末１００の情報を付加しておくことで、コマンドの受領先においてその情報を付加して参照用画像を蓄積することができる。その後、ステップＳＴ３５の処理を実行する。

次に、図７に示すコンピュータにおける処理を説明する。
遠隔端末１００のオペレータが、マウス１３０等で表示装置１１０からコンピュータ１２０へコマンドを入力するか又はコンピュータ１２０はサーバ５０が送出したコマンドを受領する（ステップＳＴ４１）。

次いで、コンピュータ１２０は、受領したコマンドが参照用画像表示コマンドであるかを判断する（ステップＳＴ４２）。参照用画像表示コマンドである場合にはステップＳＴ４３の処理を行い、そうでない場合にはステップＳＴ４５の処理を行う。

次いで、ステップＳＴ４２において、受領したコマンドが参照用画像表示コマンドであると判断した場合には、データベース１４０に蓄積された参照用画像を描画する処理を実行する（ステップＳＴ４３）。これにより過去に蓄積した参照用画像を表示できる。

次に、終了要求があるかを判断し（ステップＳＴ４４）、終了要求がある場合には処理を終了し、そうでない場合にはステップＳＴ４１に戻り上記処理を繰り返す。

コンピュータ１２０は、ステップＳＴ４２において、受領したコマンドが参照用画像表示コマンドでないと判断した場合には、受領したコマンドがテーブル７０を制御するコマンドであるかを判断する（ステップＳＴ４５）。テーブル制御コマンドである場合には、ステップＳＴ４６の処理を行い、そうでない場合にはステップＳＴ４８の処理を行う。

次に、ステップＳＴ４５において、受領したコマンドがテーブル制御コマンドであると判断した場合には、遠隔端末１００側で受信した被写体２００の撮像を参照用画像としてデータベース１４０に蓄積する（ステップＳＴ４６）。
これにより、遠隔端末１００の指示に応じて被写体２００の参照用画像をデータベース１４０に蓄積することができる。また、上記のようにアノテーション画像を投影する指示をした遠隔端末１００に関する情報、撮像時刻情報、テーブル７０の位置情報を付加することも可能である。
次に、当該コマンドをサーバ５０へ送出する（ステップＳＴ４７）。その後、ステップＳＴ４４を実行する。

コンピュータ１２０は、ステップＳＴ４５において、受領したコマンドがテーブル制御コマンドでないと判断した場合には、受領したコマンドが描画コマンドであるかを判断する（ステップＳＴ４８）。描画コマンドである場合にはステップＳＴ４９の処理を行い、そうでない場合にはステップＳＴ５０の処理を行う。

次いで、ステップＳＴ４８において、受領したコマンドが描画コマンドであると判断した場合には、画像描画処理を実行する（ステップＳＴ４９）。次にステップＳＴ４７の処理を実行する。

次いで、ステップＳＴ４８において、受領したコマンドが描画コマンドでないと判断した場合には、受領したコマンドが描画同期コマンドであるかを判断する（ステップＳＴ５０）。描画同期コマンドである場合にはステップＳＴ５１の処理を行い、そうでない場合にはステップＳＴ５３の処理を行う。

コンピュータ１２０は、ステップＳＴ５０において、受領したコマンドが描画同期コマンドであると判断した場合には、同期処理を実行する（ステップＳＴ５１）。ここでは、アノテーション画像が投影された被写体２００の撮像画像を、遠隔端末１００が受信したことを確認する。その後、撮像画像を参照用画像としてデータベース１４０へ蓄積する（ステップＳＴ５２）。これにより、アノテーション画像が被写体２００に投影される毎にその参照用画像をデータベース１４０に蓄積することができる。その後、ステップＳＴ４４を実行する。
尚、ステップＳＴ５２において、描画同期コマンド等からアノテーション画像を投影する指示をした遠隔端末１００の情報を取得しておくことで、その情報を付加して参照用画像を蓄積することができる。また、コンピュータ１２０のシステム時刻等を用いることで撮像時刻情報を付加して参照用画像を蓄積することができる。テーブル７０の位置情報を付加することも可能である。

コンピュータ１２０は、ステップＳＴ５０において、受領したコマンドが描画同期コマンドでないと判断した場合には、受領コマンドは蓄積コマンドであり、撮像画像を参照用画像としてデータベース１４０へ蓄積する（ステップＳＴ５３）。
これにより、遠隔端末１００を操作する者に必要な画像のみを選択的に蓄積したアノテーション画像の投影履歴を作成することができる。また、上記のようにアノテーション画像を投影する指示をした遠隔端末１００の情報、撮像時刻情報、テーブル７０の位置情報を付加することも可能である。

以上のように、本実施形態によれば、データベース１４０がコンピュータ１２０に接続されているため、コンピュータ１２０とデータベース１４０間のデータ授受に要する時間がネットワーク３００の回線品質やトラフィック量に影響を受けることは無い。
また、オペレータが蓄積ボタンＳを操作した時点に表示装置１１０が表示していた撮像とデータベース１４０に蓄積した参照用画像との差異が生じにくい。
更に、前記実施形態と同様の効果も得られる。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、撮像手段としてＣＣＤカメラを用いた場合について説明したが、これに限定されるわけではなく、例えば、ＣＭＯＳイメージセンサを用いたカメラ等を採用することも可能である。

上記実施形態では、回転テーブル７０の回転を指示するために表示画面１１１上に回転方向指定ボタンを形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

上記実施形態では、被写体側がテーブル７０により回転される場合について説明したが、これに限定されるわけではなく、例えば、ロボットやＸＹテーブル等を相対位置変更手段として使用することも可能である。

上記実施形態では、被写体を相対位置変更手段としてのテーブル７０により回転させる例を挙げたが、これに限定されるわけではなく、ビデオカメラ２０、プロジェクタ４０、ハーフミラー６０が被写体を中心に回転する構成とすることも可能である。

上記実施形態では、被写体２００の撮像を蓄積するタイミングを被写体２００の相対位置が変更される毎、アノテーション画像を前記被写体に投影する毎、被写体２００の相対的位置を変更するコマンドを遠隔端末１００が発行した後前記被写体の相対的位置が変更される前について説明したが、これに限定されるわけではなく定期的に画像を蓄積する構成とすることも可能である。

本発明の一実施形態に係る遠隔指示システムの構成図である。 サーバにおける処理の一例を示すフローチャートである。 コンピュータにおける処理の一例を示すフローチャートである。 遠隔端末における操作の一例を説明するための図である。 本発明の他の実施形態に係る遠隔指示システムの構成図である。 サーバにおける処理の一例を示すフローチャートである。 コンピュータにおける処理の一例を示すフローチャートである。

符号の説明

１０…被写体側装置
２０…ビデオカメラ（撮像手段）
３０…データベース
４０…プロジェクタ（投影手段）
５０…サーバ
６０…ハーフミラー
７０…テーブル（相対位置変更手段）
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１１２…リアルタイム画面
１１３…メイン画面
１１４…参照用画像
１２０…コンピュータ
１３０…マウス
１４０…データベース
２００…被写体
３００…ネットワーク
ＤＲ…アノテーション画像
Ｐt…ポインタ
ＢＴ…アノテーション指定ボタン
Ｒ…回転方向指定ボタン
ＡＧ…回転量指定枠
Ｈ…履歴表示ボタン
Ｓ…蓄積ボタン

Claims (6)

1. 撮像手段による被写体の複数の撮像画像を連続的に遠隔端末に送信すると共に遠隔端末でなされた描画指示に応じたアノテーション画像を投影手段により前記被写体へ投影させる遠隔指示システムであって、
   前記遠隔端末からの相対位置変更指示に応じて制御されて前記投影手段及び前記撮像手段に対する前記被写体の相対的な位置を変更する相対位置変更手段と、
   前記遠隔端末からの相対位置変更指示がされた後であって、前記相対位置変更手段によって前記被写体の相対位置が変更される前に、前記撮像手段による複数の撮像画像から一の撮像画像を抜き出して、前記遠隔端末において参照するための参照用画像として記憶手段へ蓄積する画像蓄積手段と、を備え、
   前記遠隔端末は、送信された撮像画像を順次表示する場合であって、前記相対位置変更手段により前記被写体の相対的な位置を変更するときに、前記記憶手段から前記参照用画像を取得して、前記撮像画像の代替として表示する、
   ことを特徴とする遠隔指示システム。
2. 前記参照用画像は、前記アノテーション画像が投影された前記被写体の撮像画像を含む、
   ことを特徴とする請求項１に記載の遠隔指示システム。
3. 前記画像蓄積手段は、前記被写体の相対的な位置情報を前記参照用画像に付加して蓄積する、
   ことを特徴とする請求項１又は２のいずれかに記載の遠隔指示システム。
4. 前記画像蓄積手段は、前記アノテーション画像を投影する指示をした遠隔端末に関する情報を前記参照用画像に付加して蓄積する、
   ことを特徴とする請求項１ないし３のいずれかに記載の遠隔指示システム。
5. 前記画像蓄積手段は、前記アノテーション画像の投影毎に前記参照用画像を抜き出して蓄積する、
   ことを特徴とする請求項１ないし４のいずれかに記載の遠隔指示システム。
6. 撮像手段による被写体の複数の撮像画像を連続的に遠隔端末に送信すると共に遠隔端末でなされた描画指示に応じたアノテーション画像を投影手段により前記被写体へ投影させるためのプログラムであって、
   前記プログラムは、サーバに、
   前記遠隔端末からの相対位置変更指示に応じて制御されて前記投影手段及び前記撮像手段に対する前記被写体の相対的な位置を変更する相対位置変更ステップと、
   前記遠隔端末からの相対位置変更指示がされた後であって、前記相対位置変更ステップによって前記被写体の相対位置が変更される前に、前記撮像手段による複数の撮像画像から一の撮像画像を抜き出して、前記遠隔端末において参照するための参照用画像として記憶手段へ蓄積する画像蓄積ステップと、を実行させ、
   前記参照用画像は、送信された撮像画像が前記遠隔端末に順次表示される場合であって、前記相対位置変更ステップにより前記被写体の相対的な位置が変更されるときに、前記記憶手段から取得されて、前記撮像画像の代替として前記遠隔端末に表示される、
   ことを特徴とするプログラム。

Images