JP4577106B2 - 遠隔指示システム及びその方法 - Google Patents

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

ところで、上記のような遠隔指示システムでは、被写体側（実物体側）に設置されたサーバに複数の遠隔端末が接続されているような場合には、複数の遠隔端末からサーバへ向けてアノテーション画像の描画指示があると、被写体には、複数のアノテーション画像が投影されることになる。このように、異なる遠隔端末から指示された複数のアノテーション画像が被写体に同時に投影されたような状態においては、被写体側で作業等をする作業者や被写体を観察する観察者などは、どのアノテーション画像が誰により描かれたのかを識別することが困難である。
また、単一のアノテーション画像が被写体に投影されたような場合であっても、被写体側で作業等をする作業者や被写体を観察する観察者などは、そのアノテーション画像について、さらに詳しい情報を知りたい場合もある。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、被写体の撮像画像を遠隔端末に送信すると共に遠隔端末からの撮像画像に基づく指示に応じたアノテーション画像を被写体へ投影させる遠隔指示システムにおいて、被写体に投影されたアノテーション画像に関する情報を被写体側において容易に取得できる遠隔指示システムを提供することにある。

本発明に係る遠隔指示システムは、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を、該アノテーション画像に関する付随情報と共に、投影手段により被写体へ投影させる制御手段を有し、付随情報は、アノテーション画像を描画した者を特定する情報、又はアノテーション画像を描画した遠隔端末を特定する情報であって、制御手段は、付随情報を投影する前に、撮像画像中における付随情報を表示すべき表示領域を算出すると共に付随情報が表示されていない状態の表示領域の画像を保存しておき、付随情報の投影中は、撮像画像中の付随情報が表示された表示領域の画像を付随情報が表示されていない状態の表示領域の画像で置き換えた撮像画像を遠隔端末に送信する、ことを特徴としている。
この構成によれば、付随情報が被写体にアノテーション画像と共に表示される。これにより、被写体側においてアノテーション画像に関する情報を容易に取得できる。また、この構成によれば、付随情報を投影中に遠隔端末に送信される被写体の撮像画像は、表示領域を除いて最新の画像とすることができる。

上記構成において、制御手段は、前記被写体に投影されたアノテーション画像の選択に応じて、付随情報を前記被写体へ投影させる、構成を採用できる。
この構成によれば、被写体に投影されたアノテーション画像を選択した場合にのみ付随情報が被写体にアノテーション画像と共に表示されるので、必要な場合にのみ付随情報を投影させることができる。

上記構成において、制御手段は、アノテーション画像の選択を撮像画像の画像処理に基づいて行う、構成を採用できるし、制御手段は、アノテーション画像の選択を外部入力手段からの入力に応じて行う、構成も採用できる。

本発明に係る遠隔指示方法は、被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた撮像画像に基づく指示に応じたアノテーション画像を、該アノテーション画像に関する付随情報と共に、投影手段により被写体へ投影させることにより遠隔指示を行い、付随情報を投影する前に、撮像画像中における付随情報を表示すべき表示領域を算出すると共に付随情報が表示されていない状態の表示領域の画像を保存しておき、付随情報の投影中は、撮像画像中の付随情報が表示された表示領域の画像を付随情報が表示されていない状態の表示領域の画像で置き換えた撮像画像を遠隔端末に送信する遠隔指示方法であって、付随情報は、アノテーション画像を描画した者を特定する情報、又はアノテーション画像を描画した遠隔端末を特定する情報である、ことを特徴としている。

本発明によれば、被写体に投影されたアノテーション画像に関する付随情報を被写体側において容易に取得できる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。
この遠隔指示システムは、図１に示すように、被写体側装置１０、遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００がネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続される。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０等から構成されている。

ビデオカメラ２０は、例えば、ＣＣＤカメラで構成され、被写体２００及び被写体（スクリーン）２１０を撮像可能な位置に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。

プロジェクタ４０は、ビデオカメラ２０に隣接して設置されており、その画角が被写体上でビデオカメラ２０の画角に略一致するように配置されている。このプロジェクタ４０には、液晶プロジェクタ等が使用される。

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０の撮像画像を遠隔端末１００へ送信すると共に遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００あるいはスクリーン２１０へ投影させる。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。
また、サーバ５０は、被写体２００あるいはスクリーン２１０に投影されたアノテーション画像の選択に応じて、アノテーション画像に関する付随情報をプロジェクタ４０によりアノテーション画像と共に被写体２００あるいはスクリーン２１０へ投影させるように制御する。ここで、アノテーション画像に関する付随情報とは、例えば、アノテーション画像を描画した者を特定する情報、アノテーション画像を描画した遠隔端末を特定する情報、アノテーション画像の作成日時等が含まれる。
さらに、サーバ５０は、上記の付随情報を被写体２００あるいはスクリーン２１０へ投影中は、付随情報の画像が含まれていない状態の撮像画像を遠隔端末１００へ送信する。
また、サーバ５０は、付随情報を投影する前に、ビデオカメラ２０の撮像画像中における付随情報を表示すべき表示領域を算出すると共に付随情報が表示されていない状態の表示領域の画像を保存しておき、付随情報の投影中は、撮像画像中の付随情報が表示された表示領域の画像を付随情報が表示されていない状態の表示領域の画像で置き換えた撮像画像を形成して遠隔端末１００に送信する。尚、サーバ５０の具体的な処理については後述する。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面に被写体側装置１０から送信される画像を表示する。
ポインティングデバイス（マウス）１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像を描画指示したりするのに用いられる。

次に、上記構成の遠隔指示システムの動作について図２ないし図１４を参照して説明する。
先ず、サーバ５０における基本処理について説明すると、図２に示すように、ビデオカメラ２０が撮像した撮像画像をすべての遠隔端末１００へ向けて常時配信する動作を開始する（ステップＳＴ１）。
次いで、サーバ５０は、いずれかの遠隔端末１００からのメッセージを受信するための待ちループを開始し（ステップＳＴ２）、アノテーション画像を描画するための描画コマンドを受領する（ステップＳＴ３）。この描画コマンドには、アノテーション画像に関する付随情報も付加されている。

次いで、サーバ５０は、受領した描画コマンドに基づいて、アノテーション画像の投影処理を行う（ステップＳＴ４）。尚、このステップにおける具体的な処理については後述する。
サーバ５０は、この描画コマンドを送信した遠隔端末１００以外の遠隔端末１００へこの描画コマンド及び付随情報を送信する（ステップＳＴ５）。
そして、サーバ５０は、処理を終了するか否かを判断し（ステップＳＴ６）、終了しない場合には、ステップＳＴ２に戻って上記の処理を繰り返す。

次に、遠隔端末１００のコンピュータ１２０における処理について説明すると、図３に示すように、先ず、サーバ５０から送られてきた他の遠隔端末１００で形成された描画コマンドが無いかを判断し（ステップＳＴ１１）、描画コマンドを受信した場合には、描画コマンドに含まれる付随情報を蓄積する（ステップＳＴ１２）。
一方、コンピュータ１２０は、描画コマンドがない場合には、コマンド入力処理を行う
（ステップＳＴ１３）。

ここで、図７に示すような、立方体形状の被写体２００を用いた場合には、遠隔端末１００の表示装置１１０の表示画面１１１には、図８に示すような画像が表示される。遠隔端末１００の操作者は、図８に示すような表示画面１１１を見ながら、各種のコマンド（例えば、描画コマンドあるいは後述する付随情報表示コマンド）をポインティングデバイス１３０等を用いてコンピュータ１２０へ入力する。
また、他の遠隔端末１００からの描画コマンドに基づいて被写体２００にアノテーション画像が投影されている場合には、各遠隔端末１００の表示画面１１１には、例えば、図９に示すようなアノテーション画像ＤＲが表示される。
そして、図１０に示すような状態において、遠隔端末１００の操作者は、アノテーション画像ＤＲに関する付随情報を見たい場合には、例えば、図１０に示すように、表示画面１１１のアノテーション画像ＤＲをポインタＰｔで選択操作することにより、付随情報表示コマンドを入力する。

コンピュータ１２０では、付随情報表示コマンドが入力されたかを判断し（ステップＳＴ１４）、付随情報表示コマンドが入力された場合には、ステップＳＴ１２において蓄積した対応する付随情報を抽出し（ステップＳＴ２１）、この付随情報を表示画面１１１にいわゆるポップアップ表示する（ステップＳＴ２２）。これにより、図１０に示したように、アノテーション画像ＤＲについて、「Ａさんの描画」というような付随情報ＩＮＦが表示される。これにより、各々の遠隔端末１００の操作者は、アノテーション画像ＤＲの作成者等の情報を容易に知ることができる。

コンピュータ１２０は、ステップＳＴ１４において、付随情報表示コマンドが入力されていない、すなわち、描画コマンドが入力された場合には、表示画面１１１に付随情報が表示されているかを判断し（ステップＳＴ１５）、付随情報が表示されている場合には、この付随情報を消去する（ステップＳＴ１６）。
そして、コンピュータ１２０は、入力された描画コマンドに基づく、アノテーション画像描画処理を行う（ステップＳＴ１７）。
操作者は、描画コマンドの入力操作において、例えば、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域を指示する。注目領域は、アノテーション画像を投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像に関する情報を指示する。アノテーション画像に関する情報とは、例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより描画される矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。

次いで、コンピュータ１２０は、この描画コマンドに対応する付随情報（作成者、作成日時等の情報）を作成し（ステップＳＴ１８）、描画コマンドに付随情報を付加してサーバ５０へ送信する（ステップＳＴ１９）。このとき、操作者により入力された描画コマンドに対応するアノテーション画像が、例えば、図１０に示したアノテーション画像の場合には、図１１に示す被写体２００には、プロジェクタ４０により、図１２に示すように、アノテーション画像ＤＲが投影される。
そして、コンピュータ１２０は、処理を終了するか否かを判断し（ステップＳＴ２０）、終了しない場合には、ステップＳＴ１１に戻って上記の処理を繰り返す。

次に、サーバ５０における上記した描画コマンドに基づくアノテーション画像の投影処理（図２のステップＳＴ４）について説明する。
サーバ５０は、図４に示すように、先ず、通常モード動作を行う（ステップＳＴ３１）。この通常モード動作は、遠隔端末１００から受領した描画コマンドに応じてアノテーション画像を、例えば、図１２に示したように、被写体２００へプロジェクタ４０により投影させる動作である。

次いで、サーバ５０は、被写体２００へ投影したアノテーション画像が被写体側の操作者により選択されたかを判断する（ステップＳＴ３２）。被写体２００へ投影されたアノテーション画像が被写体側の操作者により選択されたかの判断は、例えば、ビデオカメラ２０の撮像画像に基づいてすることができる。具体的には、被写体２００へ投影されたアノテーション画像を操作者が指差して選択したような場合には、ビデオカメラ２０の撮像画像を画像処理することで操作者の指を識別し、この指により選択された領域を特定することができる。

サーバ５０は、アノテーション画像の選択があった場合には、付随情報モード開始動作を行う（ステップＳＴ３３）。
この付随情報モード開始動作は、図５に示すように、ステップＳＴ４１〜ＳＴ４３からなり、先ず、付随情報を表示すべき領域を算出し（ステップＳＴ４１）、付随情報を含まないビデオカメラ２０の撮像画像を保存し（ステップＳＴ４２）、そして、付随情報を表示する（ステップＳＴ４３）。
被写体２００へ投影したアノテーション画像ＤＲが操作者により選択された場合には、例えば、図１３に示したように、付随情報ＩＮＦがスクリーン２１０へ投影される。

次いで、サーバ５０は、付随情報モード動作を行う（ステップＳＴ３４）。この付随情報モード動作は、図６に示すようにステップＳＴ５１〜ＳＴ５４からなり、先ず、ビデオカメラ２０に被写体２００及びスクリーン２１０を撮像させる（ステップＳＴ５１）。このときのビデオカメラ２０の撮像画像は、例えば、図１４（Ａ）に示すように、被写体２００にアノテーション画像ＤＲが投影されると共にスクリーン２１０に付随情報ＩＮＦが投影された状態のものとなる。

次いで、サーバ５０は、ビデオカメラ２０の撮像画像の一部を上記ステップＳＴ４２で保存した付随情報を含まない撮像画像で置き換える処理をする（ステップＳＴ５２）。この処理により、ビデオカメラ２０の撮像画像は、例えば、図１４（Ｂ）に示すように、スクリーン２１０に付随情報ＩＮＦが投影されていないものとなる。
そして、サーバ５０は、この付随情報ＩＮＦを含まない撮像画像を各遠隔端末１００へ送信する（ステップＳＴ５３）。これにより、各遠隔端末１００へは、付随情報を含まない撮像画像が送信される。

次いで、サーバ５０は、被写体２００へ投影したアノテーション画像の選択が解除されたかを、ビデオカメラ２０の撮像画像に基づいて判断し、解除されていない場合には、ステップＳＴ５１に戻って上記処理を繰り返し、解除された場合には、付随情報モード動作を終了し、図４に示す付随情報モード終了動作を行い（ステップＳＴ３５）、付随情報の投影を終了させる。

以上のように、本実施形態によれば、被写体２００に投影されたアノテーション画像ＤＲを選択する操作を行うと、付随情報ＩＮＦが被写体としてのスクリーン２１０に表示され、被写体側においてアノテーション画像ＤＲに関する付随情報ＩＮＦを視覚により容易に取得できる。

また、本実施形態によれば、遠隔端末１００へ送信されるアノテーション画像ＤＲが投影された被写体２００の撮像画像中に付随情報ＩＮＦの画像が含まれないので、遠隔端末１００の表示画面１１１において必要としない情報が表示されることがない。すなわち、遠隔端末１００においては、その表示画面１１１に表示されたアノテーション画像ＤＲを選択操作すれば付随情報ＩＮＦを表示させることができるので、被写体２００及びスクリーン２１０の撮像画像中に付随情報ＩＮＦがなくても付随情報ＩＮＦを必要に応じて表示させることができる。

さらに、本実施形態によれば、付随情報ＩＮＦをスクリーン２１０に投影中に遠隔端末１００に送信される被写体２００及びスクリーン２１０の撮像画像は、付随情報ＩＮＦを表示領域を除いて最新の画像とすることができる。尚、サーバ５０から遠隔端末１００へ
ビデオカメラ２０の撮像画像の一部を付随情報を含まない撮像画像で置き換えた撮像画像に変換して送信する際に、付随情報の表示領域部分を置き換える画像を定期的に新たな画像に更新することも可能である。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

上記実施形態では、被写体２００に投影されたアノテーション画像を被写体側の操作者が指差してその撮像画像を画像処理することにより選択を判断して付随情報を投影させる場合について説明したが、これに限定されるわけではなく、指以外にも例えば、レーザポインタにより選択する等、アノテーション画像の選択方法は種々選択できる。
また、上記実施形態では、アノテーション画像の選択をビデオカメラの撮像画像の画像処理に基づいて行う場合について説明したが、これに限定されるわけではなく、例えば、キーボード、マウス等の種々の外部入力装置（外部入力手段）からの入力に応じてアノテーション画像を選択することも可能である。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を目標物に照射して画像を形成することも可能である。

上記実施形態では、被写体２００にアノテーション画像ＤＲのみを投影した場合について説明したが、これに限定されるわけではなく、複数のアノテーション画像を異なる遠隔端末からの指示により同時に被写体に投影した場合にも本発明を適用できることは明らかである。
上記実施形態では、アノテーション画像が選択された場合についてのみ付随情報を投影させる場合について説明したが、これに限定されるわけではなく、アノテーション画像が選択されなくても付随情報を投影、
表示する構成とすることもできるし、投影や表示のタイミングを適宜設定することも可能であり、投影や表示の態様は種々変更できる。

本発明の一実施形態に係る遠隔指示システムの構成図である。 被写体側装置のサーバにおける基本処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 サーバにおけるアノテーション画像描画処理の一例を示すフローチャートである。 アノテーション画像描画処理における付随情報モード開始動作処理の一例を示すフローチャートである。 アノテーション画像描画処理における付随情報モード動作処理の一例を示すフローチャートである。 被写体の一例を示す斜視図である。 遠隔端末における表示画面の一例を示す図である。 アノテーション画像が表示された遠隔端末における表示画面の一例を示す図である。 アノテーション画像及び付随情報が表示された遠隔端末における表示画面の一例を示す図である。。 被写体の一例を示す斜視図である。 被写体にアノテーション画像を投影した状態を示す斜視図である。 被写体にアノテーション画像及びその付随情報を投影した状態を示す斜視図である。 （Ａ）はアノテーション画像及び付随情報が表示された被写体の撮像画像の一例を示す図であり、（Ｂ）は遠隔端末に送信すべく付随情報が含まれない画像で置き換えた被写体の撮像画像の一例を示す図である。

符号の説明

１０…被写体側装置
２０…ビデオカメラ（撮像手段）
４０…プロジェクタ（投影手段）
５０…サーバ（制御手段）
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１２０…コンピュータ
１３０…ポインティングデバイス（マウス）
２００…被写体
２１０…被写体（スクリーン）
ＤＲ…アノテーション画像
ＩＮＦ…付随情報
３００…ネットワーク

Claims (6)

1. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を、該アノテーション画像に関する付随情報と共に、投影手段により前記被写体へ投影させる制御手段を有し、
   前記付随情報は、前記アノテーション画像を描画した者を特定する情報、又は前記アノテーション画像を描画した前記遠隔端末を特定する情報であって、
   前記制御手段は、前記付随情報を投影する前に、前記撮像画像中における前記付随情報を表示すべき表示領域を算出すると共に前記付随情報が表示されていない状態の前記表示領域の画像を保存しておき、
   前記付随情報の投影中は、前記撮像画像中の前記付随情報が表示された前記表示領域の画像を前記付随情報が表示されていない状態の前記表示領域の画像で置き換えた撮像画像を遠隔端末に送信する、
   ことを特徴とする遠隔指示システム。
2. 前記制御手段は、前記被写体に投影されたアノテーション画像の選択に応じて、前記付随情報を前記被写体へ投影させる、
   ことを特徴とする請求項１に記載の遠隔指示システム。
3. 前記制御手段は、前記アノテーション画像の選択を前記撮像画像の画像処理に基づいて行う、
   ことを特徴とする請求項２に記載の遠隔指示システム。
4. 前記制御手段は、前記アノテーション画像の選択を外部入力手段からの入力に応じて行う、
   ことを特徴とする請求項２に記載の遠隔指示システム。
5. 被写体を撮像手段により撮像させつつその撮像画像を遠隔端末に送信すると共に、遠隔端末でなされた前記撮像画像に基づく指示に応じたアノテーション画像を、該アノテーション画像に関する付随情報と共に、投影手段により前記被写体へ投影させることにより遠隔指示を行い、
   前記付随情報を投影する前に、前記撮像画像中における前記付随情報を表示すべき表示領域を算出すると共に前記付随情報が表示されていない状態の前記表示領域の画像を保存しておき、
   前記付随情報の投影中は、前記撮像画像中の前記付随情報が表示された前記表示領域の画像を前記付随情報が表示されていない状態の前記表示領域の画像で置き換えた撮像画像を遠隔端末に送信する遠隔指示方法であって、
   前記付随情報は、前記アノテーション画像を描画した者を特定する情報、又は前記アノテーション画像を描画した前記遠隔端末を特定する情報である、
   ことを特徴とする遠隔指示方法。
6. 前記被写体に投影されたアノテーション画像の選択に応じて、前記アノテーション画像に関する付随情報を前記投影手段により投影させる、
   ことを特徴とする請求項５に記載の遠隔指示方法。

Images