JP4770493B2 - 遠隔指示システム及び遠隔指示方法 - Google Patents

Description

本発明は、遠隔指示システム及び遠隔指示方法に関する。

遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する被写体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより被写体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

しかしながら、遠隔端末では、遠隔地でビデオカメラにより撮像した撮像画像を表示装置で表示し、その表示された撮像画像を見ながらその撮像画像上にアノテーション画像を描画する必要があるが、被写体の細部の部分に対してアノテーション画像の投影を指示したいときに表示装置上で上手くアノテーション画像の投影の指示を行うことができないという問題があった。

そこで、本発明は、上記問題点に鑑みてなされたもので、被写体の細部に対してアノテーション画像を投影する場合にでも簡単に描画指示を行うことができる遠隔支援システム及び遠隔支援方法を提供することを目的とする。

上記課題を解決するために、本発明は、被写体を撮像する撮像手段と、前記撮像手段で撮像された第１の撮像画像を遠隔端末に送信すると共に、該遠隔端末で前記第１の撮像画像上に描画されたアノテーション画像を投影手段により前記被写体に投影させる制御手段と、前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記被写体上の該選択された所定の領域を拡大して撮像する拡大用撮像手段と、前記制御手段は、前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記拡大用撮像手段で撮像された第２の撮像画像を前記遠隔端末に送信すると共に、前記遠隔端末で前記第２の撮像画像上に描画されたアノテーション画像を前記第１の撮像画像上の座標系でのアノテーション画像に変換し、前記投影手段により前記被写体に投影させる。本発明によれば、拡大用撮像手段で撮像した撮像画像上でアノテーション画像を指示することができるため、被写体の細部にアノテーション画像を投影する場合にでも簡単に描画指示を行うことができる。

前記制御手段は、前記選択された所定の領域の座標を前記拡大用撮像手段による前記拡大に必要な値に変換して前記拡大用撮像手段による撮像画像の拡大を制御する。

前記制御手段は、前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像を前記撮像手段の座標系に変換後、該変換後のアノテーション画像を前記投影手段により前記被写体に投影させる。

前記投影手段、前記拡大用撮像手段及び前記撮像手段に対する前記被写体の相対的な位置関係を変更する相対位置変更手段をさらに備え、前記制御手段は、前記相対位置変更手段による前記被写体の移動に合わせて前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像の投影位置を変更する。前記相対位置変更手段は、前記被写体を回動させ得る回転ステージを含んで構成される。

本発明は、撮像手段により被写体を撮像する工程と、前記撮像手段で撮像された第１の撮像画像を遠隔端末に送信すると共に、該遠隔端末で前記第１の撮像画像上に描画されたアノテーション画像を投影手段により前記被写体に投影させる工程と、前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記被写体上の該選択された所定の領域を拡大して撮像する拡大用撮像手段で撮像された第２の撮像画像を前記遠隔端末に送信する工程と、前記遠隔端末で前記第２の撮像画像上に描画されたアノテーション画像を前記第１の撮像画像上の座標系でのアノテーション画像に変換し、前記投影手段により前記被写体に投影する工程と、を有する。本発明によれば、拡大用撮像手段で撮像した撮像画像上でアノテーション画像を指示することができるため、被写体の細部にアノテーション画像を投影する場合にでも簡単に描画指示を行うことができる。

本発明の遠隔指示方法は、前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像を前記撮像手段の座標系に変換する工程をさらに有する。

本発明によれば、被写体の細部に対してアノテーション画像を投影する場合にでも簡単に描画指示を行うことができる遠隔支援システム及び遠隔支援方法を提供できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の遠隔指示システム１の一実施形態を示す構成図である。この遠隔指示システム１は、図１に示すように、被写体側装置１０及び遠隔端末１００等を備えており、被写体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００をネットワーク３００を通じて被写体側装置１０の後述するサーバ５０へ接続可能である。

被写体側装置１０は、撮像手段としてのビデオカメラ２０、拡大用撮像手段としてのＰＴＺビデオカメラ３０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０、ハーフミラー６０及び相対位置変更手段としての回転ステージ７０等から構成されている。ビデオカメラ２０は、例えばＣＣＤカメラで構成され、回転ステージ７０上に置かれた被写体２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。ＰＴＺビデオカメラ３０は、被写体２００に対してパン・チルト・ズームが可能なカメラであり、遠隔端末１００により撮像画像内の所定の領域が選択されたときに被写体２００上の選択された所定の領域を拡大して撮像する。ビデオカメラ２０とＰＴＺビデオカメラ３０は予め位置関係のキャリブレーションの対応が出来ている。尚、ビデオカメラ２０及びＰＴＺビデオカメラ３０は、ハーフミラー６０を透過した画像を撮像する。

プロジェクタ４０は、液晶プロジェクタ等で構成され、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像２０１を被写体２００に投影する。またプロジェクタ４０は、その光学系が、ハーフミラー６０によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像をその光学系を通じハーフミラー６０を介して被写体２００へ投影する。プロジェクタ４０からのアノテーション画像は、ハーフミラー６０で反射して被写体２００へ投影される。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。

回転ステージ７０は、サーバ５０により制御され、その上面に置かれた被写体２００を回動させることにより、ビデオカメラ２０、ＰＴＺビデオカメラ３０及びプロジェクタ４０に対する被写体２００の位置を変更する。サーバ５０は、ビデオカメラ２０、ＰＴＺビデオカメラ３０、プロジェクタ４０、回転ステージ７０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を遠隔端末１００へ送信すると共に、遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００へ投影させる。さらにサーバ５０は、ＰＴＺビデオカメラ３０で撮像された撮像画像を遠隔端末１００に送信すると共に、遠隔端末１００でなされたＰＴＺビデオカメラ３０で撮像された撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により被写体２００に投影させる。

また、サーバ５０は、回転ステージ７０による被写体２００の回動（移動）に合わせてプロジェクタ４０の被写体２００に対するアノテーション画像の投影位置を変更する制御を行う。

遠隔端末１００は、液晶表示装置及びＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０は、その表示画面に被写体側装置１０から送信されるビデオカメラ２０による撮像画像及びＰＴＺカメラ３０による撮像画像を表示する。ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、被写体２００へ投影するアノテーション画像に関する指示を形成すると共に、回転ステージ７０の回動による被写体２００の回動を指示するのに用いられる。

次に、上記構成の遠隔指示システムの基本的な動作について図２ないし図４を参照して説明する。図２は被写体側装置１０のサーバ５０におけるビデオカメラ２０を用いた処理の一例を示すフローチャートであり、図３は遠隔端末１００のコンピュータ１２０における像形成における処理の一例を示すフローチャート、図４は遠隔端末１００側の操作の一例を説明するための図である。

図２に示すように、被写体側装置１０側のサーバ５０では、ビデオカメラ２０の撮像画像の取り込みを開始し（ステップＳ１１）、遠隔端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求がある場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送する（ステップＳ１３）。

次いで、サーバ５０は、コンピュータ１２０から制御信号の送信があるか否かを判断する（ステップＳ１４）。この制御信号は、アノテーション画像の描画に関する情報である描画信号及び回転ステージ７０を回転させるための位置制御信号である。サーバ５０は、上記の制御信号を受信した場合には、その制御信号の内容に応じて制御信号処理を行う（ステップＳ１５）。

一方、サーバ５０は、上記の制御信号を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて遠隔端末１００のコンピュータ１２０へ伝送し、切断要求があった場合には、ビデオカメラ２０の撮像画像の伝送を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。

次に、遠隔端末１００の動作について説明する。先ず、図３に示すように、遠隔端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図４に示すように、被写体側のサーバ５０から伝送される撮像画像を表示装置１１０の表示画面１１１に表示する（ステップＳ２２）。

次いで、コンピュータ１２０は、表示装置１１０の表示画面１１１に表示した撮像画像に対する操作者からの注目領域の指示があるかを判断し（ステップＳ２３）、注目領域の指示がある場合には、指示に応じた処理を行う（ステップＳ２６）。具体的には、遠隔端末１００の操作者は、図４に示すような表示装置１１０の表示画面１１１の画像を見ながら、表示されている画像にアノテーション画像２０１ａを投影したい領域がある場合には、ポインティングデバイス１３０を操作して表示画面１１１上のポインタＰｔを移動させながら注目領域ＤＲを指示する。注目領域は、アノテーション画像２０１ａを投影する投影位置を規定する領域である。このとき、同時に、注目領域に投影するアノテーション画像２０１ａに関する情報を指示する。

例えば、ポインティングデバイス１３０を用いて表示画面１１１上に形成された各種ボタンＢＴ等を操作することにより、描画された矩形や円などの図形情報、あらかじめ用意されたビットマップ画像、キーボードなどから入力したテキスト情報、ポインティングデバイス１３０の動作を反映するポインタ自体等である。そして、コンピュータ１２０は、ステップＳ２６で特定された各種情報を描画情報としてサーバ５０へ伝送する（ステップＳ２７）。

次いで、コンピュータ１２０は、遠隔端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し、（ステップＳ２８）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２９）、処理を終了する。遠隔端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。

ここで、遠隔端末１００の操作者が被写体２００を回転させたい場合には、操作者は、例えば、図４に示すような表示画面１１１の画像を見ながら、画像内の被写体２００においてアノテーション画像を投影したい領域が映し出される、あるいは、被写体２００に対する視点が最適になるように、表示画面１１１に形成された、回転ステージ７０を回転させるための回転用ボタンＲ１，Ｒ２を操作して、回転ステージ７０の回転方向及び回転量を指示する。そして、コンピュータ１２０は、ステップＳ２３において、注目領域の指示がない（アノテーション画像に関する指示がない）場合には、遠隔端末１００の操作者により、被写体２００の回転の指示がされると判断して被写体２００の回転に関する処理をする（ステップＳ２４）。

次いで、コンピュータ１２０は、被写体２００の回転に関する処理により得られた回転量情報（移動量情報）等を被写体側のサーバ５０へ伝送する（ステップＳ２５）。これにより、回転ステージ７０が回転されて被写体２００の回転位置が変更し、遠隔端末１００の表示装置１１０には新たな撮像画像が表示される（ステップＳ２２）。

次に、ビデオカメラ２０とＰＴＺビデオカメラ３０を用いた遠隔指示システム１の特徴的な処理について説明する。図５は、遠隔指示システム１の特徴的な動作フローチャートである。図６（ａ）は、ビデオカメラ２０の撮像画像２１上で指定するズーム指定領域４００を説明する図、同図（ｂ）はＰＴＺビデオカメラ３０の撮像画像３１を説明する図、同図（ｃ）はＰＴＺビデオカメラ３０の撮像画像３１上に描画したアノテーション画像２０２ａを説明する図、同図（ｄ）はアノテーション画像２０１及び２０２が投影された被写体２００を説明する図、同図（ｅ）はアノテーション画像２０１及び２０２が投影された被写体２００をビデオカメラ２０で撮像した撮像画像２１を示す図である。図７は、ズーム指定領域４００の座標とＰＴＺビデオカメラ３０のパン・チルト・ズーム値の変換を説明するための図である。

図８は、遠隔端末の画面（ユーザーインターフェイス）を示す図である。図８に示すように、遠隔端末１００の画面５００上に、ビデオカメラ２０による撮像画像２１とＰＴＺビデオカメラ３０による撮像画像３１を同時に表示する。ユーザーは、ポインティングデバイス１３０などで描画選択ボタン４２２を操作して、描画方法を選択し、ビデオカメラ２０による撮像画像２１かＰＴＺビデオカメラ３０による撮像画像２１上にアノテーション画像２０１ａを描画する。描画選択ボタン４２２内に、ズーム指定ボタン４２３が設けられており、このズーム指定ボタン４２３を選択すると矩形(ズーム指定領域４００)をビデオカメラ２０による撮像画像２１上に描けるようになる。

図５を用いて動作を説明すると、被写体２００をビデオカメラ２０で撮影する。サーバ５０は、ビデオカメラ２０による撮像画像をネットワーク３００を介して遠隔端末１００に常時送信し続ける。ユーザーガ遠隔端末１００で、ビデオカメラ２０の撮像画像２１上にアノテーション画像２０１ａを色Ａで描画したとする。サーバ５０は、ビデオカメラ２０による撮影映像２１上でアノテーション画像２０１ａの描画が行われた事を検出すると（ステップＳ３１）、遠隔端末１００から受信したアノテーション画像をビデオカメラ２０の座標系からプロジェクタ４０の座標系に変換して、変換後のアノテーション画像をプロジェクタ４０により被写体２００に投影する（ステップＳ３２）。これにより被写体２００上にはアノテーション画像２０１が実際に投影される。

遠隔端末１００は、ユーザーが遠隔端末１００上でズーム指定領域４００をポインティングデバイス１３０により指定した場合、ズーム指定領域の座標（ｘ₀,ｙ₀, ｘ₁, ｙ₁）をサーバ５０に送信する。ここで、図７に示すように、（ｘ₀, ｙ₀）は指定領域４００の左上の座標、（ｘ₁, ｙ₁）は 指定領域４００の右下の座標をそれぞれ示す。

次に、サーバ５０は、ビデオカメラ２０による撮影映像２１上で、ズーム指定領域４００が選択された場合（ステップＳ３３）、遠隔端末１００から受信したズーム指定領域（選択された所定の領域）４００の座標を、ＰＴＺビデオカメラ３０によるパン・チルト・ズーム値（拡大に必要な値）に変換し、ＰＴＺビデオカメラ３０を制御する（ステップＳ３４）。具体的には、サーバ５０は、ズーム指定領域４００をＰＴＺビデオカメラ３０の撮像画像３１の縦横比に修正するため、ズーム指定領域４００の座標（ｘ₀, ｙ₀, ｘ₁, ｙ₁）をもとに、対応するＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p, t, z）を計算する。ここで、ズーム指定領域４００の座標（ｘ₀, ｙ₀, ｘ₁, ｙ₁）とＰＴＺビデオカメラ３０のパン・チルト・ズーム値（p, t, z）の変換式を式（１）に示す。

関数ｆは、ビデオカメラ２０とＰＴＺビデオカメラ３０による固有の関数で、あらかじめ測定されている。なお、関数ｆによる変換は、サーバ５０上で行われてもよいが、遠隔端末１００で変換を行い、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値(p,t,z)をサーバ５０に送信してＰＴＺビデオカメラ３０を制御するようにしてもよい。

そして、サーバ５０は、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値(p, t, z)値をＰＴＺビデオカメラ３０に送信し、ＰＴＺビデオカメラ３０を制御する。実際には、ＰＴＺビデオカメラ３０が制御可能なパン・チルト・ズーム値は限られているため、パン・チルト・ズーム値(p, t, z)に最も近い、パン・チルト・ズーム制御値(p’, t’, z’)で制御される。次に、サーバ５０は、ＰＴＺビデオカメラ３０による撮像画像３１を取り込み、ネットワーク３００を介して遠隔端末１００に常に送信し続ける。遠隔端末１００は、サーバ５０からＰＴＺビデオカメラ３０による撮像画像を受信すると、これを表示装置１１０上に表示する。遠隔端末１００は、ユーザーがＰＴＺビデオカメラ３０による撮像画像３１上でアノテーション画像２０２ａを描画すると、描画されたアノテーション画像２０２ａの描画情報をサーバ５０に送信する。パン・チルト・ズーム制御値(p’, t’, z’)により、実際のズーム領域は座標（ｘ’₀, ｙ’₀, ｘ’₁, ｙ’₁）になる。これは、式（２）により計算される。

サーバ５０は、ＰＴＺビデオカメラ３０による撮像画像３１上で、アノテーション画像の描画が行われた事を検出すると（ステップＳ３５）、ＰＴＺビデオカメラ３０で撮像された撮像画像に基づく指示に応じたアノテーション画像２０２ａを、ズーム指定領域４０に基づいてビデオカメラ２０による撮像画像２１上の座標系に変換を行う（ステップＳ３６）。具体的には、サーバ５０は、ＰＴＺビデオカメラ３０の撮像画像の座標系(ｘ_b, ｙ_b)から、ビデオカメラ２０の撮像画像の座標系(ｘ_a, ｙ_a)へ変換を行う。このときの変換式を式（３）に示す。

ここで、関数gは、実際のズーム領域の座標（ｘ₀’, ｙ₀’, ｘ₁’, ｙ₁’）と、ＰＴＺビデオカメラ３０による撮像画像の画像サイズ(ｗ, ｈ)より、式（４）（５）のアフィン変換により求められる（図７参照）。

このような処理により、ＰＴＺビデオカメラ３０による撮像画像３１上のアノテーション画像は、ビデオカメラ２０の撮像画像上の座標系でのアノテーション画像に変換される。そして、サーバ５０は、ＰＴＺビデオカメラ３０の撮像画像２１に基づくアノテーション画像２０２を、ビデオカメラ２０の撮像画像２１の座標系から、プロジェクタ４０の座標系に変換して変換後のアノテーション画像を被写体２００に投影する（ステップＳ３７）。これによりＰＴＺビデオカメラ３０による撮像画像３１に基づくアノテーション画像２０２が被写体２００上に投影される。なお、（ｘ_b, ｙ_b）から（ｘ_a, ｙ_a）への変換は、サーバ５０で行ってもよいが、遠隔端末１００で変換してサーバ５０にネットワークで送信してもよい。このようにして、ビデオカメラ２０の撮像画像内での矩形の位置に対する、ＰＴＺビデオカメラ３０のパン・チルト・ズーム値を測定し、これをもとにＰＴＺビデオカメラ３０の制御と、ＰＴＺビデオカメラ３０の撮像画像３１上で指示されたアノテーションをプロジェクタ４０により被写体２００に投影できる。

図９は、遠隔端末１００上でのユーザーインターフェイスの変形例を示す図である。遠隔端末１００は、遠隔端末の画面６００上に撮像画像２１のみを表示する。ユーザーはポインティングデバイス１３０などを用いて描画選択ボタン４２２を操作して描画方法を選択し、撮像画像２１上にアノテーション画像を描画する。描画選択ボタン２２内にズーム指定ボタン４２３が設けられており、このズーム指定ボタン４２３を選択するとズーム指定領域４００を撮像画像２１上に描けるようになり、撮像画像２１上にズーム指定領域４００を描くとポップアップウィンドウ６０１が自動的に開くようになっている。ポップアップウィンドウ６０１上にはＰＴＺビデオカメラ３０の撮像画像３１が表示され、描画選択ボタン４２２で描画方法を選択してＰＴＺビデオカメラ３０に基づくアノテーション画像２０２ａを描画する。ポップアップウィンドウ６０１に、閉じるボタン６０２が設けられており、ユーザーはこの閉じるボタン６０２を操作することによりポップアップウィンドウ６０１を閉じることができる。これにより、画面上の領域を節約することができる。

図１０は、遠隔端末１００上でのユーザーインターフェイスの変形例を示す図である。ユーザーインターフェイス７００は、描画選択ボタン７０２がポップアップウィンドウ７０１上にも設けられており、この描画選択ボタン７０２により描画選択ボタン４２２と異なるボタン配置やボタンの選択ができるようになっている。また、ポップアップウィンドウ７０１上にはＰＴＺカメラ制御ボタン７０３が設けられており、ユーザーはこのＰＴＺカメラ制御ボタン７０３を操作する事で、ポップアップウィンドウ７０１上で、遠隔地に設置されているＰＴＺビデオカメラ３０を上下左右に動かすことができる。遠隔端末１００は、ポップアップウィンドウ７０１を開くときに、ＰＴＺビデオカメラ３０の撮像画像３１の送受信を開始し、ポップアップウィンドウ７０１を閉じるときには送受信を停止する。これによってＰＴＺビデオカメラ３０による撮像画像３１が表示されていないときに、無駄にネットワーク帯域を使うことを防ぐ事が出来る。

図１１は、ＰＴＺビデオカメラ３０の撮像画像上のアノテーション画像の描画に関する変形例である。遠隔端末１００で拡大されたＰＴＺビデオカメラ３０の撮像画像上でアノテーション画像の描画を行う際、ＰＴＺビデオカメラ３０の拡大率が大きいほど、精度も落ち、またプロジェクタ４０で表示できる解像度も限られる。そのため、ＰＴＺビデオカメラ３０の撮像画像の拡大率に応じて、ＰＴＺビデオカメラ３０の撮像画像上でアノテーション画像を描画できる最小単位を定めるようにする。ここではこの最小単位を半径rとする。なお、この最小単位をr×r pixelとしてもよい。半径ｒは拡大率によって定まり、拡大率が大きくなるほど半径ｒも大きくなる。

図１１に示すように、ユーザーが拡大率の小さいズーム指定領域４０１を指定した場合、ＰＴＺビデオカメラ３０の撮像画像３２上で描画できる最小単位は半径ｒ１となる。また、ユーザーが拡大率の大きいズーム指定領域４０２を指定した場合、ＰＴＺビデオカメラ３０の撮像画像３３で描画できる最小単位は、半径Ｒ１よりも大きい半径Ｒ２となる。また半径ｒはＰＴＺビデオカメラ３０のズームパラメータｚから計算される。なお半径ｒの計算は遠隔端末１００で行ってもよいし、サーバ５０で行ってもよい。上記本実施形態によれば、ビデオカメラ２０による広角映像から領域を選択してＰＴＺビデオカメラ３０をコントロールして拡大しているが、ＰＴＺビデオカメラ３０を用いず、ビデオカメラ２０で領域を指定された部分をビデオカメラ２０の映像をデジタルズームすることで拡大してもよい。

上記本実施形態によれば、ビデオカメラ２０による広角映像から領域を選択してＰＴＺビデオカメラ３０をコントロールする技術(フライスペック：ＦｌｙＳＰＥＣ)、および遠隔端末の映像上にアノテーション画像を描画してそのアノテーション画像を被写体に投影する技術(アイライト：ｉＬｉｇｈｔ)を組み合わせ、ズーム指定領域の情報によってビデオカメラ２０上でＰＴＺビデオカメラ３０がどの領域を表示しているかを知ることにより、ＰＴＺビデオカメラ３０の撮像画像上で描画されたアノテーション画像をプロジェクタ４０により被写体２００に投影することができる。また、ＰＴＺビデオカメラ３０のパン・チルト・ズームおよび映像座標と、プロジェクタ４０の映像座標との対応を測定する必要が無いため、計算量も少なくて済む。

上記実施形態では、投影手段としてプロジェクタを用いた場合について説明したが、これに限定されるわけではなく、例えば、レーザ光等の光を被写体に照射して画像を形成することも可能である。

上記実施形態では、相対位置変更手段として回転ステージを例に挙げて説明したが、これに限定されるわけではなく、例えば、ロボット等を相対位置変更手段として使用することも可能であるし、上記実施形態では、被写体を移動させる場合について説明したが、例えば、撮像手段としてのビデオカメラ及び投影手段としてのプロジェクタを移動させる構成とすることも可能である。

上記実施形態では、回転ステージ７０の回転を指示するために表示画面１１１上に回転用ボタンＲ１，Ｒ２を形成した場合について説明したが、これに限定されるわけではなく、キーボードを用いてもよいし、種々の方法を採用できる。

上記実施形態では、遠隔端末１００がサーバ５０にネットワーク３００により接続されている場合について説明したが、これに限定されるわけではなく、他の手段により遠隔端末１００をサーバ５０に接続することもできるし、また、遠隔端末１００を被写体２００の側に配置することも可能である。

上記実施形態では、ビデオカメラ２０、ＰＴＺカメラ３０の映像は、サーバ５０ではなく、別のハードウェアによってネットワーク３００を介して遠隔地に送信してもよい。

なお、本発明による遠隔指示方法は、被写体側装置１０によって実現されている。また、サーバ５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現されている。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の遠隔指示システムの一実施形態を示す構成図である。 被写体側装置のサーバにおけるビデオカメラを用いた処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける像形成における処理の一例を示すフローチャートである。 遠隔端末側の操作の一例を説明するための図である。 遠隔指示システムの特徴的な動作フローチャートである。 ビデオカメラによる撮像画像、ＰＴＺビデオカメラによる撮像画像及びズーム指定領域などを説明するための図である。 ズーム指定領域の座標とＰＴＺビデオカメラのパン・チルト・ズーム値の変換を説明するための図である。 遠隔端末上でのユーザーインターフェイスを示す図である。 遠隔端末上でのユーザーインターフェイスの変形例を示す図である。 遠隔端末上でのユーザーインターフェイスの他の変形例を示す図である。 ＰＴＺビデオカメラの撮像画像上のアノテーション画像の描画に関する変形例である。

符号の説明

１ 遠隔指示システム
１０ 被写体側装置
２０ ビデオカメラ
３０ ＰＴＺビデオカメラ
４０ プロジェクタ
５０ サーバ
７０ 回転ステージ
１００ 遠隔端末
１２０ コンピュータ
２００ 被写体

Claims (7)

1. 被写体を撮像する撮像手段と、
   前記撮像手段で撮像された第１の撮像画像を遠隔端末に送信すると共に、該遠隔端末で前記第１の撮像画像上に描画されたアノテーション画像を投影手段により前記被写体に投影させる制御手段と、
   前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記被写体上の該選択された所定の領域を拡大して撮像する拡大用撮像手段と、
   を備え、
   前記制御手段は、前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記拡大用撮像手段で撮像された第２の撮像画像を前記遠隔端末に送信すると共に、
   前記遠隔端末で前記第２の撮像画像上に描画されたアノテーション画像を前記第１の撮像画像上の座標系でのアノテーション画像に変換し、前記投影手段により前記被写体に投影させることを特徴とする遠隔指示システム。
2. 前記制御手段は、前記選択された所定の領域の座標を前記拡大用撮像手段による前記拡大に必要な値に変換して前記拡大用撮像手段による撮像画像の拡大を制御することを特徴とする請求項１に記載の遠隔指示システム。
3. 前記制御手段は、前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像を前記撮像手段の座標系に変換後、該変換後のアノテーション画像を前記投影手段により前記被写体に投影させることを特徴とする請求項１又は請求項２に記載の遠隔指示システム。
4. 前記投影手段、前記拡大用撮像手段及び前記撮像手段に対する前記被写体の相対的な位置関係を変更する相対位置変更手段をさらに備え、
   前記制御手段は、前記相対位置変更手段による前記被写体の移動に合わせて前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像の投影位置を変更することを特徴とする請求項１から請求項３のいずれかに記載の遠隔指示システム。
5. 前記相対位置変更手段は、前記被写体を回動させ得る回転ステージを含むことを特徴とする請求項４に記載の遠隔指示システム。
6. 撮像手段により被写体を撮像する工程と、
   前記撮像手段で撮像された第１の撮像画像を遠隔端末に送信すると共に、該遠隔端末で前記第１の撮像画像上に描画されたアノテーション画像を投影手段により前記被写体に投影させる工程と、
   前記遠隔端末により前記第１の撮像画像内の所定の領域が選択されたときに前記被写体上の該選択された所定の領域を拡大して撮像する拡大用撮像手段で撮像された第２の撮像画像を前記遠隔端末に送信する工程と、
   前記遠隔端末で前記第２の撮像画像上に描画されたアノテーション画像を前記第１の撮像画像上の座標系でのアノテーション画像に変換し、前記投影手段により前記被写体に投影する工程と、
   を有することを特徴とする遠隔指示方法。
7. 前記拡大用撮像手段で撮像された第２の撮像画像上に描画されたアノテーション画像を前記撮像手段の座標系に変換する工程をさらに有することを特徴とする請求項６に記載の遠隔指示方法。

Images