JP4742976B2 - 遠隔指示システム、遠隔指示方法及びプログラム - Google Patents

Description

本発明は、遠隔からの画像による指示が可能な遠隔指示システムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する実物体をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより実物体へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報

ところで、従来においては、上記のような遠隔指示システムにおいて遠隔端末側からの指示によりアノテーション画像を実物体へ投影するには、遠隔端末側で予め用意した専用の描画機能を用いてアノテーション画像を描画する必要があった。このため、実用的には、遠隔端末側からは簡単な線図程度しか指示できず、多種多様なアノテーション画像を形成するのは困難であった。
また、汎用的なアプリケーションソフトを用いて複雑なアノテーション画像を作成することは可能であるが、アノテーション画像をリアルタイムに形成して送信することはできない。

本発明は、上記問題に鑑みて成されたものであり、その目的とするところは、多種多様なアノテーション画像を簡易かつ迅速に形成して遠隔端末から実物体上に投影可能な遠隔指示システムを提供することにある。

本発明に係る遠隔指示システムは、対象物を撮像手段により撮像すると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影する遠隔指示システムであって、
アプリケーションソフトウエアの表示領域内に前記撮像画像をオーバレイ表示させると共に、当該ソフトウエアによる編集操作により編集画像を前記表示領域内に表示し、表示された編集画像をその生成前後の表示画像の差分により抽出し、抽出した編集画像から前記アノテーション画像を形成するアノテーション形成手段を有する、ことを特徴としている。
この構成によれば、表示データから編集画像を抽出しているので、表示して編集するアプリケーションであれば、どんなアプリケーションでも、特別な連携機能を加えることなく当該アプリケーションによる編集画像をアノテーション画像として形成できる。

上記構成において、撮像手段及び投影手段を管理するサーバと、サーバから撮像画像を受信すると共にアノテーション形成手段を備え、形成したアノテーション画像をサーバへ送信する遠隔端末と、を有する構成を採用できる。

上記構成において、アノテーション形成手段は、撮像画像内の指定された領域内に存在する編集画像をアノテーション画像とする、構成とすることができる。

上記構成において、アノテーション形成手段は、編集画像が表示される前後の表示領域の表示画像をユーザの操作に応じて取得する、構成とすることができる。

上記構成において、アノテーション形成手段は、所定の周期でキャプチャした表示領域の表示画像から編集画像を抽出する、構成とすることができる。

上記構成において、編集画像は、アプリケーションソフトウエアの描画機能により形成される、構成とすることができる。

上記構成において、編集画像には、他のアプリケーションソフトウエアから複写された画像が含まれる、構成とすることができる。
また、上記構成において、アノテーション形成手段は、並列して実行される複数のアプリケーションソフトウエアを利用して、アノテーション画像を形成する、

本発明に係る遠隔指示方法は、対象物を撮像手段により撮像すると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により撮像手段の撮像領域内へ投影する遠隔指示方法であって、アプリケーションソフトウエアの表示領域内に撮像画像を重ねて表示するステップと、編集操作により表示領域内に表示された編集画像をその生成前後の前記表示領域の表示画像の差分により抽出するステップと、抽出した編集画像から前記アノテーション画像を形成するステップと、を有することを特徴としている。

本発明に係るアノテーション画像の形成用のプログラムは、対象物を撮像手段に撮像させると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影する遠隔指示システムにおける前記アノテーション画像の形成用のプログラムであって、アプリケーションソフトウエアの表示領域内に前記撮像画像を重ねて表示させるステップと、編集操作により表示領域内に表示された編集画像をその生成前後の表示領域の表示画像の差分により抽出するステップと、抽出した編集画像からアノテーション画像を形成するステップと、をコンピュータに実行させることを特徴としている。

本発明によれば、多種多様なアノテーション画像を簡易かつ迅速に形成して実物体上に投影可能となる。

以下、本発明の最良の実施形態について、添付図面を参照しつつ説明する。
図１は、本発明の遠隔指示システムの一実施形態を示す構成図である。
この遠隔指示システムは、図１に示すように、実物体側装置１０、遠隔端末１００等を備えており、実物体側装置１０と遠隔端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、遠隔端末１００を一台のみ示しているが、複数の遠隔端末１００がネットワーク３００を通じて実物体側装置１０の後述するサーバ５０へ接続される。

実物体側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段としてのサーバ５０等から構成されている。

ビデオカメラ２０は、例えば、ＣＣＤカメラで構成され、対象物ＴＧを撮像可能な位置に配置されていると共に、その撮像画像はサーバ５０に取り込まれる。

プロジェクタ４０は、ビデオカメラ２０に隣接して設置されており、その画角（視野）がビデオカメラ２０の画角（視野）に略一致するように配置されている。このプロジェクタ４０には、液晶プロジェクタ等が使用される。

サーバ５０は、ビデオカメラ２０及びプロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して遠隔端末１００との間で各種情報を授受する。また、サーバ５０は、ビデオカメラ２０の撮像画像を遠隔端末１００へ送信すると共に遠隔端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ４０により対象物ＴＧへ投影させる。尚、アノテーション画像には、線、文字、図形等のあらゆる形態の画像が含まれる。また、プロジェクタ４０は、対象物ＴＧだけでなく、ビデオカメラ２０の視野（画角）内に収まる他の対象物に対してもアノテーション画像を投影可能である。

遠隔端末１００は、液晶表示装置、ＣＲＴ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。
表示装置１１０は、その表示画面１１１に実物体側装置１０から送信される画像等の画像を表示する。

ここで、図２は遠隔端末１００のコンピュータ１２０の要部構成を示す機能ブロック図である。尚、図２に示す各機能ブロックは、プロセッサ、半導体メモリ、記憶装置、通信装置等のハードウエア及び所要のソフトウエアによりそれぞれ構成される。
コンピュータ１２０は、画像管理部４１０、キャプチャ画像記憶部４２０、レイアウト情報記憶部４３０、画像キャプチャ部４４０、画像送信部４５０、画像受信部４６０、画像差分計算部４７０、オーバレイ表示部４８０、汎用アプリケーションソフトウエア５００等を備えている。尚、画像管理部４１０、画像キャプチャ部４４０、画像差分計算部４７０、オーバレイ表示部４８０等から本発明のアノテーション形成手段が構成される。

汎用アプリケーションソフトウエア（以下、アプリケーションという）５００は、表示画面１１１に編集用のウインドウ(表示領域)が表示されると共に描画機能を有するコンピュータ１２０で実行可能な汎用的なソフトウエアであればよく、又、アプリケーション５００は、単一でなくても、複数を同時に実行していてもよい。

画像管理部４１０は、後述するように、コンピュータ１２０における画像の表示、生成、記録、送信等の各種処理を総合的に管理する。
画像受信部４６０は、サーバ５０から送信された対象物ＴＧの撮像画像を受信してオーバレイ表示部４８０へ出力する。
オーバレイ表示部４８０は、画像管理部４１０からの指令応じて、指定されたアプリケーション５００のウインドウ内の指定位置へ対象物ＴＧの撮像画像を重ねて表示する。これにより、遠隔端末１００のユーザは、アプリケーション５００のウインドウ（グラフィック画像）上でビデオカメラ２０の撮像画像を観察できる。

画像キャプチャ部４４０は、アプリケーション５００のウインドウ（グラフィック画像）を画像管理部４１０からの指令に応じて取得し、画像管理部４１０及び画像差分計算部４７０へ出力する。尚、画像管理部４１０は、タイマー４９０の割り込み、イベント発生、ユーザからの指示等に応じてアプリケーション５００のウインドウ画像を取得する指令を画像キャプチャ部４４０へ出力する。

画像差分計算部４７０は、ユーザによるアプリケーション５００の編集操作によりそのウインドウ内に生成された編集画像をその生成前後にそれぞれ取得したウインドウの画像の差分により抽出し、抽出した編集画像からアノテーション画像を形成して画像送信部４５０へ出力する。尚、画像差分計算部４７０は、画像管理部４１０から制御指令を含む各種情報やウインドウの画像データが入力される。

画像送信部４５０は、画像管理部４１０から得られるアプリケーション５００のウインドウのキャプチャ画像（アノテーション画像）、あるいは、画像差分計算部４７０で形成された差分画像に基づくアノテーション画像をサーバ５０へ送信する。尚、アノテーション画像には、文字、図形等のあらゆる形態の画像が含まれ、対象物ＴＧ等に投影できる画像は全てアノテーション画像に含まれる。

キャプチャ画像記憶部４２０は、画像キャプチャ部４４０がキャプチャしたウインドウ画像を記憶する。キャプチャ画像記憶部４２０にキャプチャした各種画像を蓄えておくことにより、様々な画像を対象物ＴＧへ迅速かつ簡易に投影できる。
レイアウト情報記憶部４３０は、各種汎用アプリケーション５００のウインドウ内における撮像画像のオーバレイ表示位置や、キャプチャする画像の範囲等のウインドウへの表示及びキャプチャのための情報（例えば、表示画面内のキャプチャ範囲など）を記憶している。この情報は、予めユーザにより設定される。

次に、上記構成の遠隔指示システムの動作の一例について図３ないし図８を参照して説明する。
ここで、図３はサーバにおける処理の一例を示すフローチャート、図４は遠隔端末のコンピュータにおける処理の一例を示すフローチャート、図５はオーバレイ表示前後におけるアプリケーションのウインドウ画像の一例を示す図、図６はアプリケーションのウインドウ上で編集画像を形成した状態を示す図、図７は差分画像の形成方法を説明するための図、図８はアプリケーションの編集操作により形成されたアノテーション画像を対象物へ投影した図である。

先ず、サーバ５０における処理について説明すると、図２に示すように、ビデオカメラ２０が撮像した撮像画像をすべての遠隔端末１００へ向けて常時配信する動作を開始する（ステップＳＴ１）。

次いで、サーバ５０は、遠隔端末１００からアノテーション画像を受信するための待ちループを開始する（ステップＳＴ２）。尚、この待ちループの実行中にも、ビデオカメラ２０の撮像画像は書く遠隔端末１００へ定期的に配信される。

サーバ５０は、遠隔端末１００からアノテーション画像を受信すると、それが同期用画像か差分画像かを判断し（ステップＳＴ３）、同期用画像の場合には、同期用画像を受領し（ステップＳＴ４）、差分画像の場合にはこれを受領する（ステップＳＴ５）。

次いで、サーバ５０は、受領した同期用画像又は差分画像をハードディスク等の記憶装置に記憶し（ステップＳＴ６）、同期用画像又は差分画像をプロジェクタ４０により投影するためにこれらの画像のレンダリング処理を実行する（ステップＳＴ７）。

そして、サーバ５０は、同期用画像又は差分画像をプロジェクタ４０により投影する（ステップＳＴ８）。これにより、遠隔端末１００から送信された同期用画像又は差分画像からなるアノテーション画像が対象物ＴＧ等に投影される。また、アノテーション画像が投影された対象物ＴＧのビデオカメラ２０による撮像画像は、各遠隔端末１００へ配信される。これにより、遠隔端末１００では、自らが指示したアノテーション画像が表示されたことを確認できる。
尚、サーバ５０は、上記の処理を終了指令があるまで繰り返す（ステップＳＴ９）。

次に、遠隔端末１００のコンピュータ１２０における処理について説明する。尚、コンピュータ１２０では、一又は複数のアプリケーション５００が起動されて、表示画面１１１上にその編集用のウインドウが表示されているものとする。
コンピュータ１２０は、先ず、図４に示すように、各種初期化処理（例えば、アプリケーション５００のウインドウの表示位置、どのアプリケーション５００にオーバレイ表示するか等を決定する処理を含む）や、表示装置１１０の表示画面１１１において画像をキャプチャする範囲を決定する（ステップＳＴ１１）。尚、これらの処理は、予め設定された情報により実行してもよいし、ユーザが逐次設定してもよい。

次いで、コンピュータ１２０は、サーバ５０からビデオカメラ２０の撮像画像を常時受信する状態にする（ステップＳＴ１２）。これにより、常に、最新の画像がコンピュータ１２０に提供される。

次いで、コンピュータ１２０は、受信したビデオカメラ２０の撮像画像をアプリケーション５００のウインドウへオーバレイ表示を開始する（ステップＳＴ１３）。
ここで、図５（Ａ）に示すように、オーバレイ表示前には、表示画面１１１に描画されたアプリケーション５００のウインドウには何も表示されていないが、オーバレイ表示を開始すると、図５（Ｂ）に示すように、ビデオカメラ２０により撮像された対象物ＴＧ（例えば、プリンタ）を含む撮像画像ＩＭがウインドウの編集画面上にオーバレイ表示される。

コンピュータ１２０は、上記した画像キャプチャ部４４０にアプリケーション５００のウインドウ画像をキャプチャさせる指令が入力されるまで待ちループを実行する（ステップＳＴ１４）。
ユーザによる指示（編集操作など）、タイマー割り込み、所定のイベント発生等によりアプリケーション５００のウインドウ画像のキャプチャが繰り返し実行され、コンピュータ１２０は、これを登録する処理を実行する（ステップＳＴ１５）。これにより、図５（Ｂ）に示したウインドウ画像はキャプチャされて登録される。尚、タイマー割り込みの場合には、所定周期でウインドウ画像はキャプチャされる。
また、ユーザは、ウインドウ内の撮像画像ＩＭを観察しながら、マウス操作等により、アプリケーション５００の描画機能を使用して、例えば、図６に示すように、アノテーション画像を形成するために編集画像ＥＤＲを描画する。この編集画像ＥＤＲが描画されたアプリケーション５００のウインドウ画像もキャプチャされて登録されることになる。
コンピュータ１２０は、登録されたウインドウ画像を記憶装置に保存する（ステップＳＴ１６）。

次いで、コンピュータ１２０は、撮像画像ＩＭがウインドウの編集画面上にオーバレイ表示されてウインドウ画像が更新され、あるいは、編集画像が形成された場合には、ウインドウ画像が更新されたことをサーバ５０へ通知する（ステップＳＴ１７）。

次いで、コンピュータ１２０は、サーバ５０へ送信すべきアノテーション画像を同期用画像とするか差分画像とするかを決定する（ステップＳＴ１８）。
同期用画像は、アプリケーション５００のウインドウの所定領域からキャプチャした画像であり、差分画像は、アプリケーション５００のウインドウ画像の差分により得られる画像である。また、同期用画像とするか差分画像とするかは、例えば、ユーザによる指令に基づいて判断できるし、自動的に判別することもできる。
コンピュータ１２０は、ステップＳＴ１８において、同期用画像を送信すると決定した場合には、アプリケーション５００のウインドウの所定領域からキャプチャした画像をアノテーション画像としてサーバ５０へ送信する（ステップＳＴ１９）。

コンピュータ１２０は、ステップＳＴ１８において、差分画像を送信すると決定した場合には、差分画像を計算してユーザの編集操作によりアプリケーション５００のウインドウ内に生成された編集画像を抽出する（ステップＳＴ２０）。

ここで、図５（Ｂ）に示した編集前（編集画像の生成前）のウインドウ画像と図６に示した編集後（編集画像の生成後）のウインドウ画像をそれぞれＷＤ１、ＷＤ２とすると、差分画像ＤＷＤは、図７のようになり、編集画像ＥＤＲを抽出することができる。

ここで、編集前のウインドウ画像ＷＤ１と編集後のウインドウ画像ＷＤ２との差分を計算すると、差分画像ＤＷＤには、図７に示すように、編集操作により形成された編集画像ＥＤＲが含まれると共に、他の不要画像ＣＤＲも含まれる。
このため、差分画像ＤＷＤから切り出す範囲Ｒ１を予め指定しておいて、この範囲Ｒ１内に含まれる編集画像ＥＤＲのみを必要なアノテーション画像とし、これをサーバ５０へ送信する（ステップＳＴ２１）。
尚、切り出す範囲Ｒ１は、ビデオカメラ２０の視野と等しくしてもよいし、ビデオカメラ２０の視野内の一部としてもよい。
遠隔端末１００では、上記のような処理を終了指示があるまで（ステップＳＴ２２）、繰り返し実行する。

編集画像ＥＤＲからなるアノテーション画像がサーバ５０へ送信されると、例えば、図８に示すように、編集画像ＥＤＲから形成されたアノテーション画像ＡＤＲが対象物ＴＧ上に投影される。これにより、遠隔端末１００から実物体側へ画像による指示が可能になる。
また、本実施形態では、汎用のアプリケーション５００を使用してその編集操作によりアノテーション画像が自動生成されるようにしたので、ユーザは既存のアプリケーションを使用して何ら違和感なく遠隔指示操作を実行できる。

複数のアプリケーション５００を同時に起動して実行した場合にも、各アプリケーション５００でアノテーション画像を形成して対象物ＴＧへそれぞれ投影することも可能である。
また、ＣＡＤファイル等をハードディスク等の記憶装置から呼び出してアプリケーション５００のウインドウに表示させることにより、ＣＡＤデータをそのままアノテーション画像として対象物ＴＧへ投影することも可能である。
また、複数のアプリケーション５００を同時に起動した状態で、一のアプリケーションのウインドウに表示された描画図形等を他のアプリケーションのウインドウにコピーし、このコピー画像をアノテーション画像とすることも可能である。
また、画像をコピーするのではなく、並列に実行されるアプリケーションソフトウエアを使用して、撮像画像を取り込むアプリケーションソフトウエアを適宜切り替えることにより、複数のアプリケーションを並列的に使用して、アノテーション画像を形成することも可能である。
また、サーバ側で集中管理することにより、複数のクライアントからのアノテーション画像を複数のアプリケーションソフトウエアで並列に受け付けることも可能である。

上記実施形態では、汎用のアプリケーション５００を使用してアノテーション画像を形成するアノテーション形成手段を遠隔端末１００に設けた場合について説明したが、これに限定されるわけではなく、例えば、サーバ５０にアノテーション形成手段を設けることも可能である。

また、サーバ５０がビデオカメラ２０及びプロジェクタ４０を共に制御する構成について説明したが、これに限定されるわけではなく、ビデオカメラ２０とプロジェクタ４０とを別々のコンピュータで制御してもよい。

上記実施形態では、対象物ＴＧとしてプリンタ等の立体形状をもつものを例に挙げて説明したが、これに限定されるわけではなく、ホワイトボードなど平面的な対象物であってもよく、また、立体的なものと平面的なものを同時に取り扱うことも可能である。

上記実施形態では、サーバとクライアントとの間、及び、撮像画像を取り込むアプリケーションの種類、範囲の相違等により描画したアノテーション画像を実物体上の目標箇所に正確に投影できない場合が発生する可能性がある。このような場合には、アプリケーションソフトウエアのウインドウで描画してこれを投影したものが目標箇所からずれている場合に、これをパラメータ調整により自動的あるいは操作によりキャリブレーションして所望の箇所に投影させる機能を備える構成とすることも可能である。

本発明の一実施形態に係る遠隔指示システムの構成図である。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 実物体側装置のサーバにおける処理の一例を示すフローチャートである。 遠隔端末のコンピュータにおける処理の一例を示すフローチャートである。 オーバレイ表示前後におけるアプリケーションのウインドウ画像の一例を示す図である。 アプリケーションのウインドウ上で編集画像を形成した状態を示す図である。 差分画像の形成方法を説明するための図である。 アプリケーションの編集操作により形成されたアノテーション画像を対象物へ投影した図である。

符号の説明

１０…実物体側装置
２０…ビデオカメラ（撮像手段）
４０…プロジェクタ（投影手段）
５０…サーバ
１００…遠隔端末
１１０…表示装置
１１１…表示画面
１２０…コンピュータ
１３０…ポインティングデバイス
３００…ネットワーク
４１０…画像管理部
４２０…キャプチャ画像記憶部
４３０…レイアウト情報記憶部
４４０…画像キャプチャ部
４５０…画像送信部
４６０…画像受信部
４７０…画像差分計算部
４８０…オーバレイ表示部
５００…汎用アプリケーションソフトウエア
ＴＧ…対象物
ＡＤＲ…アノテーション画像

Claims (9)

1. 対象物を撮像手段により撮像すると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影する遠隔指示システムであって、
   アプリケーションソフトウエアの表示領域内に前記撮像画像を重ねて表示させると共に、当該ソフトウエアによる編集操作により編集画像を前記表示領域内に表示し、表示された編集画像をその生成前後の表示画像の差分により抽出し、抽出した編集画像から前記アノテーション画像を形成するアノテーション形成手段を有する、
   ことを特徴とする遠隔指示システム。
2. 前記撮像手段及び前記投影手段を管理するサーバと、
   前記サーバから前記撮像画像を受信すると共に前記アノテーション形成手段を備え、形成したアノテーション画像を前記サーバへ送信する遠隔端末と、を有することを特徴とする請求項１に記載の遠隔指示システム。
3. 前記アノテーション形成手段は、前記編集画像が表示される前後の前記表示領域の表示画像をユーザの操作に応じて取得する、ことを特徴とする請求項１又は２に記載の遠隔指示システム。
4. 前記アノテーション形成手段は、所定の周期でキャプチャした前記表示領域の表示画像から前記編集画像を抽出する、ことを特徴とする請求項１ないし３のいずれかに記載の遠隔指示システム。
5. 前記編集画像は、前記アプリケーションソフトウエアの描画機能により形成される、ことを特徴とする請求項１ないし４のいずれかに記載の遠隔指示システム。
6. 前記編集画像には、他のアプリケーションソフトウエアから複写された画像が含まれる、ことを特徴とする請求項１ないし５のいずれかに記載の遠隔指示システム。
7. 前記アノテーション形成手段は、並列して実行される複数のアプリケーションソフトウエアを利用して、前記アノテーション画像を形成する、ことを特徴とする請求項１ないし６のいずれかに記載の遠隔指示システム。
8. 対象物を撮像手段により撮像すると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影する遠隔指示方法であって、
   アプリケーションソフトウエアの表示領域内に前記撮像画像を重ねて表示するステップと、
   編集操作により前記表示領域内に表示された編集画像をその生成前後の前記表示領域の表示画像の差分により抽出するステップと、
   抽出した前記編集画像から前記アノテーション画像を形成するステップと、
   を有することを特徴とする遠隔指示方法。
9. 対象物を撮像手段に撮像させると共にその撮像画像に基づいてされた指示に応じたアノテーション画像を投影手段により前記撮像手段の撮像領域内へ投影する遠隔指示システムにおける前記アノテーション画像の形成用のプログラムであって、
   アプリケーションソフトウエアの表示領域内に前記撮像画像を重ねて表示させるステップと、
   編集操作により前記表示領域内に表示された編集画像をその生成前後の前記表示領域の表示画像の差分により抽出するステップと、
   抽出した前記編集画像から前記アノテーション画像を形成するステップと、
   をコンピュータに実行させることを特徴とするアノテーション画像の形成用プログラム。
   
   

Images