JP5145664B2

JP5145664B2 - 遠隔指示システム

Info

Publication number: JP5145664B2
Application number: JP2006196231A
Authority: JP
Inventors: 哲男伊與田
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-07-18
Filing date: 2006-07-18
Publication date: 2013-02-20
Anticipated expiration: 2026-07-18
Also published as: US8957964B2; JP2008028482A; US20080018740A1

Description

本発明は、対象物に対して遠隔地から指示が可能な遠隔指示システムに関する。

例えば、遠隔修理システム、遠隔保守システム、遠隔医療システム、遠隔会議システム等においては、遠隔側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、遠隔側から実物体側への指示を行うことができる遠隔指示システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を遠隔端末に送信すると共に、遠隔端末において撮像画像に基づいて指示されたアノテーション画像を実物体側でプロジェクタにより対象物へ投影する技術が知られている（例えば、特許文献１参照）。
米国特許公開２００４／００７０６７４号公報特開２００５−３３７５６号公報

ところで、上述した遠隔指示システムにおいて、例えば、対象物がビデオカメラの撮像領域を超えて配置されていることもある。このような場合、ビデオカメラにおける撮像画像は、対象物の撮像画像の一部しか遠隔側に送信されず、当該撮像画像に基づいてアノテーション画像を指示することは利用者にとって好ましいものでない。

本発明は、このような場合に鑑みてなされたものであり、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能であって、適確なアノテーション画像の投影が可能な遠隔指示システムを提供する。

上述した問題点を解決するために、本発明の遠隔指示システムは、隣接する領域が重なり合う複数の領域を含む広域領域を１つの広域撮像手段に撮像させると共に、その撮像画像に基づく指示に応じたアノテーション画像を前記複数の領域内に複数の投影手段の少なくとも１つにより投影させる遠隔指示システムであって、前記複数の投影手段のそれぞれにより前記複数の領域に対応して投影される各校正パターン画像の撮像画像内の位置に基づいて、前記校正パターン画像同士のオーバーラップの度合いを表すオーバーラップ情報を算出する第１算出手段と、前記撮像画像において前記広域領域と前記校正パターン画像のすべてにより占められる領域との間に隙間が生じている場合に、前記広域領域と前記校正パターン画像との間に位置のずれがあると判定し、該位置のずれを校正パラメータとして算出する第２算出手段と、前記第１算出手段により算出されたオーバーラップ情報と前記第２算出手段により算出された校正パラメータとに基づいて、前記各領域の位置と前記広域領域の位置との変換パラメータを算出する第３算出手段と、前記アノテーション画像が前記複数の領域に跨って投影される場合に、前記第３算出手段により算出された変換パラメータに基づいて、前記アノテーション画像の形状を校正する校正手段と、を有することを特徴とする。

また、本発明は、前記複数の投影手段による投影画像の組合せで前記複数の領域に跨って投影されるアノテーション画像を形成する形成手段を備えることを特徴とする。

また、本発明は、前記広域撮像手段及び前記投影手段を管理するサーバと、前記広域撮像手段から受信した撮像画像に基づいて前記アノテーション画像を形成し、形成したアノテーション画像を投影位置に応じた前記投影手段に送信することにより指示する遠隔端末とを備えることを特徴とする。

本発明によれば、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能となり、さらに、当該撮像画像に基づく適確なアノテーション画像の投影が可能となる。

以下、本発明の実施形態について、図面を参照して具体的に説明する。
（第１実施形態）
図１及び図２は本発明の第１実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムは、図１に示すように、サーバ１００、サーバ１００にネットワーク２００を介して接続される遠隔端末３００等から構成される。

サーバ１００には、３列２段で配置される６個の撮像投影装置１０が形成される。それぞれの撮像投影装置１０には、所定の領域（以下、対象領域という。）内に配置された、例えば車両等の対象物２０と、対象物２０を撮像する撮像手段としてのビデオカメラ１１と、ビデオカメラ１１の撮像画角を変更するハーフミラー１４と、対象物２０に画像を投影する投影手段としてのプロジェクタ１２とが形成される。なお、撮像投影装置１０の配列や数については、これに限るものではない。

ビデオカメラ１１は、例えば、ＣＣＤ(Charge Coupled Device：電荷結合素子)カメラで構成され、対象物２０を撮像可能な位置に配置されていると共に、その撮像画像はサーバ１００に取り込まれる。なお、図１において、それぞれのビデオカメラ１１は、ハーフミラー１４によって反射された対象物２０を撮像する。

プロジェクタ１２は、ビデオカメラ１１に隣接して設置されており、その視野（画角）がビデオカメラ１１の視野（画角）に略一致するように配置されている。これらのプロジェクタ１２には、液晶プロジェクタ等が使用される。

このように構成された撮像投影装置１０によって対象物２０は撮像・投影される。すなわち、例えば、上段左側の配置される撮像投影装置１０のビデオカメラ１１は対象物２０の上段左側、上段真中に配置される撮像投影装置１０のビデオカメラ１１は対象物２０の上段真中というように、一つのビデオカメラの撮像領域では収まらない対象物２０の撮像画像を、複数のビデオカメラ１１によって対象物２０の全体画像として撮像することが可能となる。

サーバ１００は、複数のビデオカメラ１１及び複数のプロジェクタ１２の動作を制御すると共に、ネットワーク２００を介して遠隔端末３００との間で各種情報を授受する。また、サーバ１００は、ビデオカメラ１１のそれぞれの撮像画像を遠隔端末３００へ送信すると共に遠隔端末３００でなされた撮像画像に基づく指示に応じたアノテーション画像をプロジェクタ１２により対象物２０へ投影させる。また、アノテーション画像は、線、文字、図形等のあらゆる態様によって構成される。

遠隔端末３００は、液晶ディスプレイ、ＣＲＴ等の表示装置３２０、ネットワーク２００に接続され、ＣＰＵやＤＲＡＭ等で構成されるコンピュータ３１０、コンピュータ３１０に接続されたポインティングデバイス（マウス）３３０等から構成されている。表示装置３２０は、その表示画面３２１にサーバ１００から送信される画像等を表示する。そして、当該画像に基づき、ユーザは遠隔端末３００を操作して、対象物２０に対するアノテーション画像ＡＮをサーバ１００に送信する。

また、遠隔指示システムには、図１に示すように、広域投影領域ＷＡＰを撮像する撮像手段としての広角カメラ１３が形成される。広角カメラ１３は、一つ一つのビデオカメラ１１の撮像領域では収まらない領域を、１つにまとめた領域として撮像する機能を有する。そして、広角カメラ１３による撮像画像はサーバ１００に取り込まれる。なお、撮像投影装置１０のビデオカメラ１１による撮像画像を遠隔端末３００に送信するか、当該広角カメラ１３による撮像画像を遠隔端末３００に送信するか、については、当該送信を切り替えるスイッチ等をサーバ１００に形成し、使用者に切り替えさせるようにすることが可能である。このように制御することで、解像度のよい撮像画像を遠隔端末３００に送信することが可能となる。

また、図２に示すように、上下２段となって配置された撮像投影装置１０の間に、上述した広角カメラ１３が設置される。撮像投影装置１０の上下のビデオカメラ１１はそれぞれ対象物２０の上側、下側を撮像し、広角カメラ１３は、対象物２０の上側、下側をまとめて撮像することができる。なお、広角カメラ１３の設置位置は、対象物の全体が撮像可能な位置であれば、図１及び図２に示す設置位置に限られるものではない。

図３は、サーバ１００の機能ブロック図である。サーバ１００は、図３に示すように、ビデオカメラ１１によって撮像された画像ＩＭを取得する第１の画像取得部１０１、プロジェクタ１２の動作や停止を制御すると共に、アノテーション画像を形成する形成手段としての投影手段制御部１０２、広角カメラ１３によって撮像された画像ＷＩＭを取得する第２の画像取得部１０３、を有する。

サーバ１００は、ＤＲＡＭ(Dynamic Random Access Memory)、ＳＲＡＭ（Static RAM）、フラッシュメモリ等の半導体記憶装置で構成される記憶部１０４を有し、当該記憶部１０４は、ビデオカメラ１１及び広角カメラ１３で撮像した撮像画像等を記憶する。送受信部１１１は、記憶部１０４に記憶されるビデオカメラ１１等による撮像画像を遠隔端末３００に送信すると共に、遠隔端末３００から送信させるアノテーション画像の描画コマンドを受信する機能を有する。

図３に示す校正パラメータ算出部１０５は、記憶部１０４に記憶される校正パターン画像から校正情報としての校正パラメータを算出する機能を有し、算出された校正パラメータは校正パラメータ記憶部１０６に記憶される。また、オーバーラップ情報算出部１０７は、記憶部１０４に記憶される校正パターン画像から校正情報としてのオーバーラップ（重なり合い）情報を算出する機能を有し、算出されたオーバーラップ情報はオーバーラップ情報記憶部１０８に記憶される。なお、校正パターン画像は、ビデオカメラ１１やプロジェクタ１２の視野を調整するための画像であって、縞模様や格子模様などによって構成される画像である。

例えば、遠隔指示システムを設置するに際して、撮像投影装置１０を一つづつ作業者が手作業で並べて配置する場合には、それぞれのビデオカメラ１１による隣接する撮像領域、または、それぞれのプロジェクタ１２による隣接する投影領域が重なったり、隣接する撮像領域同士の間や、広角カメラ１３の撮像領域とビデオカメラ１１の撮像領域との間に隙間が生じたり、隣接する撮像領域同士がずれたりする可能性がある。このような場合に、作業者が撮像投影装置１０の配置を手作業で修正し、それぞれの撮像領域等の隙間をなくすと共に、隣接する撮像領域同士を重ねずに配置することは困難である。

したがって、作業者は遠隔指示システムを設置する際には、ビデオカメラ１１の撮像領域がわずかに重なるように撮像投影装置１０を設置する。このように設置して、撮像領域等の重なり合う部分についてはサーバ１００にオーバーラップ情報として記憶させ、また、撮像領域等のずれた部分（位置ずれ）については校正パラメータとしてサーバ１００に記憶させる。

変換パラメータ算出部１０９は、校正パラメータ記憶部１０６に記憶される校正パラメータ及びオーバーラップ情報記憶部１０７に記憶されるオーバーラップ情報から変換パラメータを算出する機能を有する。変換パラメータは、広角カメラ１３による撮像領域の位置座標とそれぞれの撮像投影装置１０による撮像領域の位置座標とを変換するパラメータである。したがって、アノテーション画像ＡＮを対象物２０に投影する場合には、アノテーション画像ＡＮが投影される位置情報を当該変換パラメータによって正確な位置情報を変換してから、アノテーション画像ＡＮを対象物２０に投影することで、対象物２０の正確な位置にアノテーション画像ＡＮを投影することができる。

これらの各機能の動作は、全体制御部１１０によって制御され、当該全体制御部１１０は、ＣＰＵ等の処理装置、そこで実行されるプログラムおよびハードディスク等の記憶装置等によって構成される。

続いて、第１実施形態における遠隔指示システムの初期調整について図４及び図５を参照して説明する。図４は、第１実施形態における遠隔指示システムの初期調整を示すフローチャートであり、図５は、校正スクリーン６０に投影される校正パターン画像ＰＩＭを説明するための図である。

まず、遠隔指示システムを設置する作業者は、その準備として、対象物２０の設置すべき位置に校正スクリーン６０を設置する。この校正スクリーン６０は、遠隔指示システムの各撮像投影装置１０のプロジェクタ１２から投影される校正パターン画像ＰＩＭが投射されるスクリーンである。そして、当該校正スクリーン６０に向けて、作業者は撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影準備を行う。

次に、左上側に設置される撮像投影装置１０のプロジェクタ１２は、図５に示すように、校正パターン画像ＰＩＭ１を校正スクリーン６０に投影する。校正スクリーン６０に投影された校正パターン画像ＰＩＭ１は、広角カメラ１３によって撮像されると共に、投影される校正パターン画像ＰＩＭ１の位置情報（位置データ）がサーバ１００によって取得される（ステップＳ１）。そして、ステップＳ１の処理が終了すると、次に、左中側に設置される撮像投影装置１０における校正パターン画像ＰＩＭ２の撮像及びその位置情報の取得が行われる。当該ステップＳ１の処理は、残りの撮像投影装置１０の設置が完了するまで行われる（ステップＳ２）。

撮像投影装置１０の設置が完了すると、サーバ１００は、各撮像投影装置１０の校正パラメータ及びオーバーラップ情報を算出する（ステップＳ３）。すなわち、図５に示す各校正パターン画像ＰＩＭ１〜ＰＩＭ６のオーバーラップＯＬの度合いや、広域投影領域ＷＡＰと校正パターン画像ＰＩＭとの位置ずれ１８をそれぞれ算出する。さらに、ステップＳ３の処理で算出した校正パラメータ及びオーバーラップ情報に基づいて、各プロジェクタ１２の投影領域の位置座標と広角カメラ１３の撮像領域の位置座標との変換パラメータを算出する（ステップＳ４）。そして、算出した変換パラメータは、広域アノテーション画像ＷＡＮを投影する際に使用される。このように、各撮像投影装置１０について、校正パラメータ、オーバーラップ情報、変換パラメータを取得することによって、遠隔指示システムの設置及び初期調整が完了する。

続いて、第１実施形態に係る遠隔指示システムにおける広域アノテーション画像ＷＡＮの投影について図６及び図７を参照して説明する。
図６は、広域アノテーション画像ＷＡＮを投影するサーバ１００の処理の一例を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３または各ビデオカメラ１１の撮像画像に基づく指示に応じた広域アノテーション画像ＷＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ１１）。当該判定は、描画コマンドを受信するまで行われる。

サーバ１００は、次に、受信した描画コマンドが、複数のプロジェクタの投影領域によって形成された広域投影領域ＷＡＰに投影される広域アノテーション画像ＷＡＮか否かを判定する（ステップＳ１２）。広域アノテーション画像ＷＡＮである場合には、上述した変換パラメータによって広域アノテーション画像ＷＡＮの形状が校正される（ステップＳ１３）。

すなわち、広角カメラ１３等の撮像画像に基づく指示に応じた広域アノテーション画像ＷＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２から広域アノテーション画像ＷＡＮを投影させると、投影領域ＡＲのオーバーラップＯＬや位置ずれ１８等が考慮されず、対象物２０に投影された広域アノテーション画像ＷＡＮは不正確な位置に投影されたり、図７（ａ）に示すように不正確な形状となったりする等、遠隔端末３００から指示した広域アノテーション画像ＷＡＮと異なる形状になる可能性がある。

したがって、サーバ１００は、受信した広域アノテーション画像ＷＡＮに対し、正確な位置に広域アノテーション画像ＷＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、図７（ｂ）に示すように、投影される位置情報が変換された広域アノテーション画像ＷＡＮが、各撮像投影装置１０のプロジェクタ１２から対象物２０に投影される（ステップＳ１４）。一方、サーバ１００が広域アノテーション画像ＷＡＮの描画コマンドでなく、一つの撮像投影装置１０のプロジェクタ１２によって投影可能なアノテーション画像の描画コマンドである場合には、一つの撮像投影装置１０のプロジェクタ１２によってアノテーション画像が対象物２０に投影されることになる（ステップＳ１５）。

このように、各プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、広域アノテーション画像ＷＡＮが投影される際には、そのオーバーラップＯＬ等が変換パラメータによって変換され、広域アノテーション画像ＷＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの位置ずれ等に対して、広域アノテーション画像ＷＡＮは、画素オーダーで対象物２０に投影されることになる。

（第２実施形態）
次に、本発明の第２実施形態にかかる遠隔指示システムについて説明する。なお、図１に示される遠隔指示システムの各部と同様の構成には同一符号を付し、その説明を省略する。

図８及び図９は本発明の第２実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムでは、図８及び図９に示すように、サーバ１００に一つの撮像投影装置１０が形成される。撮像投影装置１０には、第１実施形態で説明した撮像投影装置１０と同様に、ビデオカメラ１１及びプロジェクタ１２が形成される。なお、サーバ１００は、図８において撮像投影装置１０の外部に設置しているが、サーバ１００と同様の機能を撮像投影装置１０の内部に設置することも可能である。

撮像投影装置１０には、自身を移動させる移動装置として、対象物２０に投影するアノテーション画像ＡＮを拡大・縮小するための移動機構３０と、対象物２０に対する投影角度を調整するための首振り機構４０とが形成される。移動機構３０は、対象物２０の方向に撮像投影装置１０を遠ざけたり、近づけたりする機能を有する。また、首振り機構４０は、撮像投影装置１０を回転させる機能を有し、より詳しくは、撮像投影装置１０を垂直方向及び水平方向の２軸で回転させる機能を有する。これらの移動機構３０及び首振り機構４０の動作はサーバ１００によって制御される。

また、サーバ１００には、広角カメラ１３が形成される。広角カメラ１３は、対象物２０の全体を撮像する機能を有する。広角カメラ１３によって撮像された撮像画像は、サーバ１００に取り込まれ、遠隔端末３００に送信される。遠隔端末３００では、受信した広角カメラ１３の撮像画像が表示装置３２０の表示画面３２１に表示される。このように、ビデオカメラ１１の撮像領域に収まらない対象物２０であっても、広角カメラ１３を使用することによって、遠隔端末３００の表示画面３２０に対象物２０の全体画像を表示させることが可能となり、使用者は全体画像に基づくアノテーション画像ＡＮを指示することができる。

図１０は、第２実施形態に係るサーバ１００の機能ブロック図である。なお、図３に示すサーバ１００の機能ブロック図の各部と同様の構成には同一符号を付し、その説明を省略する。

第２実施形態に係るサーバ１００においては、一つの第１の画像取得部１０１及び一つの投影手段制御部１０２が使用される。これは、第１実施形態で説明した撮像投影装置１０が複数であったのに対し、第２実施形態では、一つの撮像投影装置１０を使用するためである。また、移動手段制御部１１２は、上述した調整手段としての移動機構３０及び首振り機構４０を制御する機能を有し、当該移動手段制御部１１２は全体制御部１１０によって制御される。

次に、第２実施形態に係る遠隔指示システムの初期調整について図１１及び図１２を参照して説明する。図１１は、第２実施形態における遠隔指示システムの初期調整を示すフローチャートであり、図１２は、校正スクリーン６０に投影される校正パターン画像ＰＩＭを説明するための図である。

まず、当該遠隔指示システムを設置する作業者は、図１２に示すように対象物２０を設置すべき位置に校正スクリーン６０を設置する。当該校正スクリーン６０に向けて、撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影の準備を行う。さらに、撮像投影装置１０を回転動作させる際の刻みとなる回転ステップ情報をサーバ１００に入力する。

次に、サーバ１００は、首振り機構４０の動作を初期化させる（ステップＳ２１）。当該初期化によって、例えば、プロジェクタ１２の投影領域が広角カメラ１３の広域撮像領域ＷＡＣの左上側となるように首振り機構４０が設定される。このように首振り機構４０が設定されることで、以降で行われる広角カメラ１３による位置情報の取得がスムーズになる。

次に、サーバ１００は、校正スクリーン６０に向けてプロジェクタ１２に校正パターン画像ＰＩＭを投影させるとともに、首振り機構４０の動作を制御する（ステップＳ２２）。首振り機構４０は、広角カメラ１３の広域撮像領域ＷＡＣ内にプロジェクタ１２の投影領域を重ねるように動作する。具体的には、まず、プロジェクタ１２は、図１２（ａ）に示すように、広角カメラ１３の広域撮像領域ＷＡＣの左上の位置に校正パターン画像ＰＩＭを投影する。すなわち、当該位置が、Ｓ２１の処理で説明した初期化によって設定された位置に該当する。

サーバ１００は、校正パターン画像ＰＩＭが校正スクリーン６０に投影されると、広角カメラ１３に当該校正パターン画像ＰＩＭを撮像させると共に、校正パターン画像ＰＩＭの投影された位置を位置情報（位置データ）として取得する（ステップＳ２３）。ステップＳ２２及びステップＳ２３の処理は、首振り機構４０が全画角で完了するまで行われる（ステップＳ２４）。

したがって、図１２（ａ）に示す校正パターン画像ＰＩＭの位置情報をサーバ１００が取得した後、首振り機構４０は、サーバ１００に入力された回転ステップ情報に基づいて、次の画角まで動作し、サーバ１００はプロジェクタ１２に、図１２（ｂ）に示す位置に校正パターン画像ＰＩＭを投影させる。以後、図１２（ｃ）から図１２（ｆ）に示す順に校正パターン画像ＰＩＭを校正スクリーン６０に投影するように、首振り機構４０が回転ステップ情報に基づき動作し、サーバ１００は、広角カメラ１３に、その都度、校正パターン画像ＰＩＭを撮像させ、当該校正パターン画像ＰＩＭの位置情報を取得する。

サーバ１００は、プロジェクタ１２の全視野（画角）における校正パターン画像ＰＩＭの位置情報の取得を検知すると、各回転位置における校正パラメータ及びオーバーラップ情報を算出する（ステップＳ２５）。さらに、ステップＳ２５の処理で算出した校正パラメータ及びオーバーラップ情報に基づき、広角カメラ１３の撮像領域の位置情報とプロジェクタ１２の投影領域の位置情報との変換パラメータを算出する。当該変換パラメータは、対象物２０にアノテーション画像ＡＮを投影する際に使用される。

このように、撮像投影装置１０について、校正パラメータ、オーバーラップ情報、変換パラメータを取得することによって、遠隔指示システムの設置及び初期調整が完了する。

続いて、第２実施形態に係る遠隔指示システムのアノテーション画像の投影について図１３及び図１４を参照して説明する。

図１３は、アノテーション画像ＡＮを投影するサーバ１００の処理の一例を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ３１）。なお、撮像画像は、広角カメラ１３による撮像画像でなく、撮像投影装置１０のビデオカメラ１１が首振り機構４０等によって移動したながら撮像した対象物２０の撮像画像を合成して全体撮像画像として遠隔端末３００に送信するようにしてもよい。当該判定は、描画コマンドを受信するまで行われる。そして、サーバ１００が描画コマンドを受信すると、上述した変換パラメータによってアノテーション画像ＡＮの形状を校正する（ステップＳ３２）。

すなわち、広角カメラ１３等の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２からアノテーション画像ＡＮを投影させると、上述した投影領域の重なり等が考慮されず、対象物２０に投影されたアノテーション画像ＡＮは不正確な位置に投影されたり、不正確な形状となったりする等、遠隔端末３００から指示したアノテーション画像ＡＮと異なる形状になる可能性がある。

したがって、サーバ１００は、受信したアノテーション画像ＡＮに対し、正確な形状でアノテーション画像ＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、サーバ１００は、移動機構３０と首振り機構４０を動作させながら、図１４に示すように、撮像投影装置１０のプロジェクタ１２が位置情報の変換されたアノテーション画像ＡＮを移動させながら対象物２０に投影する（ステップＳ３３）。

このように、プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、アノテーション画像ＡＮが投影される際には、そのオーバーラップＯＬ等によって生じるアノテーション画像ＡＮのずれが変換パラメータによって変換され、アノテーション画像ＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの重なりに対して、画素オーダーでの位置合わせが可能となる。

また、首振り機構４０によって設定されたプロジェクタ１２の投影角度と対象物２０との角度が垂直でない場合、すなわち、首振り角度が２軸ともに０°でない角度である場合、投影される位置によっては、投影領域ＡＲが歪んだ矩形になるが、このような関係の校正は、数学的に容易な既知の手法により校正することができる。さらに、第２実施形態によれば、第１実施形態と比較して、複数の撮像投影装置を使用しない点において、遠隔指示システムの費用を低減することができる。

（第３実施形態）
次に、本発明の第３実施形態に係る遠隔指示システムについて説明する。
図１５及び図１６は本発明の第３実施形態に係る遠隔指示システムの構成図である。この遠隔指示システムでは、図１５及び図１６に示すように、サーバ１００に一つの撮像投影装置１０が形成されている。撮像投影装置１０には、第１実施形態で説明した撮像投影装置１０と同様に、ビデオカメラ１１及びプロジェクタ１２等が形成される。

また、撮像投影装置１０には、第２実施形態と同様に、広角カメラ１３が形成される。広角カメラ１３は、対象物２０の全体を撮像する機能を有する。広角カメラ１３によって撮像された撮像画像は、サーバ１００に取り込まれ、遠隔端末３００に送信される。遠隔端末３００では、受信した広角カメラ１３の撮像画像が表示装置３２０の表示画面３２１に表示される。

さらに、撮像投影装置１０は、移動手段として、ミラー５０とミラー５０を回転させて画像の投影角度を調整する調整機構５５とが形成される。ミラー５０は、プロジェクタ１２から投影される校正パターン画像ＰＩＭやアノテーション画像ＡＮを対象物２０に向けて反射する機能を有する。そして、ミラー５０は、プロジェクタ１２の光軸方向の垂直方向を軸に、２軸で回転する機能を有する。

すなわち、第２実施形態においては、サーバ１００は、プロジェクタ１２から投影されるアノテーション画像ＡＮを、移動機構３０及び首振り機構４０によって対象物２０に投影させていたが、第３実施形態では、サーバ１００が、ミラー５０を動作させることによって、プロジェクタ１２から投影されるアノテーション画像ＡＮを対象物２０に投影させることができる。

次に、第３実施形態に係る遠隔指示システムの初期調整について図１７を参照して説明する。図１７は、第３実施形態における遠隔指示システムの初期調整を示すフローチャートである。なお、校正スクリーン６０に投影される校正パターン画像ＰＩＭについては、図１２と同様であるため、その説明を省略する。

まず、当該遠隔指示システムを設置する作業者は、対象物２０を設置すべき位置に校正スクリーン６０を設置する。当該校正スクリーン６０に向けて、撮像投影装置１０を配置して、校正パターン画像ＰＩＭの投影の準備を行う。さらに、ミラー５０を回転動作させる際の刻みとなる回転ステップ情報をサーバ１００に入力する。

次に、サーバ１００は、調整機構５５の動作を制御し、ミラー５０の動作を初期化させる（ステップＳ４１）。当該初期化によって、例えば、プロジェクタ１２の投影領域が広角カメラ１３の広域撮像領域ＷＡＣの左上側に配置されるように調整機構５５が設定される。このようにミラー５０が設定されることで、以降で行われる広角カメラ１３による位置情報の取得がスムーズになる。

次に、サーバ１００は校正スクリーン６０に向けてプロジェクタ１２に校正パターン画像ＰＩＭを投影させるとともに、調整機構５５を動作させる（ステップＳ４２）。調整機構５５の動作によって回転動作するミラー５０は、広角カメラ１３の広域撮像領域ＷＡＣ内にプロジェクタ１２の投影領域を重ねるように動作する。

校正パターン画像ＰＩＭが校正スクリーン６０に投影されると、サーバ１００は、広角カメラ１３に当該校正パターン画像ＰＩＭを撮像させると共に、校正パターン画像ＰＩＭの投影された位置を位置情報（位置データ）として取得する（ステップＳ４３）。ステップＳ４２及びステップＳ４３の処理は、ミラー５０が全画角で完了するまで行われる（ステップＳ４４）。

サーバ１００は、プロジェクタ１２の全視野（画角）における校正パターン画像ＰＩＭの位置情報の取得を検知すると、各回転位置における校正パラメータ及びオーバーラップ情報を算出する（ステップＳ４５）。さらに、ステップＳ４５の処理で算出した校正パラメータ及びオーバーラップ情報に基づき、広角カメラ１３の撮像領域の位置情報とプロジェクタ１２の投影領域の位置情報との変換パラメータを算出する（ステップＳ４６）。当該変換パラメータは、対象物２０にアノテーション画像ＡＮを投影する際に使用される。

続いて、第３実施形態に係る遠隔指示システムのアノテーション画像の投影について図１８を参照して説明する。なお、対象物２０に投影されるアノテーション画像ＡＮについては、図１４と同様であるため、その説明を省略する。

図１８は、アノテーション画像ＡＮを投影するサーバ１００の投影動作を示すフローチャートである。サーバ１００は、まず、遠隔端末３００から広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドを受信したか否かについて判定する（ステップＳ５１）。当該判定は、描画コマンドを受信するまで行われる。そして、サーバ１００が描画コマンドを受信すると、上述した変換パラメータによってアノテーション画像ＡＮの形状を校正する（ステップＳ５２）。

すなわち、広角カメラ１３の撮像画像に基づく指示に応じたアノテーション画像ＡＮの描画コマンドが遠隔端末３００からサーバ１００に送信されるが、当該指示に基づいてサーバ１００が各プロジェクタ１２からアノテーション画像ＡＮを投影させると、第２実施形態で図１２を参照して説明した投影領域のオーバーラップ等が考慮されず、対象物２０に投影されたアノテーション画像ＡＮは不正確な位置に投影されたり、不正確な形状となったりする等、遠隔端末３００から指示した広域アノテーション画像ＡＮと異なる形状になる可能性がある。

したがって、サーバ１００は、受信したアノテーション画像ＡＮに対し、正確な形状でアノテーション画像ＡＮを投影するように、対象物２０に投影される位置情報を変換する。そして、サーバ１００は、調整機構５５を動作させながら、図１４に示すように、撮像投影装置１０のプロジェクタ１２が位置情報の変換されたアノテーション画像ＡＮを対象物２０に投影される（ステップＳ５３）。

このように、プロジェクタ１２の投影領域ＡＲにオーバーラップＯＬ等があっても、アノテーション画像ＡＮが投影される際には、そのオーバーラップＯＬ等によって生じるアノテーション画像ＡＮのずれが変換パラメータによって変換され、アノテーション画像ＡＮの位置情報を正確に校正することができる。そのため、撮像投影装置１０を手作業で設置することによって生じる投影領域ＡＲの重なりに対して、画素オーダーでの位置合わせが可能となる。また、ミラー５０とそのミラー５０を回転動作させる調整機構５５を設けることによって、対象物２０にアノテーション画像を投影させることができるため、撮像投影装置１０全体を動作させるズーム機構３０及び首振り機構４０を使用する第２実施形態に比べて、装置全体の小型化が図れる。

以上説明したように、本発明によれば、対象物が撮像手段の撮像領域を超えていても、対象物の全体が撮像可能となり、さらに、当該撮像画像に基づく適確なアノテーション画像の投影が可能となるため産業上の利用可能性が高い。

第１実施形態に係る遠隔指示システムの構成図である。第１実施形態に係る遠隔指示システムを側面から見た構成図である。第１実施形態に係るサーバの機能ブロック図である。第１実施形態に係る遠隔指示システムの初期調整のフローチャートである。校正スクリーンに投影される校正パターン画像を説明するための図である。アノテーション画像の投影処理を示すフローチャートである。対象物に投影されるアノテーション画像を説明するための図である。第２実施形態に係る遠隔指示システムの構成図である。第２実施形態に係る遠隔指示システムを側面から見た構成図である。第２及び第３の実施形態に係るサーバの機能ブロック図である。第２実施形態に係る遠隔指示システムの初期調整のフローチャートである。校正スクリーンに投影される校正パターン画像を説明するための図である。アノテーション画像の投影処理を示すフローチャートである。対象物に投影されるアノテーション画像を説明するための図である。第３実施形態に係る遠隔指示システムの構成図である。第３実施形態に係る遠隔指示システムを側面から見た構成図である。第３実施形態に係る遠隔指示システムの初期調整のフローチャートである。アノテーション画像の投影処理を示すフローチャートである。

符号の説明

１０撮像投影装置
１１ビデオカメラ
１２プロジェクタ
１３広角カメラ
１４ハーフミラー
１８位置ずれ
２０対象物
３０移動機構
４０首振り機構
５０ミラー
５５調整機構
６０校正スクリーン
１００サーバ
１０１第１の画像取得部
１０２投影手段制御部
１０３第２の画像取得部
１０４記憶部
１０５校正パラメータ算出部
１０６校正パラメータ記憶部
１０７オーバーラップ情報算出部
１０８オーバーラップ情報記憶部
１０９変換パラメータ算出部
１１０全体制御部
１１１送受信部
１１２移動手段制御部
２００ネットワーク
３００遠隔端末
３１０コンピュータ
３２０表示装置
３２１表示画面
３３０ポインティングデバイス（マウス）
ＡＮアノテーション画像
ＷＡＮ広域アノテーション画像
ＡＲ投影領域
ＷＡＰ広域投影領域
ＷＡＣ広域撮像領域
ＰＩＭ、ＰＩＭ１〜６校正パターン画像
ＯＬオーバーラップ

Claims

隣接する領域が重なり合う複数の領域を含む広域領域を１つの広域撮像手段に撮像させると共に、その撮像画像に基づく指示に応じたアノテーション画像を前記複数の領域内に複数の投影手段の少なくとも１つにより投影させる遠隔指示システムであって、
前記複数の投影手段のそれぞれにより前記複数の領域に対応して投影される各校正パターン画像の撮像画像内の位置に基づいて、前記校正パターン画像同士のオーバーラップの度合いを表すオーバーラップ情報を算出する第１算出手段と、
前記撮像画像において前記広域領域と前記校正パターン画像のすべてにより占められる領域との間に隙間が生じている場合に、前記広域領域と前記校正パターン画像との間に位置のずれがあると判定し、該位置のずれを校正パラメータとして算出する第２算出手段と、
前記第１算出手段により算出されたオーバーラップ情報と前記第２算出手段により算出された校正パラメータとに基づいて、前記各領域の位置と前記広域領域の位置との変換パラメータを算出する第３算出手段と、
前記アノテーション画像が前記複数の領域に跨って投影される場合に、前記第３算出手段により算出された変換パラメータに基づいて、前記アノテーション画像の形状を校正する校正手段と、
を有することを特徴とする遠隔指示システム。
前記複数の投影手段による投影画像の組合せで前記複数の領域に跨って投影されるアノテーション画像を形成する形成手段を備えることを特徴とする請求項１に記載の遠隔指示システム。
前記広域撮像手段及び前記投影手段を管理するサーバと、
前記広域撮像手段から受信した撮像画像に基づいて前記アノテーション画像を形成し、形成したアノテーション画像を投影位置に応じた前記投影手段に送信することにより指示する遠隔端末とを備えることを特徴とする請求項１又は２に記載の遠隔指示システム。