JP4568121B2 - 遠隔作業支援システム、遠隔作業支援方法及びプログラム - Google Patents

Description

この発明は、例えば、作業現場の作業者を遠隔地からサポートする遠隔作業支援システムと現場側装置と指示側装置とそのプログラム及び方法に関する。

従来、現場の作業者のみで作業の遂行が困難な場合、遠隔地にいる作業熟練者や上司（以下、指示者と称する）から電話で指示を受けながら作業を行っていた。しかし、電話による作業指示では、指示者は指示内容を詳細に説明する必要があり、作業者は上記指示内容を注意深く聞く必要がある。このため、指示内容の伝達に手間や時間を要したり、誤認識による作業ミスを引き起こすおそれがあった。

そこで近年では、音声のみによる遠隔作業支援の負担を軽減するためにテレビ電話等の音声画像通信が効果的に利用されている。例えば、指示者からの作業対象位置をレーザポインタを用いて実空間上で明確に示すことにより、作業者が作業対象を容易に把握できるようにした遠隔作業支援コミュニケーション装置が提案されている（例えば、特許文献１又は特許文献２を参照。）。

特開２０００−１２５０２４号公報

特開２００１−４５４５１号公報

しかしながら、上記従来の遠隔作業支援コミュニケーション装置では、実空間上で作業対象の位置は容易に把握できるが、作業対象に対する操作方法は音声により伝達されるため、作業者に操作内容の詳細まで把握させるのは難しい。例えば、「この操作レバーを右に動かす」という指示内容である場合、作業者に該当する操作レバーを認識させることはできるが、該当する操作レバーをどのくらい右に動かすのかを音声によって明確に指示するのは困難である。

この発明は上記事情に着目してなされたもので、その目的とするところは、指示者の作業指示内容を作業者に対して正確に伝えることを可能にした遠隔作業支援システムと現場側装置と指示側装置とそのプログラム及び方法を提供することにある。

上記目的を達成するためにこの発明に係わる遠隔作業支援システムと現場側装置と指示側装置とそのプログラム及び方法は、作業者及び作業対象物が存在すると共に撮影装置及び投影装置が配置される第１の空間に設置された現場側装置と、作業指示者が存在する第２の空間に設置され前記現場側装置との間で情報伝送が可能な指示側装置とを備える遠隔作業支援システムであって、上記作業対象物を上記撮影装置により撮影して得られる第１の画像情報を取得し、上記作業指示者による作業指示内容を表す情報の入力を受け付ける。そして、上記取得された第１の画像情報と上記受け付けた作業指示内容を表す情報とをもとに、当該作業指示内容が反映された作業対象物の状態を表す第２の画像情報を作成し、この作成された第２の画像情報を、上記作業対象物の存在位置に対応付けて、上記投影装置により第１の空間に投影させるようにする。

このように構成することにより、指示者の作業指示内容を作業者に対して正確に伝えることが可能となる。このため、作業者は、作業対象だけでなく作業指示を詳細に把握することができる。
また、この発明は次のような各種構成を備えることも特徴とする。
第１の構成は、作業者及び作業対象物が存在すると共に撮影装置及び投影装置が配置される第１の空間に設置され、作業指示者が存在する第２の空間に設置された指示側装置との間で情報伝送が可能な現場側装置であって、上記作業対象物を上記撮影装置に撮影させて第１の画像情報を取得し、上記作業指示者により入力された作業指示内容を表す情報を、上記指示側装置から受信する。そして、上記得られた第１の画像情報と上記受信された作業指示内容を表す情報とをもとに、当該作業指示内容が反映された作業対象物の状態を表す第２の画像情報を作成する手段を有する。この作成された第２の画像情報を、上記作業対象物の存在位置に対応付けて、上記投影装置により上記第１の空間に投影させるようにする。

これにより、指示者の作業指示内容が作業対象物に対応付けられて明瞭に表示されるため、作業者は作業指示内容を正確に把握することができる。
第２の構成は、上記第２の画像情報を作成する手段は、上記作業指示内容を表す情報をもとに、作業指示操作の変位軌跡を表す情報を得る手段を備え、上記取得された第１の画像情報と、上記得られた作業指示操作の変位軌跡を表す情報とに基づいて、操作終点の画像とこの操作終点に至までの残像とからなる、上記作業対象物の変位軌跡を表す画像情報を作成するようにする。このように構成すると、作業指示内容における操作終了時の状態だけでなく、作業指示操作の操作過程が表示されるため、作業者は、より詳細に作業指示内容を把握することができる。

第３の構成は、作業指示者が存在する第２の空間に設置され、作業者及び作業対象物が存在すると共に第１の撮影装置及び第１の投影装置が配置される第１の空間に設置された現場側装置との間で情報伝送が可能な指示側装置であって、上記作業対象物を上記第１の撮影装置により撮影して得られる第１の画像情報を上記現場側装置から受信する手段と、上記作業指示者による作業指示内容を表す情報の入力を受け付ける手段とを有する。そして、上記受信された第１の画像情報と上記受け付けた作業指示内容を表す情報とをもとに、当該作業指示内容が反映された作業対象物の状態を表す第２の画像情報を作成する。この作成された第２の画像情報を、上記作業対象物の存在位置に対応付けて、上記第１の投影装置により上記第１の空間に投影させるべく、上記現場側装置へ送信する。このように構成しても、第１の構成と同様の効果を奏することが可能であり、特に指示側装置が現場側装置に比べて処理性能が高い場合に効果的である。

第４の構成は、上記第２の画像情報を作成する手段は、上記作業指示内容を表す情報をもとに、作業指示操作の変位軌跡を表す情報を得る手段を備え、上記取得された第１の画像情報と、上記得られた作業指示操作の変位軌跡を表す情報とに基づいて、操作終点の画像とこの操作終点に至までの残像とからなる、上記作業対象物の変位軌跡を表す画像情報を作成するようにする。このように構成しても、第２の構成と同様の効果を奏することが可能であり、作業指示内容における操作終了時の状態だけでなく、作業指示操作の操作過程が表示されるため、作業者は、より詳細に作業指示内容を把握することができる。

第５の構成は、上記第２の空間に、第２の撮影装置及び第２の投影装置が配置される場合に、上記作業指示内容を表す情報の入力を受け付ける手段は、上記取得された第１の画像を、上記第２の投影装置により上記第２の空間に投影させ、上記第２の空間において作業指示者が示す作業指示内容を上記投影された第１の画像と共に上記第２の撮影装置により撮影させて第３の画像情報を得る。そして、上記得られた第３の画像情報から上記作業指示内容を認識して作業指示内容を表す情報を生成するようにする。

このようにすると、作業指示者はあたかも作業現場の作業対象物を操作するかのごとく作業内容を指示することが可能となる。これにより作業指示者は、より正確かつ詳細に作業内容を指示することができる。
第６の構成は、作業者及び作業対象物が存在すると共に撮影装置及び投影装置が配置される第１の空間に設置され、作業指示者が存在する第２の空間に設置された指示側装置との間で情報伝送が可能な現場側装置であって、上記作業対象物を上記撮影装置により撮影させて得られる第１の画像情報を上記指示側装置へ送信する。また、上記第１の画像情報と上記作業指示者が入力した作業指示内容を表す情報とをもとに作成される、当該作業指示内容が反映された作業対象物の状態を表す第２の画像情報を、上記指示側装置から受信する。そして、受信された第２の画像情報を、上記作業対象物の存在位置に対応付けて、上記投影装置により上記第１の空間に投影させる。

このように構成しても、指示者の作業指示内容が作業対象物に対応付けられて明瞭に表示されるため、作業者は作業指示内容を正確に把握することができる。

要するにこの発明によれば、指示者の作業指示内容を作業者に対して正確に伝えることを可能にした遠隔作業支援システムと現場側装置と指示側装置とそのプログラム及び方法を提供することができる。

（第１の実施形態）
図１は、この発明の第１の実施形態に係わる遠隔作業支援システムを示す概略構成図である。
この遠隔作業支援システムは、作業現場に配置される現場側装置１と指示者がいるサポートセンタに配置される指示側装置２との間を伝送路９を介して接続可能としたものである。上記伝送路９は、有線伝送路、無線伝送路のどちらでもよく、例えば、ＬＡＮ（Local Area Network）やインターネットを含むＷＡＮ（Wide Area Network）を介するように構成してもよい。現場側装置１には、カメラ３及びプロジェクタ４がそれぞれ接続されている。また、指示側装置２には、液晶表示器（ＬＣＤ）などの表示装置８とキーボードやマウス等からなる入力装置７が接続される。

また、作業現場に配置されるカメラ３及びプロジェクタ４は、同図に示すようにカメラ３の撮影範囲とプロジェクタ４の映像投影範囲が一致するように固定されている。この状態で、カメラ３は操作レバーＬ１〜Ｌ３を含む範囲を作業エリアとして撮影すると同時に、プロジェクタ４は、この作業エリアと一致するように映像を投影する。すなわち、カメラ３による撮影画像をそのままプロジェクタ４に出力した場合、被写体である操作レバーＬ１〜Ｌ３に操作レバーＬ１〜Ｌ３の撮影画像が重なって投影される。

図２は、図１に示した現場側装置１及び指示側装置２の機能構成を示すブロック図である。
現場側装置１は、撮影画像入力部１１と、映像音声送受信部１２と、指示情報受信部１３と、映像処理部１４と、投影画像出力部１５とを備える。また、現場側装置１には、スピーカ５１と、マイクロホン６１と、カメラ３と、プロジェクタ４とが接続される。

撮影画像入力部１１は、上記カメラ４から通信ケーブル等を介して送られる撮影画像データの受信処理を行う。映像音声送受信部１２は、指示側装置２との間で伝送路９を介して映像信号及び音声信号を含む伝送信号の送受信を行う。
マイクロホン６１により集音された作業者の音声は、電気信号に変換されたのち、音声信号として映像音声送受信部１２に入力される。また、カメラ３は、上記作業エリアを撮影し、撮影した画像データを含む映像信号を撮影画像入力部１１に入力する。撮影画像入力部１１は、入力された映像信号を映像音声送受信部１２と映像処理部１４とにそれぞれ出力する。映像音声送受信部１２は、上記音声信号と映像信号とを合成して伝送信号を生成し、この伝送信号を伝送路９を介して指示側装置２に送信する。また、指示側装置２から伝送路９を介して到来した伝送信号は、映像音声送受信部１２において音声信号が抽出され、スピーカ５１により拡声出力される。

指示情報受信部１３は、伝送路９を介して指示側装置２から送られる指示情報の受信処理を行う。なお、指示情報については後述する。また、映像処理部１４は、上記指示情報受信部１３により受信された指示情報に基づいて作業内容を表す投影画像データを作成する。図３に、映像処理部１４の詳細な機能構成を示す。映像処理部１４は、画像メモリ１４１と、座標変換部１４２と、操作対象物抽出部１４３とを備える。指示情報受信部１３において受信された指示情報は、座標変換部１４２においてプロジェクタ４の座標系に変換される。また、画像メモリ１４１は、例えばＲＡＭなどで構成され、カメラ３により撮影された画像は撮影画像入力部１１を介して一定時間ごとに画像メモリ１４１に取り込まれる。操作対象抽出部１４３は、上記座標変換部１４２により変換された指示情報をもとに上記画像メモリ１４１に取り込まれた撮影画像から操作対象物画像を抽出する。

一方、指示者が使用する指示側装置２は、映像音声送受信部２１と、画像出力部２２と、指示情報受付部２３と、指示情報送信部２４とを備える。また、指示側装置２には、スピーカ５２と、マイクロホン６２と、入力装置７と、表示装置８とが接続されている。

映像音声送受信部２１は、伝送路９を介して現場側装置１との間で映像信号及び音声信号を含む伝送信号の送受信を行う。現場側装置１から送信された伝送信号は、伝送路９を介してこの映像音声送受信部２１により受信されたのち、映像信号及び音声信号に変換される。変換された映像データは、画像出力部２２を介して表示装置８に表示され、音声信号はスピーカ５２を通じて拡声出力される。また、指示者の音声は、マイクロホン６２により電気信号に変換されて、音声信号として映像音声送受信部２１に入力される。映像音声送受信部２１において、入力された音声信号から伝送信号が生成され、生成された音声信号は上記伝送路９を介して現場側装置１に送信される。

指示情報受付部２３は、入力装置７から入力される指示者からの作業内容を受け付け、この作業内容から指示情報を作成する機能を有する。指示情報に関する詳細な説明については後述する。指示情報送信部２４は、上記作成された指示情報を伝送路９を介して現場側装置１に送信する。

ここで、図４乃至６を参照して、指示側装置２により作業内容を入力する操作について説明する。図４は、指示側装置２の表示装置８に表示される画面の一例であり、カメラ３により撮影された操作レバーＬ１〜Ｌ３が表示されているものとする。
この状態で、まず、指示者は入力装置７により操作対象物の範囲を指定する。図５に、図４の表示装置８の表示画面において操作対象物の範囲Ａ１を指定した様子を示す。入力装置７がマウス等で構成される場合には、マウスを操作して操作対象物の範囲Ａ１を指定する。また、表示装置８及び入力装置７がタッチパネル式で構成されている場合は、画面を指でなぞることで操作対象物の範囲Ａ１を指定する。

なお、上記入力装置７により指定された操作対象物の範囲Ａ１は、指示情報受付部２３において一定の時間周期あるいはマウス等の一定の移動距離間隔でサンプリングされ、表示装置８のモニタ座標系で表された複数の座標値に変換される。この複数の座標値で表された操作対象範囲は、指示情報受付部２３において一時記憶された後に伝送路９を介して現場側装置１に送信される。

また、指示者は、図６に示すように、入力装置７を用いて操作対象物の移動開始位置Ｓと移動終了位置Ｅを指定する。この移動開始位置Ｓと移動終了位置Ｅとの差異から移動ベクトルＶ１が算出され、この算出された移動ベクトルＶ１は、指示情報受付部２３において一時記憶された後に伝送路９を介して現場側装置１に送信される。図１５は、上記送信される指示情報の一例を示すもので、操作対象物の範囲情報Ａ１と移動ベクトルＶ１により構成される。

次に、上記送信された指示情報にしたがって、現場側装置１の動作について説明する。図１４は、現場側装置１において作業指示を表す画像を投影する処理手順とその処理内容を示すフローチャートである。
ステップＳ１４ａにおいて、現場側装置１の指示情報受信部１３は、指示側装置２から送信される指示情報の受信待ち受け処理を行っている。ここで、上記送信された指示情報が指示情報受信部１３により受信されると、ステップＳ１４ｂに移行して、図１５に示した指示情報は、座標変換部１４２においてプロジェクタ４の座標系にそれぞれ変換される。そして、操作対象物抽出部１４３において、上記変換された操作対象範囲の座標値と画像メモリ１４１に取り込まれた画像から操作対象物の画像Ａ１を抽出する。

続いて、ステップＳ１４ｃにおいて、ステップＳ１４ｂにおいて抽出された操作対象物画像Ａ１を先に変換された移動ベクトルＶ１に従って移動させる。このようにして操作対象物抽出部１４３において作成された画像を図７の投影画像Ｐ１に示す。これは、抽出された操作対象物画像Ａ１が移動ベクトルＶ１に基づいて移動した画像である。投影画像Ｐ１における操作対象物画像Ａ１以外の部分は、塗りつぶしのない透明な背景となるよう黒色で構成される。かくして作成された投影画像Ｐ１は、ステップＳ１４ｄにより投影画像出力部１５を介してプロジェクタ４に出力され、プロジェクタ４により作業エリアに向けて投影される。

図８に、投影画像Ｐ１が作業エリアに重畳されて投影された様子を示す。図８において、投影された操作対象物画像Ａ１は、操作レバーＬ２に対する操作指示を表すものであり、作業者は操作対象物画像Ａ１にしたがって操作レバーＬ２の操作を行う。
このように上記実施形態では、現場側装置１は、撮影画像入力部１１により入力される操作対象物の撮影画像データを指示側装置１に送信すると共に、映像処理部１４に設けられた画像メモリ１４１に記憶させる。指示情報受信部１３は、指示側装置２から送信された操作対象範囲及び移動ベクトルを含む指示情報を受信する。映像処理部１４では、座標変換部１４２において受信された操作対象範囲及び移動ベクトルをプロジェクタ４の座標系に変換する。そして、変換された操作対象範囲及び移動ベクトルと画像メモリ１４１に記憶された撮影画像データとから操作対象範囲画像を抽出して移動操作を反映させた投影画像Ｐ１を作成する。投影画像出力部１５は、この作成された投影画像Ｐ１をプロジェクタ４により操作対象物に重ねて投影させるものである。

したがって第１の実施形態によれば、図８に示したように、作業対象の操作レバーＬ２に向けて指示者からの作業内容を施した画像Ａ１が重畳して投影されるため、作業者は、操作レバーＬ２を投影された作業内容を施した画像Ａ１にしたがって操作すればよい。よって、指示者が「この操作レバーを右に動かす」という指示を伝えたい場合に、視覚的にどのレバーをどのくらい右に動かすのかを明確に指示することができる。このため、指示者の作業指示内容を作業者に対して正確に伝えることが可能となり、これにより作業者に指示内容どおりの操作を行わせることができる。

（第２の実施形態）
図９は、この発明の第２の実施形態に係わる現場側装置及び指示側装置の機能構成を示すブロック図である。なお、この図は、上記第１の実施形態における指示側装置２の他の構成例を示すものであり、同図において上記図２と同一部分には同一符号を付して詳しい説明は省略する。
指示側装置２Ａは、指示情報受付部２５に撮影画像入力部２５１と画像認識部２５２とを新たに備える。さらに、撮影画像入力部２５１とカメラ３２とが接続され、画像出力部２２とプロジェクタ４２とが接続されたものである。

図１０は、指示側装置２Ａに接続されるカメラ３２及びプロジェクタ４２の構成を示す図である。プロジェクタ４２は、現場側装置１から送られるカメラ３の撮影画像が机上などの指示者の手元に投影されるように配置される。また、カメラ３２及びプロジェクタ４２は、現場側装置１に接続されるカメラ３及びプロジェクタ４と同様に、カメラ３２の撮影範囲とプロジェクタ４２の投影範囲が一致するように固定される。

図１１に、指示者による作業指示の入力の様子を示す。指示者は、図１１のように机上に投影された作業対象物を指でなぞることにより操作対象物の範囲を指定し、移動開始位置と移動終了位置の位置を指でなぞる。これらの指の動きは、指示側装置２に接続されたカメラ３２により撮影され、この撮影された画像は撮影画像入力部２５１を介して画像認識部２５２に入力される。

画像認識部２５２は、撮影画像入力部２５１により入力された撮影画像から指先の位置を検出し、撮影対象物の範囲を示す座標値と移動状態を示す移動ベクトルを算出する。なお、指先位置検出処理のアルゴリズムには、肌色認識技術などの市販の画像処理ソフトウェアなどのモジュールを活用することで実現できる。そして、算出された操作対象物の範囲を示す座標値と移動ベクトルとを含む指示情報が生成され、生成された指示情報は指示情報送信部２４を介して現場側装置１に送信される。送信された指示情報は、現場側装置１において、上述した第１の実施形態と同様に処理が行われ上記操作内容がプロジェクタ４により作業エリアに重畳されて投影される。

第２の実施形態では、指示側装置２Ａには、入力装置７及び表示装置８の替わりにカメラ３２及びプロジェクタ４２が接続され、さらに指示情報受付部２５は、撮影画像入力部２５１と画像認識部２５２とを備える。そして、現場側装置１から送られる作業エリアの映像は、画像出力部２２からプロジェクタ４２に出力され、プロジェクタ４２は作業エリアの映像を机上等に投影する。作業者は、上記机上などに投影された作業エリアの映像を指でなぞることにより作業範囲及び移動状態を指定する。これらの指の動きは、指示側装置２に接続されたカメラ３２により撮影され、この撮影された映像は撮影画像入力部２５１を介して画像認識部２５２に入力される。そして、この画像認識部２５２において画像処理を行い、作業範囲及び移動ベクトルを算出して指示情報送信部２４を介して現場側装置１に送信するようにする。

このような構成であるから、指示者はあたかも現場の操作対象物を操作するかのごとく操作内容を指示することが可能となる。また、指示側装置２Ａに接続されるプロジェクタ４２により投影される投影サイズをプロジェクタ４の投影サイズと一致させるように構成する。このようにすると、指示者は実物大で投影された画像をもとに作業指示を行うことができるため、より正確かつ詳細に作業内容を指示することが可能となる。

なお、上記実施形態では、操作対象物の範囲及び移動位置の指定を指先で行ったが、指先にマーカを装着し、このマーカ位置を画像認識するようにしてもよい。また、指先の他にも移動変位を検出可能であればよく、ペンや指示棒などを使用するようにしてもよい。

（第３の実施形態）
この発明の第３の実施形態は、指示側装置２から送信された指示情報を所定の時間蓄積して、操作開始から終了までの変位過程を表示するようにしたものである。なお、遠隔作業支援システムの構成は、第１の実施形態と同一の構成であるため、これ以下は指示情報を表す画像を投影する動作について説明を行う。

図１６は、指示側装置２から到来した指示情報を蓄積した構成の一例を示すものであり、操作対象物の範囲情報Ａ３と複数の移動ベクトルＶ２１〜２ｎとにより構成される。受信された操作対象物の範囲情報Ａ３及び複数の移動ベクトルＶ２１〜２ｎは、座標変換部１４２によりプロジェクタ４の座標系にそれぞれ変換される。そして、変換された操作対象物の範囲の座標値をもとに画像メモリ１４１に記憶された撮影画像から操作対象物の範囲を示す画像Ａ３を抽出する。

そして、上記抽出された操作対象物の範囲を示す画像Ａ３を複数の移動ベクトルＶ２１〜２ｎに基づいて移動させた画像をそれぞれ作成し、この移動画像をそれぞれ重ね合わせることにより変位過程を示す投影画像を作成する。このようにして作成された投影画像Ｐ３を図１２に示す。上記第１の実施形態と同様に複数の操作対象物の範囲を示す画像Ａ３以外の部分は、塗りつぶしのない透明な背景となるよう黒色で構成される。かくして作成された投影画像Ｐ３は、投影画像出力部１５を介してプロジェクタ４に出力され、プロジェクタ４により作業エリアに向けて投影される。

図１３に、操作の変位過程を表す投影画像Ｐ３が作業エリアに重畳されて投影された様子を示す。図１３において、投影された操作対象物画像Ａ３は、操作レバーＬ２に対する操作指示の変位過程を表すものであり、作業者は操作対象物画像Ａ３にしたがって操作レバーＬ２の操作を行う。

以上のように第３の実施形態では、操作対象物である操作レバーＬ２ついての操作開始から終了までの変位過程を表す投影画像Ｐ３が作成され、この作成された投影画像Ｐ３がプロジェクタ４によって操作レバーＬ２に向けて重畳されて投影される。これにより、作業者に対して作業指示の操作過程についても視認させることができるため、さらに詳細に作業指示を伝えることが可能となる。

なお、第３の実施形態では、指示側装置２から到来した指示情報を現場側装置１において蓄積するように構成したが、指示側装置２において操作過程を表す座標値を蓄積しておき、蓄積された操作過程を表す座標値を現場側装置１に送信するように構成してもよい。

（その他の実施形態）
上記各実施形態では、作業対象物を移動する場合を例に挙げて説明したが、その他にも作業対象物の回転や変形を指示する操作を表すことも可能である。この場合、指示情報には移動ベクトルの替わりに、回転量や変形させるサイズ等の変化量を含むようにする。また、作業対象物の移動と回転を一連で行う操作のように、作業対象物に対して上記操作を組み合わせて指示することも可能である。

また、上記各実施形態において、映像処理部１４を現場側装置１に設けるように構成したが、映像処理部１４を指示側装置２に設けるように構成してもよい。この場合、指示側装置２において作業内容を表す投影画像データを作成し、作成された投影画像データを現場側装置１に伝送路９を介して送信する。現場側装置１では、上記送信された投影画像データを受信して、投影画像出力部１５によりプロジェクタ４に出力して投影させる。このように構成すると、例えば、伝送路９の伝送容量が大きく、指示側装置２が現場側装置１に比べて処理性能が高い場合に効果的である。さらに、各システムの構成、投影画像データを作成する処理手順と処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
また、この発明の現場側装置１及び指示側装置２は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記憶することも、ネットワークを介して提供することも可能である。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

この発明の第１の実施形態に係わる遠隔作業支援システムを示す概略構成図。 図１に示す現場側装置及び指示側装置の機能構成を示すブロック図。 図２に示す映像処理部の詳細な構成を示すブロック図。 図１に示す表示装置に表示される画面の一例を示す図。 図１に示す表示装置において操作範囲が指示された様子を示す図。 図１に示す表示装置において移動操作が指示された様子を示す図。 図３に示す映像処理部において作成される投影画像の一例を示す図。 図７に示す投影画像をプロジェクタにより投影した様子を示す図。 この発明の第２の実施形態に係わる現場側装置及び指示側装置の機能構成を示すブロック図。 図９に示す指示側装置に接続されるカメラ及びプロジェクタの配置を示す図。 図１０に示すプロジェクタによる投影画像において作業指示を入力する様子を示す図。 第３の実施形態において作成される投影画像の一例を示す図。 投影画像を作業対象に重畳して投影した様子を示す図。 現場側装置において入力された作業指示を表す画像を投影するフローチャート。 第１の実施形態における指示情報の一例を示す図。 第３の実施形態における指示情報の一例を示す図。

符号の説明

１…現場側装置、２，２Ａ…指示側装置、３、３２…カメラ、４、４２…プロジェクタ、５１，５２…スピーカ、６１，６２…マイクロホン、７…入力装置、８…出力装置、９…伝送路、Ｌ１，Ｌ２，Ｌ３…操作レバー、１１…撮影画像入力部、１２…映像音声送受信部、１３…指示情報受信部、１４…映像処理部、１５…投影画像出力部、２１…映像音声送受信部、２２…画像出力部、２３…指示情報受付部、２４、２５…指示情報送信部、１４１…画像メモリ、１４２…座標変換部、１４３…操作対象物抽出部、Ａ１，Ａ２，Ａ３…操作対象範囲、Ｖ１，Ｖ２１〜２ｎ…移動ベクトル、Ｐ１，Ｐ３…投影画像、２５１…撮影画像入力部、２５２…画像認識部。

Claims (5)

1. 作業者及び作業対象物が存在すると共に撮影装置及び投影装置が配置される第１の空間に設置された現場側装置と、作業指示者が存在する第２の空間に設置され前記現場側装置との間で情報伝送が可能な指示側装置とを具備する遠隔作業支援システムであって、
   前記作業対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する手段と、
   前記第１の画像情報を提示して、前記作業指示者により指定される前記第１の画像情報における操作対象物の範囲情報と移動ベクトルとを含む指示情報の入力を受け付ける手段と、
   前記操作対象物の範囲情報をもとに前記第１の画像情報から前記操作対象物の画像を抽出し、前記移動ベクトルに従って前記操作対象物の画像を移動させた第２の画像情報を作成する手段と、
   前記作成された第２の画像情報を、前記作業対象物の存在位置に対応付けて、前記投影装置により前記第１の空間に投影させる手段と
   を、前記現場側装置及び作業指示側装置のいずれかに備えることを特徴とする遠隔作業支援システム。
2. 前記指示情報は、前記操作対象物の範囲情報と前記操作対象物の複数の移動ベクトルとを有し、
   前記第２の画像情報は、前記移動ベクトル毎に前記操作対象物の画像を移動させた複数の移動画像を重ね合わせることにより前記操作対象物の変位過程を示すことを特徴とする請求項１に記載の遠隔作業支援システム。
3. 作業者及び作業対象物が存在すると共に撮影装置及び投影装置が配置される第１の空間に設置された現場側装置と、作業指示者が存在する第２の空間に設置され前記現場側装置との間で情報伝送が可能な指示側装置とを具備する遠隔作業支援システムに用いられる方法であって、
   前記作業対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する過程と、
   前記第１の画像情報を提示して、前記作業指示者により指定される前記第１の画像情報における操作対象物の範囲情報と移動ベクトルとを含む指示情報の入力を受け付ける過程と、
   前記操作対象物の範囲情報をもとに前記第１の画像情報から前記操作対象物の画像を抽出し、前記移動ベクトルに従って前記操作対象物の画像を移動させた第２の画像情報を作成する過程と、
   前記作成された第２の画像情報を、前記作業対象物の存在位置に対応付けて、前記投影装置により前記第１の空間に投影させる過程と
   を有することを特徴とする遠隔作業支援方法。
4. 前記指示情報は、前記操作対象物の範囲情報と前記操作対象物の複数の移動ベクトルとを有し、
   前記第２の画像情報は、前記移動ベクトル毎に前記操作対象物の画像を移動させた複数の移動画像を重ね合わせることにより前記操作対象物の変位過程を示すことを特徴とする請求項３に記載の遠隔作業支援方法。
5. 請求項１又は２に記載の遠隔作業支援システムを構成する各手段としてコンピュータを機能させるプログラム。

Images