JP4323446B2 - 作業指示システムとそのプログラム - Google Patents

Description

この発明は、例えば、現場作業者の作業を通信ネットワークを使用して支援する作業指示システムにおいて、現場で作業者に指示を伝達するために使用される作業指示システムとそのプログラムに関する。

書道における文字の書き方のような伝統技術や、蕎麦のこね方などのスキルが必要となる作業、また、スポーツの実技を伝達する場合において、指導等を行う指示者と指導等を受ける被指示者とが同じ場所にいる場合では、指示者が被指示者の手を持ち、実際に行っている動作を被指示者へ体感させることによって指導する場合が多く見られる。例えば、ゴルフのスイング方法を指導する場合、指示者が被指示者の後ろからクラブを握って、素振りを行うことにより、被指示者ヘスイングを体感させ指導する。

しかし、例えば遠隔地間における音声画像通信では、視覚的に指示者の動作を伝達することは可能であるが、対象物に作用する力加減などの情報を伝達することはできない。そこで、従来、様々な手法を用いて遠隔地間における作業の共感を実現する試みが行われている。例えば、特殊なハード機器を装着することにより、その環境の映像や力に関する情報を物理的に遠隔地へ伝達することを試みている（例えば、特許文献１を参照。）。また、ロボットアームの作業音を擬似的に作成し、この作業音の音量、高さ、音色をロボットアームの状態に応じて変化させ、ロボットアームの作業映像と上記作業音とを共に提示することによって、利便性の高い遠隔ロボットアーム操作システムを構築している（例えば、非特許文献1を参照。）。

特開平１１−３１６６４６号公報

永井康史，土屋茂，木村真一、「ETS−VII搭載ロボットアーム実験における異なるタスクに対する聴覚情報提示の効果の比較」、第４０回計測自動制御学会学術講演会（SICE2001）、２００１年、２０５ Ａ−４

しかしながら、上記従来の手法の場合、前者では、特殊なハードウェアを装着する必要があるため、実際の動作を行う利用者にとって、負担になり不便である。また、後者は、遠隔地からロボットアームを操作するシステムであって、指示者と被指示者との作業の共感を実現する構成ではない。

この発明は、上記事情に着目してなされたもので、その目的とするところは、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することを可能とする作業指示システムとそのプログラムを提供することである。

上記目的を達成するためにこの発明に係わる作業指示システム、作業指示方法とそのプログラムは、作業対象物が存在すると共に第１撮像装置及び第１投影装置が配置された第１空間に設置される被指示者側装置と、第２撮像装置及び第２投影装置が配置された第２空間に設置され前記被指示者側装置との間で情報伝送が可能な指示者側装置とを具備し、前記作業対象物に対する作業を指示するための作業指示システムであって、前記作業対象物を前記第１撮像装置により撮像して得られる第１画像を取得する手段と、前記第１画像を仮想対象物として前記第２投影装置により前記第２空間に投影させる手段と、前記仮想対象物に加えられる指示作業の力の大きさに関する力覚情報を取得する手段と、前記指示作業を前記第２撮像装置により前記第２投影装置の投影範囲と一致する撮像範囲で撮像させて第２画像を取得する手段と、前記力覚情報と前記第２画像とを前記被指示者側装置に送信する手段とを前記指示者側装置に備え、前記指示者側装置から送信される力覚情報と第２画像とを受信する手段と、前記第２画像を前記第１投影装置により前記第１撮像装置の撮像範囲と一致する投影範囲で前記作業対象物上に投影させる手段と、前記力覚情報に示される力の大きさを音情報に変換する手段と、前記音情報をもとに前記力覚情報を音で提示する手段とを前記被指示者側装置に備えるようにしたものである。
したがって、この発明によれば、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することができる。

要するにこの発明によれば、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することを可能とする作業指示システムとそのプログラムを提供することにある。

（第１の実施形態）
図１は、この発明の第１の実施形態に係わる遠隔作業指示システムを示す概略構成図である。また、図２は図１に示す被指示者側システムの概略図、図３は図１に示す指示者側システムの概略図である。この遠隔作業指示システムは、指示者側システム１と被指示者側システム２との間を、通信ネットワークＮＷを介して接続可能としたものである。
通信ネットワークＮＷは、システムが例えば事業所内又はオフィス内に構築される場合であれば、ＬＡＮ（Local Area Network）により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、通信ネットワークＮＷを介すことなく、指示者側システム１と被指示者側システム２との間が直接ケーブル等で接続される構成でもよい。

指示者側システム１には、プロジェクタ１１とカメラ１２と力覚センサ１３とが設置されている。図３に示すように、プロジェクタ１１は、被指示者側システム２から送られる対象物５が撮影された対象物画像５１を力覚センサ１３上に投影する。このように、対象物画像５１が投影された力覚センサ１３を、ここでは仮想対象物とする。指示者は、上記投影された対象物画像５１を見て、あるいは見ることなく力覚センサ１３上で作業を行い、カメラ１２は、その様子を撮影して被指示者側システム２に送信する。力覚センサ（圧力センサ）１３は、例えば、シート状で構成され、指示者により力が加えられた位置の力覚量（圧力）を測定する。上記送信された指示者の撮影画像と共に、力覚センサ１３から得られた力覚情報（センサ値）を被指示者側システム２に送信する。

被指示者側システム２は、プロジェクタ２１とカメラ２２とスピーカ２３と処理用端末ＭＴが設置されている。図２にも示すように、カメラ２２は、被指示者が作業を行う対象物５を含む範囲を撮影して被指示者側システム２に送信する。プロジェクタ２１は、指示者側システム１から送られる指示者が行う作業が撮影された指示者画像６を対象物５上に投影する。また、処理用端末ＭＴは、マイクロコンピュータにより構成され、指示者側システム１から送られる力覚情報を音情報に変換する。変換された音情報はスピーカ２３に出力され、スピーカ２３からは力覚情報を表す音が出力される。被指示者は、上記投影された指示側撮影画像と出力された音とから被指示者の指示を受けて作業を行う。

なお、図１乃至図３に示すように、指示者側システム１に設置されるカメラ１２の撮像範囲とプロジェクタ１１の投影範囲、及び被指示者側システム２に設置されるカメラ２２の撮影範囲とプロジェクタ２１の投影範囲とがそれぞれ一致するように調整されているものとする。

図４は、この遠隔作業指示システムを実現するための具体的な機能構成を示すブロック図である。
指示者側システム１は、プロジェクタ１１とカメラ１２と力覚センサ１３とネットワークインタフェース（ネットワークＩ／Ｆ）１４とを備える。プロジェクタ１１は上述したように、力覚センサ１３上にネットワークＩ／Ｆ１４により受信された対象物画像５１を投影する。カメラ１２は、指示者が力覚センサ１３上で作業を行う様子を撮影し、ネットワークＩ／Ｆ１４により被指示者側システム２に送信する。

一方、被指示者側システム２は、プロジェクタ２１とカメラ２２とスピーカ２３とネットワークインタフェース（ネットワークＩ／Ｆ）２４とを備え、さらに、音情報発生部２５と同期構成部２６とを備えている。このうち、音情報発生部２５と同期構成部２６とは、いずれもプログラムを処理用端末ＭＴに実行させることにより実現される。

音情報発生部２５は、音データ変換部２５１と音情報格納部２５２とを備え、指示者側システム１から送られる力覚情報を音情報に変換する機能を有する。音データ変換部２５１は、ネットワークＩ／Ｆ２４から入力される力覚情報に応じて音情報格納部２５２から基本音データを取得する。そして、取得された基本音データを力覚情報に応じて変換させた音情報を同期構成部２６に出力する。

音情報格納部２５２は、記憶装置により構成され、例えば、ＭＩＤＩやメロディファイル等で構成される基本音データを格納する。基本音データは、例えば、正弦波等の一定音や、擬音のような人の声や環境音をサンプリングしたものや、効果音のような合成音が用いられる。音データ変換部２５１は、力覚情報に応じて、この基本音データに対して音量、音程、音色、音の長さ等を変化させる。

図５は、同期構成部２６の構成を示すブロック図である。同期構成部２６は、映像バッファ２６１と音バッファ２６２と同期設定部２６３と同期制御部２６４とを備える。映像バッファ２６１は、ネットワークＩ／Ｆ２４により受信された指示者側の映像データを格納する。音バッファ２６２は、上述の音情報発生部２５から入力される音データを格納する。

同期設定部２６３は、上記映像バッファに２６１に格納された映像データと、音バッファ２６２に格納された音データとの同期を設定する同期設定時間Ｔ´［ｍｓｅｃ］を格納する。この同期設定時間Ｔ´は、被指示者により予め設定されるもので、同期設定時間Ｔ´＝０であれば、映像データと音データとが同時に出力される。同期設定時間Ｔ´＞０であれば、映像データに対して同期設定時間Ｔ´だけ音データは遅延して出力される。また、同期設定時間Ｔ´＜０であれば、音データに対して同期設定時間Ｔ´の絶対値だけ映像データは遅延して出力されるものとする。同期制御部２６４は、上記同期設定部２６３の同期設定時間Ｔ´にしたがって、上記映像バッファに２６１に格納された映像データと、音バッファ２６２に格納された音データとを同期させてプロジェクタ２１及びスピーカ２３にそれぞれ出力する。

次に以上のように構成された遠隔作業指示システムの動作について説明する。図６は、遠隔作業指示システム全体の処理手順と内容を示すフローチャートである。
この遠隔作業指示システムが起動されると、指示者側システム１と被指示者側システム２との双方で通信ネットワークＮＷを介して音声画像通信が行われる。すなわち、ステップＳ６ａにおいて、映像処理及び力覚の音変換処理が行われる。具体的には、指示者側システム１において、カメラ１２により撮影された指示者画像６及び力覚センサ１３により得られた力覚情報を被指示者側システム２に向けて送信する。一方、被指示者側システム２においては、カメラ２２により撮影された対象物５を指示者側システム１に向けて送信する。それと共に、被指示者側システム２は、指示者側システム１から送信された力覚情報を受信して音データに変換している。

次にステップＳ６ｂにより、提示処理が行われる。具体的には、指示者側システム１において、被指示者側システム２から送信された対象物５の画像がプロジェクタ１２により投影される。また、被指示者側システム２においては、指示者側システム１から送信された指示者画像６はプロジェクタ２２により投影され、さらに、上記変換された音データがスピーカ２３から出力される。

また、この遠隔作業指示システムは、被指示者により入力される操作終了指示を監視している。これは、例えば、被指示者側システム２における処理用端末ＭＴのキーボード等の入力装置（図示せず）から入力される。ステップＳ６ｃの判定により、操作終了指示を検知した場合は、指示者側システム１及び被指示者側システム２において、それぞれ処理を終了する。ステップＳ６ｃにおいて、操作終了指示が検知されない場合は、ステップＳ６ａに移行して、上述した音声画像通信を継続して行う。

次に、図７を参照して、力覚情報を音データに変換する音変換処理について説明を行う。図７は、被指示者側システム２の音情報発生部２５における音データ変換処理の手順とその内容を示すフローチャートである。
先ず、音情報発生部２５の音データ変換部２５１は、ステップＳ７ａにおいて、ネットワークＩ／Ｆ２４により力覚情報であるセンサ値を受信する。そして、ステップＳ７ｂにおいてセンサ値が所定の閾値を超えるか否かを判定する。この閾値は、指示者により作業指示が行われたか否か（つまり、指示者により力覚センサ１３に力が加えられたか否か）の判定の指標となる値であり、センサ値がこの閾値を超えた場合に、指示者により作業の指示が行われたものと判定する。

上記ステップＳ７ｂにより、センサ値が閾値以上と判定された場合は、ステップＳ７ｃに移行して、音データ変換部２５１は、音情報格納部２５２から基本音データを取得する。次にステップＳ７ｄにより音データ変換部２５１は、上記取得された基本音データをセンサ値に基づいて変換する。この変換は、例えば、音量、音程、音色、音の長さ等を変化させることにより行われる。ここで、図９にセンサ値に応じて音量を変化させる例を示す。上のグラフは音量の時間的変化を表し、下のグラフはセンサ値の時間的変化を表す。このように、音データ変換部２５１は、上記基本音データをセンサ値の大小に応じて音量を変化させる。

そして、ステップＳ７ｅにおいて、音データ変換部２５１は、上記変換された音データを同期構成部２６に出力し、変換された音データは音バッファ２６２に格納される。
一方、ステップＳ７ｂのセンサ値の判定において、センサ値が閾値を超えないと判定された場合、ステップＳ７ｆに移行する。そして、音データ変換部２５１は、無音データ（ＮＵＬＬ値）を同期構成部２６に出力する。

次に、作業指示の提示処理について説明する。図８は、被指示者側システム２の同期構成部２６における作業指示の提示処理の手順とその内容を示すフローチャートである。
先ず、ステップＳ８ａにおいて、この遠隔作業指示システムを起動した最初の作業指示の提示であるか否かを判定する。この判定において、システム起動後の最初の作業指示の提示であると判定されると、ステップＳ８ｂに移行して、同期制御部２６４は、同期設定部２６３から同期設定時間Ｔ´を取得する。

ステップＳ８ｃおいて、同期設定時間Ｔ´の判定を行う。同期設定時間Ｔ´≧０と判定された場合、ステップＳ８ｇに移行し、同期制御部２６４は、映像バッファ２６１に格納された指示者側画像をプロジェクタ２１に出力開始する。そして、ステップＳ８ｈにおいて、同期制御部２６４は、同期設定時間Ｔ´［ｍｓｅｃ］だけ待機したのち、ステップＳ８ｉに移行して、音バッファ２６２に格納された音データをスピーカ２３に出力開始する。その後、システム起動後の２回目からの提示処理については、ステップＳ８ａの判定において、ステップＳ８ｊに移行する。そして、ステップＳ８ｊ及びステップＳ８ｋにより、同期制御部２６４は、音バッファ２６２に格納される音データ及び、映像バッファ２６１に格納される指示者画像をスピーカ２３及びプロジェクタ２１にそれぞれ順次出力する。これにより、常に音データは、指示者画像に対して同期設定時間Ｔ´だけ遅延して表示される。なお、同期設定時間Ｔ´＝０の場合は、指示者側画像と音データとがそれぞれプロジェクタ２１及びスピーカ２３により同時に出力される。

一方、ステップＳ８ｃの同期設定時間Ｔ´の判定において、同期設定時間Ｔ´＜０と判定された場合は、ステップＳ８ｄに移行して、まず音バッファ２６２に格納される音データをスピーカ２３に出力する。そして、ステップＳ８ｅにおいて、同期制御部２６４は、同期設定時間Ｔ´の絶対値時間［ｍｓｅｃ］だけ待機する。その後、ステップＳ８ｆにおいて、映像バッファ２６１に格納された指示者画像をプロジェクタ２１に出力する。また、システム起動後の２回目からの提示処理については、ステップＳ８ａの判定において、ステップＳ８ｊに移行する。そして、ステップＳ８ｊ及びステップＳ８ｋにより、同期制御部２６４は、音バッファ２６２に格納される音データ及び、映像バッファ２６１に格納される指示者画像をスピーカ２３及びプロジェクタ２１にそれぞれ順次出力する。これにより、常に指示者画像は、音データに対して同期設定時間Ｔ´の絶対値時間だけ遅延して出力される。

また、指示者が力覚センサ１３に力を加えていない場合、すなわちステップＳ７ｂにおいてセンサ値が所定の閾値未満の場合は、データ変換部２５は、無音データ（ＮＵＬＬ値）を同期構成部２６に出力する。これにより、システム起動後の最初の提示における音データおよび指示者画像の提示開始タイミングの同期制御を行うだけで、音データと指示者画像との時間差をつけて提示することが可能となるため、同期構成部２６の処理を簡易化することができる。

以上述べたように第１の実施形態では、被指示者側システム２は、指示者側システム１から送信された指示者画像と力覚情報とをネットワークＩ／Ｆ２４により受信する。そして、音情報発生部２５の音データ変換部２５１は、音情報格納部２５２により基本音データを取得し、上記受信された力覚情報に基づいて、取得された基本音データを力覚センサ値に応じて音量等を変化させた音データに変換する。そして、被指示者側システム２は、上記受信された指示者画像と変換された音データとをそれぞれプロジェクタ２１及びスピーカ２３に出力するようにしたものである。

これにより、被指示者は、スピーカ２３により出力される音の音量により、加える力の大きさを把握することができる。被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することができる。
また、同期制御部２６により、指示者画像と音データとの同期制御が行われるため、指示者画像と音データとの時間差をつけて提示することが可能である。これにより、映像に対して音を遅延させた場合には、被指示者は、音により力覚情報（いわゆる力加減を表す情報）を理解したのちに指示者画像により動作を確認しながら自ら動作を行うことができる。また、反対に、音に対して映像を遅延させた場合には、被指示者は、指示者画像で動作を確認したのちに、音で力覚情報を確認して自ら動作を行うことができる。これにより、指示者により複雑な作業指示が行われた場合でも、被指示者は、指示者の作業指示を確実に把握することができる。

上記第１の実施形態では、センサ値の大小に応じて音量を変化させるように構成したが、他にも、例えば、センサ値の大小に応じて音の長さや音の高低を変化させるようにすることも可能である。また、力覚センサ１３は、指示者により加えられる力覚情報を取得できればよく、筆やペンの先などに装着されるものでもよい。

（第２の実施形態）
図１０は、この発明の第２の実施形態に係わる遠隔作業指示システムの機能構成を示すブロック図である。この遠隔作業指示システムは、指示者側システム１Ａと被指示者側システム２Ａとの間を、通信ネットワークＮＷを介して接続可能としたものである。なお、この実施形態において、上記第１の実施形態の図４と同一の構成要素には同一符号を付し、詳しい説明を省略する。

指示者側システム１Ａに備えられる力覚センサ１３Ａは、例えば、シート状で構成され、力覚量（又は圧力）を測定するセンシング位置（以下、センシング点）が格子状に複数配置されたものを利用する。例えば、縦Ｘ点×横Ｙ点の各センシング点におけるセンサ値がそれぞれ得られる場合には、力覚情報は、センサ値行列Ｐとして次のように表され、センサ値行列Ｐの各要素が各センシング点においてのセンサ値に相当する。

指示者が力覚センサ１３Ａに対して力を加えると、ある一定の範囲に存在するセンシング点に相当する複数のセンサ値が所定の閾値以上となる。そこで、音データ変換部２５１では、センサ値行列Ｐの要素の最大値を抽出し、その最大値に応じて、音情報格納部２５２により取得された基本音データの音量、音程、音色、音の長さ等を変化させるようにする。

また、力覚センサ１３Ａは、各センシング点がそれぞれ指示者側システムカメラ１２の撮影範囲の一定の位置に対応するように配置される。したがって、センシング点の座標値、すなわち、このセンサ値行列Ｐの各要素により、カメラ１２の撮影画像において力が加えられた位置を取得することができる。

ここで、図１１に被指示者側システム２Ａが利用される様子を示す。上記第１の実施形態と同様に、プロジェクタ２１により指示者画像６が投影されると共に、スピーカ２３によりセンサ値の大きさに応じた音が出力される。さらに、この第２の実施形態では、指示者が作業を指示した際に加えられた力の方向に関する情報が矢印Ｆのように投影される。被指示者は、スピーカ２３から出力される音とプロジェクタ２１により投影された矢印Ｆとにより、力覚の量と力覚の方向とを把握する。

被指示者側システム２Ａは、カメラ２とプロジェクタ２１とスピーカ２３とネットワークＩ／Ｆ２４と音情報発生部２５とに加え、さらに映像生成部２７を備える。
音データ変換部２５１は、上述したように、複数のセンサ値からなる力覚情報からセンサ値行列Ｐを作成し、このセンサ値行列Ｐの要素の最大値を抽出し、その最大値に応じて、音情報格納部２５２により取得された基本音データの音量、音程、音色、音の長さ等を変化させる。このデータ変換部２５１Ａにおいて変換された音データは同期構成部２６に出力される。

映像生成部２７は、図１５に示すように、画像データ変換部２７１と矢印画像格納部２７２と映像合成部２７３とを備える。矢印画像格納部２７２には、上記図１１において投影される矢印画像Ｆのもととなる基本矢印画像が格納される。また、画像データ変換部２７１は、センサ値行列Ｐから力の加えられた方向を検出し、検出された方向に基づいて上記矢印画像格納部２７２から取得した基本矢印画像を変換して矢印画像Ｆを作成する。映像合成部２７３は、ネットワークＩ／Ｆ２４により受信される指示者画像と画像データ変換部２７１から入力される矢印画像Ｆとを合成した合成提示画像を作成する。そして、作成された提示画像を同期構成部２６に出力する。

次に以上にように構成された被指示者側システム２Ａの動作について説明する。
図１３は、被指示者側システム２Ａにおける力覚情報の音変換処理の手順とその内容を示すフローチャートである。
ステップＳ１３ａにおいて、音データ変換部２５１は、力覚情報として複数のセンサ値を受信する。ステップＳ１３ｂにおいて全てのセンサ値が閾値を超えない場合は、ステップＳ１３ｈに移行して、データ変換部１３ｈは、無音データ（ＮＵＬＬ値）を同期構成部２６の音バッファ２６２に格納する。

一方、ステップＳ１３ｂにおいて、閾値以上のセンサ値が存在した場合は、ステップＳ１３ｃに移行して、音データ変換部２５１は、音情報格納部２５２から基本音データを取得する。次に、音データ変換部２５１は、ステップＳ１３ｄにおいて、センサ値行列Ｐを生成し、センサ値行列Ｐの要素の最大値を取得する。そして、ステップＳ１３ｅにより、音データ変換部２５１は、上記生成したセンサ値行列Ｐを映像生成部２７に出力する。そして、ステップＳ１３ｆにおいて、ステップＳ１３ｄにより取得された最大値に応じて基本音データを変換する。この変換処理は、上記第１の実施形態と同様に、例えば、音程を変化させる場合には、最大値の大きさに応じて音程を高くする。また、音量を変化させる場合には、最大値の大きさに応じて音量を大きくする。その他にも、音の長さや音色等を最大値に応じて変化させる。そして、音データ変換部２５１は、ステップＳ１３ｇにより、変換された音データを同期構成部２６に出力し、音バッファ２６２には変換された音データが格納される。

次に、映像生成処理について説明する。図１４は、被指示者側システム２Ａにおける映像生成処理の手順とその内容を示すフローチャートである。先ず、ステップＳ１４ａにより、映像生成部２７は、ネットワークＩ／Ｆ２４を介して指示者画像を受信する。これと並行に、画像データ変換部２７１において、受信されたセンサ値行列Ｐにより力の方向を表す矢印画像を生成する。すなわち、ステップＳ１４ｂにおいて、映像生成部２７の画像データ変換部２７１は、音データ変換部２５１からセンサ値行列Ｐを取得すると、ステップＳ１４ｃに移行して、センサ値行列Ｐの要素の最大値を取得する。さらに、ステップＳ１４ｄにより、画像データ変換部２７１は、センサ値行列Ｐにおいて最大値を有する要素から各方向へのセンサ値の変化率（変化の勾配）を算出し、算出された変化率が最大となる方向を求める。

ここで、書道において筆の運びを指示する場合を例に挙げて説明する。紙の文字を書きつつ筆を運ぶ場合において、筆の毛が紙に接触している範囲の紙が受ける垂直方向の圧力分布をみると、筆の軸の真下において圧力が最大になる。また、筆の軸の真下から筆を進める反対の方向に向かっては、筆の毛の元から毛先までが紙に接触するため、圧力の変化率（変化の勾配）が最小となる。逆に、筆の軸を進める方向に向かっては、筆の毛の元の部分のみが紙に接触するため、圧力の変化率（変化の勾配）が最大となる。

図１２に力覚センサ１３Ａから検出されるセンサ値の分布の様子を示す。指示者により加えられた力覚量の最大位置をセンシング点Ａで示す。このセンシング点Ａから例えば、８方向（Ａ１〜Ａ８の方向）のセンサ値の変化を求めるものとする。各方向におけるセンシング点Ａからの距離に対するセンサ値の変化を右のグラフに示す。例えば、Ａ１〜Ａ３方向におけるセンサ値の変化を比較した場合、Ａ３方向においてセンサ値の変化が急激であり、圧力の変化率（変化の勾配）が最大となり、これにより、指示者により加えられた力の向かう方向はＡ３の方向と求められる。

さて、このように力の方向が求められたのちに、データ変換部２５１Ａは、ステップＳ１４ｅにおいて、矢印画像格納部２７２から基本矢印画像を取得する。そして、上記求められた力の方向を表すように基本矢印画像の矢印の方向を変換して矢印画像Ｆを作成する。作成された矢印画像Ｆは、映像合成部２７３に出力され、ステップＳ１４ｆにおいて、映像合成部２７３は、作成された矢印画像Ｆと上記受信された指示者画像を合成して、合成提示画像を作成し、この作成された合成提示画像を同期構成部２６に出力する。一方、ステップＳ１４ｂにおいて画像データ変換部２７１が音データ変換部２５１からセンサ値行列Ｐを取得しない場合には、矢印画像Ｆは作成されないため、映像生成部２７は、ネットワークＩ／Ｆ２４により受信された指示者画像をそのまま同期構成部２６に出力する。

以上のように第２の実施形態では、指示者側システム１Ａは、力覚センサ１３Ａにより、複数のセンシング点におけるセンサ値を測定して、測定された複数のセンサ値被指示者側システム２Ａに向けて送信する。被指示者側システム２Ａの音情報発生部２５は、音データ変換部２５１において生成したセンサ値行列Ｐの要素からセンサ値の最大値を検出して、この最大値を音情報に変換して、同期構成部２６に出力する。また、音データ変換部２５１は、上記生成したセンサ値行列Ｐを映像生成部２７に送信する。そして、映像生成部２７の画像データ変換部２７１は、センサ値行列Ｐの要素から力の方向を検出して、検出された力の方向を表す矢印画像Ｆを作成する。作成された矢印画像Ｆは映像合成部２７３に出力され、映像合成部２７３は、指示者画像とこの矢印画像Ｆとを合成した合成提示画像を作成して、同期構成部２６に出力するものである。

これにより、被指示者は、指示者により対象物に加えられる力覚の量に加えて、力覚の方向を把握することができるため、さらに明確に指示者の動作を理解して作業を行うことができる。
なお、上記第２の実施形態では、複数のセンシング点を有する力覚センサ１３Ａを用いて、この力覚センサ１３Ａに及ぼす圧力分布の特徴に基づき、指示者が筆に加えた水平方向の力の向きを求めたが、他にも、例えば、圧力が最大となる点の位置座標の時間的変化をもとに、指示者が筆に加えた水平方向の力の向きや大きさを推定するようにしても構わない。

また、第２の実施形態では、力覚量に関する情報は音の変化によって提示し、力の方向は矢印画像Ｆにより提示しているが、提示の方法はこれに限定されないものとする。例えば、力覚量を画像で表すようにするようにしてもよい。すなわち、力の方向は、本実施形態のように矢印等の画像の向きで提示し、力覚量は、矢印の長さや色で提示することができる。その場合、力覚量に関する音による提示は省略しても構わない。

また、力の方向を表す画像は、矢印を模した画像に限らず、方向を示し得る他の画像を利用しても構わない。例えば、力が加えられている点を中心にある一定半径の円を提示し、その円を力が加えられている方向に濃く色付けしたグラデーション画像などを利用することができる。

なお、この発明は、上記各実施形態に限定されるものではない。たとえば、上記各実施形態では、指示者側システム１にプロジェクタ１１を配置して、被指示者側システム２において撮影された画像を力覚センサ１３上に投影するように構成したが、タッチパネルディスプレイ等を利用することもできる。他にも、プロジェクタ１１に替えて、液晶表示器（ＬＣＤ）等の表示装置を利用することも可能である。この場合、表示装置に表示される対象物画像５１に力覚センサ１３のセンシング点の位置関係を表す必要がある。

また、上記各実施形態では、指示者側システム１と被指示者側システム２との１対１の構成であるが、例えば、教室における先生と生徒のように、１つの指示者側システム１と複数の被指示者側システム２との間を接続して、選択的に切り替えて指導を行うような構成とすることもできる。また、上記各実施形態では、遠隔地間での作業指示を想定しているが、必ずしも遠隔地間でなくてもよい。

また、音情報発生部２５、映像生成部２７及び同期構成部２６を被指示者側システム２，２Ａに設けるように構成したが、これらの部を指示者側システム１に設けるように構成することもできる。このようにすると、例えば、通信ネットワークＮＷの伝送容量や指示者側システム１及び被指示者側システム２の各部の機能を実現するコンピュータの処理能力に適したシステムを構築することができる。

また、この発明の作業指示システムは、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、作業指示システムの機能構成及び各部の処理手順とその処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

この発明の第１の実施形態に係わる遠隔作業指示システムの概略構成図。 図１に示す被指示者側システムの概略図。 図１に示す指示者側システムの概略図。 図１に示す遠隔作業指示システムの機能構成を示すブロック図。 図４に示す同期構成部の機能構成を示すブロック図。 図４に示す被指示者側システムの動作手順とその内容を示すフローチャート。 図４に示す被指示者側システムの音変換処理の手順とその内容を示すフローチャート。 図４に示す被指示者側システムの同期処理の手順とその内容を示すフローチャート。 図４に示す被指示者側システムの音変換処理の様子を示す図。 この発明の第２の実施形態に係わる遠隔作業指示システムの機能構成を示すブロック図。 図１０に示す被指示者側システムの概略図。 図１０に示す指示者側システムにおいて力覚情報を取得する様子を示す図。 図１０に示す被指示者側システムの音変換処理の手順とその内容を示すフローチャート。 図１０に示す被指示者側システムの映像生成処理の手順とその内容を示すフローチャート。 図１０に示す被指示者側システムの映像生成部の構成を示すブロック図。

符号の説明

１，１Ａ…指示者側システム、２，２Ａ…被指示者側システム、ＮＷ…通信ネットワーク、ＭＴ…処理用端末、１１，２１…プロジェクタ、１２，２２…カメラ、１３，１３Ａ…力覚センサ、２３…スピーカ、５…対象物、５１…対象物画像、６…指示者画像、１４，２４…ネットワークＩ／Ｆ、２５…音情報発生部、２５１…音データ変換部、２５２…音情報格納部、２６…同期構成部、２６１…映像バッファ、２６２…音バッファ、２６３…同期設定部、２６４…同期制御部、２７…映像生成部、２７１…画像データ変換部、２７２…矢印画像格納部、２７３…映像合成部、Ｆ…矢印画像、Ａ…センシング点、Ａ１〜Ａ８…センシング点Ａからの方向。

Claims (4)

1. 作業対象物が存在すると共に第１撮像装置及び第１投影装置が配置された第１空間に設置される被指示者側装置と、第２撮像装置及び第２投影装置が配置された第２空間に設置され前記被指示者側装置との間で情報伝送が可能な指示者側装置とを具備し、前記作業対象物に対する作業を指示するための作業指示システムであって、
   前記作業対象物を前記第１撮像装置により撮像して得られる第１画像を取得する手段と、
   前記第１画像を仮想対象物として前記第２投影装置により前記第２空間に投影させる手段と、
   前記仮想対象物に加えられる指示作業の力の大きさに関する力覚情報を取得する手段と、
   前記指示作業を前記第２撮像装置により前記第２投影装置の投影範囲と一致する撮像範囲で撮像させて第２画像を取得する手段と、
   前記力覚情報と前記第２画像とを前記被指示者側装置に送信する手段と
   を前記指示者側装置に備え、
   前記指示者側装置から送信される力覚情報と第２画像とを受信する手段と、
   前記第２画像を前記第１投影装置により前記第１撮像装置の撮像範囲と一致する投影範囲で前記作業対象物上に投影させる手段と、
   前記力覚情報に示される力の大きさを音情報に変換する手段と、
   前記音情報をもとに前記力覚情報を音で提示する手段と
   を前記被指示者側装置に備えることを特徴とする作業指示システム。
2. 作業対象物が存在すると共に第１撮像装置及び第１投影装置が配置された第１空間に設置される被指示者側装置と、第２撮像装置及び第２投影装置が配置された第２空間に設置される指示者側装置との間で情報伝送を行うことにより、前記作業対象物に対する作業を指示する作業指示方法であって、
   前記指示者側装置は、
   前記作業対象物を前記第１撮像装置により撮像して得られる第１画像を取得し、
   前記第１画像を仮想対象物として前記第２投影装置により前記第２空間に投影させ、
   前記仮想対象物に加えられる指示作業の力の大きさに関する力覚情報を取得し、
   前記指示作業を前記第２撮像装置により前記第２投影装置の投影範囲と一致する撮像範囲で撮像させて第２画像を取得し、
   前記力覚情報と前記第２画像とを前記被指示者側装置に送信し、
   前記被指示者側装置は、
   前記指示者側装置から送信される力覚情報と第２画像とを受信し、
   前記第２画像を前記第１投影装置により前記第１撮像装置の撮像範囲と一致する投影範囲で前記作業対象物上に投影させ、
   前記力覚情報に示される力の大きさを音情報に変換し、
   前記音情報をもとに前記力覚情報を音で提示することを特徴とする作業指示方法。
3. 作業対象物が存在すると共に第１撮像装置及び第１投影装置が配置された第１空間に設置され、第２撮像装置及び第２投影装置が配置された第２空間に設置され指示者側装置との間で情報伝送を行うことにより、前記作業対象物に対する作業を指示する、コンピュータを備える被指示者側装置で使用されるプログラムであって、
   前記指示者側装置から送信される、前記作業対象物を前記第１撮像装置により撮像して得られた第１画像を前記第２空間に投影した仮想対象物に加えられる指示作業の力の大きさに関する力覚情報と、前記指示作業を前記第２撮像装置により前記第２投影装置の投影範囲と一致する撮像範囲で撮像して得られる第２画像とを受信する処理と、
   前記第２画像を前記第１投影装置により前記第１撮像装置の撮像範囲と一致する投影範囲で前記作業対象物上に投影させる処理と、
   前記力覚情報に示される力の大きさを音情報に変換する処理と、
   前記音情報をもとに前記力覚情報を音で提示する処理と
   を前記コンピュータに実行させることを特徴とするプログラム。
4. 第２撮像装置及び第２投影装が配置された第２空間に設置され、作業対象物が存在すると共に第１撮像装置及び第１投影装置が配置された第１空間に設置される被指示者側装置との間で情報伝送を行うことにより、前記作業対象物に対する作業を指示する、コンピュータを備える指示者側装置で使用されるプログラムであって、
   前記作業対象物を前記第１撮像装置により撮像して得られる第１画像を取得する処理と、
   前記第１画像を仮想対象物として前記第２投影装置により前記第２空間に投影させる処理と、
   前記仮想対象物に加えられる指示作業の力の大きさに関する力覚情報を取得する処理と、
   前記指示作業を前記第２撮像装置により前記第２投影装置の投影範囲と一致する撮像範囲で撮像させて第２画像を取得する処理と、
   前記力覚情報と前記第２画像とを前記被指示者側装置に送信する処理と
   を前記コンピュータに実行させることを特徴とするプログラム。

Images