JP7317271B2 - 遠隔支援装置および遠隔支援方法 - Google Patents

Description

本開示は、遠隔支援装置および遠隔支援方法に関する。

ビル設備などの故障または異常時において、現場作業員所有のウェアラブルデバイスで取得した動画像情報、またはモーション情報を遠隔地の作業支援者と共有するシステムが知られている。作業支援者は、共有した情報をもとに、音声通話などで現場作業員を支援する。このようなシステムでは、現場作業員は、現場作業員が得た感覚を音声通話だけで作業支援者に伝えなければならず、現場状況を作業支援者に適切に伝えることが困難である。

一方、感覚情報を取得した後、感覚情報を再現するための技術が知られている。
たとえば、特許文献１のシステムは、触感センサによって、対象物から触感情報を検出し、カメラによって触感センサが触感情報を検出する対象物の画像情報を取得する。このシステムは、画像情報に基づいて対象物の名称を特定し、対象物の名称と、その対象物の触感情報とを関連付けて記憶する。その後、このシステムは、所定の名称の対象物について触感の再現をユーザから要求された場合、触感再現装置によって、所定の名称に関連付けられた触感情報に基づいて触感を再現する。

特許文献２には、プロセッサと、プロセッサがアクセスする記憶装置とを有する感覚情報提示システムが記載されている。記憶装置は、五感のうち少なくとも一つの感覚を表現する複数の感覚情報と、複数の感覚情報の各々と対象物と個人の特性とを対応付ける対象物プロパティ情報とを保持する。プロセッサは、対象物を指定する情報が入力されると、対象物プロパティ情報に基づいて、指定された対象物と、対象物を指定した個人の特性との組合せに対応する感覚情報を特定し、特定された感覚情報を出力する。

特開２０１９－１６００３６号公報 特開２０１８－０７３０１９号公報

しかしながら、特許文献１および特許文献２のシステムでは、遠隔の支援者は、現場状況を容易に把握することができない。たとえば、遠隔の支援者は、現場のどの位置に現場において取得された感覚情報が存在するのかを判断することができない。遠隔の支援者は、ある位置で感覚情報が再現されて初めて、その位置に感覚情報が存在していたことがわかる。

それゆえに、本開示も目的は、遠隔の支援者が、現場状況を容易に把握することができる遠隔支援装置および遠隔支援方法を提供することである。

本開示の遠隔支援装置は、現場において測定された感覚情報と、感覚情報の測定位置とを取得する取得部と、支援者の入力を受け付けるユーザ入力部と、表示部と、感覚情報を再現する感覚再現部と、取得した測定位置に基づいて、現場または現場を模擬した模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部に表示し、ユーザ入力部を通じて支援者がアイコンを選択したことにより、感覚再現部に感覚情報を再現させる制御部とを備える。

本開示の遠隔支援方法は、現場において測定された感覚情報と、感覚情報の測定位置とを取得するステップと、取得した測定位置に基づいて、現場または現場を模擬した模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部に表示するステップと、ユーザ入力部を通じて支援者がアイコンを選択したことにより、感覚再現部に感覚情報を再現させるステップとを備える。

本開示によれば、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部に表示し、ユーザ入力部を通じて支援者がアイコンを選択したことにより、感覚再現部に感覚情報を再現させる。これによって、遠隔の支援者が、現場状況を容易に把握することができる。

実施の形態の遠隔支援装置１による遠隔支援の概要を説明するための図である。 実施の形態の遠隔支援装置１の構成を表わす図である。 測定データの構成例を表わす図である。 測定データの第１例を表わす図である。 測定データの第２例を表わす図である。 測定データの第３例を表わす図である。 感覚再現情報の構成例を表わす図である。 感覚の種類と、センサの種類と、感覚再現装置との対応関係を表わす図である。 感覚情報が再現される第１の例を表わす図である。 感覚情報が再現される第２の例を表わす図である。 感覚情報が再現される第３の例を表わす図である。 実施の形態１の遠隔支援装置１の処理手順を表わすフローチャートである。 実施の形態２の遠隔支援装置１の処理手順を表わすフローチャートである。 実施の形態３の感覚再現情報の例を表わす図である。 作業名の例を表わす図である。 実施の形態３の遠隔支援装置１の処理手順を表わすフローチャートである。 実施の形態４の遠隔支援装置１Ａの構成を表わす図である。 実施の形態４の遠隔支援装置１Ａの処理手順を表わすフローチャートである。 遠隔支援装置の一部または全部をソフトウェアを用いて実現する場合の構成を示す図である。

以下、実施の形態について図面を参照して説明する。
実施の形態１．
図１は、実施の形態の遠隔支援装置１による遠隔支援の概要を説明するための図である。

第１現場において、カメラ１５１ａおよびカメラ１５１ｂが設置される。作業員が振動センサ１００を室外機の上に置く。振動センサ１００が室外機の振動を検出する。カメラ１５１ａおよびカメラ１５１ｂが、振動センサ１００の３次元位置を検出する。振動センサ１００および振動センサ１００の制御部が、検出した振動を表わすデータ、および振動センサ１００の位置を表わすデータなどを遠隔支援装置１に送信する。遠隔支援装置１は、取得したデータに基づいて、室外機の振動を再現する。遠隔の支援者は、再現された振動によって、室外機の故障箇所、および故障の原因を診断することができる。

第２現場には、室内機Ａ、Ｂ、Ｃ、およびマイク１０１が設置される。マイク１０１が、第２現場で発生した音を検出する。マイク１０１およびマイク１０１の制御部が、検出した音を表わすデータ、マイク１０１の位置を表わすデータ、および音が発生した方向を表わすデータなどを遠隔支援装置１に送信する。遠隔支援装置１は、取得したデータに基づいて、第２現場において測定された音を再現する。音および音が発生した方向を再現することによって、遠隔の支援者は、どの室内機が、どのような原因で故障しているかを診断することができる。

第３現場において、室内機Ａ、Ｂ、Ｃ、および臭気センサ１０２が設置される。臭気センサ１０２が匂いを検出する。臭気センサ１０２および臭気センサ１０２の制御部が、検出した匂いを表わすデータ、臭気センサ１０２の位置を表わすデータ、および匂いが発生した方向を表わすデータなどを遠隔支援装置１に送信する。遠隔支援装置１は、取得したデータに基づいて、第２現場において測定された匂いを再現する。匂いおよび匂いが発生した方向を再現することによって、遠隔の支援者は、どの室内機が、どのような原因で故障しているかを診断することができる。

図２は、実施の形態の遠隔支援装置１の構成を表わす図である。
遠隔支援装置１は、取得部２と、感覚再現情報記憶部４と、ユーザ入力部５と、制御部６と、表示部７と、感覚再現部８とを備える。

取得部２は、現場における測定データを取得する。取得部２は、たとえば、現場のセンサなどの装置と通信する通信装置である。測定データは、少なくとも現場において測定された感覚情報と、感覚情報が測定された位置とを含む。測定データは、センサおよびセンサを制御する装置によって自動的に作成されるものとしてもよい。あるいは、測定データの一部は、現場の作業員がセンサまたはセンサを制御する装置にデータを入力することによって、作成されるものとしてもよい。

図３は、測定データの構成例を表わす図である。
測定データは、感覚が測定された日時（測定日時）と、感覚の測定時間と、感覚の種類と、感覚を測定するセンサの種類と、感覚情報を記録したデータファイルと、感覚が測定された位置（測定位置）と、発生源の方向（発生方向）と、測定位置の基準となる座標系（基準座標系）である。発生方向は、測定位置を基準とした方向角と仰角で表される。

センサが固定式の場合には、測定位置は、設定されたセンサの位置とすることができる。センサが移動式の場合には、測定位置は、位置を検出する手段によって、検出されたセンサの位置とすることができる。位置を検出する手段として、複数のカメラ、またはＧＰＳ（Global Positioning System）などを用いることができる。

発生方向は、感覚の種類が、音および匂いの場合に有効となる。音の発生源の方向は、複数のマイクの検出値から推定することができる。匂いの発生方向は、現場の作業員による入力によって特定することができる。

基準座標系は、「測定位置」の基準となる座標系を表わす。基準座標系は、画像、または実物である。実物は、敷地、建物、階、部屋、設備の模型、または設備の実機などである。設備には、空調装置、換気扇、照明装置、または昇降機などのビル設備が含まれる。基準座標系が、画像の場合に、「測定位置」は、測定された位置を表わす画素の位置となる。基準座標系が、実物の場合に、「測定位置」は、実物のある位置を基準位置とした実際の２次元または３次元の位置を表わす。

図４は、測定データの第１例を表わす図である。
この測定データにおいて、測定日時は「２０２０／１２／０２の１８：５３：３０」、測定時間は「３０秒」、感覚の種類は「振動」、センサの種類は「振動センサ」、感覚情報を記録したデータファイルのファイル名は「ｘｘ１．ｃｓｖ」、測定位置の画素の位置は「３０，２０，７０」、発生方向は「Ｎ／Ａ」（該当なし）、基準座標系が画像Ａである。

図５は、測定データの第２例を表わす図である。
この測定データにおいて、測定日時は「２０２０／１２／０２の１９：５０：４０」、測定時間は「２０秒」、感覚の種類は「臭覚」、センサの種類は「臭気センサ」、感覚情報を記録したデータファイルのファイル名は「ｘｘ３．ｃｓｖ」、部屋Ｘの基準位置と測定位置との距離は「１０ｃｍ，３０ｃｍ，５０ｃｍ」、発生方向は「５０°（仰角），９０°（方位角）」、基準座標系が部屋Ｘである。

図６は、測定データの第３例を表わす図である。
この測定データにおいて、測定日時は「２０２０／１２／０１の３：２１：４５」、測定時間は「６０秒」、感覚の種類は「音」、センサの種類は「マイク」、感覚情報を記録したデータファイルのファイル名は「ｘｘ２．ｍｐ３」、部屋Ｙの基準位置と測定位置との距離は「５０ｃｍ，４０ｃｍ，３０ｃｍ」、発生方向は「４０°（仰角），１２０°（方位角）」、基準座標系が部屋Ｙである。

制御部６は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を生成する。

図７は、感覚再現情報の構成例を表わす図である。
感覚再現情報は、測定データと、現場または模擬現場を表わすための背景と、画像データと、画像または実物に表示するアイコンの位置と、感覚情報を再現する感覚再現装置の種類とを含む。現場または模擬現場を表わすための背景は、画像または実物である。現場または撮影現場を表わす画像には、静止画像、動画像、または３次元仮想空間などが含まれる。現場または模擬現場を表わす実物には、実際の設備（実機）、または実際の設備の模型などが含まれる。感覚再現情報は、現場または模擬現場を表わすための背景が画像の場合に、画像データを含む。

図８は、感覚の種類と、センサの種類と、感覚再現装置との対応関係を表わす図である。

感覚が「音」の場合に、センサの種類が「マイク」で、感覚再現装置の種類が「スピーカ」である。複数の「スピーカ」を設けて、制御部６が、感覚再現情報に含まれる発生方向に基づいて、各スピーカから発生する音の大きさを制御することによって、音の発生方向を再現することができる。

感覚が「臭覚」の場合に、センサの種類が「匂いセンサ」、「臭気センサ」、または「ガスセンサ」で、感覚再現装置の種類が「臭覚再現デバイス」である。「臭覚再現デバイス」は、たとえば、VAQSO社製の（VAQSO VR）を用いることができる。複数の「臭覚再現デバイス」を設けて、制御部６が、感覚再現情報に含まれる発生方向に基づいて、各臭覚再現デバイスから発生する匂いの量を制御することによって、匂いの発生方向を再現することができる。あるいは、制御部６が、気流を制御することによって、匂いの発生方向を再現してもよい。

感覚が「温冷覚」の場合に、センサの種類が「温度センサ」で、感覚再現装置の種類が「ヒータ」、「ファン」、「空調装置」、「換気扇」、または「ペルチェ素子」である。

感覚が「振動」の場合に、センサの種類が「振動センサ」で、感覚再現装置の種類が「バイブレータ」である。

感覚が「触覚または力覚」の場合に、センサの種類が「触覚センサ」、「圧力センサ」、「力センサ」、「グローブ」で、感覚再現装置の種類が「グローブ型提示装置」である。「グローブ」として、ManusVR社製のグローブ型ＶＲ向けデバイスを用いることができる。「グローブ型提示装置」として、たとえば、HaptX社製のグローブ型触覚デバイスを用いることができる。

感覚再現情報記憶部４は、感覚再現情報を記憶する。
ユーザ入力部５は、遠隔の支援者の入力を受け付ける。ユーザ入力部５は、たとえば、マウス、またはキーボードなどである。

表示部７は、たとえばディスプレイである。
感覚再現部８は、感覚情報を再現する。感覚再現部８は、複数の感覚再現装置３－１～３－Ｎを備える。各々の感覚再現装置３は、対応する種類の感覚情報を再現する。たとえば、感覚再現装置３－１は、音を再現し、感覚再現装置３－２は、臭覚を再現し、感覚再現装置３－３は、振動を再現する。

制御部６は、感覚再現情報に基づいて、現場または摸擬現場を表わす画像を表示部７に表示するとともに、感覚再現情報に基づいて、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部７に表示する。制御部６は、感覚再現情報に基づいて、アイコンとともに、感覚の種類、測定日時および測定時間のうちの少なくとも１つを表示部７に表示してもよい。

制御部６は、ユーザ入力部５を通じて遠隔の支援者がアイコンを選択すると、感覚再現情報を参照して、アイコンに対応する感覚情報の種類に応じた感覚再現装置３に感覚を再現させる。

図９は、感覚情報が再現される第１の例を表わす図である。
制御部６は、感覚再現情報に基づいて、現場を表す画像または動画像を表示部７に表示する。画像または動画像には、室内機が含まれる。制御部６は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンＡ１、Ａ２を画像または動画像に重畳表示する。制御部６は、アイコンＡ１、Ａ２とともに、感覚再現情報に基づいて、測定日時「１７：２７」、測定時間「３０秒」を表示する。図９に示すように、アイコンＡ１とは別に、アイコンＡ１によって選択される位置を示すためのマークＭ１も表示し、アイコンＡ２とは別に、アイコンＡ２によって選択される位置を示すためのマークＭ２も表示することとしてもよい。

遠隔の支援者が、ユーザ入力部５であるグローブ型提示装置９１を動かすことによって、ポインタＰが移動する。グローブ型提示装置９１の移動は、グローブ型提示装置９１に取り付けられた位置センサ、またはグローブ型提示装置９１を撮影する複数個のカメラによって検出することができる。遠隔の支援者がポインタＰによってアイコンＡ１またはマークＭ１を選択すると、アイコンＡ１によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。遠隔の支援者がポインタＰによってアイコンＡ２またはマークＭ２を選択すると、アイコンＡ２によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。

図１０は、感覚情報が再現される第２の例を表わす図である。
制御部６は、感覚再現情報に基づいて、現場を模擬した模擬現場を表わす３次元仮想空間を表示部７であるヘッドマウントディスプレイ９２に表示する。３次元仮想空間には室内機が含まれる。制御部６は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンＡ１、Ａ２を３次元仮想空間に重畳表示する。制御部６は、アイコンＡ１、Ａ２とともに、感覚再現情報に基づいて、測定日時「１７：２７」、測定時間「３０秒」を表示する。図１０に示すように、アイコンＡ１とは別に、アイコンＡ１によって選択される位置を示すためのマークＭ１も表示し、アイコンＡ２とは別に、アイコンＡ２によって選択される位置を示すためのマークＭ２も表示することとしてもよい。

遠隔の支援者が、ユーザ入力部５であるグローブ型提示装置９１を動かすことによって、ポインタＰが移動する。グローブ型提示装置９１の移動は、グローブ型提示装置９１に取り付けられた位置センサ、またはグローブ型提示装置９１を撮影する複数個のカメラによって検出することができる。図１０では、ポインタＰは、グローブ型提示装置９１を示す図形によって表されている。遠隔の支援者がポインタＰによってアイコンＡ１またはマークＭ１を選択すると、アイコンＡ１によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。遠隔の支援者がポインタＰによってアイコンＡ２またはマークＭ２を選択すると、アイコンＡ２によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。

図１１は、感覚情報が再現される第３の例を表わす図である。
遠隔の支援者は、表示部７であるヘッドマウントディスプレイ９２を通して、現場における設備である室内機と同一種類の室内機の実機または模型を直接視認することができる。制御部６は、感覚再現情報に基づいて、触覚の測定位置を表わすためのアイコンＡ１、Ａ２を表示部７であるヘッドマウントディスプレイ９２に表示する。制御部６は、アイコンＡ１、Ａ２とともに、感覚再現情報に基づいて、測定日時「１７：２７」、測定時間「３０秒」を表示する。図１１に示すように、アイコンＡ１とは別に、アイコンＡ１によって選択される位置を示すためのマークＭ１も表示し、アイコンＡ２とは別に、アイコンＡ２によって選択される位置を示すためのマークＭ２も表示することとしてもよい。

遠隔の支援者が、ユーザ入力部５であるグローブ型提示装置９１を動かすことによって、ポインタＰが移動する。グローブ型提示装置９１の移動は、グローブ型提示装置９１に取り付けられた位置センサ、またはグローブ型提示装置９１を撮影する複数個のカメラによって検出することができる。図１１では、ポインタＰは、グローブ型提示装置９１を示す図形によって表されている。遠隔の支援者がポインタＰによってアイコンＡ１またはマークＭ１を選択すると、アイコンＡ１によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。遠隔の支援者がポインタＰによってアイコンＡ２またはマークＭ２を選択すると、アイコンＡ２によって特定される感覚である触覚が感覚再現装置３であるグローブ型提示装置９１によって再現される。

図１２は、実施の形態１の遠隔支援装置１の処理手順を表わすフローチャートである。
ステップＳ１０１において、取得部２は、現場における測定データを取得する。

ステップＳ１０２において、制御部６は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を生成して、感覚再現情報記憶部４に記憶する。

ステップＳ１０３において、制御部６は、感覚再現情報に画像データが含まれる場合に、現場または摸擬現場を表わす画像を表示部７に表示する。制御部６は、感覚再現情報に含まれるアイコンの位置に基づいて、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部７に表示する。

ステップＳ１０４において、ユーザ入力部５を通じて、遠隔の支援者がいずれかのアイコンを選択した場合に、処理がステップＳ１０５に進む。

ステップＳ１０５において、制御部６は、感覚再現情報を参照して、選択されたアイコンに対応する感覚情報を再現するための感覚再現装置３を特定する。制御部６は、選択されたアイコンに対応するデータファイルを特定した感覚再現装置３に送ることによって、特定した感覚再現装置３に感覚情報を再現させる。

以上のように、本実施の形態によれば、感覚がいつ（日時)、どこ（位置）で得られたどんな情報か（種類、測定時間)をわかり易く遠隔の支援者に伝える（表示、選択、再現)することができる。これによって、遠隔の支援者は、現場状況を容易に把握することができる。

特に、ビル設備に故障などの異常が生じた場合には、現場において得られた感覚情報を遠隔において再現することによって、遠隔の支援者は、異常の原因を特定して、現場の作業者に異常の原因およびその対策を知らせることができる。その結果、現場の作業者の作業を円滑に支援することができるとともに、ビル設備などの保守作業の品質を向上させることができる。

実施の形態２．
本実施の形態では、制御部６は、ユーザ入力部５を通じて遠隔の支援者が選択した日時において測定された感覚情報の所在を表わすアイコンを表示部７に表示する。

図１３は、実施の形態２の遠隔支援装置１の処理手順を表わすフローチャートである。
ステップＳ２０１において、取得部２は、現場における測定データを複数個取得する。

ステップＳ２０２において、制御部６は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を複数個生成して、感覚再現情報記憶部４に記憶する。

ステップＳ２０３において、ユーザ入力部５を通じて、遠隔の支援者が測定日時を選択する。制御部６は、選択した測定日時を含む感覚再現情報を選択する。

ステップＳ２０４において、制御部６は、感覚再現情報に画像データが含まれる場合に、現場または摸擬現場を表わす画像を表示部７に表示する。制御部６は、選択した感覚再現情報に含まれるアイコンの位置に基づいて、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部７に表示する。

ステップＳ２０５において、ユーザ入力部５を通じて、遠隔の支援者がいずれかのアイコンを選択した場合に、処理がステップＳ２０６に進む。

ステップＳ２０６において、制御部６は、感覚再現情報を参照して、選択されたアイコンに対応する感覚情報を再現するための感覚再現装置３を特定する。制御部６は、選択されたアイコンに対応するデータファイルを特定した感覚再現装置に送ることによって、特定した感覚再現装置３に感覚情報を再現させる。

実施の形態３．
本実施の形態では、取得部２は、感覚情報が測定されたときの現場の作業を特定する情報を含む測定データを取得する。現場の作業を特定する情報は、たとえば、作業名である。制御部６は、ユーザ入力部５を通じて遠隔の支援者が選択した現場の作業において測定された感覚情報の所在を表わすアイコンを表示部７に表示する。

図１４は、実施の形態３の感覚再現情報の例を表わす図である。
感覚再現情報は、作業名を含む。作業名は、感覚情報が測定されたとの現場の作業を特定するための名称である。図１５は、作業名の例を表わす図である。作業名とは、たとえば、作業場所と作業内容によって特定される。

図１６は、実施の形態３の遠隔支援装置１の処理手順を表わすフローチャートである。
ステップＳ３０１において、取得部２は、現場における測定データを複数個取得する。

ステップＳ３０２において、制御部６は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を複数個生成して、感覚再現情報記憶部４に記憶する。

ステップＳ３０３において、ユーザ入力部５を通じて、遠隔の支援者が作業名を選択する。制御部６は、選択した作業名を含む感覚再現情報を選択する。

ステップＳ３０４において、制御部６は、感覚再現情報に画像データが含まれる場合に、現場または摸擬現場を表わす画像を表示部７に表示する。制御部６は、感覚再現情報に含まれるアイコンの位置に基づいて、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部７に表示する。

ステップＳ３０５において、ユーザ入力部５を通じて、遠隔の支援者がいずれかのアイコンを選択した場合に、処理がステップＳ３０６に進む。

ステップＳ３０６において、制御部６は、感覚再現情報を参照して、選択されたアイコンに対応する感覚情報を再現するための感覚再現装置３を特定する。制御部６は、選択されたアイコンに対応するデータファイルを特定した感覚再現装置３に送ることによって、特定した感覚再現装置３に感覚情報を再現させる。

実施の形態４．
図１７は、実施の形態４の遠隔支援装置１Ａの構成を表わす図である。

実施の形態４の遠隔支援装置１Ａが、実施の形態１の遠隔支援装置１と相違する点は、実施の形態４の遠隔支援装置１Ａが、ユーザ位置および姿勢検出部９を備える点である。本実施の形態は、特にアイコンの背景に模擬現場を表わす３次元仮想空間が表示される場合、または遠隔の支援者がヘッドマウントディスプレイを通して実物を表わす実機または模型を直接視認し、ヘッドマウントディスプレイにアイコンが表示される場合に適用される。

ユーザ位置および姿勢検出部９は、遠隔の支援者の位置および姿勢を検出する。制御部６は、遠隔の支援者の位置または姿勢の変化に応じて、アイコンの位置または向きなどのアイコンの表示を変化させる。たとえば、遠隔の支援者がヘッドマウントディスプレイを通して実機または模型を直接視認している場合に、遠隔の支援者の位置または姿勢が変化すると、遠隔の支援者がヘッドマウントディスプレイを通して直接視認する実機または模型の位置が変化する。制御部６は、ヘッドマウントディスプレイを通して直接視認する実機または模型の位置の変化に追従してアイコンの位置または向きを変化させる。

遠隔の支援者がヘッドマウントディスプレイを通して３次元仮想空間を視認している場合に、遠隔の支援者の位置または姿勢が変化すると、遠隔の支援者がヘッドマウントディスプレイを通して視認する３次元仮想空間の位置が変化する。制御部６は、ヘッドマウントディスプレイを通して視認する３次元仮想空間の位置の変化に追従してアイコンの位置または向きを変化させる。

また、遠隔の支援者の位置または姿勢が変化した場合、音または匂いの発生方向の再現も変化させる必要がある。制御部６は、感覚再現部８に、遠隔の支援者の位置および姿勢に基づいて、感覚情報を再現させることとしてもよい。

図１８は、実施の形態４の遠隔支援装置１Ａの処理手順を表わすフローチャートである。

ステップＳ１０１において、取得部２は、現場における測定データを取得する。
ステップＳ１０２において、制御部６は、取得した測定データと、測定データに含まれる感覚情報を再現するためのデータとを含む感覚再現情報を生成して、感覚再現情報記憶部４に記憶する。

ステップＳ１０３において、制御部６は、感覚再現情報に画像データが含まれる場合に、現場または摸擬現場を表わす画像を表示部７に表示する。制御部６は、感覚再現情報に含まれるアイコンの位置に基づいて、現場または模擬現場内の感覚情報の測定位置を表わすためのアイコンを表示部７に表示する。

ステップＳ４０１において、ユーザ位置および姿勢検出部９が、遠隔の支援者の位置または姿勢の変化を検出したときに、処理がステップＳ４０２に進む。

ステップＳ４０２において、制御部６は、遠隔の支援者の位置または姿勢の変化に応じて、アイコンの表示を変化させる。

ステップＳ１０４において、ユーザ入力部５を通じて、遠隔の支援者がアイコンを選択した場合に、処理がステップＳ４０３に進む。

ステップＳ４０３において、制御部６は、感覚再現情報を参照して、選択されたアイコンに対応する感覚情報を再現するための感覚再現装置３を特定する。制御部６は、選択されたアイコンに対応するデータファイルを特定した感覚再現装置３に送る。制御部６は、感覚再現部８に、遠隔の支援者の位置および姿勢に応じて、感覚情報を再現させる。

図１９は、遠隔支援装置の一部または全部をソフトウェアを用いて実現する場合の構成を示す図である。遠隔支援装置は、バス１００３に接続されたプロセッサ１００１およびメモリ１００２を備える。メモリ１００２に記憶されたプログラムをプロセッサ１００１が実行する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ 遠隔支援装置、２ 取得部、３ 感覚再現装置、４ 感覚再現情報記憶部、５ ユーザ入力部、６ 制御部、７ 表示部、８ 感覚再現部、９ 姿勢検出部、９１ グローブ型提示装置、９２ ヘッドマウントディスプレイ、１００ 振動センサ、１０１ マイク、１０２ 臭気センサ、１５１ａ，１５１ｂ カメラ、１００１ プロセッサ、１００２ メモリ、１００３ バス。

Claims (10)

1. 現場において測定された感覚情報と、前記感覚情報の測定位置とを取得する取得部と、
   支援者の入力を受け付けるユーザ入力部と、
   表示部と、
   前記感覚情報を再現する感覚再現部と、
   前記取得した測定位置に基づいて、前記現場または前記現場を模擬した模擬現場内の感覚情報の測定位置を表わすためのアイコンを前記表示部に表示し、前記ユーザ入力部を通じて前記支援者が前記アイコンを選択したことにより、前記感覚再現部に前記感覚情報を再現させる制御部と、を備え、
   前記取得部は、さらに前記感覚情報が測定された日時および測定時間を取得し、
   前記制御部は、前記アイコンとともに前記日時および前記測定時間を前記表示部に表示し、
   前記制御部は、前記ユーザ入力部を通じて前記支援者が選択した日時において測定された感覚情報の所在を表わすアイコンを前記表示部に表示する、遠隔支援装置。
2. 前記制御部は、前記現場を表わす画像に前記アイコンを重畳表示する、請求項１記載の遠隔支援装置。
3. 前記制御部は、前記現場を模擬した３次元仮想空間に前記アイコンを重畳表示する、請求項１記載の遠隔支援装置。
4. 前記表示部は、ヘッドマウントデバイスであり、
   前記制御部は、前記現場における設備と同一の種類の実物または模型を直接視認することが可能なヘッドマウントディスプレイに前記アイコンを表示する、請求項１記載の遠隔支援装置。
5. 前記感覚情報は、触覚情報であり、
   前記ユーザ入力部および前記感覚再現部は、グローブ型提示装置であって、
   前記制御部は、前記支援者が前記グローブ型提示装置を通じて前記アイコンを選択することによって、前記グローブ型提示装置に前記触覚情報を再現させる、請求項４記載の遠隔支援装置。
6. 前記取得部は、さらに前記感覚情報の種類を取得し、
   前記感覚再現部は、各々が、対応する種類の感覚情報を再現する複数個の感覚再現装置を備え、
   前記制御部は、前記選択されたアイコンに対応する感覚情報の種類に応じた前記感覚再現装置に前記感覚情報を再現させる、請求項１～５のいずれか１項に記載の遠隔支援装置。
7. 前記取得部は、さらに前記感覚情報が測定されたときの現場の作業を特定する情報を取得し、
   前記制御部は、前記ユーザ入力部を通じて前記支援者が選択した現場の作業において測定された感覚情報の所在を表わすアイコンを前記表示部に表示する、請求項１～５のいずれか１項に記載の遠隔支援装置。
8. 前記取得部は、さらに前記感覚情報の発生方向を取得し、
   前記制御部は、前記感覚情報の発生方向に基づいて、前記感覚再現部を制御する、請求項１～７のいずれか１項に記載の遠隔支援装置。
9. 前記支援者の位置および姿勢を検出する検出部と、
   前記制御部は、前記支援者の位置または姿勢の変化に応じて、アイコンの表示を変化させる、請求項８記載の遠隔支援装置。
10. 前記制御部は、前記感覚再現部に、前記位置および姿勢に基づいて、前記感覚情報を再現させる、請求項９記載の遠隔支援装置。

Images