JP7367606B2 - 遠隔操作支援装置および遠隔操作支援方法 - Google Patents

Description

本発明は、油圧ショベル等の作業機械のオペレータによる遠隔操作を支援するための技術に関する。

オペレータが作業機械の作業状況を表わす遠隔画像を参照しながら、遠隔操作装置を用いて作業機械を操作する技術が提案されている（例えば、特許文献１参照）。

特開２０１８－０２１３９５号公報

しかし、オペレータが作業機械の上部旋回体を下部走行体に対して旋回動作させる場合、オペレータが遠隔画像を通じて覚える当該旋回動作の感覚は当該作業機械に実際に搭乗している場合と比較して一般的に低い。このため、上部旋回体の位置（方位）の制御精度が低下し、ひいては作業機械を用いた作業の効率が低下してしまう可能性がある。

そこで、本発明は、作業機械を遠隔操作するオペレータによる作業機械の動作態様に関する認識結果を、オペレータが作業機械に搭乗している場合に作業機械の動作態様に関する当該オペレータによる認識結果に近づけることができる装置等を提供することを目的とする。

本発明の遠隔操作支援装置は、作業機械の動作状態または当該作業機械を遠隔操作するための遠隔操作装置の操作態様を検知する状態検知要素と、
前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記作業機械を構成する第１構成要素に対する第２構成要素の相対運動を表わしている場合、前記遠隔操作装置を操作するオペレータ用の遠隔操作スペースにおいて異なる箇所のそれぞれに配置された複数のスピーカーのそれぞれの音出力態様を制御することにより、前記第１構成要素に対する前記第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって仮想点音源を変位させる点音源制御要素と、
を備えている。

当該構成の遠隔操作装置によれば、作業機械の動作状態または前記遠隔操作装置の操作態様の検知結果に基づき、当該作業機械を構成する第１構成要素および第２構成要素の相対運動を表わしているか否かが判定されうる。

そして、当該判定結果が肯定的である場合、遠隔操作装置を操作するオペレータ用の遠隔操作スペースにおいて異なる箇所のそれぞれに配置された複数のスピーカーのそれぞれの音出力態様が制御されることにより、仮想点音源を第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道（位置の時系列）にしたがって変位させる。

これにより、作業機械の動作態様、具体的には、第１構成要素および第２構成要素の相対運動態様についての遠隔操作スペースにいるオペレータによる認識結果を、オペレータが作業機械に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果に近づける（すなわち、作業機械の動作感覚をオペレータに認識させる）ことができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記仮想点音源を変位させる際、前記当該仮想点音源の音の周波数分布および音量のうち少なくとも一方を変化させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、仮想点音源が第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって変位することに加えて、当該仮想点音源の音の周波数分布および／または音量が変化する。これにより、遠隔操作スペースにいるオペレータに仮想点音源により明確に注意させ、当該仮想点音源の位置および／または変位態様をより明確に認識させることができる。そして、第１構成要素および第２構成要素の相対運動態様についてのオペレータによる認識結果を、オペレータが作業機械に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果にさらに近づけることができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記仮想点音源の変位速度が高いほど、当該仮想点音源の音の周波数分布を高周波数側に制御し、付加的または代替的に、音量を大きく制御する
ことが好ましい。

当該構成の遠隔操作支援装置によれば、仮想点音源が第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって変位することに加えて、当該変位速度の高低に応じて当該仮想点音源の音の周波数分布が高周波数側または低周波数側にシフトするように調節され、かつ／または、音量の大小が調節される。これにより、遠隔操作スペースにいるオペレータに仮想点音源により明確に注意させ、当該仮想点音源の特に変位態様を周波数等の相違に基づいてより明確に認識させることができる。そして、第１構成要素および第２構成要素の相対運動態様についてのオペレータによる認識結果を、オペレータが作業機械に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果にさらに近づけることができる。
本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記第１構成要素としての下部走行体に対する前記第２構成要素としての上部旋回体の旋回運動を表わしている場合、仮想点音源を前記下部走行体に対する前記上部旋回体の旋回速度に応じて定まる、前記遠隔操作スペースにおいてオペレータを部分的に囲うように曲線状に延在する指定位置軌道にしたがって変位させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、下部走行体（第１構成要素）に対する上部旋回体（第２構成要素）の旋回動作についての遠隔操作スペースにいるオペレータによる認識結果を、オペレータが作業機械に搭乗した場合に下部走行体に対する上部旋回体の旋回動作についての当該オペレータによる認識結果に近づけることができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記第１構成要素としての上部旋回体に対する前記第２構成要素としての作業機構の作業部の相対運動を表わしている場合、仮想点音源を前記上部旋回体に対する前記作業部の相対運動態様に応じた指定位置軌道にしたがって変位させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、上部旋回体（第１構成要素）に対する作業部（第２構成要素）の相対動作態様についての遠隔操作スペースにいるオペレータによる認識結果を、オペレータが作業機械に搭乗した場合に上部旋回体に対する作業部の相対動作態様についての当該オペレータによる認識結果に近づけることができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記仮想点音源を変位させる際、前記第１構成要素に対する前記第２構成要素の相対運動速度が０のときに前記仮想点音源を予め定められた基準点に位置させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、第１構成要素に対する第２構成要素の相対運動速度が０（ゼロ）のときに仮想点音源が基準点に位置し、相対運動速度が０よりも大きくなると当該相対運動速度に応じた速度で基点から変位するように調節される。第１構成要素に対する第２構成要素の相対運動速度が０のときに仮想点音源が基準点に戻り、仮想点音源の位置がばらつかないため、オペレータは作業機械の動作感覚を一様に認識することができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記基準点を、前記遠隔操作スペースにおいてオペレータの後方に位置させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、仮想点音源はオペレータの後方にある基準点から変位することになり、オペレータの前方への注意を削がずに作業機械の動作感覚をオペレータに認識させることができる。

本発明の遠隔操作支援装置において、
前記点音源制御要素が、前記遠隔操作スペースにおいてオペレータの後方に偏在する前記指定位置軌道にしたがって前記仮想点音源を変位させる
ことが好ましい。

当該構成の遠隔操作支援装置によれば、仮想点音源は遠隔操作スペースの前部よりも後方側にて偏在している指定位置軌道にしたがって変位しうる。これにより、オペレータの前方への注意を削がずに作業機械の動作感覚をオペレータに認識させることができる。

本発明に係る遠隔操作支援装置の構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援装置の第１機能に関する説明図。 遠隔操作支援装置の第２機能に関する説明図。 環境画像の表示態様に関する説明図。 作業機械の第１動作に関する説明図。 作業機械の第２動作に関する説明図。 作業機械の第１動作に応じた仮想点音源の位置制御態様に関する説明図。 作業機械の第１動作に応じた仮想点音源の位置制御態様に関する説明図。 作業機械の第２動作に応じた仮想点音源の位置制御態様に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。本実施形態では、遠隔制御装置２００が本発明の「遠隔操作支援装置」を構成する。遠隔制御装置２００は、状態検知要素２０１および点音源制御要素２０２を備えている。遠隔制御装置２００およびその構成要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

作動機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（第１機能）
前記構成の遠隔操作支援装置としての遠隔制御装置２００の第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。

これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる環境画像が画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

前記構成の遠隔操作支援装置としての遠隔制御装置２００の第２機能について図５に示されているフローチャートを用いて説明する。

遠隔制御装置２００において、状態検知要素２０１により遠隔操作機構２１１の操作態様が認識される（図５／ＳＴＥＰ２２０）。これは、図４／ＳＴＥＰ２１６と同じ処理である。これに代えて、状態検知要素２０１により、作業機械４０との通信に基づき、当該作業機械４０の動作状態が認識または検知されてもよい。

状態検知要素２０１により、当該操作態様が、下部走行体４１０（第１構成要素）に対して上部旋回体４２０（第２構成要素）を旋回させるための旋回レバーの操作態様であるか否かが判定される（図５／ＳＴＥＰ２２１）。当該操作態様が、図７Ａに示されているように下部走行体４１０に対して上部旋回体４２０を旋回させるための操作態様であると判定された場合（図５／ＳＴＥＰ２２１‥ＹＥＳ）、点音源制御要素２０２により、第１指定位置軌道にしたがって仮想点音源の位置が変位するように、音響出力装置２２２の音響出力態様が制御される（図５／ＳＴＥＰ２２２）。

これにより、例えば図８に示されているように、オペレータの遠隔操作エリア（シートＳｔ）を取り囲む環状（例えば円環状または楕円環状）に延在している第１指定位置軌道ｔｒ１にしたがって仮想点音源ＳＰＩが変位される。第１指定位置軌道ｔｒ１はキャブ４２４の床面に平行な平面（横断面）または傾斜している平面に沿って延在していてもよく、球面、楕円球面または波面等の曲面に沿って延在していてもよい。当該平面または曲面の高さ位置は、標準的なオペレータの耳の高さ位置の範囲に収まるように調節されていてもよい。

例えば、下部走行体４１０に対する上部旋回体４２０の旋回角速度（相対運動速度）が０である場合の仮想点音源ＳＰＩの基準点の位置は、遠隔操作エリアの後方または真後ろに位置するように調節される。仮想点音源ＳＰＩの変位方向は下部走行体４１０に対する上部旋回体４２０の旋回方向と同一方向に制御され、かつ、仮想点音源ＳＰＩの変位角速度は上部旋回体４２０の旋回角速度と同一に制御される。これにより、操作機構２１１の操作態様が、上部旋回体４２０を下部走行体４１０に対して（上方から見て）時刻ｔ＝ｔ０から時刻ｔ＝ｔ１にかけて反時計回りに角度θだけ角速度ω（ｔ）で旋回させるための操作態様である場合、仮想点音源ＳＰＩが第１指定位置軌道ｔｒ１にしたがって時刻ｔ＝ｔ０から時刻ｔ＝ｔ１にかけて角度θだけ角速度ω（ｔ）で反時計回りに旋回するように変位される。

図９に示されているように、第１指定位置軌道ｔｒ１が、オペレータの遠隔操作スペースの後方に偏在するように延在していてもよい。この場合、仮想点音源ＳＰＩは遠隔操作スペースの前部よりも後方側にて偏在している指定位置軌道にしたがって変位しうる。これにより、オペレータの前方への注意を削がずに作業機械４０の動作感覚をオペレータに認識させることができる。

その一方、当該操作態様が下部走行体４１０に対して上部旋回体４２０を旋回させるための操作態様ではないと判定された場合（図５／ＳＴＥＰ２２１‥ＮＯ）、状態検知要素２０１により、当該操作態様が、上部旋回体４２０（第１構成要素）に対して作業部としてのバケット４４５（第２構成要素）を変位させるためのアームレバー等の操作態様であるか否かが判定される（図５／ＳＴＥＰ２２３）。当該操作態様が、上部旋回体４２０（第１構成要素）に対して作業部としてのバケット４４５（第２構成要素）を変位させるためのアームレバー等の操作態様であると判定された場合（図５／ＳＴＥＰ２２３‥ＹＥＳ）、点音源制御要素２０２により、第２指定位置軌道にしたがって仮想点音源の位置が変位するように、音響出力装置２２２の音響出力態様が制御される（図５／ＳＴＥＰ２２４）。

これにより、例えば図１０に示されているように、オペレータの遠隔操作エリア（シートＳｔ）の後方かつ上方に延在する第２指定位置軌道ｔｒ２にしたがって仮想点音源ＳＰＩが変位される。第２指定位置軌道ｔｒ２はキャブ４２４の床面に垂直な平面（矢状面）または傾斜している平面に沿って延在していてもよく、球面、楕円球面または波面等の曲面に沿って延在していてもよい。当該平面または曲面は、標準的なオペレータの頭部の位置の範囲に収まるように調節されていてもよい。

例えば、上部旋回体４２０に対するバケット４４５の変位速度（相対運動速度）が０である場合の仮想点音源ＳＰＩの基準点の位置は、遠隔操作エリアの後方または真後ろに位置するように調節される。仮想点音源ＳＰＩの変位方向は上部旋回体４２０に対するバケット４４５の運動方向と同一方向に制御され、かつ、仮想点音源ＳＰＩの変位速度はバケット４４５の変位速度に比例するように制御される。これにより、操作機構２１１の操作態様が、バケット４４５を上部旋回体４２０に対して時刻ｔ＝ｔ１から時刻ｔ＝ｔ２にかけて下降量Δだけ変位速度ｖ（ｔ）で下降させるための操作態様である場合、仮想点音源ＳＰＩが第２指定位置軌道ｔｒ２にしたがって時刻ｔ＝ｔ１から時刻ｔ＝ｔ２にかけて下降量Δに比例した量γΔだけ変位速度γｖ（ｔ）で下降するように変位される。

（効果）
当該構成の遠隔操作支援装置を構成する遠隔制御装置２００によれば、遠隔操作装置２０の操作態様の検知結果に基づき、作業機械４０を構成する第１構成要素（下部走行体４１０、上部旋回体４２０）および第２構成要素（上部旋回体４２０、バケット４４５（作業部））の相対運動を表わしているか否かが判定されうる（図５／ＳＴＥＰ２２１、ＳＴＥＰ２２３参照）。

そして、当該判定結果が肯定的である場合、遠隔操作装置２０を操作するオペレータ用の遠隔操作スペースにおいて異なる箇所のそれぞれに配置された複数のスピーカー２２２０、２２２１および２２２２のそれぞれの音出力態様が制御されることにより、仮想点音源ＳＰＩを第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道（位置の時系列）ｔｒ１、ｔｒ２にしたがって変位させる（図５／ＳＴＥＰ２２１‥ＹＥＳ→ＳＴＥＰ２２２、ＳＴＥＰ２２３‥ＹＥＳ→ＳＴＥＰ２２４、図８～図１０参照）。

これにより、作業機械４０の動作態様、具体的には、第１構成要素および第２構成要素の相対運動態様についての遠隔操作スペースにいるオペレータによる認識結果を、オペレータが作業機械４０（またはそのキャブ４２４）に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果に近づけることができる。

仮想点音源ＳＰＩが変位される際、第１構成要素に対する第２構成要素の相対運動速度が０のときに仮想点音源ＳＰＩの位置が予め定められた基準点の位置に制御される。第１構成要素に対する第２構成要素の相対運動速度が０になった際に仮想点音源ＳＰＩの位置がばらつかないため、オペレータは作業機械４０の動作感覚を一様に認識することができる。基準点が遠隔操作スペースにおいてオペレータの後方に位置させることにより、仮想点音源ＳＰＩはオペレータの後方にある基準点から変位することになり、オペレータの前方への注意を削がずに作業機械４０の動作感覚をオペレータに認識させることができる。

（本発明の他の実施形態）
前記実施形態では遠隔操作支援装置が遠隔制御装置２００により構成されていたが、他の実施形態として遠隔操作支援装置が遠隔操作支援サーバ１００により構成され、第１支援処理要素１２１および／または第２支援処理要素１２２が状態検知要素２０１および／または点音源制御要素２０２として機能してもよい。

点音源制御要素２０２が、仮想点音源ＳＰＩを変位させる際、当該仮想点音源ＳＰＩの音の周波数分布および音量のうち少なくとも一方を変化させてもよい。

当該構成の遠隔操作支援装置によれば、仮想点音源ＳＰＩが作業機械４０の第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって変位することに加えて、当該仮想点音源の音の周波数分布および／または音量が変化する。これにより、遠隔操作スペースにいるオペレータに仮想点音源により明確に注意させ、当該仮想点音源の位置および／または変位態様をより明確に認識させることができる。そして、第１構成要素および第２構成要素の相対運動態様についてのオペレータによる認識結果を、オペレータが作業機械４０に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果にさらに近づけることができる。

点音源制御要素２０２が、仮想点音源ＳＰＩの変位速度が高いほど、当該仮想点音源ＳＰＩの音の周波数分布を高周波数側に制御し、付加的または代替的に、音量を大きく制御してもよい。

当該構成の遠隔操作支援装置によれば、仮想点音源ＳＰＩが作業機械４０の第１構成要素に対する第２構成要素の相対運動態様に応じて定まる指定位置軌道ｔｒ１、ｔｒ２にしたがって変位することに加えて、当該変位速度の高低に応じて当該仮想点音源ＳＰＩの音の周波数分布が高周波数側または低周波数側にシフトするように調節され、かつ／または、音量の大小が調節される。これにより、遠隔操作スペースにいるオペレータに仮想点音源により明確に注意させ、当該仮想点音源の特に変位態様を周波数等の相違に基づいてより明確に認識させることができる。そして、第１構成要素および第２構成要素の相対運動態様についてのオペレータによる認識結果を、オペレータが作業機械４０に搭乗した場合に第１構成要素および第２構成要素の相対運動態様についての当該オペレータによる認識結果にさらに近づけることができる。

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置（遠隔操作支援装置）、２０１‥状態検知要素、２０２‥点音源制御要素、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構（作動機構）、４４５‥バケット（作業部）、ｔｒ１‥第１指定位置軌道、ｔｒ２‥第２指定位置軌道、ＳＰＩ‥仮想点音源。

Claims (9)

1. 作業機械の動作状態または当該作業機械を遠隔操作するための遠隔操作装置の操作態様を検知する状態検知要素と、
   前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記作業機械を構成する第１構成要素に対する第２構成要素の相対運動を表わしている場合、前記遠隔操作装置を操作するオペレータ用の遠隔操作スペースにおいて異なる箇所のそれぞれに配置された複数のスピーカーのそれぞれの音出力態様を制御することにより、前記第１構成要素に対する前記第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって仮想点音源を変位させる点音源制御要素と、
   を備えていることを特徴とする遠隔操作支援装置。
2. 請求項１記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記仮想点音源を変位させる際、前記当該仮想点音源の音の周波数分布および音量のうち少なくとも一方を変化させる
   ことを特徴とする遠隔操作支援装置。
3. 請求項２記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記仮想点音源の変位速度が高いほど、当該仮想点音源の音の周波数分布を高周波数側に制御し、付加的または代替的に、音量を大きく制御する
   ことを特徴とする遠隔操作支援装置。
4. 請求項１～３のうちいずれか１項に記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記第１構成要素としての下部走行体に対する前記第２構成要素としての上部旋回体の旋回運動を表わしている場合、仮想点音源を前記下部走行体に対する前記上部旋回体の旋回速度に応じて定まる、前記遠隔操作スペースにおいてオペレータを部分的に囲うように曲線状に延在する指定位置軌道にしたがって変位させる
   ことを特徴とする遠隔操作支援装置。
5. 請求項１～４のうちいずれか１項に記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記状態検知要素により検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記第１構成要素としての上部旋回体に対する前記第２構成要素としての作業機構の作業部の相対運動を表わしている場合、仮想点音源を前記上部旋回体に対する前記作業部の相対運動態様に応じた指定位置軌道にしたがって変位させる
   ことを特徴とする遠隔操作支援装置。
6. 請求項１～５のうちいずれか１項に記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記仮想点音源を変位させる際、前記第１構成要素に対する前記第２構成要素の相対運動速度が０のときに前記仮想点音源を予め定められた基準点に位置させる
   ことを特徴とする遠隔操作支援装置。
7. 請求項６に記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記基準点を、前記遠隔操作スペースにおいてオペレータの後方に位置させる
   ことを特徴とする遠隔操作支援装置。
8. 請求項１～７のうちいずれか１項に記載の遠隔操作支援装置において、
   前記点音源制御要素が、前記遠隔操作スペースにおいてオペレータの後方に偏在する前記指定位置軌道にしたがって前記仮想点音源を変位させる
   ことを特徴とする遠隔操作支援装置。
9. 作業機械の動作状態または当該作業機械を遠隔操作するための遠隔操作装置の操作態様を検知する状態検知工程と、
   前記状態検知工程において検知された前記作業機械の動作状態または前記遠隔操作装置の操作態様が、前記作業機械を構成する第１構成要素に対する第２構成要素の相対運動を表わしている場合、前記遠隔操作装置を操作するオペレータ用の遠隔操作スペースにおいて異なる箇所のそれぞれに配置された複数のスピーカーのそれぞれの音出力態様を制御することにより、前記第１構成要素に対する前記第２構成要素の相対運動態様に応じて定まる指定位置軌道にしたがって仮想点音源を変位させる点音源制御工程と、
   を含んでいることを特徴とする遠隔操作支援方法。

Images