JP7400425B2

JP7400425B2 - 作業機械の遠隔操作支援システム

Info

Publication number: JP7400425B2
Application number: JP2019223255A
Authority: JP
Inventors: 龍一廣瀬; 均佐々木; 誠司佐伯; 洋一郎山▲崎▼
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2019-12-10
Filing date: 2019-12-10
Publication date: 2023-12-19
Anticipated expiration: 2039-12-10
Also published as: WO2021117285A1; JP2021092071A; CN114729521A; EP4050162A4; CN114729521B; US20220412055A1; EP4050162A1; EP4050162B1

Description

本発明は、作業機械の遠隔操作を支援する遠隔操作支援システムに関する。

遠隔操作される建設機械の作業範囲などの所定範囲内への侵入移動体の侵入を検出する侵入移動体検出装置が開示されている（例えば、特許文献１参照）。

特開平１０－７２８５１号公報

特許文献１においては、遠隔操作される建設機械の作業範囲などの所定範囲内への侵入する移動体Ｍの侵入を検出する侵入移動体検出装置が開示されている。

ところで、作業機械を遠隔操作するオペレータに対して、第三者が干渉してくる場合がある。当該第三者がオペレータに干渉してくる場合には、オペレータは操作を中断することが求められる。

そこで、本発明は、作業機械を遠隔操作するオペレータを支援するために用いられる遠隔操作支援システムを提供することを目的とする。

本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムに関する。

本発明は、前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、前記移動体が属する属性を取得する属性取得部と、前記距離取得部が取得した距離に関する情報と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有することを特徴とする。

本発明に係る遠隔操作支援システムは、作業機械を遠隔操作するオペレータを支援するために用いられる。本発明によれば、支障判定部は、距離取得部が検出した距離に関する情報と、属性取得部が取得した属性とに基づいて、遠隔操作に支障が出る可能性の高低を判定する。そして、支援制御部が前記判定結果に応じた制御を行うので、オペレータは、作業機械の遠隔操作の支援を受けることができる。

本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行うことが好ましい。

本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、支援制御部は、作業機械の動作を停止させる制御を行う。これにより、オペレータが遠隔操作を中断する前に作業機械の動作を停止させることができる。

遠隔操作に支障が出る可能性が高いと判定された場合には作業機械の動作が確実に停止され、そのように判定されない場合には作業機械の動作が継続されるので、オペレータの作業性を確保することができる。

本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行うことが好ましい。

本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合には、支援制御部は、作業機械の動作を減速させる制御を行う。これにより、オペレータの操作が必要以上に慎重なることを抑止し、作業性が悪くなりすぎることを防止することができる。

本発明の一実施形態としての遠隔操作支援システムのブロック図。本発明の一実施形態としての遠隔制御装置の図。本発明の一実施形態としての作業機械の図。本発明の一実施形態としての遠隔操作支援システムのフローチャート図。本発明の他の実施形態としての遠隔操作支援システムのブロック図。

図１に示されている本発明の一実施形態としての遠隔操作支援システムＳは、少なくとも遠隔操作装置２０、遠隔操作装置２０が備える遠隔制御装置２００により構成されている。なお、遠隔操作装置２０及び遠隔制御装置２００の詳細については、後述する。

また、遠隔制御装置２００は、クラウド上のサーバ３０に備えられていてもよい。なお、サーバ３０の詳細については、後述する。また、遠隔操作支援システムＳは、さらに、遠隔操作装置２０によって、遠隔操作される作業機械４０を含む概念としてもよい。

ここで、遠隔操作とは、オペレータＯＰが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械を操作する概念である。本発明において、オペレータＯＰは、遠隔操作装置２０を使用して、作業機械４０と離れた位置から当該作業機械４０を操作することができる。

遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、距離検出装置２３０と、遠隔操作撮像装置２４０、属性データベース２５０と、を備えている。

遠隔制御装置２００は、距離取得部２０１と、属性取得部２０２と、支障判定部２０３と、支援制御部２０４と、を備えている。また、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

距離取得部２０１は、オペレータＯＰからオペレータＯＰの周辺に位置する移動体Ｍまでの距離に関する情報を取得する。オペレータＯＰから移動体Ｍまでの距離は、距離検出装置２３０によって、検出される。なお、距離検出装置２３０の詳細については、後述する。

属性取得部２０２は、属性データベース２５０から、移動体Ｍが属する属性を取得する。例えば、属性取得部２０２は、遠隔操作撮像装置２４０が撮像した撮像画像を、公知の技術を用いて、画像解析をすることにより、その撮像画像に含まれる移動体Ｍの大きさ、形状を認識することができる。また、属性取得部２０２は、属性データベース２５０に予め記憶された移動体Ｍの候補の中から、その移動体Ｍに最も類似する属性（例えば、形状）を有する移動体Ｍ候補を抽出する。また、属性取得部２０２は、抽出された移動体Ｍの候補が有する属性を参照し、その移動体Ｍが属する属性を取得する。なお、遠隔操作撮像装置２４０及び属性データベース２５０の詳細については、後述する。

属性とは、少なくとも移動体Ｍの活性度に関する情報を含む概念である。また、属性の概念として、移動体Ｍの種類、氏名、年齢、性別及び移動体Ｍの特徴を表す情報を含んでもよい。移動体Ｍの活性度に関する情報とは、その移動体Ｍが動物であるから活性度が高いという情報、その移動体Ｍが人間であるから活性度が動物より低いという情報、その移動体Ｍが子供であるから活性度が成人より高いという情報、その移動体Ｍが動物であり、複数存在するから、単体で存在する場合よりも活性度が高いという情報等である。勿論、属性は、移動体Ｍの画像データを含んでもよい。例えば、移動体Ｍにおける顔写真の画像データである。

また、移動体Ｍの活性度に関する情報とは、その移動体Ｍの性格に関する情報を含む。例えば、その移動体Ｍは、いたずらが好きな性格なので活性度が高く、オペレータＯＰにいたずらをして、作業機械４０の遠隔操作に支障をきたす可能性が高いという情報である。この例は一例に過ぎず、その移動体Ｍは、そのオペレータＯＰと不仲なので、そのオペレータとの関係において活性度が高く、そのオペレータＯＰが行う遠隔操作の邪魔をして、その遠隔操作に支障をきたす可能性が高いという情報でもよいし、その移動体Ｍは、おとなしい性格なので活性度が低く、そのオペレータＯＰが行う遠隔操作の邪魔をすることなく、作業機械の遠隔操作に支障をきたす可能性が低いという情報でもよい。

勿論、移動体Ｍの特徴を表す情報は、その移動体Ｍは犬なので、いつオペレータに飛び掛かるか不明であるから、作業機械４０の遠隔操作に支障をきたす可能性が高いという情報でもよい。

支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離に関する情報と、属性取得部２０２にて取得された移動体Ｍの属性に関する情報と、に基づき、属性データベース２５０に記憶されたテーブルを参照して、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性の高低を判定する。

また、支障判定部２０３が行う判定の他の例として、移動体Ｍの時系列に関する情報に基づいて、判定を行う例が挙げられる。

例えば、この場合、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータＯＰに接近している場合、支障判定部２０３は、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

他方、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータＯＰに遠ざかっている場合、支障判定部２０３は、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。

勿論、支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離に関する情報と、属性取得部２０２にて取得された移動体Ｍの属性に関する情報と、に基づき、属性データベース２５０に記憶された関数を用いて移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性の高低を算出することにより、判定をしてもよい。なお、この場合に用いられる関数は、Ｘを主変数、Ｙを従変数とする関数を用いてＹが入力されたXの値に基づいて、出力される関数である。勿論、この関数は、判定を行うための関数の一例に過ぎない。

また、前記テーブル等は、後述する属性データベース２５０に記憶されている。

例えば、支障判定部２０３は、オペレータＯＰから移動体Ｍまでの距離が短ければ短いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

他方、支障判定部２０３は、オペレータＯＰから移動体Ｍまでの距離が遠ければ遠いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。

また、例えば、支障判定部２０３は、移動体ＭがオペレータＯＰに接近する速度が速ければ速いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

また、例えば、支障判定部２０３は、移動体ＭがオペレータＯＰに接近する速度が遅ければ遅いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。勿論、支障判定部２０３は、移動体ＭがオペレータＯＰに遠ざかれば遠ざかるほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。

また、例えば、支障判定部２０３は、移動体Ｍの活性度が高ければ高いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

他方、支障判定部２０３は、移動体Ｍの活性度が低ければ低いほど、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が低いと判定する。

具体的には、支障判定部２０３は、移動体Ｍがオペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定するための危険閾値を１０と設定し、その危険指標値が１０以上となる場合、移動体ＭがオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。なお、危険指標値は、テーブルや関数を用いて、予め設定されている。

ここで、オペレータのペット（犬）が、オペレータの後方１メートルにいる場合について説明する。この場合、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は１メートルであるから、予め設定されたテーブルに照らして、危険指標値は５であると判定する。また、属性取得部２０２にて取得された移動体Ｍは、ペットの犬であり、活性度は人間より高いので、予め設定されたテーブルに照らして、危険指標値は５であると判定する。なお、危険指標値は、テーブルや関数を用いて、予め設定されている。

そうすると、危険指標値は合わせて１０になるので、危険閾値の１０に達し、支障判定部２０３は、その犬がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

一方、オペレータに対して操作の指導を行う指導者が、オペレータの後方1メートルにいる場合について説明する。この場合、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は1メートルであるから、予め設定されたテーブルに照らして、危険指標値は５であると判定する。また、属性取得部２０２にて取得された移動体Ｍは、オペレータＯＰの指導者であり活性度が低いので、予め設定されたテーブルに照らして、危険指標値は０であると判定する。

そうすると、危険指標値は合わせても５にしかならないので、支障判定部２０３は、その指導者がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性は低いと判定する。

支障判定部２０３における判定の他の例として、以下の例が挙げられる。
例えば、移動体Ｍが属性データベース２５０に予め記憶されていない不審者の場合であって、属性取得部２０２が、属性データベース２５０に記憶されたテーブルに照らして、から、移動体Ｍ（不審者）が属する属性を取得することができなかった場合、その移動体Ｍ（不審者）の危険指標値は１０であると判定する。なお、属性データベース２５０については、後述する。

そうすると、オペレータＯＰからその移動体Ｍ（不審者）までの距離に関わらず、危険指標値は１０になり、危険閾値の１０に達するので、支障判定部２０３は、その移動体Ｍ（不審者）がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

遠隔入力インターフェース２１０は、後述する遠隔操作機構２１１を備えている

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４５０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部又は下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モーターを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が、左右横並びに配置されている。右側操作レバー２１１１は、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能する。左側操作レバー２１１２は、前後方向に操作された場合に旋回レバーとして機能する。なお、レバーパターンは、オペレータの操作指示により任意に変更されてもよい。

支援制御部２０４は、ＣＰＵと、ＲＡＭと、ＲＯＭと、フラッシュメモリと、を備えたコンピュータユニット等によって構成されている。

支援制御部２０４のＲＯＭには、当該コンピュータユニットを支援制御部２０４として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵがＲＯＭに記憶されたプログラムを実行することにより、当該コンピュータユニットは、支援制御部２０４として機能する。

例えば、支援制御部２０４は、支障判定部２０３の判定結果に応じて、作業機械４０の動作を制御する機能を有する。より具体的には、支障判定部２０３が、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合（例えば、危険指標値が１０以上の場合）、支援制御部２０４は、作業機械４０のエンジンのトルク、操作レバー及びブレーキ等を制御することにより、作業機械４０の動作に対する停止、減速等を実行する。

支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合、例えば、オペレータＯＰの操作により遠隔操作機構２１１に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量の作業機械４０への伝達を停止するとともに、作業機械４０で動作しているアクチュエータを自動停止させる。

また、支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性が低いと判定した場合、例えば、オペレータＯＰの操作により遠隔操作機構２１１に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量に制限（操作量の最大値に制限）をかけて作業機械４０への伝達することで、作業機械４０で動作しているアクチュエータを自動減速させる。

また、支援制御部２０４は、オペレータの行う遠隔操作に対して支障をきたす可能性の高低に関わらず検出した移動体Ｍに関する情報をオペレータＯＰに報知する制御を行う。報知制御は、例えば、遠隔出力インターフェース２２０の画像出力装置２２１に移動体Ｍが検出されたことに関する表示がされる。当該表示と同時に属性データベース２５０に記憶されている情報の表示が行われてもよく、警報音が付随して鳴るようにしてもよい。また、移動体Ｍの属性や距離に応じて報知内容を変更してもよい。なお、作業機械４０については、後述する。

遠隔出力インターフェース２２０は、後述する画像出力装置２２１及び遠隔無線通信機器２２２を備えている

画像出力装置２２１は、例えば図２に示されているように、遠隔操作装置２０に設けられオペレータＯＰが着座するシートＳｔの右斜め前方、前方及び左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２及び左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカー（音声出力装置）（不示図）を備えていてもよい。

遠隔無線通信機器２２２は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。

距離検出装置２３０は、距離検出装置２３０から出力されるオペレータＯＰから移動体Ｍまでの距離を検出することができる装置であればよい。例えば、距離検出装置２３０は、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）センサである。この例は一例に過ぎず、距離検出装置２３０は、近接センサでもよいし、ステレオカメラでもよい。

また、距離検出装置２３０は、距離検出装置２３０から移動体Ｍまでの距離を検出するエリアである検出エリア（検出距離、検出幅）を適宜設定可能である。

また、距離検出装置２３０は、遠隔操作装置２０の所定箇所に設けられる。勿論、距離検出装置２３０は、遠隔操作装置２０に１個だけ設けてもよいし、複数個設けてもよい。

例えば、距離検出装置２３０は、シートＳｔに距離検出装置２３０を設け、距離検出装置２３０の向きは、オペレータＯＰの後方に向ける。そして、シートＳｔに着座したオペレータＯＰの背後から当該オペレータＯＰに近づいてくる移動体Ｍ（不審者）までの距離を検出する。勿論、距離検出装置２３０の向きは、当該オペレータＯＰから移動体Ｍまでの距離を測ることができる方向であればよい。

すなわち、距離検出装置２３０は、シートＳｔの位置を基準として、オペレータＯＰから移動体Ｍまでの距離を検出する。

なお、距離検出装置２３０は、オペレータＯＰから遠隔操作装置２０が設置されている遠隔操作室（図示せず）の壁面までの距離が短い場合、距離検出装置２３０を当該壁面に向ける必要はない。

例えば、シートＳｔの背もたれからシートＳｔの右方向にある壁面までの距離が１０ｃｍである場合、距離検出装置２３０の検出エリアについては、オペレータの右方向を除外して設定する。

すなわち、シートＳｔから壁面までの距離が短く、移動体ＭがオペレータＯＰの右方向からオペレータＯＰに近づくことができない場合、距離検出装置２３０は、その検出エリアから、オペレータＯＰの右方向のエリアを予め検出エリアから除外する。

換言すると、距離検出装置２３０は、オペレータＯＰの右方向からオペレータＯＰに近づいてくる移動体Ｍについては、オペレータＯＰまでの距離を検出しない。

遠隔操作撮像装置２４０は、オペレータＯＰの周囲を撮像する機能を有する。特に、遠隔操作撮像装置２４０は、オペレータＯＰの後方及び左右方向を撮像する機能を有することが好ましい。例えば、遠隔操作撮像装置２４０は、オペレータＯＰの背後から不審者が、当該オペレータＯＰに接近してきた場合、当該不審者を撮像する。勿論、遠隔操作装置２０が遠隔操作室の室内に設置されている場合、遠隔操作撮像装置２４０は、常時、遠隔操作室のドアを撮像し、不審者が入ってくるか否かを監視する監視カメラであってもよい。なお、遠隔操作撮像装置２４０は、オペレータＯＰを必ずしも撮像する必要はなく、例えば、シートＳｔを除外したエリアが検出エリアとして設定される。

例えば、遠隔操作撮像装置２４０は、ビデオカメラであり、画像出力装置２２１の上方に設置され、オペレータＯＰの後方を撮像する。勿論、遠隔操作撮像装置２４０は、天頂カメラでもよい。この場合、遠隔操作撮像装置２４０は、遠隔操作室の天井に設置され、オペレータＯＰの周囲３６０°を撮像する。勿論、遠隔操作撮像装置２４０は、ステレオカメラでもよい。この場合、遠隔操作撮像装置２４０は、オペレータＯＰから移動体Ｍ（不審者）までの距離を検出することができるので、距離検出装置２３０としての機能を兼ねることができる。

属性データベース２５０は、移動体Ｍの候補及び当該移動体Ｍの属性（情報）を記憶することができる記憶装置であればよい。例えば、記憶装置は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）である。また、記憶装置は、ＳＤ（登録商標）メモリカード（ＳｅｃｕｒｅＤｉｇｉｔａｌメモリカード）、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）といった可搬記憶媒体であってもよい。

また、属性データベース２５０は、移動体の活性度に関する情報と、その移動体についての危険指標値と、が関連付けられたテーブルが記憶されている。このテーブルに予め各移動体の活性度に関する危険指標が設定されている。

勿論、属性データベース２５０は、移動体の活性度に関する情報に基づいて、その移動体の危険指標値を算出するための関数を記憶していてもよい。その関数の例として、Xを主変数、Ｙを従変数とする関数を用いてＹが入力されたXの値に基づいて、出力される関数が挙げられる。勿論、この関数は、判定を行うための関数の一例に過ぎない。

作業機械４０は、例えば、施工現場において稼働可能な作業機械である。作業機械４０は、土砂を押土又は掘削を実施可能な建設機械、及び土砂を運搬可能な運搬車両の少なくとも一方を含む。建設機械は、バケットを有する油圧ショベル及びブレードを有するブルドーザの少なくとも一方を含む。運搬車両は、ベッセルを有するダンプトラック等を含む。なお、建設機械は、解体機、クレーン、ホイールローダ、モータグレーダ等でもよい。

作業機械４０は、構成要素として、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、旋回機構４３０と、作動機構（作業アタッチメント）４４０と、下部走行体４５０と、上部旋回体４６０と、運転室４７０と、機械室４８０と、を備えている（図３）。勿論、必要に応じて、これらの構成が全て必要となるわけではない。

実機制御装置４００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

例えば、実機制御装置４００は、前記演算処理を行い、作業機械４０における動作（走行、旋回、起伏、把持、破砕、切断、吸着、巻取り、掘削等）の停止及び減速のうち少なくとも一方に関する制御を行う。

実機入力インターフェース４１０は、実機操作機構４１１と、作業現場撮像装置４１２と、を備えている。

実機操作機構４１１は、運転室４７０の内部に配置された運転室内シートの周囲に遠隔操作機構２１１と同様に配置された複数の実機操作レバー（不図示）を備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバー（不図示）を動かす駆動機構、又はロボットが、運転室４７０に設けられている。なお、運転室４７０については、後述する。

作業現場撮像装置４１２は、例えば、運転室４７０の内部に設置され、運転室４７０のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

実機出力インターフェース４２０は、実機無線通信機器４２１を備えている。

実機無線通信機器４２１は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。

旋回機構４３０は、下部走行体４５０のロアフレーム４５１と上部旋回体４６０のアッパーフレーム４６１との間に配置されている。旋回機構４３０は、旋回軸線ａを軸線として、ロアフレーム４５１に対してアッパーフレーム４６１を水平軸回りに旋回可能に連結している。

作動機構としての作業アタッチメント４４０は、上部旋回体４６０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている先端アタッチメント４４５と、を備えている。例えば、作業機械４０が、掘削作業を行う場合、先端アタッチメント４４５は、バケットである。また、例えば、作業機械４０が、解体作業を行う場合、先端アタッチメント４４５は、破砕装置である。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４及び先端シリンダ４４６が装着されている。

下部走行体４５０は、ロアフレーム４５１と、ロアフレーム４５１の両側に設けられた一対のクローラ４５２と、を備えている。クローラ４５２は、油圧アクチュエータである走行用油圧モータ（不示図）によって駆動される。

なお、下部走行体４５０は、ロアフレーム４５１と、クローラ４５２と、によって構成された走行体に限定されるものではなく、旋回機構４３０及び作業アタッチメント４４０を搭載可能であり、走行可能なものであればよい。例えば、走行体は、車輪で移動する走行体、又は、脚式の走行体であってもよい。また、作業機械が水上で使用されるものである場合には、走行体は、台船等であってもよい。

上部旋回体４６０は、アッパーフレーム４６１を備えており、アッパーフレーム４６１には、作業アタッチメント４４０、運転室４７０、及び機械室４８０が設けられている。

運転室４７０は、遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバーを動かす駆動機構、又はロボットが、設けられている。また、運転室４７０には、作業機械４０に実搭乗する運転者が作業機械４０の動作（走行、旋回、起伏、把持、破砕、吸着、巻取り、掘削等）、上部旋回体４６０の旋回、及び、下部走行体４５０の移動を操作するための実機操作レバー（不図示）等、作業機械４０を操作するための各種機器（例えば、非常停止スイッチ、モニター等）が設けられていてもよい。

機械室４８０には、油タンク（不示図）及び油圧回路装置（不示図）が収容されている。

前記構成の遠隔操作支援システムＳの機能について、図４に示されているフローチャートを参照して、説明する。

ＳＴＥＰ１において、距離取得部２０１は、所定位置（例えば、オペレータＯＰが着座するシートＳｔ）から移動体Ｍ（不審者）までの距離に関する情報を取得する。

ＳＴＥＰ２において、ＳＴＥＰ１にて取得した距離が基準値以下であるかを判定する。

ＳＴＥＰ３（ＳＴＥＰ２においてＹＥＳと判定された場合）において、属性取得部２０２は、属性データベース２５０から、移動体Ｍが属する属性を取得する。また、ＳＴＥＰ２においてＮＯと判定された場合、ＳＴＥＰ６に進む。

ＳＴＥＰ４において、支障判定部２０３は、移動体Ｍの属性が遠隔操作に支障が出るものかを判定する。具体的には、距離取得部２０１が取得した距離と、属性取得部２０２が取得した属性とに基づいて危険指標値を演算し、当該支障が出る可能性の高低を判定する。

ＳＴＥＰ５（ＳＴＥＰ４においてＹＥＳと判定された場合）において、支援制御部２０４は、作業機械４０の動作を停止又は減速させるための制御を行う。特に、当該支障が出る可能性の高い場合には作業機械４０の動作を停止させ、当該支障が出る可能性は低いが可能性としてある場合には作業機械４０の動作を減速させる。また、当該支障が出る可能性ない場合（ＳＴＥＰ２においてＮＯと判定された場合）、ＳＴＥＰ６に進む。

最後に、ＳＴＥＰ６において、移動体Ｍの存在をオペレータＯＰに報知するための制御を行う。上記フローチャートの一部は、オペレータが支障判定部２０３の判定結果に応じた遠隔操作の支援を受けることができる態様において、変更されてもよい。

（本発明の他の実施形態）
前記実施形態において、距離取得部２０１が取得した距離に関する情報と、属性取得部２０２が取得した属性と、に基づいて、遠隔操作に支障が出る可能性の高低を判定する例を説明したが、そのような例に限定されない。

例えば、まず、距離取得部２０１が検出した距離に基づいて、前記遠隔操作に支障が出る可能性の高低を判定し、その後、属性取得部２０２が取得した属性に基づいて、前記遠隔操作に支障が出る可能性の大小を判定することによっても、遠隔操作の支援をするための制御を行うことができる。すなわち、遠隔操作に支障が出る可能性の高低を判定する判定部を２以上有してもよい。このようなケースにも、本発明に係る遠隔操作支援システムを適用することができる。

前記実施形態において、属性取得部２０２は、属性データベース２５０から、移動体Ｍの属性を取得する例を説明したが、そのような例に限定されない。例えば、移動体Ｍがペット（犬等）である場合、ペットの首に首輪を付け、その首輪にそのペットを識別するための識別子を付し、その識別子をリーダーで読み込むことにより、属性取得部２０２が、移動体Ｍの属性を取得することとしてもよい。例えば、識別子はＱＲコード（登録商標）であり、そのＱＲコード（登録商標）にそのペットを識別するための情報を保持させ、そのＱＲコード（登録商標）をコードリーダーで読み取ることにより、属性取得部２０２が、移動体Ｍの属性を取得することとしてもよい。

勿論、ペットの首に首輪が付けられている場合、その首輪にＩＣタグ（ＲＦＩＤ）を付し、そのＩＣタグ（ＲＦＩＤ）に、そのペットを識別するための情報を保持させ、そのＩＣタグをＩＣタグリーダー（ＲＦＩＤリーダー）で読み取ることにより、属性取得部２０２が、ペットの属性を取得することとしてもよい。

なお、識別子の他の例として、ＩＣコード、バーコード、マトリックスバーコード、データマトリックスコード、専用コード、トライアングルコード、数字バーコード、英数字バーコード、２次元バーコード、シンボル、図形、手書き文字、文字、数字、英数字、象形文字、絵文字、音節表記文字、表語文字、及びこれらの組み合わせからなる群等が挙げられる。

なお、識別子を読み取る装置として、コードリーダー等が挙げられる。また、文字等（ペット名）を直接読み取る場合は、公知の技術（ＯＣＲ等）を用いてその文字（ペット名）を読み取ることができる。

前記実施形態において、移動体Ｍの存在数が１である場合における支障判定部２０３の例を説明したが、そのような例に限定されない。

例えば、移動体Ｍが複数存在する場合、支障判定部２０３は、各移動体Ｍについて、支障をきたす可能性を判定する。

また、例えば、移動体Ｍが複数存在する場合の危険閾値を１０と予め設定し、支障判定部２０３は、移動体Ｍが複数いるという情報を取得した時点で、それぞれの移動体Ｍが支障をきたす可能性が高いと判定してもよい。ここで、オペレータＯＰと、複数存在する移動体Ｍのそれぞれとの距離は問わない。

具体的には、支障判定部２０３は、ペット（犬）がオペレータＯＰの後方に２匹いるという情報を取得した時点で、それぞれの犬が支障をきたす可能性が高いと判定してもよい。ここで、オペレータＯＰと、各犬との距離が１０メートルであっても、犬がオペレータＯＰの後方に２匹いるので、それぞれの犬が、オペレータＯＰの行う遠隔操作に対して支障をきたす可能性が高いと判定する。

また、例えば、移動体Ｍが一つも存在しない場合、支障判定部２０３は、支障をきたす可能性を判定する必要がない。ここで、移動体Ｍは一つも存在しないので危険指標値は０となり、移動体Ｍが支障をきたす可能性がないと判定することができる。この場合は作業機械の動作を停止させたり、減速させたりしない。

前記実施形態において、移動体ＭがオペレータＯＰの指導者であり、その指導者がオペレータＯＰの後方1メートルにいる場合における支障判定部２０３の例を説明したが、そのような例に限定されない。

移動体Ｍが、オペレータＯＰと不仲の同僚であり、その同僚が、オペレータＯＰの右方向1メートルに存在する場合について説明する。この場合、属性データベース２５０には、オペレータＯＰとその同僚との関係性が不仲であるという情報が予め記憶されている。また、属性データベース２５０には、その同僚の危険指標値は０であるという情報と、そのオペレータＯＰが遠隔操作を行っている際におけるその同僚の危険指標値は５であるという情報が予め記憶されている。

この場合、支障判定部２０３は、距離取得部２０１にて取得されたオペレータＯＰから移動体Ｍまでの距離は1メートルであるから、危険指標値は５であると判定する。また、属性取得部２０２は、そのオペレータＯＰが遠隔操作を行っている際におけるその同僚の危険指標値は５であるという情報を取得する。そうすると、危険指標値は合わせて１０になるので、支障判定部２０３は、その同僚がオペレータＯＰの行う遠隔操作に対して支障をきたす可能性は大きいと判定する。

前記実施形態において、遠隔制御装置２００が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、遠隔制御装置２００をサーバ３０に備えてもよい（図５）。この場合、遠隔操作装置２０と、サーバ３０と、作業機械４０とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。この場合、属性データベース２５０は、サーバ３０に備えてられてもよいし、遠隔制御装置２００に備えられてもよい。

前記実施形態において、遠隔制御装置２００が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、遠隔制御装置２００は、作業機械４０に実装してもよい（不示図）。

前記実施形態において、属性データベース２５０が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、属性データベース２５０をサーバ３０に備えてもよい。この場合、遠隔操作装置２０と、サーバ３０と、作業機械４０とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。勿論、サーバ３０とは異なる他のサーバ（不示図）が、属性データベース２５０を備えていてもよい。

前記実施形態において、属性データベース２５０が、遠隔操作装置２０に含まれる例を示したが、そのような例に限定されない。例えば、属性データベース２５０は、作業機械４０に実装してもよい（不示図）。

Ｓ‥遠隔操作支援システム、２０‥遠隔操作装置、３０‥サーバ、４０‥作業機械、２００‥遠隔制御装置、２０１‥距離取得部、２０２‥属性取得部、２０３‥支障判定部、２０４‥支援制御部、２５０‥属性データベース。

Claims

オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記オペレータの周囲を撮像する撮像装置と、
前記撮像装置が撮像した撮像画像を画像解析することにより前記撮像画像に含まれる前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有する
ことを特徴とする遠隔操作支援システム。
請求項１に記載の遠隔操作支援システムであって、
前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行う
ことを特徴とする遠隔操作支援システム。
請求項１に記載の遠隔操作支援システムであって、
前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行う
ことを特徴とする遠隔操作支援システム。
オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有し、
前記遠隔操作装置は、前記遠隔操作において前記オペレータにより入力された操作量が前記作業機械へ伝達される遠隔操作機構を備え、
前記支援制御部は、前記支障判定部が前記遠隔操作に支障が出る可能性が高いと判定した場合、前記操作量の前記作業機械への伝達を停止する
ことを特徴とする遠隔操作支援システム。
オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有し、
前記遠隔操作装置は、前記遠隔操作において前記オペレータにより入力された操作量が前記作業機械へ伝達される遠隔操作機構を備え、
前記支援制御部は、前記支障判定部が前記遠隔操作に支障が出る可能性が低いと判定した場合、前記操作量に制限をかけて前記作業機械へ伝達する
ことを特徴とする遠隔操作支援システム。