JP7528539B2 - 遠隔操作支援システム - Google Patents

遠隔操作支援システム Download PDF

Info

Publication number
JP7528539B2
JP7528539B2 JP2020092632A JP2020092632A JP7528539B2 JP 7528539 B2 JP7528539 B2 JP 7528539B2 JP 2020092632 A JP2020092632 A JP 2020092632A JP 2020092632 A JP2020092632 A JP 2020092632A JP 7528539 B2 JP7528539 B2 JP 7528539B2
Authority
JP
Japan
Prior art keywords
work machine
client
information
remote operation
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020092632A
Other languages
English (en)
Other versions
JP2021190773A (ja
Inventor
裕介 藤原
誠司 佐伯
洋一郎 山▲崎▼
真輝 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020092632A priority Critical patent/JP7528539B2/ja
Priority to PCT/JP2021/010460 priority patent/WO2021240957A1/ja
Publication of JP2021190773A publication Critical patent/JP2021190773A/ja
Application granted granted Critical
Publication of JP7528539B2 publication Critical patent/JP7528539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、作業機械の遠隔操作を支援するための遠隔操作支援システムに関する。
従来、遠隔操作支援システムとして特許文献1に記載されたものが知られている。この遠隔操作支援システムは、建設機械タイプの作業機械及び遠隔操作部を備えており、この遠隔操作部は、操作器及びモニタなどを有している。この遠隔操作支援システムの場合、オペレータがモニタに表示された作業機械の動作状態を目視しながら、操作器を操作することによって、作業機械が遠隔操作される。
特開平10-252101号公報
上記従来の遠隔操作支援システムによれば、オペレータがモニタに表示された作業機械の動作状態を目視しながら、作業機械を遠隔操作する関係上、オペレータは、作業機械の周辺状況を適切に把握することができないという問題がある。例えば、作業機械が作業動作を停止すべき条件下にある場合でも、オペレータがそれを認識できない事態が発生してしまう。この問題は、建設機械以外の作業機械を遠隔操作する場合においても同様に発生する。
本発明は、上記課題を解決するためになされたもので、作業機械を遠隔操作する場合において、オペレータの遠隔操作を適切に支援することができる遠隔操作支援システムを提供することを目的とする。
上記目的を達成するために、請求項1に係る発明は、オペレータによる遠隔操作装置の操作に応じて遠隔操作されるとともに動力源及び制御部を備えている作業機械の遠隔操作を支援するための遠隔操作支援システムであって、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を作業機械に送信する第1支援処理を実行する第1支援処理要素と、作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が作業機械の停止を要求するユーザの操作状態を表しているときに、遠隔操作信号の有無とは無関係に作業機械を停止させるための停止指令信号を作業機械に送信する第2支援処理を実行する第2支援処理要素とを備え制御部は、停止指令信号がオペレータによる動力源の始動要求を含んでいるときに、動力源の始動制御を実行すると同時に、動力源以外の機器を停止状態に制御することを特徴とする。
この遠隔操作支援システムによれば、作業機械の周辺領域に存在するユーザが作業機械を強制的に停止した方がよいと判断した場合、ユーザのクライアント操作によって、作業機械を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。さらに、作業機械が強制的に停止されている場合でも、動力源を始動できることで、作業機械の強制的な停止が解除された際、作業機械による作業を迅速に開始することができる。
本発明において、作業機械は、情報を作業機械の外部に出力する外部出力装置をさらに備え、外部出力装置は、第2支援処理の実行により作業機械が停止されているときに、作業機械が停止されていることを表す情報を出力することが好ましい。
本発明において、作業機械は、情報を作業機械の外部に出力する外部出力装置をさらに備え、外部出力装置は、遠隔操作信号を受信した場合において、遠隔操作信号が遠隔操作の実施対象として作業機械が選択されたことを表しているときには、作業機械が選択されたことを表す情報を作業機械の外部に出力することが好ましい。
この遠隔操作支援システムによれば、作業者などが作業機械の周辺領域に存在している場合には、その作業機械の遠隔操作が開始される可能性があることを作業者などが適切に認識することができる。
本発明において、遠隔操作支援システムは、オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を支援するための遠隔操作支援システムであり、第1支援処理要素は、遠隔操作信号を遠隔操作信号に対応する複数の作業機械の1つに送信する第1支援処理を実行し、第2支援処理要素は、端末操作信号が1つの作業機械の停止を要求するユーザの操作状態を表しているときには、遠隔操作信号の有無とは無関係に1つの作業機械を停止させる第2支援処理を実行することが好ましい。
前述した目的を達成するために、請求項に係る発明は、オペレータによる遠隔操作装置の操作に応じて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援システムであって、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を作業機械に送信する第1支援処理を実行する第1支援処理要素と、作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が作業機械の停止を要求するユーザの操作状態を表しているときに、遠隔操作信号の有無とは無関係に作業機械を停止させる第2支援処理を実行する第2支援処理要素と、を備え、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが前作業機械の周辺領域に存在しているか否かを判定する第3判定処理と、第3判定処理の判定結果が肯定である場合において、作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアを、時点におけるクライアントの加速度及びクライアントの方位角に応じて偏向的な延在態様のエリアとして画定する画定処理と、時点における作業機械の位置が指定エリアに含まれているか否かを判定する第4判定処理と、をさらに実行し、第4判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が作業機械の停止を要求するユーザの操作状態を表しているとして、作業機械を停止させることを特徴とする。
この遠隔操作支援システムによれば、作業機械の周辺領域に存在するユーザが作業機械を強制的に停止した方がよいと判断した場合、ユーザのクライアント操作によって、作業機械を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。さらに、クライアントのユーザが複数の作業機械の周辺領域に存在している場合には、ユーザのクライアント操作によって、複数の作業機械を強制的に停止することができ、高い利便性を確保することができる。
前述した目的を達成するために、請求項に係る発明は、オペレータによる遠隔操作装置の操作に応じて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援システムであって、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を作業機械に送信する第1支援処理を実行する第1支援処理要素と、作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が作業機械の停止を要求するユーザの操作状態を表しているときに、遠隔操作信号の有無とは無関係に作業機械を停止させる第2支援処理を実行する第2支援処理要素と、を備え、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第5判定処理と、第5判定処理の判定結果が肯定である場合において、複数の作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置を基準とする指定エリアを、時点におけるクライアントの加速度が第1しきい値以上で第1しきい値よりも大きい第2しきい値未満のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在する第1指定エリアとして画定するとともに、時点におけるクライアントの加速度が第2しきい値以上のときには、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在する第2指定エリアを指定エリアとして画定する画定処理と、時点における複数の作業機の少なくとも1つの位置が指定エリアに含まれているか否かを判定する第6判定処理と、をさらに実行し、第6判定処理の判定結果が肯定である場合、第2支援処理において、端末操作信号が少なくとも1つの作業機械の停止を要求するユーザの操作状態を表しているとして、少なくとも1つの作業機械を停止させることを特徴とする。
この遠隔操作支援システムによれば、作業機械の周辺領域に存在するユーザが少なくとも1つの作業機械を強制的に停止した方がよいと判断した場合、ユーザのクライアント操作によって、少なくとも1つの作業機械を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。さらに、ユーザは、クライアントを振るときの加速度を変更することで、指定エリアの広さを変更でき、それにより、ユーザが強制的に停止したい作業機械の数を変更することができる。その結果、利便性をより一層、向上させることができる。
前述した目的を達成するために、請求項に係る発明は、オペレータによる遠隔操作装置の操作に応じて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援システムであって、オペレータによる遠隔操作装置の操作状態を表す遠隔操作信号を作業機械に送信する第1支援処理を実行する第1支援処理要素と、作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が作業機械の停止を要求するユーザの操作状態を表しているときに、遠隔操作信号の有無とは無関係に作業機械を停止させる第2支援処理を実行する第2支援処理要素と、を備え、クライアントは、クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、端末操作信号として、加速度情報、角度情報及び端末位置情報を含む信号を送信し、作業機械は、作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、機械位置情報を含む機械情報信号を送信し、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第7判定処理と、第7判定処理の判定結果が肯定である場合において、複数の作業機械から機械情報信号を受信したときには、端末操作信号及び機械情報信号に基づき、クライアントの加速度が所定状態に変化した時点におけるクライアントの位置と複数の作業機械のうちのクライアントに最も近い作業機械の位置とを基準として、指定エリアを時点におけるクライアントの位置から偏向的に延在するエリアとして画定する画定処理と、時点におけるクライアントが指定エリアに向けられているときには、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表していると判定し、時点におけるクライアントが指定エリア外に向けられているときには、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表していると判定する第8判定処理と、を実行し、第2支援処理において、第8判定処理の判定結果に基づき、端末操作信号がクライアントに最も近い作業機械の停止を要求するユーザの操作状態を表しているときには、クライアントに最も近い作業機械を停止させ、端末操作信号がクライアントに最も近い作業機械以外の作業機械の停止を要求するユーザの操作状態を表しているときには、クライアントに最も近い作業機械以外の作業機械を停止させることを特徴とする。
この遠隔操作支援システムによれば、作業機械の周辺領域に存在するユーザが作業機械を強制的に停止した方がよいと判断した場合、ユーザのクライアント操作によって、作業機械を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。さらに、ユーザは、クライアントの加速度を所定状態に変化させながらクライアントをクライアントに最も近い作業機械側に向けるか、それ以外の方向に向けるかによって、強制的に停止させる作業機械を選択することができる。その結果、利便性をより一層、向上させることができる。
本発明において、遠隔操作装置は、情報を出力する第1出力インターフェースを有しており、第2支援処理の実行時に作業機械が停止されていることを表す情報を第1出力インターフェースに出力させる処理が実行されることが好ましい。
この遠隔操作支援システムによれば、第2支援処理の実行時に作業機械が停止されていることを表す情報が第1出力インターフェースから出力されるので、遠隔操作装置のオペレータは、遠隔操作を実行中であっても、ユーザによるクライアントの操作によって、作業機械が強制的に停止されていることを適切に認識することができる。
本発明において、第2支援処理要素は、クライアントから端末操作信号を受信した場合、クライアントが作業機械を含む複数の作業機械の周辺領域に存在しているか否かを判定する第1判定処理と、第1判定処理の判定結果が肯定である場合、端末操作信号が複数の作業機械の停止を要求するユーザの操作状態を表している否かを判定する第2判定処理と、をさらに実行し、第2判定処理の判定結果が肯定である場合、第2支援処理において、複数の作業機械を停止させることが好ましい。
この遠隔操作支援システムによれば、第2判定処理の判定結果が肯定である場合、第2支援処理において、停止指令信号が複数の作業機械に送信されるので、クライアントのユーザが複数の作業機械の周辺領域に存在している場合には、ユーザのクライアント操作によって、複数の作業機械を強制的に停止することができ、高い利便性を確保することができる。
本発明において、作業機械は、作業機械の環境画像を取得する撮像装置を有し、撮像装置によって取得された環境画像を送信可能に構成され、遠隔操作装置は、画像を出力する第2出力インターフェースを有しており、第2支援処理の実行時に撮像装置が取得した環境画像を第2出力インターフェースに出力させる処理が実行されることが好ましい。
この遠隔操作支援システムによれば、第2支援処理の実行時に環境画像が第2出力インターフェースから出力されるので、遠隔操作装置のオペレータは、作業機械が強制的に停止されている場合であっても、作業機械の環境を適切に視認することができる。
本発明の一実施形態に係る遠隔操作支援装置及びこれを備えた遠隔操作支援システムの構成を模式的に示す図である。 遠隔操作装置の構成を示す平面図である。 作業機械の構成を示す図である。 通常時の遠隔操作制御処理を実行したときのシーケンス図である。 装置操作取得処理を示すフローチャートである。 第1遠隔制御処理を示すフローチャートである。 通常時制御処理を示すフローチャートである。 第1情報制御処理を示すフローチャートである。 強制停止時の遠隔操作制御処理を実行したときのシーケンス図である。 停止操作判定処理を示すフローチャートである。 第2遠隔制御処理を示すフローチャートである。 停止対象決定処理を示すフローチャートである。 停止時制御処理を示すフローチャートである。 第1指定エリア及び第2指定エリアの画定状態の一例を示す図である。 クライアントの近傍に4台の作業機械が存在する状態を示す図である。 停止解除時の遠隔操作制御処理を実行したときのシーケンス図である。 停止対象決定処理の変形例を示すフローチャートである。 第3及び第4指定エリアの画定状態を示す図である。
以下、図面を参照しながら、本発明の一実施形態に係る遠隔操作支援装置及び遠隔操作支援システムについて説明する。図1に示すように、本実施形態の遠隔操作支援システム1は、遠隔操作支援装置としての遠隔操作支援サーバ10と、遠隔操作装置20による遠隔操作対象となる複数の作業機械40(2つのみ図示)と、複数のクライアント60(1つのみ図示)などで構成されている。
遠隔操作支援サーバ10、遠隔操作装置20、複数の作業機械40及び複数のクライアント60は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10及び遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10及び作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素103と、第2支援処理要素104と、サーバ無線通信機器105などを備えている。データベース102は、作業機械40の稼働スケジュールを記憶保持する。データベース102は、稼働スケジュールのほかに、例えば撮像画像データ等を記憶保持してもよい。
データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。2つの支援処理要素103,104は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
この遠隔操作支援サーバ10では、サーバ無線通信機器105により、ネットワークを介して、遠隔操作装置20の後述する遠隔無線通信機器222、作業機械40の実機無線通信装置422及びクライアント6の出力インターフェース611との間で無線通信が実行される。
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、図示しないスピーカなどを備えている。なお、本実施形態では、遠隔出力インターフェース220が第1出力インターフェース及び第2出力インターフェースに相当する。
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置などが含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。
旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
遠隔操作機構211を構成する各操作レバーは、例えば、図2に示すように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合アームレバーとして機能し、かつ、左右方向に操作された場合旋回レバーとして機能してもよい。同様に、図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合ブームレバーとして機能し、かつ、左右方向に操作された場合バケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
シートStの左側フレームの前方において左側操作レバー2112の下方に設けられている遮断レバー2113は、上げられた場合には各操作レバー2110、2111、2112が操作されても作業機械40が動かないようにロックする一方、下げられた場合には当該ロックを解除するための操作レバーとして機能する。
画像出力装置221は、例えば図2に示すように、シートStの前方、左斜め前方及び右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状及びサイズは同じであってもよく相違していてもよい。
図2に示すように、中央画像出力装置2210の画面及び左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。図2に示すように、中央画像出力装置2210の画面及び右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1及びθ2は同じであっても相違していてもよい。
中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211及び右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。
図1に示すように、作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作動機構440と、外部出力装置460などを備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。なお、本実施形態では、実機制御装置400が制御部に相当する。
作業機械40は、クローラショベルタイプの建設機械であり、図3に示すように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、動力源としての内燃機関(図示せず)などを備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体420の前方中央部には作業アタッチメント440が設けられている。
実機入力インターフェース41は、実機操作機構411と、撮像装置412と、測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の実機操作レバーを備えている。遠隔操作機構211の操作態様に応じた信号を受信し、当該受信信号に基づいて当該実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。
撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウ及び左右一対のサイドウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウ及びサイドウィンドウのうち一部または全部が省略されていてもよい。
測位装置414は、作業機械40の存在位置(以下「機械位置」という)を検出するためのGNSS受信機(GNSS:Global Navigation Satellite System)により構成されている。なお、本実施形態では、測位装置414が機械位置情報取得部に相当する。
実機出力インターフェース42は、遠隔操作支援サーバ10、遠隔操作装置20及びクライアント60と無線通信を実行するための実機無線通信機器422を備えている。
作動機構としての作業アタッチメント440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444及びバケットシリンダ446が装着されている。
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
また、外部出力装置460は、パトランプ及びホーンなどで構成されている(いずれも図示せず)。パトランプは、作業機械40の運転状態及び動作状態などを作業機械40の周辺の作業者などに報知するためのものであり、赤色、黄色及び青色の3色のパトランプがキャブ424の上表面に配置されている。
具体的には、青色パトランプは、遠隔操作対象として作業機械40が選択されたとき、及び作業機械40の内燃機関が始動されるときなどに点灯され、黄色パトランプは、作業機械40が通常の遠隔操作によって運転されているときに点灯される。また、赤色パトランプは、後述するように、作業機械40が強制的に停止されているときに点灯される。さらに、ホーンでは、作業機械40の遠隔操作の開始時、それを表す操作開始音が手動(オペレータによる操作)又は自動で出力される。
クライアント60は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置600と、入力インターフェース610と、出力インターフェース611と、慣性計測装置(IMU:Inertial Measurement Unit)612と、測位装置614などを備えている。
制御装置600は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する制御処理などを実行する。
入力インターフェース610は、タッチパネル方式のボタン及びスイッチなどにより構成されており、ボタンとして、作業機械40を強制的に停止させるための停止ボタンと、作業機械40の強制停止状態を解除するための停止解除ボタンなどを備えている。また、出力インターフェース611は、画像出力装置及び無線通信機器などを備えている。
また、慣性計測装置612は、クライアント60の3次元直交座標系(地球座標系)の角速度及び加速度を計測するものであり、測位装置614は、測位装置414と同様に、GNSS受信機によって構成されている。なお、本実施形態では、慣性計測装置612が加速度情報取得部及び角度情報取得部に相当し、測位装置614が端末位置情報取得部に相当する。
制御装置600は、慣性計測装置612及び測位装置614の計測結果に基づき、クライアント60の存在位置(以下「端末位置」という)、3軸周りの角度及び3軸方向の加速度を取得する。この場合、3次元直交座標系の3軸として、クライアント60の長手方向、短手方向及び厚さ方向に延びる軸が用いられる。
次に、図4~16を参照しながら、本実施形態の遠隔操作支援システム1による作業機械40の遠隔操作制御処理について説明する。まず、図4を参照しながら、通常時の遠隔操作制御処理について説明する。この通常時の遠隔操作制御処理は、オペレータが遠隔操作装置20を操作することによって、作業機械40の動作を遠隔操作するためのものである。なお、図4は、作業機械40及びクライアント60を1つずつ図示した例であるが、本実施形態の遠隔操作支援システム1は、複数の作業機械40及び複数のクライアント60を備えたものとして構成することが可能である。
同図に示すように、まず、遠隔操作装置20において、装置操作取得処理が実行される(図4/STEP1)。この装置操作取得処理は、オペレータによる遠隔操作機構211の操作情報を取得するものであり、具体的には、遠隔操作装置20により、所定の制御周期で図5に示すように実行される。
同図に示すように、まず、遠隔操作装置20による遠隔操作対象としての作業機械40を選択済みであるか否かが判定される(図5/STEP10)。この判定が否定(図5/STEP10…NO)で、作業機械40を選択済みでないときには、作業機械40の選択操作を実施したか否かが判定される(図5/STEP11)。この判定が否定(図5/STEP11…NO)のときには、本処理は終了する。
一方、この判定が肯定(図5/STEP11…YES)で、作業機械40の選択操作が実施されたとき、又は、前述した判定が肯定(図5/STEP10…YES)で、前回以前の制御タイミングにおいて作業機械40を選択済みであったときには、遠隔操作が実施されているか否かが判定される(図5/STEP12)。この場合、具体的には、オペレータによって遠隔操作機構211が操作されているときには、遠隔操作が実施されていると判定され、それ以外のときには、遠隔操作が実施されていないと判定される。
この判定は、例えば、遮断レバー2113の上げ下げにより判定することができる。遮断レバー2113が下げられているときには、各操作レバー2110、2111、2112のロックが解除されているので、肯定(図5/STEP12…YES)と判定され、遮断レバー2113が上げられている場合には否定(図5/STEP12…NO)と判定される。
この判定が否定(図5/STEP12…NO)のときには、本処理は終了する。一方、この判定が肯定(図5/STEP12…YES)で、遠隔操作が実施されているときには、その操作情報を含む遠隔操作信号を遠隔操作支援サーバ10に出力して(図5/STEP13)、本処理は終了する。
この操作情報には、遠隔操作対象としての作業機械40の選択操作及び作業機械40の内燃機関の始動操作などの情報に加えて、遠隔操作対象として選択された作業機械40のID情報と、遠隔操作信号を出力した遠隔操作装置20のID情報などが含まれる。なお、以下の説明では、遠隔操作対象として選択された作業機械40を適宜、「対象機械40」といい、遠隔操作信号を出力した遠隔操作装置20を適宜、「対象装置20」という。
図4に戻り、遠隔操作装置20において、装置操作取得処理(図4/STEP1)が以上のように実行されるのに伴い、遠隔操作信号が遠隔操作装置20から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第1遠隔制御処理が実行される(図4/STEP2)。なお、本実施形態では、第1遠隔制御処理が第1支援処理に相当する。
この第1遠隔制御処理は、遠隔操作装置20からの遠隔操作信号を対象機械40に送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図6に示すように実行される。
同図に示すように、まず、遠隔操作信号を受信したか否かが判定される(図6/STEP20)。この判定が否定(図6/STEP20…NO)のときには、本処理は終了する。一方、この判定が肯定(図6/STEP20…YES)で、遠隔操作信号を受信したときには、遠隔操作信号に含まれる対象機械40のID情報が読み込まれる(図6/STEP21)。
次いで、遠隔操作信号を、読み込んだID情報に対応する対象機械40に出力して(図6/STEP22)、本処理は終了する。以上の第1遠隔制御処理は、複数の遠隔操作信号を複数の遠隔操作装置20からそれぞれ受信したときにも同様に実行される。
図4に戻り、遠隔操作支援サーバ10において、第1遠隔制御処理(図4/STEP2)が以上のように実行されるのに伴い、遠隔操作信号が遠隔操作支援サーバ10から対象機械40に送信されると、対象機械40において、通常時制御処理が実行される(図4/STEP3)。
この通常時制御処理は、遠隔操作支援サーバ10からの遠隔操作信号に基づいて、対象機械40の動作を制御するものであり、具体的には、対象機械40の実機制御装置400により、所定の制御周期で図7に示すように実行される。
同図に示すように、まず、遠隔操作信号を受信したか否かが判定される(図7/STEP30)。この判定が否定(図7/STEP30…NO)のときには、本処理は終了する。一方、この判定が肯定(図7/STEP30…YES)で、遠隔操作信号を受信したときには、通常時機器制御処理が実行される(図7/STEP31)。
この通常時機器制御処理では、遠隔操作信号に含まれる操作情報に基づき、各種の機器が制御される。例えば、操作情報が対象機械40の選択操作であった場合には、対象機械40が遠隔操作対象として選択されたことを対象機械40周辺の作業者などに報知するために、外部出力装置460の青色パトランプが点灯される。
また、操作情報が対象機械40の内燃機関の始動操作であった場合には、内燃機関の始動制御が実行されるとともに、内燃機関が始動されることを対象機械40周辺の作業者などに報知するために、外部出力装置460の青色パトランプが点灯される。
さらに、操作情報が対象機械40における作業アタッチメント440の操作であった場合には、作業アタッチメント440の動作制御が実行されるとともに、それを対象機械40周辺の作業者などに報知するために、外部出力装置460の黄色パトランプが点灯される。
次いで、機械情報が取得される(図7/STEP32)。この場合、機械情報としては、対象機械40の動作情報、機械位置情報、撮像装置412によって撮像された周辺環境の画像情報、及び、対象装置20のID情報などが含まれる。
次に、この機械情報を含む機械情報信号を遠隔操作支援サーバ10に出力して(図7/STEP33)、本処理は終了する。以上の通常時制御処理は、複数の対象機械40がそれぞれ複数の遠隔操作信号を遠隔操作支援サーバ10から受信したときにも、複数の対象機械40の各々において同様に実行される。
図4に戻り、対象機械40において、通常時制御処理(図4/STEP3)が以上のように実行されるのに伴い、機械情報信号が対象機械40から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第1情報制御処理が実行される(図4/STEP4)。
この第1情報制御処理は、対象機械40からの機械情報信号を対象装置20に送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図8に示すように実行される。
同図に示すように、まず、機械情報信号を受信したか否かが判定される(図8/STEP40)。この判定が否定(図8/STEP40…NO)のときには、本処理は終了する。一方、この判定が肯定(図8/STEP40…YES)で、機械情報信号を受信したときには、機械情報信号に含まれる対象装置20のID情報が読み込まれる(図8/STEP41)。
次いで、機械情報信号を、読み込んだID情報に対応する対象装置20に出力して(図8/STEP42)、本処理は終了する。以上の第1遠隔制御処理は、複数の機械情報信号を複数の対象機械40からそれぞれ受信したときにも同様に実行される。
図4に戻り、遠隔操作支援サーバ10において、第1情報制御処理(図4/STEP4)が以上のように実行されるのに伴い、機械情報信号が遠隔操作支援サーバ10から対象装置20に送信されると、対象装置20において、機械情報出力処理が実行される(図4/STEP5)。
この機械情報出力処理では、図示しないが、対象装置20において、機械情報信号に含まれる対象機械40の環境画像が画像出力装置221から出力(表示)されるとともに、対象機械40の動作状態を示すデータが表示される。それにより、オペレータは、これらの情報に基づき、対象機械40の周辺環境及び動作状態を適切に把握しながら対象機械40を遠隔操作することができる。以上のように、遠隔操作支援システム1では、通常時の遠隔操作制御処理が実行される。
次に、図9を参照しながら、強制停止時の遠隔操作制御処理について説明する。この強制停止時の遠隔制御処理は、作業機械40の周辺領域に存在する作業者がクライアント60を操作することによって、作業機械40が運転中であっても作業機械40を強制的に停止するためのものである。なお、以下の説明では、作業者を適宜、「ユーザ」という。
同図に示すように、遠隔操作装置20において、前述した図4のSTEP1と同様に、装置操作取得処理(図9/STEP50)が実行されるのに伴い、遠隔操作信号が遠隔操作装置20から遠隔操作支援サーバ10に送信される。
一方、各クライアント60において、以下に述べるように、停止操作判定処理が実行される(図9/STEP51)。この停止操作判定処理は、ユーザが作業機械40の周辺領域に存在する場合において、ユーザのクライアント60の操作により、作業機械40を強制的に停止する停止操作が実行されたか否かが判定されるものであり、後述する停止操作信号を出力済みでないときに実行される。
この停止操作判定処理は、具体的には、クライアント60により、所定の制御周期で図10に示すように実行される。同図に示すように、まず、各種パラメータが取得される(図10/STEP60)。具体的には、各種パラメータとして、端末位置、3軸周りの角度及び3軸方向の加速度などが取得される。
次いで、入力インターフェース610のボタン及びスイッチなどの各種操作状態が取得される(図10/STEP61)。
次いで、ユーザにより停止操作が実行されたか否かが判定される(図10/STEP62)。具体的には、下記の条件(f1)~(f3)がいずれも成立しているときには、ユーザにより停止操作が実行されたと判定され、それ以外のときには停止操作が実行されていないと判定される。
(f1)入力インターフェース610において、前述した停止ボタンが押下されたこと。
(f2)前回の制御タイミングと今回の制御タイミングとの間において、クライアント60の長手方向の加速度(以下「端末加速度」という)αの増大量が所定値以上であること。
(f3)前回の制御タイミングと今回の制御タイミングとの間におけるクライアント60の移動軌跡を所定の鉛直面上に投影した際に、クライアント60の長手方向の基準軸線の(世界座標における)方位角の変化量が所定値以上であること。
この場合、上記条件(f2)に代えて、所定回数の制御処理が実行された場合において、端末加速度αの増大量の平均値を算出し、この平均値が所定値以上であることを条件として用いてもよい。
この判定が否定(図10/STEP62…NO)のときには、本処理は終了する。一方、この判定が肯定(図10/STEP62…YES)で、ユーザにより停止操作が実行されたときには、停止操作信号を遠隔操作支援サーバ10に出力して(図10/STEP63)、本処理は終了する。この停止操作信号は、停止情報を含むものであり、この場合、停止情報としては、ユーザによる停止操作が実行されたことに加えて、上述した各種パラメータ(端末加速度α及び端末位置など)の情報が含まれる。なお、本実施形態では、停止操作信号が端末操作信号に相当する。
以上の停止操作判定処理は、複数のクライアント60が作業機械40の周辺領域に存在する場合には、複数のクライアント60の各々において実行される。
図9に戻り、クライアント60において以上のように停止操作判定処理が実行されるのに伴い、停止操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2遠隔制御処理が実行される(図9/STEP52)。
この第2遠隔制御処理は、ユーザが強制的に停止しようとしている作業機械40に対して停止時制御信号を送信するものであり、具体的には、遠隔操作支援サーバ10により、所定の制御周期で図11に示すように実行される。
同図に示すように、まず、停止操作信号をクライアント60から受信したか否かが判定される(図11/STEP70)。この判定が否定(図11/STEP70…NO)のときには、本処理は終了する。一方、この判定が肯定(図11/STEP70…YES)で、停止操作信号をクライアント60から受信したときには、クライアント60が作業機械40の周辺領域に存在しているか否かが判定される(図11/STEP71)。
この場合、停止操作信号を発信したクライアント60と1台以上の作業機械40が無線通信用の中継アンテナを共用しているときには、クライアント60が作業機械40の周辺領域に存在していると判定され、それ以外のときには、クライアント60が作業機械40の周辺領域に存在していないと判定される。
中継アンテナは、サーバ無線通信機器105及び遠隔操作装置20の遠隔無線通信機器222と有線又は無線による通信可能なものとされ、さらに作業機械40の実機無線通信装置422やクライアント6の出力インターフェース611との間で無線通信可能なネットワークを構成するものであって、作業機械40が稼働する作業領域および業領域周辺に複数設置される。なお、前述した端末位置情報及び前述した機械位置情報に基づいて、この判定を実行してもよい。
この判定が否定(図11/STEP71…NO)のときには、本処理は終了する。一方、この判定が肯定(図11/STEP71…YES)で、クライアント60が作業機械40の周辺領域に存在しているときには、その作業機械40から遠隔操作信号を受信したか否かが判定される(図11/STEP72)。
この判定が肯定(図11/STEP72…YES)のときには、遠隔操作信号に含まれる操作情報が取得される(図11/STEP73)。このように操作情報を取得したとき、又は前述した判定が否定(図11/STEP72…NO)で、作業機械40から遠隔操作信号を受信していないときには、これらに続けて、停止対象決定処理が実行される(図11/STEP74)。
この停止対象決定処理は、クライアント60が作業機械40の周辺領域に存在している場合において、強制的に停止する作業機械40(以下「停止対象40」という)を決定するものであり、具体的には、図12に示すように実行される。なお、以下の説明では、クライアント60が作業機械40の周辺領域に存在していることを、「クライアント60の近傍に作業機械40が存在する」という。
同図に示すように、まず、停止操作信号に含まれる停止操作情報を読み込む(図12/STEP90)。次いで、停止操作情報に含まれる端末加速度αが第1しきい値α1以上であるか否かが判定される(図12/STEP91)。この第1しきい値α1は、比較的、小さい所定の正値に設定される。この判定が否定(図12/STEP91…NO)のときには、本処理は終了する。
一方、この判定が肯定(図12/STEP91…YES)で、α≧α1が成立しているときには、クライアント60の近傍に1台の作業機械40が存在しているか否かが判定される(図12/STEP92)。この判定が肯定(図12/STEP92…YES)のときには、指定エリアとして、第1指定エリアが画定される(図12/STEP93)。
この第1指定エリアは、図14に破線で示すように、第1指定エリアを平面視した場合、クライアント60の位置を基準とし、クライアント60の長手方向の中心線Lxに対して対称な二等辺三角形のエリア(点描で示すエリア)として画定される。なお、図14では、理解の容易化のために、クライアント60の位置がクライアント60の長手方向の中心位置よりも前側の位置に示されている。この点は、後述する図18においても同様である。
次いで、作業機械40が第1指定エリア内に存在しているか否かが判定される(図12/STEP94)。この判定が否定(図12/STEP94…NO)のときには、停止対象となる作業機械40が存在しないとして、本処理は終了する。
一方、この判定が肯定(図12/STEP94…YES)のときには、第1指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP95)、本処理は終了する。例えば、図14に示すように、作業機械40Aが第1指定エリア内に存在している場合には、この作業機械40Aが停止対象40として決定される。なお、クライアント60の近傍に1台の作業機械40のみが存在している場合には、これが第1指定エリア内に存在するか否かとは無関係に、この1台の作業機械40を停止対象40として決定するように構成してもよい。
一方、上述した判定が否定(図12/STEP92…NO)のときには、クライアント60の近傍に3台以下の作業機械40が存在しているか否かが判定される(図12/STEP96)。この場合、作業機械40の台数を、3台以下に代えて2台以下を条件として判定を実行するように構成してもよい。
この判定が肯定(図12/STEP96…YES)で、クライアント60の近傍に3台以下の作業機械40が存在しているときには、端末加速度αが第2しきい値α2以上であるか否かが判定される(図12/STEP97)。この第2しきい値α2は、α2>α1が成立する所定値に設定される。
この判定が否定(図12/STEP97…NO)で、α1≦α<α2が成立しているときには、上述したように、第1指定エリアを画定し、作業機械40が第1指定エリア内に存在しているか否かが判定されるとともに、第1指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP93~95)、本処理は終了する。
一方、上記の判定が肯定(図12/STEP97…YES)で、α≧α2が成立しているときには、指定エリアとして、第2指定エリアが画定される(図12/STEP98)。この第2指定エリアは、例えば、図14に破線で示すように、第2指定エリアを平面視した場合、クライアント60の位置を基準とし、クライアント60の長手方向の中心線Lyに対して対称な二等辺三角形のエリアであって、第1指定エリアと比べて、頂角がより大きくかつ高さがより大きいエリアすなわち面積のより広いエリアとして画定される。なお、図14の第2指定エリア及び中心線Lyは、クライアント60の方位角が図中のクライアント60の方位角よりも上側に若干、傾斜している状態を想定したものである。
次いで、作業機械40が第2指定エリア内に存在しているか否かが判定される(図12/STEP99)。この判定が否定(図12/STEP99…NO)のときには、停止対象となる作業機械40が存在しないとして、本処理は終了する。
一方、この判定が肯定(図12/STEP99…YES)のときには、第2指定エリア内に存在する作業機械40を停止対象40に決定して(図12/STEP100)、本処理は終了する。例えば、図14に示すように、作業機械40A,40Bが第2指定エリア内に存在している場合には、これらの作業機械40A,40Bが停止対象40A,40Bとして決定される。
一方、前述した判定が否定(図12/STEP96…NO)で、クライアント60の近傍に4台以上の作業機械40が存在しているときには、全作業機械40を停止対象40に決定して(図12/STEP101)、本処理は終了する。例えば、図15に示すように、クライアント60の近傍に4台の作業機械40A~40Dが存在している場合には、これらの作業機械40A~40Dが停止対象40A~40Dとして決定される。また、図15に示す作業機械40Eがクライアント60の近傍に存在していない場合、すなわち作業機械40Eがクライアント60と中継アンテナを共用していない場合には、作業機械40Eは停止対象とされない。
図11に戻り、停止対象決定処理(図11/STEP74)を以上のように実行した後、遠隔操作信号の操作情報に基づき、上記のように決定された停止対象40において、オペレータからの始動要求がある停止対象40が存在しているか否かが判定される(図11/STEP75)。この始動要求は、具体的には、停止対象40の内燃機関の始動を要求するものである。
この判定が肯定(図11/STEP75…YES)で、オペレータからの始動要求がある停止対象40が存在しているときには、その停止対象40に対して、始動要求を含む停止時制御信号が出力される(図11/STEP76)。なお、本実施形態では、停止時制御信号が停止指令信号に相当する。
このように始動要求を含む停止時制御信号が出力されたとき、又は上述した判定が否定(図11/STEP75…NO)のときには、遠隔操作信号の操作情報に基づき、上記のように決定された停止対象40において、オペレータからの始動要求のない停止対象40が存在しているか否かが判定される(図11/STEP77)。
この判定が肯定(図11/STEP77…YES)で、オペレータからの始動要求のない停止対象40が存在しているときには、その停止対象40に対して、始動要求を含まない停止時制御信号が出力される(図11/STEP78)。
このように始動要求を含まない停止時制御信号が出力されたとき、又は上述した判定が否定(図11/STEP77…NO)のときには、停止対象40を遠隔操作中の遠隔操作装置20に対して、停止情報信号を出力して(図11/STEP79)、本処理は終了する。
以上の第2遠隔制御処理は、複数のクライアント60から停止操作信号を受信した場合にも同様に実行される。
図9に戻り、遠隔操作支援サーバ10において、以上のように第2遠隔制御処理が実行されるのに伴い、停止情報信号が遠隔操作装置20に対して送信されると、遠隔操作装置20において、停止情報出力処理が実行される(図9/STEP53)。この停止情報出力処理では、遠隔操作中の作業機械40が強制的に停止されていることを表す文字情報及び音声情報が、画像出力装置221及びスピーカからそれぞれ出力される。それにより、オペレータは、遠隔操作中の作業機械40が強制的に停止されていることを確実に認識することができる。
また、遠隔操作支援サーバ10において、以上のように第2遠隔制御処理が実行されるのに伴い、停止時制御信号が停止対象40に対して送信されると、停止対象40において、停止時制御処理が実行される(図9/STEP54)。
この停止時制御処理は、遠隔操作支援サーバ10からの停止時制御信号に基づいて、対象機械40を停止状態に制御するものであり、具体的には、対象機械40の実機制御装置400により、所定の制御周期で図13に示すように実行される。
同図に示すように、まず、停止時制御信号を受信したか否かが判定される(図13/STEP110)。この判定が否定(図13/STEP110…NO)のときには、本処理は終了する。一方、この判定が肯定(図13/STEP110…YES)で、停止時制御信号を受信したときには、停止時制御信号が内燃機関の始動要求を含んでいるか否かが判定される(図13/STEP111)。
この判定が肯定(図13/STEP111…YES)で、停止時制御信号が停止対象40の始動要求を含んでいるときには、停止対象40の始動制御が実行される(図13/STEP112)。具体的には、停止対象40の内燃機関が始動される。
このように始動制御を実行したとき、又は上述した判定が否定(図13/STEP111…NO)で、停止時制御信号が停止対象40の始動要求を含んでいないときには、これらに続けて、機器停止制御処理を実行する(図13/STEP113)。この機器停止制御処理では、内燃機関及び撮像装置412以外の、作業アタッチメント440などが停止状態に制御される。これに加えて、停止対象40が強制的に停止されていることを表すために、赤色パトランプが点灯される。
次いで、機械情報が取得される(図13/STEP114)。この場合、機械情報としては、前述したように、対象機械40の動作情報と撮像装置412によって撮像された周辺環境の画像情報に加えて、対象装置20のID情報などが含まれる。
次に、この機械情報を含む機械情報信号を遠隔操作支援サーバ10に出力して(図13/STEP115)、本処理は終了する。以上の停止時制御処理は、複数の停止対象4040がそれぞれ複数の停止時制御信号を遠隔操作支援サーバ10から受信したときにも、複数の停止対象40の各々において同様に実行される。
図9に戻り、対象機械40において、停止時制御処理(図9/STEP54)が以上のように実行されるのに伴い、機械情報信号が対象機械40から遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2情報制御処理が実行される(図9/STEP55)。なお、本実施形態では、第2遠隔制御処理及び第2情報制御処理が第2支援処理に相当する。
この第2情報制御処理は、前述した第1情報制御処理(図4/STEP4)と同様に実行されるので、その説明は省略する。この第2情報制御処理が実行されるのに伴い、機械情報信号が遠隔操作支援サーバ10から対象装置20に送信されると、対象装置20において、機械情報出力処理が実行される(図9/STEP56)。この機械情報出力処理は、前述した機械情報出力処理(図4/STEP5)と同様に実行されるので、その説明は省略する。
次に、図16を参照しながら、停止解除時の遠隔操作制御処理について説明する。この停止解除時の遠隔制御処理は、前述したように、停止対象40が強制的に停止状態に保持されている場合において、ユーザがクライアント60を操作することにより、停止対象40の強制的な停止状態を解除するためのものである。
同図に示すように、クライアント60において、停止解除操作判定処理が実行される(図16/STEP130)。この停止解除操作判定処理では、ユーザによりクライアント60の停止解除ボタン(図示せず)が押下されたときには、停止解除操作が実行されたと判定され、それ以外のときには、停止解除操作が実行されていないと判定される。そして、停止解除操作が実施されたと判定された際には、停止解除操作信号が遠隔操作支援サーバ10に出力される。
クライアント60において以上のように停止解除操作判定処理が実行されるのに伴い、停止解除操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第3遠隔制御処理が実行される(図16/STEP131)。
この第3遠隔制御処理では、停止解除操作信号をクライアント60から受信した場合、停止解除制御信号が停止対象40に送信されると同時に、停止解除情報信号が対象装置20に送信される。
そして、停止対象40では、停止解除制御信号を遠隔操作支援サーバ10から受信した場合、停止解除制御処理が実施される(図16/STEP132)。この停止解除制御処理では、作業アタッチメント440などの機器の停止状態が解除され、これらが動作可能な状態に制御されるとともに、それを表すために、赤色パトランプが消灯される。
また、対象装置20では、停止解除情報信号を遠隔操作支援サーバ10から受信した場合、停止解除情報出力処理が実行される(図16/STEP133)。この停止解除情報出力処理では、対象装置20において、停止解除情報信号に含まれる停止解除情報(文字情報)が画像出力装置221から出力(表示)されるとともに、停止解除情報信号に含まれる音声情報がスピーカから出力される。それにより、停止対象40の停止状態が解除され、これを遠隔操作可能になったことが、対象装置20のオペレータに対して報知される。
遠隔操作支援システム1では、停止解除時の遠隔制御処理が以上のように実行される。
以上のように、本実施形態の遠隔操作支援サーバ10によれば、通常時の遠隔操作制御処理において、遠隔操作信号を遠隔操作装置20から受信した際、第1遠隔制御処理(STEP2)が実行され、遠隔操作信号が対象機械40に送信される。それによりオペレータの遠隔操作装置20の操作によって、対象機械40が遠隔操作される。
また、強制停止時の遠隔操作制御処理では、クライアント60における停止操作判定処理(STEP51)の実行により、停止操作信号が遠隔操作支援サーバ10に送信されると、遠隔操作支援サーバ10において、第2遠隔制御処理(STEP52)が実行される。この第2遠隔制御処理では、クライアント60から停止操作信号を受信した際、そのクライアント60が作業機械40の周辺領域に存在するときには、停止対象決定処理(STEP74)の実行により、停止対象40が決定される。そして、停止時制御信号が停止対象40に送信された際、停止時制御処理(STEP54)が実行されることにより、停止対象40の作業アタッチメント440などが停止状態に制御される。
このように、作業機械40の周辺領域に存在するユーザが作業機械40を強制的に停止した方がよいと判断した場合、ユーザのクライアント60の操作によって、作業機械40を強制的に停止状態に制御することができる。すなわち、オペレータが作業機械40を遠隔操作する際、ユーザによる強制停止動作を加味することができ、オペレータによる遠隔操作を適切に支援することができる。
さらに、第2遠隔制御処理では、停止対象40が決定された際、停止情報信号が対象装置20に送信される。そして、対象装置20では、停止情報信号を受信した場合、遠隔操作中の作業機械40が強制的に停止されていることを表す文字情報及び音声情報が、画像出力装置221及びスピーカからそれぞれ出力されるので、オペレータは、遠隔操作中の作業機械40が強制的に停止されていることを確実に認識することができる。
また、停止対象40において、停止時制御処理が実行された際、停止時制御信号が停止対象40の始動要求を含んでいるときには、停止対象40の始動制御が実行されることにより、停止対象40が強制的に停止されている際でも、その内燃機関を始動することができる。それにより、停止対象40の強制的な停止が解除された際、作業機械40による作業を迅速に開始することができる。
これに加えて、停止対象40において、停止時制御処理が実行され、機械情報信号が遠隔操作支援サーバ10を介して、遠隔操作装置20に送信された際、遠隔操作装置20において、機械情報出力処理(STEP56)が実行される。この機械情報出力処理では、機械情報信号に含まれている停止対象40の周辺環境の画像情報が画像出力装置221から出力されるので、オペレータは、停止対象40が強制的に停止されている間においても、その周辺環境を適切に視認することができる。
さらに、遠隔操作支援サーバ10の停止対象決定処理(図12)では、端末加速度αが第1しきい値α1以上である場合において、クライアント60の近傍に1台の作業機械40が存在しているときには、又は、クライアント60の近傍に3台以下の作業機械40が存在している場合においてα1≦α<α2が成立しているときには、停止操作信号に含まれる停止操作情報に基づき、指定エリアとして、第1指定エリアが画定される。そして、作業機械40が第1指定エリア内に存在する場合には、その作業機械40が停止対象40として決定される。このように、ユーザはクライアント60の停止ボタンを押下し、強制的に停止したい作業機械40の方に向けてクライアント60を振るという動作を実行するだけで、第1指定エリア内に存在する作業機械40を強制的に停止することができる。
また、クライアント60の近傍に3台以下の作業機械40が存在している場合において、α≧α2が成立しているときには、停止操作信号に含まれる停止操作情報に基づき、指定エリアとして、第1指定エリアよりも広い第2指定エリアが画定される。そして、作業機械40が第2指定エリア内に存在する場合には、その作業機械40が停止対象40として決定される。このように、ユーザはクライアント60の停止ボタンを押下し、クライアント60を強制的に停止したい作業機械40の方に向けてα≧α2が成立するように振るだけで、第1指定エリアよりも広い第2指定エリアを画定することができ、第1指定エリアを画定した場合よりも多くの作業機械40を強制的に停止することができる。
これに加えて、α≧α1が成立している場合において、クライアント60の近傍に4台以上の作業機械40が存在しているときには、全作業機械40が停止対象40として決定されるので、ユーザはクライアント60の停止ボタンを押下し、クライアント60をα≧α1が成立するように振るだけで、クライアント60近傍の全作業機械40を停止することができる。以上のように、本実施形態の遠隔操作支援サーバ10によれば、高い利便性を確保することができる。
なお、実施形態は、図12に示すように停止対象決定処理を実行した例であるが、これに代えて、図17に示すように、停止対象決定処理を実行してもよい。
同図に示すように、まず、停止操作信号に含まれる停止操作情報が読み込まれる(図17/STEP150)。次いで、停止操作情報に含まれる端末加速度αが第1しきい値α1以上であるか否かが判定される(図17/STEP151)。この判定が否定(図17/STEP151…NO)のときには、本処理は終了する。
一方、この判定が肯定(図17/STEP151…YES)で、α≧α1が成立しているときには、クライアント60の近傍に2台以下の作業機械40が存在しているか否かが判定される(図17/STEP152)。この判定が肯定(図17/STEP152…YES)のときには、指定エリアとして、第3指定エリア及び第4指定エリアが画定される(図17/STEP153)。
これらの第3指定エリア及び第4指定エリアは、以下に述べるように画定される。すなわち、図18に示すように、クライアント60と作業機械40A,40Bを平面視した場合において、クライアント60から近い方の作業機械40Aに向かって両者の位置を通る直線L1と、この直線Lに対してクライアント60の位置から所定傾斜角度で左右両側に延びる2つの直線L2,L3を引いたときに、これらの直線L2,L3の間の領域が第3指定エリアとして画定される。この場合、直線L2,L3の間の角度は、所定範囲(例えば、45~90゜)内の値に設定される。
さらに、クライアント60の位置を基準として、直線L1と直交する直線L4を引いたときに、2つの直線L2,L4の間の領域、及び2つの直線L3,L4の間の領域が、2つの第4指定領域として画定される。この場合、クライアント60を中心とする360゜のエリアにおいて、第3指定エリア以外のエリアを第4指定エリアとして画定してもよい。
次いで、クライアント60の方位角(以下「端末方位角」という)が第3エリア内であるか否かが判定される(図17/STEP154)。この判定が肯定(図17/STEP154…YES)のとき、例えば、端末方位角が図18の矢印Y1で示す方位角であるときには、クライアント60に近い方の作業機械40Aを停止対象40Aに決定して(図17/STEP155)、本処理は終了する。
一方、この判定が否定(図17/STEP154…NO)のときには、端末方位角が第4エリア内であるか否かが判定される(図17/STEP156)。この判定が否定(図17/STEP156…NO)のときには、停止対象40を決定することなく、本処理は終了する。
一方、この判定が肯定(図17/STEP156…YES)であるとき、例えば、端末方位角が図18の矢印Y2又は矢印Y3で示す方位角であるときには、クライアント60から遠い方の作業機械40Bを停止対象40Bに決定して(図17/STEP157)、本処理は終了する。
一方、前述した判定が否定(図17/STEP152…NO)で、クライアント60の近傍に3台以上の作業機械40が存在しているときには、クライアント60の近傍に存在する全作業機械40を停止対象40に決定して(図17/STEP158)、本処理は終了する。
以上のように、停止対象決定処理を実行した場合でも、実施形態の図12の停止対象決定処理と同様の作用効果を得ることができる。
なお、実施形態は、遠隔操作支援装置として、遠隔操作支援サーバ10を用いた例であるが、本発明の遠隔操作支援装置は、これに限らず、オペレータによる遠隔操作装置の操作に応じて選択的に遠隔操作される複数の作業機械の遠隔操作を支援するためのものであればよい。例えば、遠隔操作支援装置として、遠隔操作支援サーバ10に代えて、コントローラ又はマイクロコンピュータなどの各種演算装置を用いてもよい。
また、実施形態は、作業機械として、クローラショベルタイプの建設機械40を用いた例であるが、これに代えて、様々な作業機械を用いてもよい。例えば、作業機械として、ブルドーザ又はホイールローダなどを用いてもよい。
さらに、実施形態は、加速度情報取得部として、慣性計測装置を用いた例であるが、本発明の加速度情報取得部は、これに限らず、クライアントの加速度を表す情報である加速度情報を取得するものであればよい。例えば、加速度情報取得部として、加速度センサなどを用いてもよい。
一方、実施形態は、角度情報取得部として、慣性計測装置を用いた例であるが、本発明の角度情報取得部は、これに限らず、クライアントの角度を表す情報である角度情報を取得するものであればよい。例えば、角度情報取得部として、ジャイロセンサなどを用いてもよい。
また、実施形態は、指定エリアとしての第1指定エリアを図14に示すように設定した例であるが、本発明の第1指定エリアは、これに限らず、クライアントが存在する位置を基準としてクライアントが向けられていた方向に偏向的に延在するエリアであればよい。
例えば、第1指定エリアの形状は、実施形態の二等辺三角形に限らず、扇形又は半楕円形としてもよい。また、実施形態は、第1指定エリアを中心線Lxに対して対称な二等辺三角形の形状とした例であるが、第1指定エリアを中心線Lxに対して非対称の形状(例えば、中心線Lxに対して若干、傾いた二等辺三角形の形状)としてもよい。また、第1指定エリアの二等辺三角形の頂角は、鋭角に限らず鈍角でもよい。
さらに、実施形態は、第2指定エリアを図14に示すように設定した例であるが、本発明の第2指定エリアは、これに限らず、クライアントが存在する位置を基準としてクライアントが向けられていた方向に第1指定エリアよりも広く偏向的に延在するエリアであればよい。
例えば、第2指定エリアの形状は、実施形態の二等辺三角形に限らず、扇形又は半楕円形としてもよい。また、実施形態は、第2指定エリアを中心線Lyに対して対称な二等辺三角形の形状とした例であるが、第2指定エリアを中心線Lyに対して非対称の形状(例えば、中心線Lyに対して若干、傾いた二等辺三角形の形状)としてもよい。さらに、第2指定エリアが第1指定エリアと全面的にオーバラップしないエリアとして画定してもよい。また、第2指定エリアの二等辺三角形の頂角は、第1指定エリアの二等辺三角形の頂角よりも大きい値であればよい。
1 遠隔操作支援システム
10 遠隔操作支援サーバ(遠隔操作支援装置)
103 第1支援処理要素
104 第2支援処理要素
20 遠隔操作装置
220 遠隔出力インターフェース(第1出力インターフェース、第2出力インターフェ ース)
40 作業機械
400 実機制御装置(制御部)
412 撮像装置
414 測位装置(機械位置情報取得部)
460 外部出力装置
60 クライアント
612 慣性計測装置(加速度情報取得部、角度情報取得部)
614 測位装置(端末位置情報取得部)

Claims (10)

  1. オペレータによる遠隔操作装置の操作に応じて遠隔操作されるとともに動力源及び制御部を備えている作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記作業機械に送信する第1支援処理を実行する第1支援処理要素と、
    前記作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が前記作業機械の停止を要求する前記ユーザの操作状態を表しているときに、前記遠隔操作信号の有無とは無関係に前記作業機械を停止させるための停止指令信号を前記作業機械に送信する第2支援処理を実行する第2支援処理要素とを備え
    前記制御部は、前記停止指令信号が前記オペレータによる前記動力源の始動要求を含んでいるときに、前記動力源の始動制御を実行すると同時に、前記動力源以外の機器を停止状態に制御することを特徴とする遠隔操作支援システム。
  2. 請求項1に記載の遠隔操作支援システムにおいて、
    前記作業機械は、情報を前記作業機械の外部に出力する外部出力装置をさらに備え、
    当該外部出力装置は、前記第2支援処理の実行により前記作業機械が停止されているときに、前記作業機械が停止されていることを表す前記情報を出力することを特徴とする遠隔操作支援システム。
  3. 請求項1に記載の遠隔操作支援システムにおいて、
    前記作業機械は、情報を前記作業機械の外部に出力する外部出力装置をさらに備え、
    当該外部出力装置は、前記遠隔操作信号を受信した場合において、当該遠隔操作信号が遠隔操作の実施対象として当該作業機械が選択されたことを表しているときには、当該作業機械が選択されたことを表す前記情報を当該作業機械の外部に出力することを特徴とする遠隔操作支援システム。
  4. 請求項1~3のいずれか1項に記載の遠隔操作支援システムにおいて、
    前記遠隔操作支援システムは、前記オペレータによる前記遠隔操作装置の操作に応じて選択的に遠隔操作される複数の前記作業機械の遠隔操作を支援するための遠隔操作支援システムであり、
    前記第1支援処理要素は、前記遠隔操作信号を前記遠隔操作信号に対応する前記複数の作業機械の1つに送信する前記第1支援処理を実行し、
    前記第2支援処理要素は、前記端末操作信号が前記1つの前記作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記遠隔操作信号の有無とは無関係に前記1つの前記作業機械を停止させる前記第2支援処理を実行することを特徴とする遠隔操作支援システム。
  5. オペレータによる遠隔操作装置の操作に応じて遠隔操作される作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記作業機械に送信する第1支援処理を実行する第1支援処理要素と、
    前記作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が前記作業機械の停止を要求する前記ユーザの操作状態を表しているときに、前記遠隔操作信号の有無とは無関係に前記作業機械を停止させる第2支援処理を実行する第2支援処理要素と、
    を備え、
    前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
    前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
    前記第2支援処理要素は、
    前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前作業機械の周辺領域に存在しているか否かを判定する第3判定処理と、
    当該第3判定処理の判定結果が肯定である場合において、前記作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置を基準とする指定エリアを、当該時点における前記クライアントの前記加速度及び前記クライアントの方位角に応じて偏向的な延在態様のエリアとして画定する画定処理と、
    前記時点における前記作業機械の位置が前記指定エリアに含まれているか否かを判定する第4判定処理と、をさらに実行し、
    当該第4判定処理の判定結果が肯定である場合、前記第2支援処理において、前記端末操作信号が前記作業機械の停止を要求する前記ユーザの操作状態を表しているとして、前記作業機械を停止させることを特徴とする遠隔操作支援システム。
  6. オペレータによる遠隔操作装置の操作に応じて作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記作業機械に送信する第1支援処理を実行する第1支援処理要素と、
    前記作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が前記作業機械の停止を要求する前記ユーザの操作状態を表しているときに、前記遠隔操作信号の有無とは無関係に前記作業機械を停止させる第2支援処理を実行する第2支援処理要素と、
    を備え、
    前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
    前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
    前記第2支援処理要素は、
    前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記作業機械を含む複数の前記作業機械の周辺領域に存在しているか否かを判定する第5判定処理と、
    当該第5判定処理の判定結果が肯定である場合において、前記複数の作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置を基準とする指定エリアを、当該時点における前記クライアントの前記加速度が第1しきい値以上で当該第1しきい値よりも大きい第2しきい値未満のときには、前記クライアントが存在する位置を基準として前記クライアントが向けられていた方向に偏向的に延在する第1指定エリアとして画定するとともに、前記時点における前記クライアントの前記加速度が前記第2しきい値以上のときには、前記クライアントが存在する位置を基準として前記クライアントが向けられていた方向に前記第1指定エリアよりも広く偏向的に延在する第2指定エリアを前記指定エリアとして画定する画定処理と、
    前記時点における前記複数の作業機の少なくとも1つの位置が前記指定エリアに含まれているか否かを判定する第6判定処理と、をさらに実行し、
    当該第6判定処理の判定結果が肯定である場合、前記第2支援処理において、前記端末操作信号が当該少なくとも1つの作業機械の停止を要求する前記ユーザの操作状態を表しているとして、前記少なくとも1つの作業機械を停止させることを特徴とする遠隔操作支援システム。
  7. オペレータによる遠隔操作装置の操作に応じて作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
    前記オペレータによる前記遠隔操作装置の操作状態を表す遠隔操作信号を前記作業機械に送信する第1支援処理を実行する第1支援処理要素と、
    前記作業機械の周辺領域に存在しているクライアントのユーザによる操作状態を表す端末操作信号が前記作業機械の停止を要求する前記ユーザの操作状態を表しているときに、前記遠隔操作信号の有無とは無関係に前記作業機械を停止させる第2支援処理を実行する第2支援処理要素と、
    を備え、
    前記クライアントは、当該クライアントの加速度を表す情報である加速度情報を取得する加速度情報取得部と、当該クライアントの角度を表す情報である角度情報を取得する角度情報取得部と、当該クライアントの位置を表す情報である端末位置情報を取得する端末位置情報取得部と、を有し、前記端末操作信号として、前記加速度情報、前記角度情報及び前記端末位置情報を含む信号を送信し、
    前記作業機械は、当該作業機械の位置を表す情報である機械位置情報を取得する機械位置情報取得部を有し、当該機械位置情報を含む機械情報信号を送信し、
    前記第2支援処理要素は、
    前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記作業機械を含む複数の前記作業機械の周辺領域に存在しているか否かを判定する第7判定処理と、
    当該第7判定処理の判定結果が肯定である場合において、前記複数の作業機械から前記機械情報信号を受信したときには、前記端末操作信号及び前記機械情報信号に基づき、前記クライアントの前記加速度が所定状態に変化した時点における前記クライアントの位置と前記複数の作業機械のうちの前記クライアントに最も近い前記作業機械の位置とを基準として、指定エリアを当該時点における前記クライアントの位置から偏向的に延在するエリアとして画定する画定処理と、
    当該時点における前記クライアントが前記指定エリアに向けられているときには、前記端末操作信号が前記クライアントに最も近い前記作業機械の停止を要求する前記ユーザの操作状態を表していると判定し、当該時点における前記クライアントが前記指定エリア外に向けられているときには、前記端末操作信号が前記クライアントに最も近い前記作業機械以外の前記作業機械の停止を要求する前記ユーザの操作状態を表していると判定する第8判定処理と、を実行し、
    前記第2支援処理において、当該第8判定処理の判定結果に基づき、前記端末操作信号が前記クライアントに最も近い前記作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記クライアントに最も近い前記作業機械を停止させ、
    前記端末操作信号が前記クライアントに最も近い前記作業機械以外の前記作業機械の停止を要求する前記ユーザの操作状態を表しているときには、前記クライアントに最も近い前記作業機械以外の前記作業機械を停止させることを特徴とする遠隔操作支援システム。
  8. 請求項4~7のいずれか1項に記載の遠隔操作支援システムにおいて、
    前記遠隔操作装置は、情報を出力する第1出力インターフェースを有しており、
    前記第2支援処理の実行時に前記作業機械が停止されていることを表す前記情報を第1出力インターフェースに出力させる処理が実行されることを特徴とする遠隔操作支援システム。
  9. 請求項4~8のいずれか1項に記載の遠隔操作支援システムにおいて、
    前記第2支援処理要素は、
    前記クライアントから前記端末操作信号を受信した場合、当該クライアントが前記作業機械を含む複数の前記作業機械の周辺領域に存在しているか否かを判定する第1判定処理と、
    当該第1判定処理の判定結果が肯定である場合、前記端末操作信号が前記複数の作業機械の停止を要求する前記ユーザの操作状態を表している否かを判定する第2判定処理と、をさらに実行し、
    当該第2判定処理の判定結果が肯定である場合、前記第2支援処理において、前記複数の作業機械を停止させることを特徴とする遠隔操作支援システム。
  10. 請求項1~9のいずれか1項に記載の遠隔操作支援システムにおいて、
    前記作業機械は、当該作業機械の環境画像を取得する撮像装置を有し、当該撮像装置によって取得された環境画像を送信可能に構成され、
    前記遠隔操作装置は、画像を出力する第2出力インターフェースを有しており、
    前記第2支援処理の実行時に前記撮像装置が取得した前記環境画像を前記第2出力インターフェースに出力させる処理が実行されることを特徴とする遠隔操作支援システム。
JP2020092632A 2020-05-27 2020-05-27 遠隔操作支援システム Active JP7528539B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020092632A JP7528539B2 (ja) 2020-05-27 2020-05-27 遠隔操作支援システム
PCT/JP2021/010460 WO2021240957A1 (ja) 2020-05-27 2021-03-15 遠隔操作支援装置、遠隔操作支援システム及び遠隔操作支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092632A JP7528539B2 (ja) 2020-05-27 2020-05-27 遠隔操作支援システム

Publications (2)

Publication Number Publication Date
JP2021190773A JP2021190773A (ja) 2021-12-13
JP7528539B2 true JP7528539B2 (ja) 2024-08-06

Family

ID=78723303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092632A Active JP7528539B2 (ja) 2020-05-27 2020-05-27 遠隔操作支援システム

Country Status (2)

Country Link
JP (1) JP7528539B2 (ja)
WO (1) WO2021240957A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024201617A1 (ja) * 2023-03-24 2024-10-03 日立建機株式会社 作業機械用情報入力システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315103A (ja) 1999-04-30 2000-11-14 Star Micronics Co Ltd Nc工作機械の管理システム、管理プログラムおよびnc工作機械
JP2004182193A (ja) 2002-12-06 2004-07-02 Calsonic Kansei Corp 車両用遠隔操作装置
JP2006306233A (ja) 2005-04-27 2006-11-09 Nippon Soken Inc 駐車位置調整システム
JP2015180996A (ja) 2014-03-07 2015-10-15 ブラザー工業株式会社 制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315103A (ja) 1999-04-30 2000-11-14 Star Micronics Co Ltd Nc工作機械の管理システム、管理プログラムおよびnc工作機械
JP2004182193A (ja) 2002-12-06 2004-07-02 Calsonic Kansei Corp 車両用遠隔操作装置
JP2006306233A (ja) 2005-04-27 2006-11-09 Nippon Soken Inc 駐車位置調整システム
JP2015180996A (ja) 2014-03-07 2015-10-15 ブラザー工業株式会社 制御装置

Also Published As

Publication number Publication date
JP2021190773A (ja) 2021-12-13
WO2021240957A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2019244574A1 (ja) 掘削機、情報処理装置
JP7420733B2 (ja) 表示制御システムおよび表示制御方法
JP7472578B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7247769B2 (ja) 遠隔操作システム
JP2020117982A (ja) 作業機械
JP7528539B2 (ja) 遠隔操作支援システム
EP4130400B1 (en) Remote operation assistance device and remote operation assistance method
JP7310338B2 (ja) 遠隔操作システムおよび遠隔操作サーバ
WO2021166477A1 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7310637B2 (ja) 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7441733B2 (ja) 実機状態監視システムおよび実機状態監視方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7363560B2 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
JP7516902B2 (ja) 遠隔操作支援装置および遠隔操作支援システム
WO2023189216A1 (ja) 作業支援システム
WO2021106280A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023234025A1 (ja) 遠隔操作支援システムおよび遠隔操作装置
JP7415480B2 (ja) 作業支援サーバおよび作業支援システム
JP7528892B2 (ja) 作業支援システムおよび作業支援複合システム
CN114787453B (zh) 远程操作装置及远程操作系统
JP2022144491A (ja) 撮像機能制御システムおよび撮像機能制御方法
WO2022168383A1 (ja) 遠隔操作支援システムおよび遠隔操作支援方法
JP2024057361A (ja) 作業支援装置および作業支援方法
JP2024057362A (ja) 作業支援システム、遠隔操作支援システム、作業支援方法および表示装置
JP2024068678A (ja) 作業機械及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240708

R150 Certificate of patent or registration of utility model

Ref document number: 7528539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150