JP7476558B2 - 作業機械の遠隔操作支援システム - Google Patents

作業機械の遠隔操作支援システム Download PDF

Info

Publication number
JP7476558B2
JP7476558B2 JP2020023889A JP2020023889A JP7476558B2 JP 7476558 B2 JP7476558 B2 JP 7476558B2 JP 2020023889 A JP2020023889 A JP 2020023889A JP 2020023889 A JP2020023889 A JP 2020023889A JP 7476558 B2 JP7476558 B2 JP 7476558B2
Authority
JP
Japan
Prior art keywords
worker
remote
work machine
remote operation
nearby
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020023889A
Other languages
English (en)
Other versions
JP2021127640A (ja
Inventor
祐介 澤田
均 佐々木
誠司 佐伯
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2020023889A priority Critical patent/JP7476558B2/ja
Priority to PCT/JP2021/000336 priority patent/WO2021161692A1/ja
Publication of JP2021127640A publication Critical patent/JP2021127640A/ja
Application granted granted Critical
Publication of JP7476558B2 publication Critical patent/JP7476558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • General Factory Administration (AREA)

Description

本発明は、作業機械の遠隔操作を支援するシステムに関する。
作業効率の低下を抑制することが可能な建設機械が開示されている（例えば、特許文献１参照）。
特開２０１９－１６７７３３号公報
特許文献１においては、建設機械本体に設けられたスレーブ側装置と、このスレーブ側装置を遠隔操作するマスタ側装置と、が開示されている。
ところで、作業機械で作業を行うのと同時に作業機械の周辺において周辺作業者が作業を行うような工事現場がある。周辺作業者は、例えば、作業機械の周囲に設置されたコーン等の仕切りの外で作業を行う。ここで、作業機械が作業機械と離れた位置いるオペレータにより遠隔操作されている場合には、作業機械に直接オペレータが搭乗している場合と比べて、オペレータによる作業機械の操作性が低いことが懸念される。このため、周辺作業者は、作業機械が遠隔操作されている場合に仕切りに近い場所での作業を避けたり、必要以上に作業機械の動作に注意するようにしたり、などの行動をとる可能性がある。このような行動をとることは周辺作業者の作業性を低下させてしまう。
そこで、本発明は、作業機械の周辺に存在する周辺作業者により作業機械のオペレータに合図を出させるための制御を行うことにより、周辺作業者の作業性を確保するシステムを提供することを目的とする。
係る目的を達成するために、本発明は、
（１）作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援装置において、
前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部と、
前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部と、
前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が特定動作をしていることを報知するため制御を行う特定動作報知制御部と、を有する、
ことを特徴とする遠隔操作支援装置を提供するものである。
環境画像取得部は、前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する。この場合、前記作業機械に備えられたカメラ又はその周辺に設置されたカメラが、前記環境画像を撮像する。
特定動作判定部は、前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する。
また、特定動作とは、前記周辺作業者が前記オペレータに対して行うジェスチャーを含み、自身（前記周辺作業者自身）が、前記作業機械の周辺に存在することを、前記オペレータに対して認識させるために行われる（認識要求をするために行われる）ジェスチャーを含む概念である。
通知制御部は、前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための制御を行う。
本発明により、前記周辺作業者が特定の動作（ジェスチャー）を行うと、前記遠隔操作装置の遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための情報が表示される。
したがって、周辺作業者がオペレータに対して当該周辺作業者の認識を求める際に特定動作を行うことで、当該特定動作が行われたことがオペレータに伝達される。このことはオペレータに周辺作業者の確認を促すことになるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることができる。
（２）本発明において、前記遠隔操作支援装置は、前記遠隔操作装置に含まれる遠隔入力インターフェースに対して指定操作が行われたことに応じて、前記作業機械に含まれる実機出力インターフェースに、前記オペレータが前記周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部と、を有することを特徴とするように構成されることが好ましい。
また、認識報知制御部において、前記オペレータが前記周辺作業者の存在を認識していることに関する情報を、前記作業機械が備える実機出力インターフェースに出力（認識出力）するための処理が行われることが望ましい。
すなわち、前記オペレータによる指定操作があったことに応じて、前記出力インターフェースにより認識出力がなされるように構成されることが望ましい。
当該構成により、オペレータが指定操作を行った場合、実機出力インターフェースに認識出力がなされる。したがって、特定動作を行った周辺作業者自身がオペレータに確実に認識がなされたことを認識することができ、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を確実に回避させることができる。
（３）本発明において、前記特定動作判定部は、前記周辺作業者の少なくとも動きを伴う予め設定した特定動作の有無に基づき前記周辺作業者が特定動作をしているかを判定するように構成されることが好ましい。
当該構成により、予め設定した特定動作を前記周辺作業者自身が行うことを前記周辺作業者が特定動作をしていると定めることが出来る。これにより、前記周辺作業者は、どのような特定動作をすれば、前記オペレータに対して認識要求ができるのかについて予め認識することが可能となる。また、カメラによる画像認識等で捉えられる動作を特定動作として判定するので認識精度の高い判定手段を採用することができる。
（４）本発明において、前記認識報知制御部は、前記遠隔出力インターフェースに含まれる含む認識要求表示部に、前記オペレータに対して前記周辺作業者の存在を認識していることを報知すること促すための情報を表示されるための制御を行うように構成されることが好ましい。
当該構成により、作業機械を遠隔操作するオペレータが視認する画像出力装置に認識要求が表示される。したがって、オペレータに認識要求があることを確実に認識させることができる。
（５）本発明において、前記特定動作判定部は、前記作業機械の周辺に周辺作業者が複数存在している場合に前記周辺作業者が前記特定動作をしているかをそれぞれ判定するように構成されることが好ましい。
当該構成により、作業機械の周辺に存在する複数の周辺作業者それぞれが特定動作をしているかを判定することが可能となる。これにより、複数の周辺作業者のうち特定動作をしていない周辺作業者と特定動作をしている周辺作業者とが同時に存在する場合であっても、オペレータに認識要求があることを確実に認識させることができる。
（６）本発明において、前記認識報知制御部は、前記遠隔出力インターフェースに前記特定動作をしている周辺作業者に関する情報を報知するための制御を行うように構成されることが好ましい。
当該構成により、作業機械の周辺に存在する複数の周辺作業者のうち特定動作をした周辺作業者に関する情報を表示することができる。これにより、オペレータに対して特定動作をした周辺作業者について、特定動作をしていない周辺作業者よりも注意を向けさせることができる。
（７）本発明において、前記認識報知制御部は、前記周辺作業者が有する端末装置の端末出力インターフェースに認識出力をするための制御を行うように構成されることが好ましい。
当該構成により、周辺作業者が有する端末装置に端末出力インターフェースが設けられる。これにより、周辺作業者が有する端末別に認識出力がなされるようにすることで、オペレータが認識出力させたい周辺作業者に向けて認識出力をすることができる。
（８）本発明において、前記遠隔操作装置を用いた遠隔操作支援システムは、前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識していることを含む情報を報知する対象となる前記周辺作業者を選択するために用いられる遠隔入力インターフェースと、前記遠隔入力インターフェースが捜査されたことに応じて、前記オペレータが前記周辺作業者の存在を認識していることを含む情報が出力される実機出力インターフェースと、を有するように構成されることが好ましい。
当該構成により、オペレータは認識出力の対象となる周辺作業者を選択することが可能となる。これにより、例えば、作業機械の周辺に複数の周辺作業者が存在している場合にオペレータが認識出力させたい周辺作業者に向けて認識出力をすることができる。
本発明によれば、作業機械の周囲に存在する周辺作業者が、前記作業機械を遠隔操作しているオペレータに対して認識要求を求める際に所定動作（ジェスチャー）をすることで、遠隔操作装置を操作するオペレータに対して、周辺作業者が作業機械の周辺に存在することについて確認することを促すための通知をする。前記遠隔操作装置に含まれる遠隔出力インターフェースに対して、前記周辺作業者からの認識要求に関する情報が出力されるため、特定動作（ジェスチャー）が行われたことがオペレータに伝達されるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることができる。
本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 本発明の一実施形態としての作業支援装置のブロック図。 本発明の一実施形態としての遠隔操作装置のブロック図。 本発明の一実施形態としての作業機械のブロック図。 本発明の一実施形態としての端末装置のブロック図。 本発明の一実施形態としての遠隔操作装置の図。 本発明の一実施形態としての作業機械の図。 本発明の一実施形態としての作業支援処理を示すフローチャート。
本明細書において、周辺作業者とは、作業機械４０の周辺に存在する者を指す。
本明細書において、遠隔操作とは、オペレータＯＰが、作業機械４０に搭乗せずに、作業機械４０と離れた位置から作業機械４０を操作することを指す。本発明に係る遠隔操作支援システムＳにおいて、オペレータＯＰは、遠隔操作装置２０を使用して、作業機械４０と離れた位置から作業機械４０を操作することができる。なお、作業機械４０については、後述する。
本明細書において、オペレータＯＰとは、作業機械４０の遠隔操作を行う者をいう。
本明細書において、特定動作とは、周辺作業者が、オペレータＯＰに対して、自身（周辺作業者）の存在を認識して欲しいことを要求（認識要求）するための動作を指す。例えば、特定動作とは、周辺作業者が、作業機械４０が有する作業現場撮像装置４３０に向かって、手を振る動作等をいう。勿論、当該動作は、特定動作の一例に過ぎない。
特定動作の他の例として、周辺作業者が顔を動かす動作が挙げられる。例えば、周辺作業者が、眉をひそめる動作等である。
図１に示されている本発明の一実施形態としての遠隔操作支援システムＳは、少なくとも、遠隔操作支援装置１０、遠隔操作装置２０、作業機械４０、端末装置５０及び特定動作データベース６０により構成されている。また、遠隔操作支援システムＳは、必要に応じて、サーバ３０を備えていてもよい。
図２に示すように、遠隔操作支援装置１０は、作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部１１と、環境画像取得部が取得した環境画像に基づいて、周辺作業者が特定動作をしているかを判定する特定動作判定部１２と、特定動作判定部の判定結果が肯定的な場合、遠隔操作装置に含まれる遠隔出力インターフェース２２０に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う通知制御部１３と、を構成要素として備える。
また、遠隔操作支援装置１０は、遠隔操作装置２０に含まれる遠隔入力インターフェース２１０に対して指定操作が行われたことに応じて、作業機械４０に含まれる実機出力インターフェース４２０（図８参照）に、オペレータＯＰが周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部１４を有する。
また、遠隔操作支援装置１０は、作業機械４０の周辺に存在する周辺作業者に関する情報を取得する機能を有する周辺作業者情報取得部１５を備える。
遠隔操作支援装置１０は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
また、環境画像取得部１１は、作業機械４０の周辺に存在する周辺作業者を含む環境画像を取得する機能を有する。環境画像とは、作業機械４０の周辺の作業現場に関する環境を撮像した画像の意味である。
また、環境画像取得部１１は、少なくとも、作業機械４０の周辺の作業現場に関する環境を撮像する作業現場撮像装置４３０が撮像した撮像画像（画像データ）を取得する機能を有する。
また、特定動作判定部１２は、作業機械４０の周辺に存在する周辺作業者が特定動作をしているか否かを判定する機能を有する。
また、特定動作判定部１２は、周辺作業者の少なくとも動きを伴うあらかじめ設定した特定動作の有無に基づき前記周辺作業者が特定動作をしているかを判定する機能を有する。
また、特定動作判定部１２は、作業機械４０の周辺に周辺作業者が複数存在している場合に周辺作業者が特定動作をしているかをそれぞれ判定する機能を有する。
例えば、特定動作判定部１２は、周辺作業者が複数存在する場合に、特定の動作を行った周辺作業者を特定してもよい。この場合、特定した撮像画像上で周辺作業者が含まれていると判定した周辺作業者が含まれている位置それぞれに対して特定の動作がなされたか否かを判定することにより複数の周辺作業者を個別に判定する。
また、特定動作判定部１２は、取得した撮像画像（画像データ）に基づいて、周辺作業者が特定動作を行っている否かを判定する機能を有する。
例えば、特定動作データベース６０に、予め参照画像として、周辺作業者の画像データを記憶させておく。画像データは、例えば、周辺作業者の全身を写した写真や、周辺作業者の写真から輪郭を抽出したもの等である。また、周辺作業者が着用するヘルメット等を参照画像として記憶させてもよい。なお、特定動作データベース６０については、後述する。
そして、作業現場の環境を撮像する作業現場撮像装置４３０が撮像した撮像画像を、特定動作データベース６０が記憶している参照画像に照らして、公知の技術を用いて、画像解析（例えば、撮像画像と、参照画像と、における特徴点の一致度の抽出）を行うことにより、撮像された周辺作業者が、特定動作データベース６０が記憶している参照画像に一致している画像があるか否かを判定する。
ここで、特定動作判定部１２は、前記撮像画像を前記参照画像に照らして、大部分が一致する場合は、撮像画像に周辺作業者が含まれていると判定するように閾値が予め設定されている。ここで、大部分が一致する場合とは、例えば、前記撮像画像が、前記参照画像に７０パーセント以上一致する場合等である。
そして、前記撮像画像を前記参照画像に照らして、大部分が一致する場合、周辺作業者が、前記撮像画像に周辺作業者が含まれていると判定する。
また、周辺作業者情報取得部１５は、作業機械４０の周辺に存在する周辺作業者に関する情報を取得する機能を有する。
また、周辺作業者情報取得部１５は、例えば、撮像画像上で周辺作業者が含まれていると判定した周辺作業者が含まれている位置を特定し、その位置に関する情報を取得する。例えば、撮像画像上における縦方向及び横方向の位置に関する情報を取得する。
また、作業現場撮像装置４３０がステレオカメラである場合、特定動作判定部１２は、ステレオカメラが取得した距離に関する情報（以下、適宜、距離情報という。）に基づいて、周辺作業者が作業機械４０から例えば５メートルの位置にいるという距離情報と合わせて、撮像画像に周辺作業者が含まれているか否かを判定してもよい。勿論、周辺作業者が作業機械４０から例えば５メートルの位置にいるという距離情報は、距離情報の一例に過ぎない。
ステレオカメラが取得した距離情報が過大な場合（周辺作業者が作業機械４０の最大作業半径から更に離れた位置に存在する場合等）は、周辺作業者が作業機械４０の遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する。例えば、周辺作業者が作業機械４０から所定距離（作業機械４０の最大作業半径に余裕を持たせた距離）離れた場所に位置している場合、周辺作業者情報取得部１５は、周辺作業者が遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する。勿論、この例は、周辺作業者情報取得部１５において、周辺作業者が遠方に位置しているので撮像画像に周辺作業者が含まれていないと判定する例の一例に過ぎない。
特定動作判定部１２は、環境画像取得部１１が取得した周辺作業者が特定の動作を行っているかを判定する。特定動作判定部１２は、取得した環境画像に周辺作業者が含まれていると判定し、周辺作業者情報取得部１５が取得した周辺作業者に関する情報に基づいて、周辺作業者の位置を特定した場合に、周辺作業者が特定の動作をしているか否かを判定する。例えば、特定動作判定部１２は、特定した周辺作業者の手足等の動きを認識する公知技術により当該判定を行う。
特定動作判定部１２は、例えば、周辺作業者が所持する端末装置５０（例えば、スマートフォン）に対しての入力動作があるか否かを判定することで、周辺作業者が特定の動作（例えば、周辺作業者が所持するスマートフォンの画面をタッチする動作等）をしているか否かを判定するようにしてもよい。なお、端末装置５０については、後述する。
特定動作判定部１２は、周辺作業者が顔を動かす動作（ジェスチャー）を判定するものでもよい。特定動作判定部１２は、例えば、周辺作業者が作業現場撮像装置４３０のカメラレンズを所定時間以上、注視したか否かに基づいて、周辺作業者が特定の動作を行っているかを判定する。例えば、周辺作業者が作業現場撮像装置４３０のカメラレンズを所定時間（例えば、３秒以上）注視した場合、特定の動作がなされたと判定する。
特定の動作をしているかの判定は、周辺作業者の表情を判定するものでもよい。例えば、特定動作データベース６０に、予め参照画像として、人間が不安を感じている場合の画像データ（眉をひそめている表情等のデータなど）を記憶させておく。そして、作業現場撮像装置４３０が撮像した撮像画像を、特定動作データベース６０が記憶している参照画像に照らして、公知の技術を用いて、画像解析（例えば、撮像画像と、参照画像と、における特徴点の一致度の抽出）を行うことにより、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する。なお、特定動作データベース６０については、後述する。なお、人間が不安を感じている場合の画像データのことを、以下、適宜、不安画像データという。
また、通知制御部１３は、特定動作判定部１２の判定結果が肯定的な場合、遠隔操作装置２０に含まれる遠隔出力インターフェース２２０（例えば、報知装置２２１（右モニタ２２１１、中央モニタ２２１２、左モニタ２２１３）として用いられるモニタ（図６参照））に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う機能を有する。
図３に示すように、遠隔操作装置２０は、遠隔制御装置２００、遠隔入力インターフェース２１０、遠隔出力インターフェース２２０及び遠隔無線通信機器２４０を備えている。なお、各構成要素については、後述する。
遠隔制御装置２００は、少なくとも周辺作業者に対する報知制御が行われたか否かの鑑定結果を取得する機能を有する。また、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
例えば、遠隔制御装置２００は、取得した認識要求に関する情報に基づいて、遠隔出力インターフェース２２０に、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
遠隔入力インターフェース２１０は、実機出力インターフェース４２０に、「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の合図を出力（以下、適宜、認識出力という。）するための操作（以下、適宜、報知操作という。）を受ける機能を有する。勿論、当該合図は、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知（認識出力）するための合図の一例に過ぎない。なお、実機出力インターフェース４２０については、後述する。
例えば、遠隔入力インターフェース２１０は、作業機械４０が備える作業灯４２１を点灯（点滅）させる作業灯スイッチ２１１である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、作業灯スイッチを押すと、作業灯が点灯したり、点滅したりする。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
作業灯４２１が灯されることは作業機械４０における通常作業においてもなされることである。従って、周辺作業者に対してより確実にオペレータＯＰにより存在が認識されたことを通知するために、作業灯４２１における通常の灯り方（例えば、点灯し続ける等）と異なる灯り方（例えば、０．５秒おきに点滅する等）をさせることが望ましい。
また、作業機械４０に作業灯４２１が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯（点滅）の有無が決定されてもよい。例えば、左方を照らす作業灯４２１と右方を照らす作業灯４２１とがあり、対象作業者が作業機械４０の右側に存在している場合には、右方を照らす作業灯４２１のみが点灯（点滅）されるようにしてもよい。
また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備え旋回時に灯らせる旋回フラッシャ４２２を点灯（点滅）させる旋回フラッシャスイッチ２１２である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、旋回フラッシャスイッチを押すと、旋回フラッシャ４２２が点灯する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備え旋回時に灯らせる旋回フラッシャ４２２を点灯（点滅）させる旋回フラッシャスイッチ２１２である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、旋回フラッシャスイッチを押すと、旋回フラッシャ４２２が点灯する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。
旋回フラッシャが灯されることは作業機械４０における通常作業においてもなされることである。従って、周辺作業者に対してより確実にオペレータＯＰにより存在が認識されたことを通知するために、旋回フラッシャ４２２における通常の灯り方（例えば、１秒おきに点滅する等）と異なる灯り方（例えば、０．５秒おきに点滅する等）をさせることが望ましい。
また、作業機械４０に旋回フラッシャ４２２が複数設けられる場合、対象作業者と作業機械４０との位置関係により、点灯（点滅）の有無が決定されてもよい。例えば、左方を照らす旋回フラッシャ４２２Lと右方を照らす旋回フラッシャ４２２Rとがあり、対象作業者が作業機械４０の右側に存在している場合には、右方を照らす旋回フラッシャ４２２Rのみが点灯（点滅）されるようにしてもよい。
また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部モニタ４２３にテキストメッセージを表示させる外部モニタスイッチ２１３である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、外部モニタスイッチ２１３を押すと、外部モニタ４２３に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを出力する。これにより、認識要求をした周辺作業者は、自身（認識要求をした周辺作業者）の存在が、オペレータＯＰに認識されたことを知ることができる。勿論、当該テキストメッセージは、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知するためのメッセージの一例に過ぎない。
また、例えば、遠隔入力インターフェース２１０は、作業機械４０が備える外部スピーカー４２４から音声案内を流すスピーカースイッチ２１４である。この場合、認識要求をした周辺作業者の存在を認識したオペレータＯＰが、スピーカースイッチ２１４を押すと、スピーカーから「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の音声案内を出力する。これにより、認識要求をした周辺作業者は、自身の存在が、オペレータＯＰに認識されたことを知ることができる。勿論、当該音声案内は、オペレータＯＰが、認識要求をした周辺作業者の存在を認識していることを報知するための音声案内の一例に過ぎない。
また、各スイッチは、例えば、プッシュ型の押しボタンであり、各ボタンを押すと作業灯が点灯（点滅）したり、旋回フラッシャが点灯（点滅）したり、作業機械４０が備える外部モニタにテキストメッセージが表示されたり、作業機械４０が備えるスピーカー（不示図）から音声案内が流れたりする。勿論、当該スイッチの構成は、遠隔入力インターフェース２１０の一例に過ぎない。例えば、報知装置２２１がタッチパネル機能を有する場合、オペレータＯＰが、報知装置２２１の画面をタッチすることにより、実機出力インターフェース４２０に「オペレータＯＰは、あなた（認識要求をした周辺作業者）に気づいています。」という旨の合図が出力される構成としてもよい。
報知操作検知部２１００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
また、報知操作検知部２１００は、周辺作業者情報取得部１５により周辺作業者が特定動作をしていることが検出された場合に、遠隔操作装置２０に搭載され操作を受ける機能を有する。また、報知操作検知部２１００は、オペレータＯＰによる操作を検知する機能を有する。
また、報知操作検知部２１００は、実機出力インターフェース４２０により認識出力がなされる対象の周辺作業者を対象作業者として自動選択可能であり、当該選択により選択された対象の周辺作業者に対して認識出力がなされるための機能を有する。例えば、周辺作業者が複数存在する場合において、特定動作をした作業者としていない作業者が同時に存在することが想定される。報知操作検知部２１００は、各周辺作業者が特定の動作をしているか否かを判定する。そして、特定動作をした周辺作業者を対象作業者として自動選択する。報知操作検知部２１００が対象作業者を自動選択した場合に、対象作業者として設定した周辺作業者の報知装置２２１に表示される画像を強調表示（例：カーソルを重畳表示させる）させてもよい。そして、設定された対象作業者と作業機械４０との位置関係が認識される。例えば、対象作業者が作業機械４０の右側に存在している場合には、右側が認識される。
例えば、報知操作検知部２１００は、遠隔操作装置２０に搭載され、オペレータＯＰが作業灯スイッチ２１１を押す操作に関する電気信号を受ける。また、報知操作検知部２１００は、当該電気信号を受けることにより、オペレータＯＰが作業灯スイッチ２１１を押したことを検知する。報知操作検知部２１００によりオペレータＯＰによる操作が検出されない場合には、オペレータＯＰによる操作を検知するまで、周辺作業者が特定動作をしていることを遠隔出力インターフェース２２０に繰り返し出力することで確実に作業機械のオペレータＯＰに合図を出させるようにする。
例えば、周辺作業者が複数存在する場合、報知操作検知部２１００は、作業灯４２１による点滅出力がなされる対象の周辺作業者を選択可能であり、当該選択により選択された対象の周辺作業者に対して、作業灯４２１を点滅させる。
勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の作動機構（例えば、ブーム、アーム、バケット等）を作動させる作動レバーを有していてもよい。
勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０を走行させる走行レバーを有していてもよい。
勿論、遠隔入力インターフェース２１０は、操作機構として、作業機械４０の上部旋回体を旋回させる旋回レバーを有していてもよい。
遠隔出力インターフェース２２０は、少なくとも、報知装置２２１により構成される。また、報知装置２２１は、認識要求表示部２２１４を有し、当該認識要求表示部２２１４により認識要求が報知される機能を有する。
また、遠隔出力インターフェース２２０は、報知装置２２１に特定動作をしている周辺作業者に関する情報を報知する機能を有する。
認識要求表示部２２１４は、周辺作業者情報取得部１５による判定結果が肯定的な場合に、遠隔操作装置２０の遠隔出力インターフェース２２０に対して認識要求を出力する機能を有する。
図７に示されているように、例えば、報知装置２２１は、シートＳｔの右斜め前方、前方及び左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２及び左斜め前方画像出力装置２２１３により構成された液晶モニタである。当該画像出力装置２２１１～２２１３は、スピーカー（音声出力装置）（不示図）を備えていてもよい。
この場合、液晶モニタは、周辺作業者が特定動作を行ったことに起因する認識要求を表示する。例えば、当該表示は、前方画像出力装置２２１２に表示される。
また、この場合、前方画像出力装置２２１２は、当該表示と同時に通知音を鳴らしてもよい。例えば、前方画像出力装置２２１２は、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のテキストメッセージを表示する。
また、前方画像出力装置２２１２が備えるスピーカーを用いて、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のメッセージを音声案内してもよい。勿論、当該スピーカーは、オペレータＯＰに対して、周辺作業者の存在に気づいていることを当該周辺作業者に報知させるための報知を行うのであれば、警告音を出力してもよい。
当該テキストメッセージは、オペレータＯＰに対して、周辺作業者の存在を認識していることを当該周辺作業者に報知させるための報知に用いるメッセージの一例に過ぎない。
また、報知装置２２１をスピーカーとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨のメッセージを音声案内するだけの構成にしてもよい。
また、報知装置２２１をスピーカーとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨の報知音（警告音）を出力するだけの構成にしてもよい。
なお、オペレータＯＰが、周辺作業者からの認識要求に対して応答しない場合、当該音声案内及び報知音の音量が次第に大きくなる構成にしてもよい。
また、報知装置２２１をシートＳｔとして、「認識要求をしている周辺作業者がいます。あなた（オペレータＯＰ）が周辺作業者の存在を認識したことを、この周辺作業者に知らせてください」という趣旨の振動を伝える構成にしてもよい。なお、この場合、シートＳｔは、振動モーター（不示図）を備える。
また、報知装置２２１を画像出力装置とする場合、当該画像出力装置は、例えば、画像出力装置上で特定の動作を行った周辺作業者を強調して表示する。この場合、例えば、周辺作業者を○で囲って表示する。特定の動作を行った周辺作業者が複数存在する場合にはそれぞれ個別に表示する。
このような認識要求により特定の動作が行われたことがオペレータＯＰに伝達される。このことはオペレータＯＰに周辺作業者の確認を促すことになるので、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を回避させることにつながる。
さらに、特定の動作が行われたことがオペレータＯＰに伝達された場合に、オペレータＯＰにより操作を受けることにより周辺作業者に対する報知を行う機能を本システムでは有している。
遠隔撮像装置２３０は、例えば、遠隔操作装置２０の内部に設置され、オペレータＯＰの周囲を含む環境を撮像する。勿論、遠隔撮像装置２３０は、遠隔操作装置２０の外部から、オペレータＯＰを撮像する構成としてもよい。
また、遠隔撮像装置２３０は、撮像したオペレータＯＰの画像を、端末装置５０に送信する機能を有する。なお、端末装置５０については、後述する。
これにより、例えば、周辺作業者の有する端末装置５０がスマートフォンである場合、オペレータＯＰと周辺作業者と、が互いの様子を見ながら、後述する遠隔無線通信機器２４０を用いて、会話をすることができる。
遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
遠隔無線通信機器２４０は、オペレータＯＰにより、報知操作がなされたかを判定結果を取得し、当該判定が肯定的である場合、認識要求をした周辺作業者に、オペレータＯＰが、自身（認識要求をした周辺作業者）を認識していることを報知するための報知信号を送信（以下、適宜、報知制御という。）する。
例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯点灯（点滅）スイッチを押した場合、遠隔無線通信機器２４０は、作業灯を点灯（点滅）させるための信号を、ネットワークを介して作業機械４０（実機無線通信機器４４０）へ送信し、作業機械４０の作業灯を点灯（点滅）させる。なお、実機無線通信機器４４０については、後述する。
勿論、遠隔無線通信機器２４０が送信する信号は、旋回フラッシャを点灯（点滅）させるための信号でもよい。
勿論、遠隔無線通信機器２４０が送信する信号は、作業機械４０が備える外部モニタに「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」という内容のテキストメッセージを表示するための信号でもよい。
また、遠隔無線通信機器２４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。
この場合、遠隔無線通信機器２４０は、周辺作業者が有する端末装置５０に内蔵される。例えば、周辺作業者が有する端末装置５０とは、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ等である。なお、端末装置５０については、後述する。
これにより、オペレータＯＰがメッセージ送信スイッチを押した場合、周辺作業者が有する端末装置５０に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージが表示され、周辺作業者は、オペレータＯＰが当該周辺作業者自身の存在を認識していることを認識することができる。
図５に示すように、作業機械４０は、少なくとも、実機制御装置４００、実機入力インターフェース４１０、実機出力インターフェース４２０、作業現場の環境を撮像する作業現場撮像装置４３０及び実機無線通信機器４４０を備えている。なお、作業機械４０は、ブームと、アームと、先端アタッチメントと、から構成される作動機構（作業アタッチメント）等を備えていてもよい。
作業機械４０とは、作業現場において稼働可能な作業車両をいう。作業機械４０は、土砂を押土又は掘削を実施可能な建設機械を含む。建設機械は、バケットを有する油圧ショベル及びブレードを有するブルドーザの少なくとも一方を含む。なお、建設機械は、解体機、クレーン、ホイールローダ、モータグレーダでもよい。
実機制御装置４００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
例えば、実機制御装置４００は、当該演算処理を行い、少なくとも、作業機械４０が有する実機出力インターフェース４２０に関する制御を行う。
この報知制御により、オペレータＯＰは、自身が周辺作業者の存在を認識していることを、当該周辺作業者に報知することができる。すると、特定の動作を行った周辺作業者自身がオペレータＯＰに確実に認識がなされたことを認識することができ、作業機械が遠隔操作されていることに起因する周辺作業者の作業性を低下させる行動を確実に回避させることができる。
実機入力インターフェース４１０は、実機操作機構４１１から構成される。
実機操作機構４１１は、作業機械が有する運転室の内部に配置された運転室内シート（不示図）の周囲に遠隔操作機構と同様に配置された複数の実機操作スイッチ（不図示）を備えている。各操作スイッチの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作スイッチ（不図示）を動かす駆動機構、又はロボットが、運転室に設けられている。
実機出力インターフェース４２０は、作業灯４２１、旋回フラッシャ４２２、外部モニタ４２３、外部スピーカー４２４等が用いられる。これらの実機出力インターフェース４２０は、周辺作業者から認識要求を受けたオペレータＯＰが、自身（当該周辺作業者から認識要求を受けたオペレータＯＰ）が当該周辺作業者の存在を認識していることを、当該周辺作業者に報知するために用いられる。
作業現場撮像装置４３０は、例えば、作業機械４０の内部に設置され、作業機械４０の周囲を含む環境を撮像する。勿論、作業現場撮像装置４３０は、作業機械における運転室の外部に備えられてもよい。
また、作業現場撮像装置４３０は、公知の技術を用いて、視線を検出する機能を有する。また、作業現場撮像装置４３０は、作業現場撮像装置４３０に内蔵されるタイマーを用いて、作業現場撮像装置４３０のカメラレンズが注視された時間を検出する機能を有する。
例えば、周辺作業者が、認識要求をするために作業現場撮像装置４３０のカメラレンズを注視した場合、作業現場撮像装置４３０は、当該周辺作業者の視線を検出することができる。また、作業現場撮像装置４３０は、作業現場撮像装置４３０に内蔵されるタイマーを用いて、例えば、作業現場撮像装置４３０のカメラレンズが注視された時間が所定時間以上（例えば、３秒以上）であったことを検出する
また、作業現場撮像装置４３０がステレオカメラである場合、当該ステレオカメラは、撮像した撮像画像と共に、作業機械４０から周辺作業者までの距離に関する情報（以下、適宜、距離情報という。）を遠隔操作装置２０に送信する機能を有してもよい。
実機無線通信機器４４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、作業機械４０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯スイッチ２１１を押した場合、実機無線通信機器４４０は、作業灯を点灯（点滅）させるための信号を、ネットワークを介して受信して、作業灯４２１を点灯（点滅）させる。
勿論、実機無線通信機器４４０が受信する信号は、旋回フラッシャ４２２を点灯（点滅）させるための信号でもよい。
勿論、実機無線通信機器４４０が受信する信号は、作業機械４０が備える外部モニタ４２３に「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージを表示するための信号でもよい。
また、実機無線通信機器４４０は、作業機械４０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。
この場合、端末無線通信機器５４０が、周辺作業者が有する端末装置５０に内蔵される。例えば、周辺作業者が有する端末装置５０とは、ウェアラブル端末装置等である。なお、端末装置５０については、後述する。
これにより、オペレータＯＰがメッセージ送信スイッチを押した場合、周辺作業者が有する端末装置５０に、例えば、「オペレータＯＰは、あなた（認識要求をした周辺作業者）の存在を認識しています。」というテキストメッセージを表示され、周辺作業者は、オペレータＯＰが当該周辺作業者自身の存在を認識していることを認識することができる。
図５に示すように、端末装置５０は、端末制御装置５００、端末入力インターフェース５１０、端末出力インターフェース５２０、端末撮像装置５３０及び端末無線通信機器５４０を備える。
端末装置５０とは、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行するために用いられる装置である。例えば、端末装置５０は、ウェアラブル端末装置、ノートパソコン、タブレット端末装置、スマートフォン、スマートウォッチ、ヘッドマウントディスプレイである。
端末制御装置５００は、遠隔制御装置２００は、演算処理装置（シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア）により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
例えば、端末制御装置５００は、取得した報知操作に関する情報に基づいて、端末装置５０が有するディスプレイに、「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示するための制御を行う。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
端末入力インターフェース５１０は、周辺作業者からオペレータＯＰに対する認識要求を入力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、周辺作業者が当該ディスプレイをタッチすることにより、認識要求が入力される。勿論、端末装置５０がスマートフォンであり、マイクを有する場合、周辺作業者が、オペレータＯＰに対して自身（当該周辺作業者）の存在を認識して欲しい旨を音声入力することにより、認識要求が入力される構成としてもよい。
端末出力インターフェース５２０は、オペレータＯＰから周辺作業者に対する報知制御を出力するために用いられる。例えば、端末装置５０がスマートフォンであり、タッチパネル式のディスプレイを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該ディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する。
勿論、端末装置５０がスマートフォンであり、スピーカーを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該スピーカーから「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨の音声案内が出力される構成としてもよい。
勿論、端末装置５０がスマートフォンであり、振動モーターを有する場合、オペレータＯＰが遠隔入力インターフェース２１０を操作すると、当該振動モーターが振動し、「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という合図を意味する振動が出力される構成としてもよい。すなわち、いわゆるバイブレーション機能により、報知制御が行われてもよい。
端末撮像装置５３０は、少なくとも周辺作業者を撮像する機能を有する。周辺作業者が認識要求をした場合、端末撮像装置５３０が、当該周辺作業者を撮像しているのであれば、当該周辺作業者の画像を遠隔出力インターフェース２２０に出力してもよい。これにより、オペレータＯＰは、実際に認識要求をしている周辺作業者の様子を見ながら、遠隔入力インターフェース２１０を操作することができる。
端末無線通信機器５４０は、端末装置５０と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、端末装置５０と、遠隔操作装置２０と、が互いに無線通信を実行する機能を有する。
例えば、周辺作業者の存在に気付いたオペレータＯＰが、作業灯スイッチ２１１を押した場合、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）のディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する／させるための信号を、ネットワークを介して受信して、当該ディスプレイに「自身（オペレータＯＰ）は、あなた（認識要求をした周辺作業者）の存在を認識しています。」という旨のテキストメッセージを表示する。勿論、当該テキストメッセージは、テキストメッセージの一例に過ぎない。
勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）のスピーカーから音声案内を出力させるための信号でもよい。
勿論、端末無線通信機器５４０が受信する信号は、端末装置５０（例えば、スマートフォン）が備える振動モーターを振動させるための信号でもよい。これにより、周辺作業者は、オペレータＯＰが、自身（認識要求をした周辺作業者）の存在を認識していることを認識することができる。
また、端末無線通信機器５４０は、端末装置５０（例えば、スマートフォン）と、遠隔操作装置２０と、の通信が確立された状態において、公知の技術を用いて、周辺作業者と、オペレータＯＰと、が互いに無線通信を実行する機能を有してもよい。これにより、周辺作業者と、オペレータＯＰと、が互いの様子を見ながら会話をすることができる。
図１に示した特定動作データベース６０は、予め参照画像として、人間の画像データ（眉をひそめている表情等のデータ）を記憶させておくことができる記憶装置である。例えば、記憶装置は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、記憶装置は、ＳＤ（登録商標）メモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌメモリカード）、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
例えば、特定動作データベース６０がＨＤＤである場合、当該ＨＤＤは、周辺作業者の不安画像を記憶する。
当該構成の遠隔操作支援装置１０及び遠隔操作支援システムＳの機能について、図９に示されているフローチャートを用いて、説明する。
ＳＴＥＰ１において、環境画像取得部１１は、作業機械４０の周辺に存在する周辺作業者を含む環境画像を取得する。勿論、これと併せて、周辺作業者情報取得部１５が、周辺作業者に関する情報を取得してもよい。
ＳＴＥＰ２において、特定動作判定部１２は、周辺作業者が特定動作をしているか否かを判定する。
ＳＴＥＰ３（ＳＴＥＰ２においてＹＥＳと判定された場合）において、通知制御部１３は、遠隔操作装置２０の遠隔出力インターフェース２２０に、周辺作業者が作業機械４０の周辺に存在することについて確認することを通知するための制御を行う。なお、ＳＴＥＰ２においてＮｏと判定された場合は、ＳＴＥＰ１に戻る。
ＳＴＥＰ４において、認識報知制御部１４は、遠隔操作装置２０に含まれる遠隔入力インターフェース（報知操作検知部２１００）に対して指定操作が行われたか否かを判定する。
ＳＴＥＰ５（ＳＴＥＰ４においてＹＥＳと判定された場合）において、認識報知制御部１４は、作業機械４０に含まれる実機出力インターフェース４２０に、オペレータＯＰが周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う。なお、ＳＴＥＰ５においてＮｏと判定された場合は、ＳＴＥＰ３に戻る。
（本発明の他の実施形態）
本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、遠隔操作装置２０に設けられてもよい。
本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、サーバ３０に設けられてもよい。
本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、作業機械４０に設けられてもよい。
本発明の実施形態として、遠隔操作支援装置１０が独立して存在する例を示したが、遠隔操作支援装置１０は、端末装置５０に設けられてもよい。
本発明の実施形態として、遠隔制御装置２００が遠隔操作装置２０に存在する例を示したが、遠隔制御装置２００は、サーバ３０に設けられてもよい。
本発明の実施形態として、実機制御装置４００が作業機械４０に存在する例を示したが、実機制御装置４００は、サーバ３０に設けられてもよい。
本発明の実施形態として、端末制御装置５００が端末装置５０に存在する例を示したが、端末制御装置５００は、サーバ３０に設けられてもよい。
本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、遠隔操作装置２０に設けられてもよい。
本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、サーバ３０に設けられてもよい。
本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、作業機械４０に設けられてもよい。
本発明の実施形態として、特定動作データベース６０が独立して存在する例を示したが、特定動作データベース６０は、端末装置５０に設けられてもよい。
当該実施形態において、データベースとして特定動作データベース６０が用いられる例を示したが、そのような例に限定されない。例えば、データベースとして安心画像データベースが用いられる例が挙げられる。
例えば、この場合、予め安心画像データベースに、参照画像として、安心画像(例えば、周辺作業者が笑っている顔の画像データ)を記憶しておく。そして、遠隔操作支援装置１０は、作業現場撮像装置４３０が撮像した周辺作業者の顔写真に関する画像データを、安心画像データベースに照らして、当該撮像された画像データに近似する画像データが安心画像データベースに記憶されていなければ、当該周辺作業者は、不安を感じていると判定する例が挙げられる。
当該実施形態において、遠隔操作支援装置１０は、取得した周辺作業者の表情に関する情報に基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例を示したが、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例は、これに限定されない。
例えば、遠隔操作支援装置１０は、取得した周辺作業者の顔の向きに関する情報に基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例が挙げられる。例えば、遠隔操作支援装置１０において、公知の技術（顔画像検出センサ）を用いて、周辺作業者が作業現場撮像装置４３０の存在する方向に顔の方向が向いていたか否かに基づいて、周辺作業者が、遠隔操作されている作業機械４０に対して不安を感じているか否かを判定する例が挙げられる。
１０ 遠隔操作支援装置
１１ 環境画像取得部
１２ 特定動作判定部
１３ 通知制御部
１４ 認識報知制御部
１５ 周辺作業者情報取得部
２０ 遠隔操作装置
３０ サーバ
４０ 作業機械
５０ 端末装置
６０ 特定動作データベース
２００ 遠隔制御装置
２１０ 遠隔入力インターフェース
２２０ 遠隔出力インターフェース
２３０ 遠隔撮像装置
２４０ 遠隔無線通信機器
４００ 実機制御装置
４１０ 実機入力インターフェース
４２０ 実機出力インターフェース
４３０ 作業現場撮像装置
４４０ 実機無線通信機器
５００ 端末制御装置
５１０ 端末入力インターフェース
５２０ 端末出力インターフェース
５３０ 端末撮像装置
５４０ 端末無線通信機器

Claims (8)

  1. 作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援システムにおいて、
    前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部と、
    前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部と、
    前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための制御を行う通知制御部と、
    前記遠隔操作装置に含まれる遠隔入力インターフェースに対して指定操作が行われたことに応じて、前記作業機械に含まれる実機出力インターフェースに、前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部と、を有する、
    ことを特徴とする遠隔操作支援システム。
  2. 請求項１に記載の遠隔操作支援システムにおいて、
    前記特定動作判定部は、前記周辺作業者の少なくとも動きを伴う予め設定した特定動作の有無に基づき前記周辺作業者が特定動作をしているかを判定する、
    ことを特徴とする遠隔操作支援システム。
  3. 請求項１に記載の遠隔操作支援システムにおいて、
    前記認識報知制御部は、前記遠隔出力インターフェースに含まれる認識要求表示部に、前記作業機械を遠隔操作するオペレータに対して前記周辺作業者の存在を認識していることを報知すること促すための情報を表示されるための制御を行う、
    ことを特徴とする遠隔操作支援システム。
  4. 請求項１から３のいずれか１項に記載の遠隔操作支援システムにおいて、
    前記特定動作判定部は、前記作業機械の周辺に周辺作業者が複数存在している場合に前記周辺作業者が前記特定動作をしているかをそれぞれ判定する、
    ことを特徴とする遠隔操作支援システム。
  5. 請求項１に記載の遠隔操作支援システムにおいて、
    前記認識報知制御部は、前記遠隔出力インターフェースに前記特定動作をしている周辺作業者に関する情報を報知するための制御を行う、
    ことを特徴とする遠隔操作支援システム。
  6. 請求項１に記載の遠隔操作支援システムにおいて、
    前記認識報知制御部は、前記周辺作業者が有する端末装置の端末出力インターフェースに認識出力をするための処理を行う、
    ことを特徴とする遠隔操作支援システム。
  7. 請求項１から６のいずれか１項に記載の遠隔操作支援装置を用いた遠隔操作支援システムであって、
    前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識していることを含む情報を報知する対象となる前記周辺作業者を選択するために用いられる遠隔入力インターフェースと、
    前記遠隔入力インターフェースが操作されたことに応じて、前記オペレータが前記周辺作業者の存在を認識していることを含む情報が出力される実機出力インターフェースと、
    を有する、
    ことを特徴とする遠隔操作支援システム。
  8. 作業機械を遠隔操作する遠隔操作装置を有する遠隔操作支援装置において、
    前記作業機械の周辺に存在する周辺作業者を含む環境画像を取得する環境画像取得部と、
    前記環境画像取得部が取得した環境画像に基づいて、前記周辺作業者が特定動作をしているかを判定する特定動作判定部と、
    前記特定動作判定部の判定結果が肯定的な場合、前記遠隔操作装置に含まれる遠隔出力インターフェースに、前記周辺作業者が前記作業機械の周辺に存在することについて確認することを通知するための制御を行う通知制御部と、
    前記遠隔操作装置に含まれる遠隔入力インターフェースに対して指定操作が行われたことに応じて、前記作業機械に含まれる実機出力インターフェースに、前記作業機械を遠隔操作するオペレータが前記周辺作業者の存在を認識したことを報知するための情報を出力するための制御を行う認識報知制御部と、を有する、
    ことを特徴とする遠隔操作支援装置。

JP2020023889A 2020-02-15 2020-02-15 作業機械の遠隔操作支援システム Active JP7476558B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020023889A JP7476558B2 (ja) 2020-02-15 2020-02-15 作業機械の遠隔操作支援システム
PCT/JP2021/000336 WO2021161692A1 (ja) 2020-02-15 2021-01-07 作業機械の遠隔操作支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020023889A JP7476558B2 (ja) 2020-02-15 2020-02-15 作業機械の遠隔操作支援システム

Publications (2)

Publication Number Publication Date
JP2021127640A JP2021127640A (ja) 2021-09-02
JP7476558B2 true JP7476558B2 (ja) 2024-05-01

Family

ID=77292293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020023889A Active JP7476558B2 (ja) 2020-02-15 2020-02-15 作業機械の遠隔操作支援システム

Country Status (2)

Country Link
JP (1) JP7476558B2 (ja)
WO (1) WO2021161692A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018111981A (ja) 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
JP6427597B2 (ja) 2015-04-28 2018-11-21 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
WO2019111859A1 (ja) 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019187660A1 (ja) 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6427597B2 (ja) 2015-04-28 2018-11-21 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2017102604A (ja) 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
WO2018008504A1 (ja) 2016-07-04 2018-01-11 住友建機株式会社 ショベル
JP2018111981A (ja) 2017-01-11 2018-07-19 住友建機株式会社 作業機械用周辺監視システム
WO2019111859A1 (ja) 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019187660A1 (ja) 2018-03-29 2019-10-03 コベルコ建機株式会社 作業機械の遠隔操作システム

Also Published As

Publication number Publication date
JP2021127640A (ja) 2021-09-02
WO2021161692A1 (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
RU2677566C1 (ru) Способ, устройство и электронное оборудование для управления виртуальной реальностью
US7340399B2 (en) System and method for eye tracking controlled speech processing
US6985085B1 (en) Safety view blind finder for a crane
US10514755B2 (en) Glasses-type terminal and control method therefor
JP2016031761A (ja) 眼鏡型端末
JP2019156298A (ja) 車両遠隔操作装置及び車両遠隔操作方法
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
EP3346368B1 (en) Device, method and system for control of a target apparatus
JP2019144756A (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
EP3985486B1 (en) Glasses-type terminal
JP2013210925A (ja) 監視装置
JP7476558B2 (ja) 作業機械の遠隔操作支援システム
JP2017167991A (ja) ヘッドマウント装置、プログラム及び作業支援システム
WO2021161693A1 (ja) 遠隔操作支援装置および遠隔操作方法ならびに遠隔操作支援システム
JP7171208B2 (ja) 建設機械の作業支援装置
EP3213287A1 (en) Controlling the output of information using a computing device
JP6850153B2 (ja) 通報支援システム、携帯端末およびプログラム
JP2019086916A (ja) 作業支援装置、作業支援方法、作業支援プログラム
JP6982656B2 (ja) 眼で操作するアイポインティングシステム
CN113903146A (zh) 求救方法、电子设备及计算机可读存储介质
JP5907034B2 (ja) 作業補助システムおよびプログラム
JPH11345073A (ja) 携帯情報端末操作システム
JP7333460B2 (ja) 情報表示装置
JP7154501B2 (ja) 作業補助装置、表示装置、作業補助システム、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150