JP2024062176A - 作業機の遠隔操作支援システム、遠隔装置 - Google Patents

Abstract

【課題】作業機と対象物との位置関係をオペレータに容易に把握させること。【解決手段】作業機の遠隔操作支援システムは、センシング装置と、前記センシング装置がセンシングしたセンシング情報を表示する表示装置及び当該表示装置を制御する制御装置を有する遠隔装置と、を備え、前記制御装置は、前記作業機の周辺と当該周辺の注意領域とを示すセンシングマップを前記表示装置に表示させ、且つ前記センシング情報に前記作業機の周辺にある対象物が含まれている場合に、前記対象物の位置を示す対象物オブジェクトを前記センシングマップに表示させる。【選択図】図１

Description

本発明は、走行可能な作業機の遠隔操作を支援する作業機の遠隔操作支援システム及び遠隔装置に関する。

例えば特許文献１には、オペレータが車両を遠隔指示するための車両遠隔指示システムが開示されている。この車両遠隔指示システムは、車両を遠隔指示するオペレータに情報を表示する表示部と、当該表示部に接続される画像表示装置と、車両の外部環境の情報を検出する外部センサと、車両の走行状況を検出する内部センサと、を含んでいる。外部センサ及び内部センサは、車両に設けられている。画像表示装置は、内部センサにより第１時刻に検出されたデータに基づいて、第１時刻から所定時間経過した第２時刻の車両の位置を決定し、外部センサにより第１時刻に検出されたデータに基づいて、車両の周辺を示す監視画像を表示部に表示させ、第２時刻の車両の位置を示すオブジェクトを監視画像上の対応する位置に重畳表示させる。

特開２０２１－１８７４４号公報

特許文献１のように、所定時間後の車両の位置を重畳させた監視画像を表示部に表示させた場合、オペレータは監視画像を見ても、対象物が車両に対して危険な位置にあるか否かを判断し難い。

本発明は、上記問題に鑑み、オペレータに作業機と対象物との位置関係を容易に把握させることを目的とする。

上記技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。

本発明の作業機の遠隔操作支援システムは、センシング装置と、前記センシング装置がセンシングしたセンシング情報を表示する表示装置及び当該表示装置を制御する制御装置を有する遠隔装置と、を備え、前記制御装置は、前記作業機の周辺と当該周辺の注意領域とを示すセンシングマップを前記表示装置に表示させ、且つ前記センシング情報に前記作業機の周辺にある対象物が含まれている場合に、前記対象物の位置を示す対象物オブジェクトを前記センシングマップに表示させる。また、前記遠隔装置は、本発明の遠隔装置を構成する。

本発明の一態様では、前記制御装置は、前記注意領域として、所定の前記対象物がある場合に前記作業機が緊急停止する緊急停止領域及び前記作業機への所定の前記対象物の接近を警告する警告領域を前記センシングマップに表示させ、前記対象物オブジェクトが前記緊急停止領域、前記警告領域、或いは前記緊急停止領域及び前記警告領域の外側のいずれにあるかに応じて、前記対象物オブジェクトの表示形態を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記緊急停止領域及び前記警告領域の外側にある前記対象物オブジェクトの表示よりも、前記警告領域にある前記対象物オブジェ
クトの表示を強調させ、前記警告領域にある前記対象物オブジェクトの表示よりも、前記緊急停止領域にある前記対象物オブジェクトの表示を強調させてもよい。

また、本発明の一態様では、前記センシング装置は、前記作業機に複数設けられ、前記作業機の前方、後方、左方、及び右方にある前記対象物を検出する複数の対象物センサを含み、前記制御装置は、前記対象物を検出した少なくともいずれかの前記対象物センサの検出領域を前記センシングマップに表示させてもよい。

また、本発明の一態様では、前記作業機の遠隔操作支援システムにおいて、前記作業機の状態を検出する検出装置を備え、前記制御装置は、前記検出装置により検出された前記作業機の走行速度に応じて、前記注意領域の表示形態を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記作業機に連結された作業装置の仕様に応じて、前記注意領域の表示形態を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記検出装置により検出された前記作業機の走行方向にある前記注意領域を前記センシングマップに表示させてもよい。

また、本発明の一態様では、前記制御装置は、前記検出装置により検出された前記作業機の操舵角に応じて、前記注意領域の表示位置を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記検出装置により検出された前記作業機の走行方向及び走行速度に基づいて、所定時間後の前記作業機の位置を推定し、当該推定した所定時間後の前記作業機の位置を示す推定作業機オブジェクトと、前記作業機の現在位置を示す実作業機オブジェクトとを前記センシングマップに表示させてもよい。

また、本発明の一態様では、前記センシング装置は、前記作業機の周辺を撮像する撮像装置を含み、前記制御装置は、前記撮像装置の撮像画像と前記センシングマップとを前記表示装置により画面に表示させてもよい。

また、本発明の一態様では、前記撮像装置は、前記作業機の前方、後方、左方、及び右方をそれぞれ撮像するために前記作業機に複数設けられたカメラを含み、前記制御装置は、複数の前記カメラによりそれぞれ撮像された複数の撮像画像と、当該複数の撮像画像を合成して得た前記作業機の周辺の俯瞰状態を示す合成後の撮像画像とのうちの少なくともいずれかを、前記表示装置に表示させてもよい。

また、本発明の一態様では、前記撮像装置は、前記作業機に設けられたキャビンの内部に設置されて、前記作業機の前方を撮像する内部カメラを含み、前記制御装置は、前記内部カメラの撮像画像を前記表示装置に表示させてもよい。

また、本発明の一態様では、前記センシング装置は、前記作業機から前記対象物までの距離を検出する対象物センサを含み、前記制御装置は、前記撮像画像に映る前記対象物を教示する教示オブジェクトを表示させ、且つ前記対象物までの距離に応じて前記教示オブジェクトの表示形態を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記教示オブジェクトで教示される前記対象物までの距離が近くなるに連れて、前記教示オブジェクトの表示を強調させてもよい。

また、本発明の一態様では、前記制御装置は、前記撮像画像に映る前記作業機又は前記
作業機に連結された作業装置の一部で前記対象物が隠れている場合、前記対象物センサの検出情報に基づいて前記撮像画像における前記対象物の位置を推定し、当該推定した前記対象物の位置に応じて前記教示オブジェクトを表示させてもよい。

また、本発明の一態様では、前記センシング装置は、前記作業機から前記対象物までの距離を検出する対象物センサを含み、前記制御装置は、前記対象物センサの検出情報に基づいて、前記作業機への前記対象物の接近方向を判断し、前記撮像画像の周縁部における前記接近方向に対応する箇所に、前記対象物の接近を通知する通知オブジェクトを表示させ、且つ前記対象物までの距離に応じて前記通知オブジェクトの表示形態を可変してもよい。

また、本発明の一態様では、前記制御装置は、前記作業機の周辺の地図情報に基づく付加情報を前記センシングマップに表示させてもよい。

さらに、本発明の一態様では、前記遠隔装置は、前記作業機の周辺の走行不可領域と地面の高低差とを少なくとも含む複数の前記付加情報のいずれかの表示指示を入力可能な入力装置を有し、前記制御部は、前記表示指示で示されたいずれかの前記付加情報と前記センシングマップとを前記表示装置により画面に表示させてもよい。

本発明の作業機の遠隔操作支援システム及び遠隔装置によれば、オペレータに作業機と対象物との位置関係を容易に把握させることができる。

本発明の一実施形態の作業機の遠隔操作支援システムの構成図である。 作業機の一例であるトラクタの側面図である。 作業機と遠隔装置の動作を示すフローチャートである。 遠隔監視画面の一例を示す図である。 センシングマップの拡大図である。 センシングマップの変形例を示す図である。 センシングマップの変形例を示す図である。 センシングマップの変形例を示す図である。 センシングマップの変形例を示す図である。 センシングマップの変形例を示す図である。 センシングマップの変形例を示す図である。 遠隔監視画面に表示されるメッセージの一例を示す図である。 遠隔監視画面の一例を示す図である。 遠隔監視画面に表示されるメッセージの一例を示す図である。 遠隔監視画面に表示される付加情報メニューを示す図である。 遠隔監視画面に表示される付加情報の一例を示す図である。 遠隔監視画面に表示される付加情報の一例を示す図である。

図１は、本発明の一実施形態の作業機の遠隔操作支援システム１００の構成図である。遠隔操作支援システム１００は遠隔装置３０を備えている。遠隔操作支援システム１００及び遠隔装置３０は、作業機１の遠隔操作を支援する。作業機１は、自律して走行可能な農業機械（「自律走行型農業機械」とも言う。）などから構成されている。本実施形態では、作業機１は、図２に示すようなトラクタから構成されている。トラクタは、圃場で農作業を行う農業機械の一例である。なお、作業機１は、トラクタ以外の農業機械、建設機械、又は作業車両から構成されてもよい。

図２は、作業機１の一例であるトラクタの側面図である。作業機１の車体３には、走行装置７が設けられている。走行装置７は、車体３の左右両側にそれぞれ設けられ、車体３を走行可能に支持している。走行装置７は、タイヤから成る前輪７Ｆ及び後輪７Ｒを有した装輪型の走行装置である。これ以外に、前輪又は後輪がクローラから成る走行装置を用いてもよい。

車体３には、原動機４、変速装置５、制動装置１３（図１）、及び操舵装置１４（図１）が搭載されている。原動機４は、エンジン（ディーゼルエンジン、ガソリンエンジン）又は電動モータなどから成る。変速装置５は、変速動作を行うことにより、走行装置７の推進力を可変し、且つ走行装置７の前進、後進の切り換えを行う。制動装置１３は車体３を制動する。操舵装置１４は車体３を操舵する。

車体３の上部には、キャビン９が設けられている。キャビン９の内部には、運転席１０と操縦装置１１が設けられている。作業機１は無人で走行（運転）し、作業装置２により作業することが可能なトラクタであるが、運転席１０に着座した作業者が操縦装置１１を操作することによって、作業機１を走行させ、作業装置２により作業することも可能である。キャビン９は、運転席１０の前方、後方、上方及び左右側方を取り囲むことにより、運転席１０を保護する。

図２に矢印Ａ１で示す方向が、作業装置２の前方である。矢印Ａ２で示す方向が、作業装置２の後方である。矢印Ｚ１で示す方向が、作業装置２の上方である。矢印Ｚ２で示す方向が、作業装置２の下方である。そして、矢印Ａ１、Ａ２、Ｚ１、Ｚ２に対して直行する方向が、作業機１の幅方向（左右方向）である。図２に向かって手前側が作業機１の左方であり、奥側が作業機１の右方である。

車体３の後部には、連結装置８が設けられている。連結装置８は、３点リンク機構などで構成されている。連結装置８には、作業装置（インプルメント等）２を着脱可能に連結することができる。連結装置８に作業装置２を連結して、走行装置７を駆動することにより、作業機１（車体３）を走行させて、作業装置２を牽引することができる。また、連結装置８により作業装置２を昇降させたり、作業装置２の姿勢を変更したりすることもできる。

作業装置２は、耕耘する耕耘装置、肥料を散布する肥料散布装置、農薬を散布する農薬散布装置、収穫を行う収穫装置、牧草等の刈取を行う刈取装置、牧草等の拡散を行う拡散装置、牧草等の集草を行う集草装置、牧草等の成形を行う成形装置などから成る。作業機１は、作業装置２により圃場に対して農作業を行う。

キャビン９の前側には、ボンネット１２が設けられている。ボンネット１２は、車体３に取り付けられている。ボンネット１２と車体３の間には、収容ルーム（符号省略）が形成されている。その収容ルームには、原動機４だけでなく、冷却ファン、ラジエータ、及びバッテリなど（図示省略）が収容されている。

図１に示すように、作業機１は、車載制御装置２１、車載通信装置２３、位置検出装置２４、センシング装置２５、状態検出装置２６、操縦装置１１、アクチュエータ群２７、原動機４、走行装置７、変速装置５、制動装置１３、操舵装置１４、及び連結装置８を有している。また、作業機１には、ＣＡＮ、ＬＩＮ、又はＦｌｅｘＲａｙなどの車載ネットワークが構築されている。車載制御装置２１には、当該車載ネットワークを介して、車載通信装置２３、位置検出装置２４、センシング装置２５、状態検出装置２６、操縦装置１１、アクチュエータ群２７、及び作業機１に連結された作業装置２などが電気的に接続さ
れている。

車載制御装置２１は、ＣＰＵとメモリとを含んだＥＣＵ（電子制御装置）から構成されている。車載制御装置２１は、作業機１の各部の動作を制御するコントローラである。車載制御装置２１のメモリは、揮発性又は不揮発性のメモリなどから構成されている。車載制御装置２１のメモリには、車載制御装置２１が作業機１の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。

車載通信装置２３は、携帯電話通信網、インターネット、又は無線ＬＡＮを介して、無線で通信するためのアンテナ、ＩＣ、及び電気回路などから構成されている。車載制御装置２１は、車載通信装置２３により遠隔装置３０と無線で通信する。

なお、本実施形態では、作業機１と遠隔装置３０とが携帯電話通信網などを介して通信する例を示しているが、これ以外に、例えば作業機１と遠隔装置３０とが携帯電話通信網などと、サーバ又は中継器などの外部装置を介して通信するようにしてもよい。また、作業機１と遠隔装置３０とが、例えばＢＬＵ（Bluetooth（登録商標） Low Energy）信号又はＵＨＦ（Ultra High Frequency）信号などのような近距離無線信号で直接通信してもよい。この場合、車載通信装置２３と遠隔装置３０とに、近距離無線通信用のインタフェイスがそれぞれ設けられていればよい。

位置検出装置２４は、例えばキャビン９（図２）の上部に設置されている（詳細図示省略）。なお、位置検出装置２４の設置位置は、キャビン９の上部に限定せず、車体３の別の箇所又は作業装置２の所定の箇所でもよい。位置検出装置２４は、衛星測位システムを利用して、自己の位置（緯度、経度を含む測位情報）を検出する。即ち、位置検出装置２４は、測位衛星から送信された信号（測位衛星の位置、送信時刻、補正情報等）を受信し、当該信号に基づいて自己の位置を検出する。位置検出装置２４は、測位衛星からの信号を受信可能な基地局（基準局）からの補正等の信号に基づいて補正した位置を、自己の位置として検出してもよい。

また、位置検出装置２４は、ジャイロセンサや加速度センサ等の慣性計測装置を有していてもよい。この場合、位置検出装置２４は、測位衛星から受信した信号に基づいて検出した位置（緯度、経度）を、慣性計測装置によって補正して、当該補正後の位置を自己の位置として検出してもよい。位置検出装置２４は、検出した自己の位置を作業機１の位置とみなす。又は、位置検出装置２４は、検出した自己の位置と、予め記憶された作業機１の外形情報とに基づいて、作業機１の位置を算出してもよい。また、位置検出装置２４は、検出した自己の位置と、予め記憶された作業装置２の外形情報と、車体３に対する作業装置２の取り付け位置とに基づいて、作業装置２の位置を算出してもよい。

センシング装置２５は、作業機１の周辺をセンシング（監視）する。詳しくは、センシング装置２５は、レーザセンサ２５ａ、超音波センサ２５ｂ、カメラ２５ｃ、及び対象物検出部２５ｄを有している。レーザセンサ２５ａ及び超音波センサ２５ｂは、作業機１の前部、後部、及び左右側部などの適宜箇所にそれぞれ設置されていて（詳細図示省略）、作業機１の前方、後方、及び左右側方などの周辺状況及び当該周辺にある対象物を検出する。例えば、レーザセンサ２５ａ及び超音波センサ２５ｂは、作業機１から所定の目標検出距離以内で且つ車体３よりも低い位置にある対象物でも検出可能な車体３の所定位置にそれぞれ設置されている。

レーザセンサ２５ａ及び超音波センサ２５ｂは、対象物センサの一例である。なお、レーザセンサ２５ａ及び超音波センサ２５ｂの少なくともいずれかが、対象物センサとしてセンシング装置２５に複数設けられていてもよい。また、他の対象物センサが、センシン
グ装置２５に複数設けられていてもよい。

レーザセンサ２５ａは、ライダー（LiDAR: Light Detection And Ranging）などの光学式のセンサから構成されている。レーザセンサ２５ａは、レーザダイオードなどの光源から１秒間に何百万回ものパルス状の測定光（レーザ光）を照射し、当該測定光を回転ミラーで反射することにより水平方向又は鉛直方向に走査して、所定の検出範囲（センシング範囲）に投光する。そして、レーザセンサ２５ａは、測定光の対象物による反射光を、受光素子で受光する。

対象物検出部２５ｄは、レーザセンサ２５ａの受光素子から出力された受光信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する電気回路又はＩＣなどから構成されている。対象物検出部２５ｄは、レーザセンサ２５ａにより測定光を照射してから、反射光を受光するまでの時間に基づいて、対象物までの距離を検出する（ＴＯＦ（Time of Flight）法）。対象物検出部２５ｄが検出する対象物には、作業機１が走行及び作業を行う現場、圃場、圃場の作物、地面、路面、その他の物体、及び人などが含まれている。

超音波センサ２５ｂは、ソナーなどの空中超音波センサから構成されている。超音波センサ２５ｂは、送波器により測定波（超音波）を所定の検出範囲に発信し、当該測定波が対象物で反射した反射波を受波器で受信する。対象物検出部２５ｄは、超音波センサ２５ｂの受波器から出力された信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。また、対象物検出部２５ｄは、超音波センサ２５ｂにより測定波を発信してから、反射波を受波するまでの時間に基づいて、対象物までの距離を検出する（ＴＯＦ法）。

カメラ２５ｃは、ＣＣＤ（Charge Coupled Devices：電荷結合素子）イメージセンサを搭載したＣＣＤカメラ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサを搭載したＣＭＯＳカメラなどから構成されている。カメラ２５ｃは、作業機１の前部、後部、左右側部、及びキャビン９の内部などの適宜箇所にそれぞれ設置されていて（詳細図示省略）、作業機１の前方、後方、及び左右側方などの周辺を撮像して、当該撮像画像のデータを出力する。カメラ２５ｃは、撮像装置の一例である。

作業機１に設置された複数のカメラ２５ｃのうち、図２に示すようにキャビン９の内部に設置された内部カメラ２５ｃ１は、運転席１０から作業機１の前方を撮像する。より詳しくは、内部カメラ２５ｃ１は、運転席１０に着座した作業者と略同様の視野で作業機１の前方を撮像する。対象物検出部２５ｄは、カメラ２５ｃから出力された撮像画像のデータに基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出することも可能である。

センシング装置２５は、レーザセンサ２５ａ、超音波センサ２５ｂ、カメラ２５ｃ、及び対象物検出部２５ｄにより、作業機１及び作業装置２の周辺状況をセンシング（監視）し、その結果を示すセンシング情報を車載制御装置２１に出力する。センシング情報には、少なくとも対象物検出部２５ｄの検出情報とカメラ２５ｃの撮像画像のデータとが含まれているが、これら以外にレーザセンサ２５ａと超音波センサ２５ｂの検出情報がセンシング情報に含まれていてもよい。

状態検出装置２６は、作業機１及び作業装置２の動作状態を検出する。具体的には、状態検出装置２６には、作業機１及び作業装置２の各部に設置された各種センサと、演算器とが含まれていて、演算器が各種センサからの出力信号に基づいて、作業機１及び作業装
置２の動作状態を検出（演算）する。状態検出装置２６が検出する作業機１の状態には、作業機１の各部の駆動と停止の状態、作業機１の進行方向、走行速度、加速度、及び姿勢などが含まれている。状態検出装置２６が検出する作業装置２の状態には、作業装置２の各部の駆動と停止の状態及び姿勢などが含まれている。

状態検出装置２６は、位置検出装置２４により検出された車体３の位置（作業機１の位置）を所定の周期で取得し、当該車体３の位置から作業装置２の位置を検出（算出）したり、車体３の位置の変化（変遷）を検出したりしてもよい。また、状態検出装置２６は、車体３の位置の変化から、車体３の走行速度を検出してもよい。他の例として、走行装置７の車輪７Ｆ、７Ｒの回転数又は車輪７Ｆ、７Ｒを転動させる走行モータの回転数を検出する回転数センサを設け、状態検出装置２６が当該回転数センサの出力信号に基づいて、車体３の走行速度を検出してもよい。

状態検出装置２６は、検出した作業機１及び作業装置２の動作状態を示す検出情報を生成し、当該検出情報を車載制御装置２１に出力する。位置検出装置２４及び状態検出装置２６は、作業機１の状態を検出する検出装置の一例である。

位置検出装置２４及び状態検出装置２６は、所定の周期又は所定のタイミングで検出した結果を示す検出情報を車載制御装置２１に随時出力する。また、センシング装置２５も、所定の周期又は所定のタイミングでセンシングした結果を示すセンシング情報を車載制御装置２１に随時出力する。車載制御装置２１は、位置検出装置２４、状態検出装置２６、及びセンシング装置２５から入力された検出情報及びセンシング情報を内部のメモリに記憶させる。また、車載制御装置２１は、内部のメモリに記憶させた位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、所定のタイミングで車載通信装置２３により遠隔装置３０に送信する。

アクチュエータ群２７には、作業機１の原動機４、走行装置７、変速装置５、制動装置１３、及び連結装置８などの各部を作動させるための電動式若しくは油圧式のモータ、シリンダ、及び制御弁などが含まれている。操縦装置１１には、ステアリングハンドル１１ａ（図２）、アクセルペダル、ブレーキペダル、及び変速レバーなどが含まれている。車載制御装置２１は、操縦装置１１の操作状態に応じて、アクチュエータ群２７に含まれる所定のアクチュエータを作動させて、原動機４、走行装置７、変速装置５、制動装置１３、及び操舵装置１４を駆動し、作業機１の走行と操舵を制御する。

また、車載制御装置２１は、作業装置２に備わる制御部２ａと通信して、制御部２ａに作業装置２の動作を制御させる。即ち、車載制御装置２１は、制御部２ａを介して作業装置２の動作を制御することで、圃場に対して作業を行う。なお、作業機１に連結可能な作業装置２には、制御部２ａが備わっていないものもある。この場合、車載制御装置２１は、連結装置８により作業装置２の姿勢を制御して、作業装置２により圃場に対して作業を行う。

車載制御装置２１は、センシング装置２５のセンシング情報と、状態検出装置２６の検出情報と、位置検出装置２４の検出情報などに基づいて、作業機１の走行、作業装置２による作業、及び作業機１のその他の動作をそれぞれ制御する。また、車載制御装置２１は、遠隔装置３０から送信された遠隔操作信号を車載通信装置２３により受信した場合には、上記各情報に加えて、当該遠隔操作信号に基づいて、作業機１の走行、作業装置２による作業、及び作業機１のその他動作をそれぞれ制御する。

さらに、車載制御装置２１は、作業機１の走行又は作業装置２による作業を制御する際に、対象物検出部２５ｄの検出情報から、対象物が作業機１又は作業装置２に所定距離未
満で接近して、接触する危険があるか否かを判断する。そして、車載制御装置２１は、対象物が作業機１又は作業装置２に所定距離未満で接近して、接触する危険があると判断した場合に、走行装置７又は作業装置２などを制御して、作業機１の走行又は作業を自動で停止し、対象物との接触を回避する。

遠隔装置３０は、タブレット装置若しくはスマートフォンなどの携帯型の端末装置、又は基地局（図示省略）に設置された据え置き型のコンピュータから構成されている。本実施形態では、遠隔装置３０は、作業機１を遠隔で操作及び監視する遠隔操作監視装置から構成されている。即ち、オペレータは遠隔装置３０により作業機１を遠隔で操作し、且つ作業機１の周辺状況を監視する。なお、他の例として、遠隔装置３０が作業機１を遠隔で監視する遠隔監視装置から構成され、当該遠隔装置３０とは別に、作業機１を遠隔で操作する遠隔操作装置が設けられてもよい。

図１に示すように、遠隔装置３０には、制御装置３１、通信装置３３、表示装置３４、及び操作装置３５が設けられている。制御装置３１は、ＣＰＵなどから構成されている。制御装置３１は、遠隔装置３０の各部の動作を制御するプロセッサである。制御装置３１に設けられた内部メモリ３２は、揮発性又は不揮発性のメモリである。内部メモリ３２には、制御装置３１が遠隔装置３０の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。

通信装置３３は、携帯電話通信網、インターネット、又は無線ＬＡＮを介して、無線で通信するためのアンテナ、ＩＣ、及び電気回路などから構成されている。制御装置３１は、通信装置３３により作業機１と無線で通信する。

表示装置３４は、例えば液晶ディスプレイなどから構成されている。表示装置３４には、作業機１を遠隔で操作するための情報が表示される。操作装置３５は、タッチパッド又はハードウェア型のスイッチなどから構成されている。オペレータは、操作装置３５を操作することによって、作業機１の走行又は作業装置２による作業を遠隔で操作し、且つ作業機１と周辺の状況を表示装置３４により監視することが可能である。また、オペレータは、操作装置３５を操作することによって、遠隔装置３０に所定の情報又は指示を入力可能である。

操作装置３５は入力装置の一例である。また、表示装置３４と操作装置３５とは、ユーザインタフェイスの一例である。他の例として、表示装置３４と操作装置３５とに代えて、タッチパネルのような表示装置と操作装置とが一体になったユーザインタフェイスを、遠隔装置３０に設けてもよい。

オペレータが操作装置３５を操作して、作業機１の動作指示を入力すると、制御装置３１が、当該動作指示に対応する遠隔操作信号を生成し、当該遠隔操作信号を通信装置３３により作業機１に送信する。作業機１の車載制御装置２１は、遠隔装置３０からの遠隔操作信号を車載通信装置２３により受信すると、当該遠隔操作信号と、位置検出装置２４の検出情報と、センシング装置２５のセンシング情報と、状態検出装置２６の検出情報とに基づいて、作業機１の各部を動作させて、作業機１の走行及び操舵を制御したり、作業装置２による作業動作を制御したりする。

また、車載制御装置２１は、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、車載通信装置２３により遠隔装置３０に送信する。遠隔装置３０の制御装置３１は、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、通信装置３３により受信すると、これらの情報を内部メモリ３２に記憶させたり、表示装置３４に表示させたりする。

また、制御装置３１は、後述するようにセンシング装置２５のセンシング情報などに基づいて、作業機１の周辺と当該周辺の注意領域とを示すセンシングマップを表示装置３４に表示させる。また、制御装置３１は、センシング情報に作業機１の周辺にある所定の対象物が含まれる場合に、当該対象物の位置を示す対象物オブジェクトをセンシングマップに表示させる。またこの際、制御装置３１は、対象物オブジェクトを注意領域との相対位置に応じた形態でセンシングマップに表示させる。さらに、制御装置３１は、センシング情報に含まれる複数のカメラ２５ｃの撮像画像を、表示装置３４によりセンシングマップと同一画面に表示させる。

図３は、作業機１と遠隔装置３０の動作を示すフローチャートである。遠隔装置３０が起動すると、制御装置３１が、作業機１で検出された情報を要求するリクエスト信号を、通信装置３３により作業機１に送信する（Ｓ１）。作業機１の車載制御装置２１は、遠隔装置３０からのリクエスト信号を車載通信装置２３により受信すると（Ｓ１１）、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、車載通信装置２３により遠隔装置３０に送信する（Ｓ１２）。

遠隔装置３０の制御装置３１は、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、通信装置３３により受信すると（Ｓ２）、これらの情報を内部メモリ３２に記憶させる。また、制御装置３１は、内部メモリ３２に記憶された位置検出装置２４及び状態検出装置２６の検出情報、センシング装置２５のセンシング情報、作業機１及び作業装置２の仕様を示す装置情報、並びに作業機１の周辺の地図情報をそれぞれ読み込む（Ｓ３）。そして、制御装置３１は、位置検出装置２４及び状態検出装置２６の検出情報、センシング装置２５のセンシング情報、装置情報、並びに地図情報に基づいて、遠隔監視画面を表示装置３４に表示させる（Ｓ４）。

なお、内部メモリ３２には、作業機１がある地域の地図情報が予め記憶されている。制御装置３１は、ステップＳ３で位置検出装置２４の検出情報から作業機１の位置を抽出し、当該作業機１の位置から所定距離以内の範囲を作業機１の周辺とみなして、当該範囲の地図情報を内部メモリ３２から読み込む。他の例として、制御装置３１は、ステップＳ３で作業機１の位置から所定距離以内の範囲の地図情報を、インターネットなどを介して外部サーバから通信装置３３により受信して、当該受信した地図情報を読み込んでもよい。

図４は、表示装置３４に表示される遠隔監視画面４０の一例を示す図である。遠隔監視画面４０には、作業機１の周辺の状態を示すセンシングマップ４１及び撮像画像４２ａ～４２ｄと、作業機１の状態を示すウインドウ４３、４４、４５がそれぞれ表示されている。

図５は、センシングマップ４１の一例の拡大図である。制御装置３１は、センシング装置２５のセンシング情報と、内部メモリ３２に記憶された画像情報などに基づいて、作業機１の現在位置を示す実作業機オブジェクト５７と、作業機１の周辺と当該周辺の注意領域５２、５３とを俯瞰状態で示すセンシングマップ４１を、表示装置３４により遠隔監視画面４０に表示させる。また、制御装置３１は、作業機１の周辺にある所定の対象物の位置を示す対象物オブジェクト５６ａ～５６ｃを、センシングマップ４１に表示させる。所定の対象物には、作業機１の走行を妨げ且つ作業機１が接触を避ける人又は物体などの障害物が含まれている。以下、所定の対象物のことを「障害物」という。

また、制御装置３１は、注意領域５２、５３として、緊急停止領域５２及び警告領域５３をセンシングマップ４１に表示させる。緊急停止領域５２は、障害物が存在した場合に、作業機１が自動で緊急停止する領域である。警告領域５３は、障害物が存在した場合に
、作業機１への障害物の接近を警告する領域である。緊急停止領域５２及び警告領域５３は、作業機１から所定距離離れた位置に予め設定されている。

作業機１の車載制御装置２１は、障害物が緊急停止領域５２にあることを対象物検出部２５ｄ（図１）により検出したときに、走行装置７及び制動装置１３などを制御して、作業機１（車体３）を緊急停止させる（遠隔操作中の場合は一時停止させる）。また、車載制御装置２１は、障害物が警告領域５３にあることを対象物検出部２５ｄにより検出したときに、作業機１に搭載されたホーン又はブザーなどを鳴動させて、障害物の作業機１への接近を警告するようにしてもよい。

また、遠隔装置３０の制御装置３１が、センシング装置２５のセンシング情報から障害物が警告領域５３にあることを認識したときに、障害物が作業機１に接近していることを示す警告情報を、表示装置３４により遠隔監視画面４０などに表示してもよい。或いは、制御装置３１が、上記警告情報を遠隔装置３０に設けられたスピーカから音又は音声で出力したり、遠隔装置３０に設けられたバイブレータの振動動作で出力したりしてもよい。

遠隔装置３０の制御装置３１は、緊急停止領域５２及び警告領域５３だけでなく、内側領域５１と外側領域５４と検出領域５５もセンシングマップ４１に表示させる。例えば制御装置３１は、作業機１（車体３）の中心から所定の第１半径の円周Ｃ１で囲まれた領域を内側領域５１に決定し、内側領域５１に実作業機オブジェクト５７を表示させる。円周Ｃ１上は内側領域５１である。内側領域５１のうち、作業機１が進行可能な実作業機オブジェクト５７の前方部分と後方部分では、車載制御装置２１が走行中の作業機１を緊急で制動しても、作業機１の走行速度によっては、作業機１が停車できず、緊急停止領域５２まで進行してしまうことがある。

また、制御装置３１は、作業機１の中心から第１半径の円周Ｃ１と、第１半径より大きい所定の第２半径の円周Ｃ２とで囲まれた領域を、緊急停止領域５２に決定する。円周Ｃ２上は緊急停止領域５２である。制御装置３１は、作業機１が所定範囲の走行速度で走行した場合の制動距離の最小値を円周Ｃ１の半径に設定し、当該制動距離の最大値を円周Ｃ２の半径に設定してもよい。

また、制御装置３１は、作業機１の中心から第２半径の円周Ｃ２と、第２半径より大きい所定の第３半径の円周Ｃ３とで囲まれた領域を、警告領域５３に決定する。円周Ｃ３上は警告領域５３である。また、制御装置３１は、作業機１の中心から第３半径の円周Ｃ３と、第３半径より大きい所定の第４半径の円周Ｃ４とで囲まれた領域を、外側領域５４に決定する。円周Ｃ４上は外側領域５４である。

各領域５１～５４の外周を構成する円周Ｃ１～Ｃ４の大きさなどの情報は、作業機１の外形サイズと走行性能などの仕様に応じて予め設定されて、遠隔装置３０の内部メモリ３２と、作業機１の車載制御装置２１のメモリとにそれぞれ記憶されている。

また、制御装置３１は、作業機１に設けられた複数のレーザセンサ２５ａ及び超音波センサ２５ｂのうち、少なくともいずれかのセンサにより検出された障害物の位置を示す対象物オブジェクト５６ａ～５６ｃを、実作業機オブジェクト５７より小さい円形でセンシングマップ４１に表示させる。また、制御装置３１は、複数のレーザセンサ２５ａ及び超音波センサ２５ｂのうち、対象物オブジェクト５６ａ～５６ｃに対応する障害物を検出した少なくともいずれか１つのセンサの検出領域５５を、センシングマップ４１に扇形で表示させる。また、制御装置３１は、作業機１に設けられた複数のレーザセンサ２５ａ及び超音波センサ２５ｂが障害物を検出可能な距離の最大値を、外側領域５４の外周を構成する円周Ｃ４の半径に設定してもよい。

また、制御装置３１は、各領域５１～５５をそれぞれ異なる色又は模様などのように、見た目が異なる形態でセンシングマップ４１に表示させる。図４の例では、見た目が異なるように、各領域５１～５５がハッチング、パターン、又は白抜きで表示されている。

制御装置３１は、緊急停止領域５２の見た目が、警告領域５３の見た目よりも強調されるように、緊急停止領域５２及び警告領域５３を表示させる。また、制御装置３１は、警告領域５３の見た目が、外側領域５４の見た目よりも強調されるように、警告領域５３及び外側領域５４を表示させる。具体的には、例えば制御装置３１は、外側領域５４、警告領域５３、及び緊急停止領域５２の順で、表示色が濃くなるように、或いは模様が密になるように、或いは輝度が高くなるように、それぞれセンシングマップ４１に表示させる。

制御装置３１は、検出領域５５と重畳する他の領域５１～５４が視認可能に、検出領域５５を透過表示させる。内側領域５１は、図４の例では白抜きで表示されているが、制御装置３１は、内側領域５１の見た目が、緊急停止領域５２の見た目よりも強調されるように、内側領域５１を表示させてもよい。

制御装置３１は、対象物オブジェクト５６ａ～５６ｃを緊急停止領域５２及び警告領域５３との相対位置に応じた形態で、センシングマップ４１に表示させる。詳しくは、制御装置３１は、対象物オブジェクト５６ａ～５６ｃが緊急停止領域５２、警告領域５３、或いは緊急停止領域５２及び警告領域５３の外側（外側領域５４）のいずれにあるかに応じて、対象物オブジェクト５６ａ～５６ｃの表示形態を可変する。

詳しくは、制御装置３１は、図４に示すように、外側領域５４にある対象物オブジェクト５６ｃの表示よりも、警告領域５３にある対象物オブジェクト５６ｂの表示を強調させるように、対象物オブジェクト５６ｂ、５６ｃの色、模様、輝度、明度、彩度、大きさ、又は形状などを変える。また、制御装置３１は、警告領域５３にある対象物オブジェクト５６ｂの表示よりも、緊急停止領域５２にある対象物オブジェクト５６ａの表示を強調させるように、対象物オブジェクト５６ａ、５６ｂの色、模様、輝度、明度、彩度、大きさ、又は形状などを変える。

より具体的には、例えば制御装置３１は、対象物オブジェクト５６ａ、５６ｂ、５６ｃの順で、表示色が濃くなるように、或いは模様が密になるように、或いは輝度が高くなるように、それぞれセンシングマップ４１に表示させる。例えば制御装置３１は、対象物オブジェクト５６ａを赤色で、対象物オブジェクト５６ｂを緑色（又は黄色）で、対象物オブジェクト５６ｃを黒色（又は緑色）で、それぞれ表示させるようにしてもよい。

また、制御装置３１は、状態検出装置２６の検出情報に含まれる作業機１の走行速度に応じて、緊急停止領域５２及び警告領域５３の表示形態を変えてもよい。具体的には、例えば制御装置３１は、図５及び図６に示すように、作業機１の走行速度が速くなるに連れて、円周Ｃ２、Ｃ３を大きくして、緊急停止領域５２及び警告領域５３の大きさをそれぞれ大きくする。図５は、作業機１の走行速度が０．０ｋｍ／ｈのときのセンシングマップ４１を示し、図６は、作業機１の走行速度が１０．０ｋｍ／ｈのときのセンシングマップ４１を示している。

他の例として、制御装置３１は、作業機１の走行速度が速くなるに連れて、作業機１の進行方向対して緊急停止領域５２及び警告領域５３を広げてもよい。また、制御装置３１は、作業機１の走行速度が速くなるに連れて、円周Ｃ１、Ｃ４を大きくして、内側領域５１及び外側領域５４の大きさをそれぞれ大きくしてもよい。

また、例えば作業機１に作業装置２が連結されている場合、制御装置３１は、作業装置２の仕様に応じて、緊急停止領域５２及び警告領域５３の表示形態を変えてもよい。詳しくは、例えば制御装置３１は、状態検出装置２６の検出情報に基づいて、作業装置２が作業機１に連結されているか否かを確認し、作業装置２が作業機１に連結されていれば、内部メモリ３２から読み出した装置情報から作業装置２の外形サイズ（仕様）を抽出する。そして、制御装置３１は、作業装置２の外形サイズに応じて、図７に示すように、作業装置２を示す作業装置オブジェクト５８を実作業機オブジェクト５７と共にセンシングマップ４１に表示させ、且つ内側領域５１、緊急停止領域５２、警告領域５３、及び外側領域５４の表示形態を変える。

具体的には、制御装置３１は、作業装置２の外形サイズが大きくなるに連れて、円周Ｃ１、Ｃ２、Ｃ３を大きくして、内側領域５１、緊急停止領域５２、及び警告領域５３の大きさをそれぞれ大きくする。また、制御装置３１は、作業装置２の外形サイズが大きくなるに連れて、円周Ｃ４を大きくして、外側領域５４の大きさを大きくしてもよい。また、制御装置３１は、作業装置２の外形サイズに応じて、各領域５１～５４の形を変えてもよい。

さらに、制御装置３１は、作業装置２の種類に応じて、各領域５１～５４の形を変えてもよい。作業装置２の種類によっては、装備された作業部材が露出していることがある。そのため、例えば制御装置３１は、作業部材が露出している作業装置２が作業機１に連結されている場合に、作業部材が露出していない作業装置２が作業機１に連結されていない場合よりも、緊急停止領域５２及び警告領域５３の大きさをそれぞれ大きくしてもよい。

図４～図７の例では、センシングマップ４１の各領域５１～５４の外周（円周Ｃ１～Ｃ４）を円形にした例を示したが、これに限定されない。例えば制御装置３１が、内部メモリ３２から読み出した装置情報に含まれる作業機１の仕様に基づいて、各領域５１～５４の外周形状を変えてもよい。

また、制御装置３１は、例えば図８に示すように、状態検出装置２６の検出情報に含まれる作業機１の走行方向にある緊急停止領域５２及び警告領域５３をセンシングマップ４１に表示させてもよい。図８の例では、前進している作業機１が走行可能な前方の所定範囲にある緊急停止領域５２、警告領域５３、及び検出領域５５が、センシングマップ４１に三角形、矩形、又は五角形で表示されている。この場合も、制御装置３１は、図８及び図９に示すように、作業機１の走行速度が速くなるに連れて、緊急停止領域５２及び警告領域５３を前方に大きくしてもよい。

また、制御装置３１は、状態検出装置２６の検出情報に含まれる作業機１の操舵角θに応じて、図８～図１０に示すように、緊急停止領域５２及び警告領域５３の表示位置を変えてもよい。図８～図１０の例では、制御装置３１は、作業機１の前輪７Ｆの操舵角θに応じて緊急停止領域５２及び警告領域５３を回転させ、且つ緊急停止領域５２の大きさを変えて、作業機１の操舵方向に緊急停止領域５２及び警告領域５３を向けるように表示させている。

また、制御装置３１は、状態検出装置２６の検出情報に含まれる作業機１の走行方向と走行速度とに基づいて、所定時間後の作業機１の位置を推定し、例えば図１１に示すように、所定時間後の作業機１の位置を示す推定作業機オブジェクト５９ａ、５９ｂをセンシングマップ４１に表示させてもよい。図１１の例では、作業機１が前進しているため、推定作業機オブジェクト５９ａ、５９ｂは、作業機１の前部の外形ラインを示している。また、推定作業機オブジェクト５９ａは、３秒後の作業機１の推定位置を示し、推定作業機オブジェクト５９ｂは、６秒後の作業機１の推定位置を示している。作業機１の位置を推
定する経過時間と推定作業機オブジェクト５９ａ、５９ｂの数は、上記に限定せず、オペレータが操作装置３５を操作することで適宜設定可能にしてもよい。

図４に示すように、制御装置３１は、作業機１に設けられた複数のカメラ２５ｃによる撮像画像４２ａ～４２ｄを、表示装置３４により遠隔監視画面４０に表示させる。詳しくは、制御装置３１は、キャビン９の内部に設置された運転席１０の上方から作業機１の前方を撮像する内部カメラ２５ｃ１（図２）の撮像画像４２ａを、遠隔監視画面４０に表示させる。撮像画像４２には、キャビン９内の一部と、作業機１の前部と、作業機１の前方の周辺環境とが映り込んでいる。

また、制御装置３１は、作業機１の前方を撮像する前方カメラ２５ｃの撮像画像４２ｂを、遠隔監視画面４０に表示させる。撮像画像４２ｂには、作業機１の前部と、作業機１の前方の周辺環境とが映り込んでいる（符号省略）。他の例として、制御装置３１は、内部カメラ２５ｃ１の撮像画像４２ａに基づいて、キャビン９の外側から作業機１の前方を見ているような撮像画像を生成して、当該撮像画像を遠隔監視画面４０に表示させてもよい。

また、制御装置３１は、作業機１の後方を撮像する後方カメラ２５ｃの撮像画像４２ｃを、遠隔監視画面４０に表示させる。撮像画像４２ｃには、作業機１の後方の周辺環境が映り込んでいる。さらに、制御装置３１は、複数のカメラ２５ｃにより撮像された作業機１の前方、後方、左方、及び右方の撮像画像を合成することにより、作業機１の周辺の俯瞰状態を示す合成後の撮像画像（所謂、アラウンドビューモニタ）４２ｄを、遠隔監視画面４０に表示させる。撮像画像４２ｄには、実作業機オブジェクト５７と、作業機１の周辺環境とが映り込んでいる。

制御装置３１は、複数の撮像画像４２ａ～４２ｄのうち、運転席１０から前方の撮像画像４２ａを最も大きく表示させ、俯瞰状態の撮像画像４２ｄを前方の撮像画像４２ｂ及び後方の撮像画像４２ｃよりも大きく表示させる。

また、制御装置３１は、撮像画像４２ａ～４２ｄに映る障害物６１ａ、６１ｂ、６１ｃを判断し、当該障害物６１ａ、６１ｂ、６１ｃを教示する教示オブジェクト６２ａ、６２ｂ、６２ｃを撮像画像４２ａ～４２ｄに表示させる。教示オブジェクト６２ａ、６２ｂ、６２ｃは、いわゆるバウンディングボックスである。

本例では、教示オブジェクト６２ａ、６２ｂ、６２ｃは、障害物６１ａ、６１ｂ、６１ｃを囲む枠状のオブジェクトであるが、この形態に限定されない。これ以外に、例えば、障害物６１ａ、６１ｂ、６１ｃを囲む楕円状のオブジェクト、又は障害物６１ａ、６１ｂ、６１ｃを指し示す矢印状のオブジェクトなどのような、他の表示形態のオブジェクトから教示オブジェクトを構成してもよい。

センシングマップ４１の対象物オブジェクト５６ａは障害物６１ａと対応し、対象物オブジェクト５６ｂは障害物６１ｂと対応し、対象物オブジェクト５６ｃは障害物６１ｃ対応している。つまり、対象物オブジェクト５６ａは障害物６１ａを表し、対象物オブジェクト５６ｂは障害物６１ｂを表し、対象物オブジェクト５６ｃは障害物６１ｃを表している。また、制御装置３１は、同一の障害物６１ａ～６１ｃにそれぞれ対応する対象物オブジェクト５６ａ～５６ｃと教示オブジェクト６２ａ～６２ｃの色又は模様などの表示形態を同調に対応させる（表示色又は模様を合致させる）。

制御装置３１は、センシング装置２５のセンシング情報に含まれるレーザセンサ２５ａ及び超音波センサ２５ｂの検出情報から、障害物６１ａ、６１ｂ、６１ｃまでの距離を抽
出し、当該障害物６１ａ、６１ｂ、６１ｃまでの距離に応じて教示オブジェクト６２ａ、６２ｂ、６２ｃの表示形態を変える。詳しくは、制御装置３１は、教示オブジェクト６２ａ、６２ｂ、６２ｃで囲む障害物６１ａ、６１ｂ、６１ｃまでの距離が近くなるに連れて、教示オブジェクト６２ａ、６２ｂ、６２ｃの表示を強調させる。

また、制御装置３１は、教示オブジェクト６２ａ、６２ｂ、６２ｃで囲む障害物６１ａ、６１ｂ、６１ｃと、緊急停止領域５２及び警告領域５３との相対位置に応じた形態で、教示オブジェクト６２ａ、６２ｂ、６２ｃを撮像画像４２ａ～４２ｄに表示させる。

例えば制御装置３１は、作業機１から警告領域５３に相当する距離にある障害物６１ｂを教示する教示オブジェクト６２ｂの表示よりも、緊急停止領域５２に相当する距離にある障害物６１ａを教示する教示オブジェクト６２ａの表示を強調させるように、教示オブジェクト６２ａ、６２ｂの色、輝度、明度、彩度、大きさ、又は形状などを変える。また、制御装置３１は、作業機１から外側領域５４に相当する距離にある障害物６１ｃを教示する教示オブジェクト６２ｃの表示よりも、警告領域５３に相当する距離にある障害物６１ｂを教示する教示オブジェクト６２ｂの表示を強調させるように、教示オブジェクト６２ｂ、６２ｃの色、輝度、明度、彩度、大きさ、又は形状などを変える。

図４の例では、作業機１からの距離が障害物６１ｃ、６１ｂ、６１ａの順で短くなっているので、制御装置３１は、それに対応する教示オブジェクト６２ｃ、６２ｂ、６２ａの順で表示色が濃くなるように、或いは輝度が高くなるように、教示オブジェクト６２ｃ、６２ｂ、６２ａを表示させる。例えば制御装置３１は、教示オブジェクト６２ａを赤色で、教示オブジェクト６２ｂを緑色（又は黄色）で、教示オブジェクト６２ｃを黒色（又は緑色）で、それぞれ表示させるようにしてもよい。

また、制御装置３１は、撮像画像４２ａに映る障害物６１ｂが作業機１のピラーなどの一部で隠れている場合、即ち障害物６１ｂがカメラ２５ｃの死角にある場合、レーザセンサ２５ａ及び超音波センサ２５ｂの検出情報に基づいて、撮像画像４２ａにおける対象物６１ｂの位置を推定し、当該推定した障害物６１ｂの位置に応じて教示オブジェクト６２ｂを撮像画像４２ａに表示させる。このとき制御装置３１は、教示オブジェクト６２ｂを、撮像画像４２ａに映る作業機１の一部の上に重畳させる。また、制御装置３１は、障害物が前方と死角にあることを示すメッセージ４５ａを、遠隔監視画面４０のセンシングマップ４１、撮像画像４２ａ～４２ｄ、及びウインドウ４３、４４と重畳させずに、ウインドウ４５に表示させる。

他の撮像画像４２ｂ～４２ｄについても同様に、制御装置３１が、作業機１の一部で隠れている障害物の位置を推定し、当該推定した障害物の位置に応じて教示オブジェクトを撮像画像４２ａに表示させる。また、制御装置３１は、撮像画像４２ａ～４２ｄに映る作業機１に連結された作業装置２の一部で障害物が隠れている場合にも、同様に障害物の位置を推定し、当該推定した障害物の位置に応じて教示オブジェクトを表示させ、障害物が死角にあることを示すメッセージを、ウインドウ４５に表示させてもよい。

また、制御装置３１は、図１２に示すように、警告領域５３に障害物６１ｂがあるが、緊急停止領域５２に障害物がない場合、作業機１に障害物が接近していることを警告するメッセージ４５ｅを、ウインドウ４５に表示させてもよい。メッセージ４５ｅは、障害物の接近方向が左前方であることも示している。

また、制御装置３１は、センシング装置２５のセンシング情報に含まれるレーザセンサ２５ａ及び超音波センサ２５ｂの検出情報に基づいて、作業機１への障害物の接近方向を判断する。そして、制御装置３１は、例えば図１３に示すように、撮像画像４２ａの周縁
部における障害物６１ａ、６１ｂの接近方向に対応する箇所に、障害物６１ａ、６１ｂの接近を通知する通知オブジェクト６３ａ、６３ｂを表示させる。

図１３の例では、撮像画像４２ｄに示すように、作業機１の左後方から障害物６１ａが接近し、左前方から障害物６１ｂが接近しているが、これらの障害物６１ａ、６１ｂは撮像画像４２ａ～４２ｃに全容が映らない死角にある。このため、制御装置３１は、表示面積が最も大きい撮像画像４２ａの左下角部に、障害物６１ａの接近を通知する扇形の通知オブジェクト６３ａを表示し、撮像画像４２ａの左上角部に、障害物６１ｂの接近を通知する扇形の通知オブジェクト６３ｂを表示している。

なお、図１３の撮像画像４２ａに示すように、実際に存在する障害物６１ｂが、撮像画像４２ａにおいて作業機１の構造物（例えば、左ピラー）に隠れて見えないような場合に、障害物６１ｂの接近を通知する通知オブジェクト６３ｂを表示させるようにしてもよい。

また、制御装置３１は、作業機１から対象物６１ａ、６１ｂまでの距離に応じて、対応する通知オブジェクト６３ａ、６３ｂの表示形態を可変する。例えば制御装置３１は、作業機１から警告領域５３に相当する距離にある障害物６１ｂに対応する通知オブジェクト６３ｂの表示よりも、緊急停止領域５２に相当する距離にある障害物６１ａに対応する通知オブジェクト６３ａの表示を強調させるように、通知オブジェクト６３ａ、６３ｂの色、輝度、明度、彩度、大きさ、又は形状などを変える。

また、制御装置３１は、通知オブジェクト６３ａを赤色で表示させ、通知オブジェクト６３ｂを緑色（又は黄色）で表示させるようにしてもよい。また、制御装置３１は、例えば障害物が作業機１の真後ろ又は真横（左右）から接近している場合、障害物の接近方向に対応する撮像画像４２ａの下端部、左端部、又は右端部の中央部分に、半円形などの通知オブジェクトを表示させてもよい。また、制御装置３１は、外側領域５４に相当する距離にある障害物に対応する通知オブジェクトを、撮像画像４２ａの周縁部に表示させてもよい。

制御装置３１は、状態検出装置２６により検出された作業機１の状態を遠隔監視画面４０のウインドウ４３、４４に表示させる。図４及び図１２の例では、走行装置７の進行方向が前進方向に切り換えられていること（「シャトル：Ｆ」）、変速装置５の副変速が高速段に切り換えられていること（「副変速：高」）、主変速（無段変速）の状態が０％になっていること（「主変速：０％」）、及びアクセルペダルの操作量が０％であること（アクセルペダルのメモリとカーソル）が、ウインドウ４３に表示されている。

また、位置検出装置２４と状態検出装置２６とセンシング装置２５とにより作業機１及び作業機１の周辺を監視中であることと（「監視中」）、作業機１（車体３）の走行速度が０．０ｋｍ／ｈであること（即ち、停止状態）とが、ウインドウ４４に表示されている。

ウインドウ４３、４４に表示される情報は、上記の作業機１の状態に限定されず、制御装置３１が、上記以外の作業機１の状態をウインドウ４３、４４に表示してもよい。また、ウインドウ４３、４４の数は２つに限定されず、１つでも３つ以上でもよい。また、制御装置３１が、状態検出装置２６の検出情報に基づいて、作業機１の状態だけでなく、作業機１への作業装置２の連結の有無、作業装置２の種類及び姿勢などを、遠隔監視画面４０のウインドウに表示するようにしてもよい。

オペレータが遠隔装置３０の操作装置３５によって作業機１の走行などの動作指示を入
力すると、制御装置３１は、当該動作指示に対応する遠隔操作信号を通信装置３３により作業機１に送信するとともに（図３のＳ５：ＹＥＳ）、リクエスト信号を通信装置３３により作業機１に送信する（Ｓ１）。

作業機１の車載制御装置２１は、遠隔操作信号を車載通信装置２３により受信すると、当該遠隔操作信号と、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とに基づいて、作業機１の走行など制御する。また、車載制御装置２１は、前述したように、リクエスト信号を車載通信装置２３により受信すると（Ｓ１１）、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを、車載通信装置２３により遠隔装置３０に送信する（Ｓ１２）。

作業機１からの検出情報及びセンシング情報が遠隔装置３０の操作装置３５により受信されると（Ｓ２）、制御装置３１は、前述したようにステップＳ３、Ｓ４の処理を実行する。これにより、表示装置３４に表示された遠隔監視画面４０のセンシングマップ４１、撮像画像４２ａ～４２ｄ、及びウインドウ４３～４５の表示内容が更新される。

作業機１が遠隔装置３０による遠隔操作で走行しているときに、車載制御装置２１は、センシング装置２５のセンシング情報に基づいて、障害物が緊急停止領域５２に入ったことを検出すると、作業機１と障害物との接触を避けるために作業機１の走行を自動で緊急停止させる（Ｓ１３：ＹＥＳ）。そして、車載制御装置２１は、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを車載通信装置２３により遠隔装置３０に送信する（Ｓ１２）。このとき、遠隔装置３０に送信されるセンシング装置２５のセンシング情報には、障害物が緊急停止領域５２で検出されたことを示す情報が含まれ、状態検出装置２６の検出情報には、作業機１の走行が緊急停止されたことを示す情報が含まれている。

遠隔装置３０の制御装置３１は、ステップＳ２で通信装置３３により受信したセンシング装置２５のセンシング情報と状態検出装置２６の検出情報とに基づいて、障害物が緊急停止領域５２で検出されたことと、作業機１の走行が緊急停止されたこととを確認すると、図４に示すように遠隔監視画面４０のウインドウ４５に、作業機１が一時停止（又は緊急停止）した旨を示すメッセージ４５ｂを表示させる。

また、作業機１が遠隔装置３０による遠隔操作で走行しているときに、オペレータが、遠隔監視画面４０のセンシングマップ４１及び撮像画像４２ａ～４２ｄの少なくともいずれかを見て、例えば作業機１（又は作業装置２）と障害物との接触を避けるため、作業機１の走行を停止させる停止指示を操作装置３５により入力することがある。

その場合、制御装置３１は、作業機１の走行の停止指示に対応する遠隔操作信号を通信装置３３により送信し（図３のＳ５：ＹＥＳ）、さらにリクエスト信号を通信装置３３により送信する（Ｓ１）。作業機１の車載制御装置２１は、上記停止指示に対応する遠隔操作信号を車載通信装置２３により受信すると、作業機１の走行を停止させ、さらにリクエスト信号を車載通信装置２３により受信すると（Ｓ１１）、位置検出装置２４及び状態検出装置２６の検出情報と、センシング装置２５のセンシング情報とを車載通信装置２３により送信する（Ｓ１２）。

また、制御装置３１は、作業機１の停止中（走行速度が０．０ｋｍ／ｈのとき）に、センシングマップ４１に基づいて、障害物が内側領域５１及び緊急停止領域５２のいずれかにあるか否かを判断してもよい。そして、制御装置３１は、障害物が内側領域５１及び緊急停止領域５２になければ、オペレータが操作装置３５により作業機１の走行指示を入力したときに、当該走行指示を受け付けて、当該走行指示に対応する遠隔操作信号を作業機
１に送信してもよい。

対して、制御装置３１は、障害物が内側領域５１及び緊急停止領域５２のいずれかにあれば、オペレータが操作装置３５により作業機１の走行指示を入力しても、当該走行指示を受け付けず、作業機１の停止状態を保持してもよい。また、このように走行指示を受け付けなかった場合、制御装置３１は、例えば図１４に示すように遠隔監視画面４０のウインドウ４５に、障害物を前方に検出した旨を示すメッセージ４５ｃと、作業機１の走行を禁止する旨を示すメッセージ４５ｄとを表示させてもよい。

また、障害物が緊急停止領域５２及び内側領域５１のいずれかにあるとセンシング装置２５により検出されたことに応じて、作業機１が自動で緊急停止しても、或いは遠隔装置３０が入力された走行指示を受け付けなくても、センシング装置２５の検出が誤りであったり、障害物と作業機１とが接触する危険がなかったりする場合がある。このような場合に、オペレータが、遠隔監視画面４０に表示されたセンシングマップ４１及び撮像画像４２ａ～４２ｄの少なくともいずれかを見て、危険でないと判断して、操作装置３５により所定の停止解除指示を入力することで、制御装置３１が、当該停止解除指示に応じて作業機１の遠隔操作による走行を許可し、走行指示を受けるようにしてもよい。

遠隔監視画面４０が表示装置３４に表示されているときに、オペレータが操作装置３５により付加情報の表示指示を入力すると（図３のＳ６：ＹＥＳ）、制御装置３１は、図１５に示すように遠隔監視画面４０の空き領域に付加情報メニュー４６を表示させる（図３のＳ７）。付加情報メニュー４６には、遠隔監視画面４０に追加表示可能な複数の付加情報の見出しが表示されている。複数の付加情報には、作業機の周辺の走行不可領域と地面の高低差などの地図情報に基づく情報、障害物６１ａ～６１ｃまでの距離などのセンシング情報、及び作業機１の姿勢と走行可能距離などの状態検出装置２６の検出情報が含まれている。

オペレータが操作装置３５を操作して、付加情報メニュー４６からいずれかの付加情報を選択することで、当該付加情報の表示指示が入力され（図３のＳ８：ＹＥＳ）、制御装置３１が当該付加情報を遠隔監視画面４０に表示させる（Ｓ９）。

例えばオペレータが付加情報メニュー４６を見て、走行不可領域の表示指示を入力した場合、制御装置３１は、作業機１の周辺の地図情報に基づいて、作業機１が走行できない崖及び構造物などがある走行不可領域を検出する。そして、制御装置３１は、遠隔監視画面４０に表示されたセンシングマップ４１に、図１６に示すように走行不可領域６５を他の領域５１～５５とは異なる形態で表示させる。

また、例えばオペレータが付加情報メニュー４６を見て、地面の高低差の表示指示を入力した場合、制御装置３１は、作業機１の周辺の地図情報に基づいて、作業機１の走行方向（前方）の地面の高低差を検出する。そして、制御装置３１は、遠隔監視画面４０に表示されたセンシングマップ４１に、図１７に示すように地面の高低差６６を表示させる。図１７の例では、制御装置３１は、作業機１の走行方向（前進方向）地面の勾配（登り８°）を、高低差６６としてセンシングマップ４１に表示させている。

他の例として、例えば、オペレータが操作装置３５を操作することで、センシングマップ４１中に目標点を設定入力してもよい。そして、制御装置３１が、作業機１の現在位置からその目標点までの地面の勾配又は標高の変化を地図情報から検出し、当該地面の勾配又は標高の変化をグラフ形式で、センシングマップ４１の一部又は付加情報メニュー４６に重畳表示させたり、遠隔監視画面４０の空き領域に表示させたりしてもよい。

上記以外の付加情報の表示指示が操作装置３５により入力された場合も、制御装置３１は、当該付加情報をセンシングマップ４１、付加情報メニュー４６、又は遠隔監視画面４０の空き領域に表示させてもよい。

図３の遠隔装置３０及び作業機１の動作、並びに遠隔監視画面４０の表示は、遠隔装置３０が停止する（電源オフ）まで継続される。

上述した実施形態では、センシング装置２５が作業機１に設けられているが、これ以外に、例えば作業機１が走行する現場（道路又は圃場など）に、作業機１及び作業機１の周辺をセンシングするセンシング装置が設けられていてもよい。またこの場合、例えばセンシング装置に無線で通信する通信インタフェイスを設けて、当該通信インタフェイスによりセンシング装置のセンシング情報を、作業機１の車載通信装置２３と遠隔装置３０とに送信するようにしてもよい。

以上説明した本実施形態の作業機の遠隔操作支援システム１００及び遠隔装置３０は、以下の構成を備え、効果を奏する。

本実施形態の作業機の遠隔操作支援システム１００は、センシング装置２５と、センシング装置２５がセンシングしたセンシング情報を表示する表示装置３４及び当該表示装置３４を制御する制御装置３１を有する遠隔装置３０と、を備え、制御装置３１は、作業機１の周辺と当該周辺の注意領域５２、５３とを示すセンシングマップ４１を表示装置３４に表示させ、且つセンシング情報に作業機１の周辺にある対象物６１ａ、６１ｂ、６１ｃが含まれている場合に、対象物６１ａ、６１ｂ、６１ｃの位置を示す対象物オブジェクト５６ａ、５６ｂ、５６ｃをセンシングマップ４１に表示させる。

上記構成によれば、オペレータは、表示装置３４に表示されたセンシングマップ４１を見ることで、作業機１と対象物オブジェクト５６ａ、５６ｂ、５６ｃとの位置関係を容易に把握することができる。また、オペレータは、対象物オブジェクト５６ａ、５６ｂ、５６ｃに対応する対象物６１ａ、６１ｂ、６１ｃが作業機１の周辺の注意領域５２、５３にあるか否かを容易に判断することができ、作業機１から対象物６１ａ、６１ｂ、６１ｃまでの距離感を容易につかむこともできる。そしてこの結果、オペレータは、遠隔装置３０により作業機１を容易に遠隔操作することが可能となる。

本実施形態では、制御装置３１は、注意領域５２、５３として、所定の対象物（障害物）がある場合に作業機１が緊急停止する緊急停止領域５２及び作業機１への所定の対象物の接近を警告する警告領域５３をセンシングマップ４１に表示させ、対象物オブジェクト５６ａ、５６ｂ、５６ｃが緊急停止領域５２、警告領域５３、或いは緊急停止領域５２及び警告領域５３の外側（外側領域５４）のいずれにあるかに応じて、対象物オブジェクト５６ａ、５６ｂ、５６ｃの表示形態を可変する。

上記により、オペレータは、対象物オブジェクト５６ａ～５６ｃに対応する対象物６１ａ～６１ｃが、作業機１の周辺の緊急停止領域５２、警告領域５３、或いは当該領域５２、５３の外側の領域５４にあるか否かを一目で容易に判断することができる。特に、本実施形態では、作業機１から離れる方向に対して、緊急停止領域５２、警告領域５３、及び外側領域５４を順に設定しているので、作業機１に対して対象物６１ａ～６１ｃが危険な位置にあるか否かを一目で容易に把握することができる。

また、本実施形態では、制御装置３１は、緊急停止領域５２及び警告領域５３の外側にある対象物オブジェクト５６ｃの表示よりも、警告領域５３にある対象物オブジェクト５６ｂの表示を強調させ、警告領域５３にある対象物オブジェクト５６ｂの表示よりも、緊
急停止領域５２にある対象物オブジェクト５６ａの表示を強調させる。これにより、オペレータは、危険度の高い領域にある対象物の位置を、危険度の低い領域にある対象物の位置よりも注視して、遠隔装置３０により作業機１の遠隔操作を慎重に行うことができる。

また、本実施形態では、センシング装置２５は、作業機１に複数設けられ、作業機１の前方、後方、左方、及び右方にある対象物６１ａ、６１ｂ、６１ｃを検出する複数の対象物センサ２５ａ、２５ｂ（レーザセンサ２５ａ、超音波センサ２５ｂ）を含み、制御装置３１は、対象物センサ２５ａ、２５ｂの少なくともいずれかにより検出された対象物６１ａ、６１ｂ、６１ｃの位置を示す対象物オブジェクト５６ａ、５６ｂ、５６ｃをセンシングマップ４１に表示させ、且つ対象物６１ａ、６１ｂ、６１ｃを検出した少なくともいずれかの対象物センサ２５ａ、２５ｂの検出領域５５をセンシングマップ４１に表示させる。これにより、オペレータは、対象物センサ２５ａ、２５ｂにより対象物６１ａ、６１ｂ、６１ｃを正しく検出しているか否かを把握することができる。

また、本実施形態では、作業機の遠隔操作支援システム１００は、作業機１の状態を検出する検出装置２４、２６（位置検出装置２４、状態検出装置２６）を備え、制御装置３１は、検出装置２４、２６により検出された作業機１の走行速度に応じて、注意領域５２、５３の表示形態を可変する。これにより、オペレータは、作業機１の走行速度に応じた注意領域５２、５３と対象物６１ａ～６１ｃとの位置関係を容易に把握することができる。特に、一実施形態では、作業機１の走行速度が速くなるに連れて、注意領域５２、５３を大きくするので、オペレータは、対象物６１ａ～６１ｃが注意領域５２、５３に入りそうか否かを把握することができる。

また、本実施形態では、制御装置３１は、作業機１に連結された作業装置２の仕様に応じて、注意領域５２、５３の表示形態を可変する。これにより、オペレータは、作業装置２の仕様に応じた注意領域５２、５３と対象物６１ａ～６１ｃとの位置関係を容易に把握することができる。特に、一実施形態では、作業装置２の外形サイズが大きくなるに連れて、注意領域５２、５３を大きくするので、オペレータは、作業装置２と対象物６１ａ～６１ｃとの位置関係も容易に把握することができる。

また、本実施形態では、制御装置３１は、検出装置２４、２６により検出された作業機１の走行方向にある注意領域５２、５３をセンシングマップ４１に表示させる。これにより、オペレータは、遠隔操作で作業機１を走行させた場合の、作業機１及び注意領域５２、５３に対する対象物６１ａ～６１ｃの位置関係を一目で容易に把握することができる。

また、本実施形態では、制御装置３１は、検出装置２６により検出された作業機１の操舵角θに応じて、注意領域５２、５３の表示位置を可変する。これにより、オペレータは、作業機１の走行方向にある対象物６１ａ～６１ｃの、作業機１及び注意領域５２、５３に対する位置関係を一目で容易に把握することができる。

また、本実施形態では、制御装置３１は、検出装置２４、２６により検出された作業機１の走行方向及び走行速度に基づいて、所定時間後の作業機１の位置を推定し、当該推定した所定時間後の作業機１の位置を示す推定作業機オブジェクト５９ａ、５９ｂと、作業機１の現在位置を示す実作業機オブジェクト５７とをセンシングマップ４１に表示させる。これにより、オペレータは、所定時間後の作業機１と対象物６１ａ～６１ｃとの位置関係を一目で容易に把握することができる。

また、本実施形態では、センシング装置２５は、作業機１の周辺を撮像する撮像装置２５ｃを含み、制御装置３１は、撮像装置２５ｃの撮像画像４２ａ～４２ｄとセンシングマップ４１とを表示装置３４により画面（遠隔監視画面）４０に表示させる。これにより、
オペレータは、遠隔監視画面４０を見ることで、作業機１の周辺のセンシングマップ４１と撮像画像４２ａ～４２ｄとを容易に視認することができ、作業機１と対象物６１ａ～６１ｃとの位置関係をより詳しく把握することが可能となる。また、センシングマップ４１と撮像画像４２ａ～４２ｄとが同時に遠隔監視画面４０に表示されるので、センシングマップ４１と撮像画像４２ａ～４２ｄとを見るときのオペレータの視線移動量を少なくして、オペレータの監視負担を軽減することが可能となる。

また、本実施形態では、撮像装置２５ｃは、作業機１の前方、後方、左方、及び右方をそれぞれ撮像するために作業機１に複数設けられたカメラを含み、制御装置３１は、複数のカメラ２５ｃによりそれぞれ撮像された複数の撮像画像と、当該複数の撮像画像を合成して得た作業機１の周辺の俯瞰状態を示す合成後の撮像画像４２ｄとのうちの少なくともいずれかを、表示装置３４に表示させる。これにより、オペレータは、作業機１の前方、後方、左方、及び右方にある対象物を容易に把握することができる。特に、本実施形態では、作業機１の複数方向の周辺の複数の撮像画像４２ａ～４２ｃと、作業機１の周辺の俯瞰状態を示す合成後の撮像画像４２ｄとを遠隔監視画面４０に表示させるので、オペレータは、作業機１と対象物６１ａ～６１ｃとの位置関係を一層詳しく把握することが可能となる。

また、本実施形態では、撮像装置２５ｃは、作業機１に設けられたキャビン９の内部に設置されて、作業機１の前方を撮像する内部カメラ２５ｃ１を含み、制御装置３１は、内部カメラ２５ｃ１の撮像画像４２ａを表示装置３４に表示させる。これにより、オペレータは、作業機１の運転席１０に着座した運転者の視線で、作業機１の前方にある対象物６１ａ～６１ｃを容易に把握することができ、作業機１に乗車している感覚で遠隔装置３０により作業機１を容易に遠隔操作することが可能となる。

また、本実施形態では、センシング装置２５は、作業機１から対象物６１ａ、６１ｂ、６１ｃまでの距離を検出する対象物センサ２５ａ、２５ｂを含み、制御装置３１は、撮像画像４２ａ～４２ｄに映る対象物６１ａ、６１ｂ、６１ｃを教示する教示オブジェクト６２ａ、６２ｂ、６２ｃを表示させ、且つ対象物６１ａ、６１ｂ、６１ｃまでの距離に応じて教示オブジェクト６２ａ、６２ｂ、６２ｃの表示形態を可変する。これにより、オペレータは、作業機１の周囲にある対象物６１ａ、６１ｂ、６１ｃを、作業機１からの距離に応じてそれぞれ把握することができる。

また、本実施形態では、制御装置３１は、教示オブジェクト６２ａ、６２ｂ、６２ｃで教示される対象物６１ａ、６１ｂ、６１ｃまでの距離が近くなるに連れて、教示オブジェクト６２ａ、６２ｂ、６２ｃの表示を強調させる。これにより、オペレータは、作業機１の近くにある危険な対象物６１ａ（又は対象物６１ｂ）を、遠くにある対象物６１ｃよりも注視することができる。

また、本実施形態では、制御装置３１は、撮像画像４２ａ～４２ｄに映る作業機１又は作業機１に連結された作業装置２の一部で対象物６１ｂが隠れている場合、対象物センサ２５ａ、２５ｂの検出情報に基づいて撮像画像４２ａ～４２ｄにおける対象物６１ｂの位置を推定し、当該推定した対象物６１ｂの位置に応じて教示オブジェクト６２ｂを表示させる。これにより、オペレータは、撮像装置（カメラ）２５ｃで撮像できない死角にある対象物６１ｂを容易に把握することができる。

また、本実施形態では、制御装置３１は、対象物センサ２５ａ、２５ｂの検出情報に基づいて、作業機１への対象物６１ａ、６１ｂの接近方向を判断し、撮像画像４２ａ～４２ｄの周縁部における対象物６１ａ、６１ｂの接近方向に対応する箇所に、対象物６１ａ、６１ｂの接近を通知する通知オブジェクト６３ａ、６３ｂを表示させ、且つ前記対象物６
１ａ、６１ｂまでの距離に応じて通知オブジェクト６３ａ、６３ｂの表示形態を可変する。これにより、オペレータは、見ている撮像画像に映らない対象物が作業機１に接近していることを容易に把握することができる。

また、本実施形態では、制御装置３１は、作業機１の周辺の地図情報に基づく付加情報をセンシングマップ４１に表示させる。これにより、オペレータは、作業機１の周辺の対象物以外の付加情報も把握することができる。

さらに、本実施形態では、遠隔装置３０は、作業機１の周辺の走行不可領域６５と地面の高低差６６とを少なくとも含む複数の付加情報のいずれかの表示指示を入力可能な入力装置（操作装置）３５を有し、制御装置３１は、表示指示で示されるいずれかの付加情報とセンシングマップ４１とを表示装置３４により画面４０に表示させる。これにより、オペレータは、必要な付加情報を選択して、当該付加情報をセンシングマップ４１の表示内容と共に把握することができる。また、選択された付加情報をセンシングマップ４１に表示することで、オペレータの視線移動量を少なくして、オペレータの監視負担を軽減することが可能となる。さらに、オペレータは、作業機１の周辺の対象物６１ａ～６１ｃと、走行不可領域６５又は地面の高低差６６などを把握しながら、作業機１を容易に遠隔操作することができる。

以上、本発明について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 作業機
２ 作業装置
９ キャビン
１０ 運転席
２４ 位置検出装置（検出装置）
２５ センシング装置
２５ａ レーザセンサ（対象物センサ）
２５ｂ 超音波センサ（対象物センサ）
２５ｃ カメラ（撮像装置）
２５ｃ１ 内部カメラ（撮像装置）
２６ 状態検出装置（検出装置）
３０ 遠隔装置
３１ 制御装置
３４ 表示装置
３５ 操作装置（入力装置）
４０ 遠隔監視画面
４１ センシングマップ
４２ａ、４２ｂ、４２ｃ 撮像画像
４２ｄ 合成後の撮像画像
５２ 緊急停止領域（注意領域）
５３ 警告領域（注意領域）
５５ 検出領域
５６ａ、５６ｂ、５６ｃ 対象物オブジェクト
５７ 実作業機オブジェクト
５９ａ、５９ｂ 推定作業機オブジェクト
６１ａ、６１ｂ、６１ｃ 障害物（所定の対象物）
６２ａ、６２ｂ、６２ｃ 教示オブジェクト
６３ａ、６３ｂ 通知オブジェクト
６５ 走行不可領域（付加情報）
６６ 地面の高低差（付加情報）
１００ 作業機の遠隔操作支援システム
θ 操舵角

Claims (19)

1. センシング装置と、
   前記センシング装置がセンシングしたセンシング情報を表示する表示装置及び当該表示装置を制御する制御装置を有する遠隔装置と、を備え、
   前記制御装置は、作業機の周辺と当該周辺の注意領域とを示すセンシングマップを前記表示装置に表示させ、且つ前記センシング情報に前記作業機の周辺にある対象物が含まれている場合に、前記対象物の位置を示す対象物オブジェクトを前記センシングマップに表示させる作業機の遠隔操作支援システム。
2. 前記制御装置は、
   前記注意領域として、所定の前記対象物がある場合に前記作業機が緊急停止する緊急停止領域及び前記作業機への所定の前記対象物の接近を警告する警告領域を前記センシングマップに表示させ、
   前記対象物オブジェクトが前記緊急停止領域、前記警告領域、或いは前記緊急停止領域及び前記警告領域の外側のいずれにあるかに応じて、前記対象物オブジェクトの表示形態を可変する請求項１に記載の作業機の遠隔操作支援システム。
3. 前記制御装置は、前記緊急停止領域及び前記警告領域の外側にある前記対象物オブジェクトの表示よりも、前記警告領域にある前記対象物オブジェクトの表示を強調させ、前記警告領域にある前記対象物オブジェクトの表示よりも、前記緊急停止領域にある前記対象物オブジェクトの表示を強調させる請求項２に記載の作業機の遠隔操作支援システム。
4. 前記センシング装置は、前記作業機に複数設けられ、前記作業機の前方、後方、左方、及び右方にある前記対象物を検出する複数の対象物センサを含み、
   前記制御装置は、前記対象物を検出した少なくともいずれかの前記対象物センサの検出領域を前記センシングマップに表示させる請求項１に記載の作業機の遠隔操作支援システム。
5. 前記作業機の状態を検出する検出装置を備え、
   前記制御装置は、前記検出装置により検出された前記作業機の走行速度に応じて、前記注意領域の表示形態を可変する請求項１に記載の作業機の遠隔操作支援システム。
6. 前記制御装置は、前記作業機に連結された作業装置の仕様に応じて、前記注意領域の表示形態を可変する請求項１に記載の作業機の遠隔操作支援システム。
7. 前記作業機の状態を検出する検出装置を備え、
   前記制御装置は、前記検出装置により検出された前記作業機の走行方向にある前記注意領域を前記センシングマップに表示させる請求項１に記載の作業機の遠隔操作支援システム。
8. 前記制御装置は、前記検出装置により検出された前記作業機の操舵角に応じて、前記注意領域の表示位置を可変する請求項７に記載の作業機の遠隔操作支援システム。
9. 前記作業機の状態を検出する検出装置を備え、
   前記制御装置は、前記検出装置により検出された前記作業機の走行方向及び走行速度に基づいて、所定時間後の前記作業機の位置を推定し、当該推定した所定時間後の前記作業機の位置を示す推定作業機オブジェクトと、前記作業機の現在位置を示す実作業機オブジェクトとを前記センシングマップに表示させる請求項１に記載の作業機の遠隔操作支援システム。
10. 前記センシング装置は、前記作業機の周辺を撮像する撮像装置を含み、
    前記制御装置は、前記撮像装置の撮像画像と前記センシングマップとを前記表示装置により画面に表示させる請求項１に記載の作業機の遠隔操作支援システム。
11. 前記撮像装置は、前記作業機の前方、後方、左方、及び右方をそれぞれ撮像するために前記作業機に複数設けられたカメラを含み、
    前記制御装置は、複数の前記カメラによりそれぞれ撮像された複数の撮像画像と、当該複数の撮像画像を合成して得た前記作業機の周辺の俯瞰状態を示す合成後の撮像画像とのうちの少なくともいずれかを、前記表示装置に表示させる請求項１０に記載の作業機の遠隔操作支援システム。
12. 前記撮像装置は、前記作業機に設けられたキャビンの内部に設置されて、前記作業機の前方を撮像する内部カメラを含み、
    前記制御装置は、前記内部カメラの撮像画像を前記表示装置に表示させる請求項１０に記載の作業機の遠隔操作支援システム。
13. 前記センシング装置は、前記作業機から前記対象物までの距離を検出する対象物センサを含み、
    前記制御装置は、前記撮像画像に映る前記対象物を教示する教示オブジェクトを表示させ、且つ前記対象物までの距離に応じて前記教示オブジェクトの表示形態を可変する請求項１０に記載の作業機の遠隔操作支援システム。
14. 前記制御装置は、前記教示オブジェクトで教示される前記対象物までの距離が近くなるに連れて、前記教示オブジェクトの表示を強調させる請求項１３に記載の作業機の遠隔操作支援システム。
15. 前記制御装置は、前記撮像画像に映る前記作業機又は前記作業機に連結された作業装置の一部で前記対象物が隠れている場合、前記対象物センサの検出情報に基づいて前記撮像画像における前記対象物の位置を推定し、当該推定した前記対象物の位置に応じて前記教示オブジェクトを表示させる請求項１３に記載の作業機の遠隔操作支援システム。
16. 前記センシング装置は、前記作業機から前記対象物までの距離を検出する対象物センサを含み、
    前記制御装置は、
    前記対象物センサの検出情報に基づいて、前記作業機への前記対象物の接近方向を判断し、
    前記撮像画像の周縁部における前記接近方向に対応する箇所に、前記対象物の接近を通知する通知オブジェクトを表示させ、且つ前記対象物までの距離に応じて前記通知オブジェクトの表示形態を可変する請求項１０に記載の作業機の遠隔操作支援システム。
17. 前記制御装置は、前記作業機の周辺の地図情報に基づく付加情報を前記センシングマップに表示させる請求項１に記載の作業機の遠隔操作支援システム。
18. 前記遠隔装置は、前記作業機の周辺の走行不可領域と地面の高低差とを少なくとも含む複数の前記付加情報のいずれかの表示指示が入力される入力装置を有し、
    前記制御装置は、前記表示指示で示されたいずれかの前記付加情報と前記センシングマップとを前記表示装置により画面に表示させる請求項１７に記載の作業機の遠隔操作支援システム。
19. 請求項１～１８のいずれかに記載の作業機の遠隔操作支援システムに備わる遠隔装置。

Images