JP6251453B1 - 作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法 - Google Patents

Abstract

作業車両の周辺監視システムは、車体前部と車体後部との屈曲角度データを取得する屈曲角度データ取得部と、複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、複数の撮影画像データを画像処理して俯瞰画像を生成する俯瞰画像合成部と、車体前部と車体後部との複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像を記憶する記憶部と、複数の屈曲角度範囲から屈曲角度が属する屈曲角度範囲を判定する判定部と、複数の代表画像から判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、俯瞰画像合成部で生成された俯瞰画像と選択部で選択された代表画像とを表示装置に同時に表示させる表示制御部と、を備える。

Description

本発明は、作業車両の周辺監視システム、作業車両、及び作業車両の周辺監視方法に関する。

作業車両に係る技術分野において、特許文献１に開示されているような、作業車両の周辺を監視する周辺監視システムが知られている。

国際公開第２０１２／１５７３７９号

周辺監視システムは、作業車両の周辺の俯瞰画像を生成して、作業車両の運転室に設けられている表示装置に表示させる。俯瞰画像が表示装置に表示されることにより、作業車両の運転者は作業車両と作業車両の周辺の障害物との相対位置を正確に認識することができる。ホイールローダ又はアーティキュレートダンプトラックのようなアーティキュレート作業車両の場合、アーティキュレート作業車両の屈曲状態を示す画像を表示装置に表示させることができれば、運転者はアーティキュレート作業車両と障害物との相対位置を正確に認識することができる。しかし、アーティキュレート作業車両の屈曲角度が変化する度にアーティキュレート作業車両の屈曲状態を示す画像を生成する場合、画像処理の負荷が大きくなるため、周辺監視システムは高性能な画像処理装置を必要とする。その結果、周辺監視システムのコストが増大する可能性がある。また、アーティキュレート作業車両の屈曲角度が変化する度に表示装置に表示させるアーティキュレート作業車両の屈曲状態を示す画像を変化させる場合、表示装置に表示される画像がちらつく可能性が高くなる。その結果、視認性が悪化し、運転者はアーティキュレート作業車両と障害物との相対位置を正確に認識することが困難となる。

本発明の態様は、コストの増大を抑制して、アーティキュレート作業車両と障害物との相対位置を運転者に正確に認識させることを目的とする。

本発明の第１の態様に従えば、車体前部、車体後部、及び前記車体前部と前記車体後部とを屈曲可能に連結する関節機構を備える作業車両の周辺監視システムであって、前記作業車両に搭載されている検出装置で検出された前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得する屈曲角度データ取得部と、前記作業車両に搭載されている複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、複数の前記撮影画像データを画像処理して前記作業車両の周辺の俯瞰画像を生成する俯瞰画像合成部と、前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶する記憶部と、複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定する判定部と、複数の前記代表画像から前記判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、前記俯瞰画像合成部で生成された前記俯瞰画像と前記選択部で選択された前記代表画像とを表示装置に同時に表示させる表示制御部と、を備える作業車両の周辺監視システムが提供される。

本発明の第２の態様に従えば、第１の態様の作業車両の周辺監視システムを備える作業車両が提供される。

本発明の第３の態様に従えば、車体前部と車体後部とが屈曲可能な作業車両の周辺監視方法であって、前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶することと、前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得することと、前記作業車両の周辺を撮影した撮影画像を取得することと、複数の前記撮影画像を画像処理して前記作業車両の周辺の俯瞰画像を生成することと、複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定することと、複数の前記代表画像から前記判定された屈曲角度範囲に属する代表画像を選択することと、前記俯瞰画像と前記選択された前記代表画像とを同時に表示することと、を含む作業車両の周辺監視方法が提供される。

本発明の態様によれば、コストの増大を抑制して、アーティキュレート作業車両と障害物との相対位置を運転者に正確に認識させることができる。

図１は、第１実施形態に係る作業車両の一例を示す側面図である。 図２は、第１実施形態に係る作業車両の一例を示す上面図である。 図３は、第１実施形態に係る作業車両の一例を示す正面図である。 図４は、第１実施形態に係る作業車両の一部を示す正面図である。 図５は、第１実施形態に係るカメラの一例を示す斜視図である。 図６は、第１実施形態に係るカメラの撮影領域を説明するための模式図である。 図７は、第１実施形態に係るカメラの撮影領域を説明するための模式図である。 図８は、第１実施形態に係るカメラの撮影領域を説明するための模式図である。 図９は、第１実施形態に係る非接触センサの検出領域を説明するための模式図である。 図１０は、第１実施形態に係る非接触センサの検出領域を説明するための模式図である。 図１１は、第１実施形態に係る制御装置の一例を示す機能ブロック図である。 図１２は、第１実施形態に係る屈曲角度範囲を説明するための模式図である。 図１３は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１４は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１５は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１６は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１７は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１８は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図１９は、第１実施形態に係る複数の屈曲角度範囲のそれぞれに属する作業車両の代表画像の一例を模式的に示す図である。 図２０は、第１実施形態に係る表示装置に表示される表示画面の一例を模式的に示す図である。 図２１は、第１実施形態に係る運転室の一例を模式的に示す図である。 図２２は、第１実施形態に係る作業車両の周辺監視方法の一例を示すフローチャートである。 図２３は、第２実施形態に係る作業車両の一例を模式的に示す図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

第１実施形態．
［ホイールローダの概要］
第１実施形態について説明する。図１は、本実施形態に係る作業車両１の一例を示す側面図である。図２は、本実施形態に係る作業車両１の一例を示す上面図である。図３は、本実施形態に係る作業車両１の一例を示す正面図である。本実施形態においては、作業車両１が、アーティキュレート作業車両の一種であるホイールローダ１であることとする。また、本実施形態においては、ホイールローダ１が、鉱山の採掘現場において稼働することとする。ホイールローダ１は、バケット１２ですくい取った掘削物を運搬車両のベッセルに積み込む。運搬車両として、例えばダンプトラックが用いられる。なお、ホイールローダ１は、バケット１２ですくい取った掘削物を、鉱山の所定の場所に設けられた排出場所に排出する場合もある。

図１、図２、及び図３に示すように、ホイールローダ１は、車体２と、運転席が設けられる運転台３と、走行装置４と、車体２に支持される作業機１０とを備える。

車体２は、車体前部２Ｆと車体後部２Ｒとを含む。車体前部２Ｆと車体後部２Ｒとは、関節機構９を介して屈曲可能に連結される。車体前部２Ｆと車体後部２Ｒとの屈曲角度θを検出する検出装置である角度センサ５０が関節機構９に設けられる。関節機構９は、車体前部２Ｆ及び車体後部２Ｒの一方に設けられたピン部材と、他方に設けられたベアリング部材とを含む。角度センサ５０は、例えばピン部材に設けられる。

運転台３は、車体２に支持される。ホイールローダ１は、運転台３に搭乗した運転者によって操作される。運転者に操作される運転操作装置が運転台３に配置される。運転操作装置は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ホイールローダ１を旋回操舵するためのステアリングレバー、ホイールローダ１の前進と後進とを切り替える前後進切替スイッチ、及び作業機１０を操作するための作業レバーを含む。運転者は、運転操作装置を操作して、ホイールローダ１の走行速度の調整、前進又は後進の切り替え、旋回、及び作業機１０の操作を実施する。

走行装置４は、車体２を支持する。走行装置４は、車輪５を有する。車輪５は、車体２に搭載されているエンジンが発生する動力により回転する。タイヤ６が車輪５に装着される。車輪５は、車体前部２Ｆに支持される２つの前輪５Ｆと、車体後部２Ｒに支持される２つの後輪５Ｒとを含む。タイヤ６は、前輪５Ｆに装着される前タイヤ６Ｆと、後輪５Ｒに装着される後タイヤ６Ｒとを含む。走行装置４は、地面ＲＳを走行可能である。

前輪５Ｆ及び前タイヤ６Ｆは、回転軸ＦＸを中心に回転可能である。後輪５Ｒ及び後タイヤ６Ｒは、回転軸ＲＸを中心に回転可能である。

以下の説明においては、前タイヤ６Ｆの回転軸ＦＸと平行な方向を適宜、車幅方向、と称し、地面ＲＳと接触する前タイヤ６Ｆの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ１の車体２が直進状態で走行するとき、回転軸ＦＸと回転軸ＲＸとは平行である。

また、以下の説明においては、車幅方向において車体２の中心に近い位置又は方向を適宜、車幅方向の内側又は内方、と称し、車体２の中心から遠い位置又は方向を適宜、車幅方向の外側又は外方、と称する。また、車幅方向において、運転台３の運転席を基準とする一方を適宜、右側又は右方、と称し、右側又は右方の逆側又は逆方向を適宜、左側又は左方、と称する。また、前後方向において、運転台３の運転席を基準として作業機１０に近い位置又は方向を適宜、前側又は前方、と称し、前側又は前方の逆側又は逆方向を適宜、後側又は後方、と称する。また、上下方向において前タイヤ６Ｆの接地面に近い位置又は方向を適宜、下側又は下方、と称し、下側又は下方の逆側又は逆方向を適宜、上側又は上方、と称する。

車体前部２Ｆは、車体後部２Ｒよりも前方に配置される。前輪５Ｆ及び前タイヤ６Ｆは、後輪５Ｒ及び後タイヤ６Ｒよりも前方に配置される。前輪５Ｆ及び前タイヤ６Ｆは、車体２の車幅方向の両側に配置される。後輪５Ｒ及び後タイヤ６Ｒは、車体２の車幅方向の両側に配置される。車体前部２Ｆは、車体後部２Ｒに対して左右に屈曲する。

作業機１０は、車体２に、移動可能に連結される。作業機１０の少なくとも一部は、前タイヤ６Ｆよりも前方に配置される。本実施形態において、作業機１０は、車体２に移動可能に連結されるブーム１１と、ブーム１１に、移動可能に連結されるバケット１２と、ベルクランク１５と、リンク１６とを有する。

ブーム１１は、ブームシリンダ１３が発生する動力によって作動する。ブームシリンダ１３は、ブーム１１を移動するための動力を発生する油圧シリンダである。ブームシリンダ１３の一端部は、車体２に連結される。ブームシリンダ１３の他端部は、ブーム１１に連結される。ブームシリンダ１３は、２つ設けられる。一方のブームシリンダ１３は、車幅方向において車体２の中心よりも右方に設けられる。他方のブームシリンダ１３は、車幅方向において車体２の中心よりも左方に設けられる。運転者が作業レバーを操作するとブームシリンダ１３が伸縮する。ブームシリンダ１３が伸縮することにより、ブーム１１は上げ動作又は下げ動作する。

ブーム１１の上げ動作とは、ブーム１１の先端部が地面ＲＳから離れるように上昇する動作をいう。ブーム１１の下げ動作とは、ブーム１１の先端部が地面ＲＳに近付くように下降する動作をいう。ブーム１１は、ブーム１１の可動範囲において上げ動作及び下げ動作する。上げ動作するブーム１１は、ブーム１１の可動範囲の上端部よりも上方の移動を規制される。下げ動作するブーム１１は、ブーム１１の可動範囲の下端部よりも下方の移動を規制される。

バケット１２は、刃先を含む先端部１２Ｂを有する作業部材である。バケット１２は、前タイヤ６Ｆよりも前方に配置される。バケット１２は、ブーム１１の先端部と連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４は、バケット１２を移動するための動力を発生する油圧シリンダである。ベルクランク１５の中央部がブーム１１に回転可能に連結される。バケットシリンダ１４の一端部は、車体２に連結される。バケットシリンダ１４の他端部は、ベルクランク１５の一端部に連結される。ベルクランク１５の他端部は、リンク１６を介してバケット１２に連結される。バケットシリンダ１４は、１つ設けられる。バケットシリンダ１４は、車幅方向の中央部に設けられる。運転者が作業レバーを操作するとバケットシリンダ１４が伸縮する。バケットシリンダ１４が伸縮することにより、バケット１２はダンプ動作又はチルト動作する。

バケット１２のダンプ動作とは、バケット１２の開口部が下方を向きバケット１２の先端部１２Ｂが地面ＲＳに近付くようにバケット１２が回転する動作をいう。バケット１２のチルト動作とは、バケット１２の開口部が上方を向きバケット１２の先端部１２Ｂが地面ＲＳから離れるようにバケット１２が回転する動作をいう。バケット１２は、バケット１２の可動範囲においてダンプ動作及びチルト動作する。ダンプ動作するバケット１２は、バケット１２の可動範囲の下端部よりも下方の移動を規制される。チルト動作するバケット１２は、バケット１２の可動範囲の上端部よりも上方の移動を規制される。

バケット１２のダンプ動作が実施されることにより、バケット１２ですくい上げられた掘削物がバケット１２から排出される。バケット１２のチルト動作が実施されることにより、バケット１２は掘削物をすくい取る。

図２及び図３に示すように、車幅方向におけるバケット１２の両側の端部１２Ｅは、車幅方向においてタイヤ６よりも外側に配置される。すなわち、バケット１２の右側の端部１２Ｅと左側の端部１２Ｅとの車幅方向の距離は、右側のタイヤ６の外側面と左側のタイヤ６の外側面との車幅方向の距離よりも大きい。

図４は、本実施形態に係るホイールローダ１の一部を示す正面図であって、バケット１２やベルクランク１５を省略（破線で図示）した図に相当する。本実施形態において、走行装置４は、エンジンで発生した動力を前輪５Ｆに伝達する動力伝達機構７と、動力伝達機構７の少なくとも一部を収容するハウジング８とを有する。エンジンは、車体後部２Ｒに配置される。エンジンで発生した動力は、動力伝達機構７のデファレンシャルギアを介して、左右の前輪５Ｆに伝達される。デファレンシャルギアは、ハウジング８の球状部分であるアクスルボール８Ｂに収容される。アクスルボール８Ｂは、車幅方向の中央部に配置される。また、アクスルボール８Ｂは、バケットシリンダ１４よりも下方に配置される。

［周辺監視システムの概要］
本実施形態において、ホイールローダ１は、ホイールローダ１の周辺を監視して、ホイールローダ１の周辺の状況をホイールローダ１の運転者に認識させる周辺監視システム１００を備える。周辺監視システム１００は、ホイールローダ１の周辺を撮影する複数のカメラ２０と、ホイールローダ１の周辺の障害物を非接触で検出する複数の非接触センサ４０と、表示装置６０と、制御装置８０とを備える。

［カメラ］
カメラ２０は、ホイールローダ１に搭載され、ホイールローダ１の周辺の撮影画像を撮影する。本実施形態においては、６台のカメラ２０がホイールローダ１に搭載される。複数のカメラ２０がホイールローダ１に搭載されることにより、周辺監視システム１００は、ホイールローダ１の周辺の異なる領域の撮影画像を取得可能である。

図１、図２、図３、及び図４に示すように、カメラ２０は、ホイールローダ１の周辺の撮影画像を取得するために、ホイールローダ１の車体２の外面に設けられる。本実施形態において、カメラ２０は、車体２の前方を撮影するカメラ２０Ａと、車体２の右方を撮影するカメラ２０Ｂと、車体２の右方及び右後方を撮影するカメラ２０Ｃと、車体２の後方を撮影するカメラ２０Ｄと、車体２の左方及び左後方を撮影するカメラ２０Ｅと、車体２の左方を撮影するカメラ２０Ｆとを含む。

本実施形態において、カメラ２０Ａは、車体前部２Ｆに設けられる。カメラ２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆは、車体後部２Ｒに設けられる。

図５は、本実施形態に係るカメラ２０Ａの一例を示す斜視図である。図４及び図５に示すように、カメラ２０Ａは、車体前部２Ｆの前部に配置される。また、カメラ２０Ａは、バケットシリンダ１４よりも下方に配置され、ハウジング８のアクスルボール８Ｂよりも上方に配置される。カメラ２０Ａは、車幅方向の中央部に１つ配置される。カメラ２０Ａは、アクスルボール８Ｂよりも僅かに前方に配置される。

ホイールローダ１は、車体２に支持され、カメラ２０Ａによる撮影領域を照明する照明装置３０を備える。照明装置３０は、照明光を射出する前照灯を含む。本実施形態において、照明装置３０は、カメラ２０Ａの上方に２つ設けられる。照明装置３０は、ケーシング３１に収容される。ケーシング３１は、照明光の照射を妨げずに照明装置３０を保護するロッド部材３１Ｌを含む。ロッド部材３１Ｌは、照明装置３０の前方に配置される。

また、ホイールローダ１の車体前部２Ｆには、上下方向においてバケットシリンダ１４とカメラ２０Ａとの間に配置され、カメラ２０Ａを保護するカバー部材３２が設けられる。本実施形態において、カバー部材３２は、カメラ２０Ａ及び照明装置３０よりも上方に配置された庇部材である。

図６及び図７は、本実施形態に係るカメラ２０Ａの撮影領域ＳＡを説明するための模式図である。図６は、上方から見た撮影領域ＳＡを示す。図７は、側方から見た撮影領域ＳＡを示す。図８は、上方から見た、本実施形態に係るカメラ２０Ａの撮影領域ＳＡ、カメラ２０Ｂの撮影領域ＳＢ、カメラ２０Ｃの撮影領域ＳＣ、カメラ２０Ｄの撮影領域ＳＤ、カメラ２０Ｅの撮影領域ＳＥ、及びカメラ２０Ｆの撮影領域ＳＦのそれぞれを説明するための模式図である。カメラ２０の撮影領域は、カメラ２０の光学系の視野領域を含む。カメラ２０は、例えば、撮影領域に存在する障害物を撮影する。

カメラ２０Ａは、車体２の前方に規定された撮影領域ＳＡを撮影する。カメラ２０Ａの撮影領域ＳＡは、車体２の前方に拡がるように規定される。図６に示すように、車幅方向のカメラ２０Ａの画角αは、約１２０［°］である。図７に示すように、上下方向のカメラ２０Ａの画角βは、９０［°］以上１００［°］以下である。

図６及び図７に示すように、カメラ２０Ａの撮影領域ＳＡは、前タイヤ６Ｆの少なくとも一部を含む。本実施形態において、カメラ２０Ａの撮影領域ＳＡは、前タイヤ６Ｆの前部を含む。また、カメラ２０Ａの撮影領域ＳＡには、前タイヤ６Ｆと、前タイヤ６Ｆよりも前方に配置され地面ＲＳに接触した接地状態のバケット１２との間の地面ＲＳが含まれる。また、カメラ２０Ａの撮影領域ＳＡには、バケット１２の両側の端部１２Ｅが含まれる。

すなわち、本実施形態においては、カメラ２０Ａは、バケット１２が地面ＲＳに接触するようにブーム１１が下げ動作された状態で、バケット１２の両側の端部１２Ｅと、前タイヤ６Ｆの前部とが映り込むように、バケット１２と前タイヤ６Ｆとの間の地面ＲＳを撮影する。

カメラ２０Ｂは、車体２の右方に規定された撮影領域ＳＢを撮影する。カメラ２０Ｂの撮影領域ＳＢは、車体２の右方に拡がるように規定される。図２及び図８等に示すように、カメラ２０Ｂは、車体後部２Ｆの右側部に設けられる。本実施形態において、カメラ２０Ｂは、運転台３の運転室に通じるステップの中間部であるプラットフォームの近傍に設けられる。

カメラ２０Ｃは、車体２の右方及び右後方に規定された撮影領域ＳＣを撮影する。カメラ２０Ｃの撮影領域ＳＣは、車体２の右方及び右後方に拡がるように規定される。図２及び図８等に示すように、カメラ２０Ｃは、車体後部２Ｆの後部に設けられているラジエータガードの右部に設けられる。

カメラ２０Ｄは、車体２の後方に規定された撮影領域ＳＤを撮影する。カメラ２０Ｄの撮影領域ＳＤは、車体２の後方に拡がるように規定される。図２及び図８等に示すように、カメラ２０Ｄは、車体後部２Ｆの後部に設けられているラジエータガードの中央部に設けられる。

カメラ２０Ｅは、車体２の左方及び左後方を撮影する。カメラ２０Ｅの撮影領域ＳＥは、車体２の左方及び左後方に拡がるように規定される。図１、図２、及び図８等に示すように、カメラ２０Ｅは、車体後部２Ｆの後部に設けられているラジエータガードの左部に設けられる。

カメラ２０Ｆは、車体２の左方に規定された撮影領域ＳＦを撮影する。カメラ２０Ｆの撮影領域ＳＦは、車体２の左方に拡がるように規定される。図１、図２、及び図８等に示すように、カメラ２０Ｆは、車体後部２Ｆの左側部に設けられる。本実施形態において、カメラ２０Ｆは、運転台３の運転室に通じるステップの中間部であるプラットフォームの近傍に設けられる。

周辺監視システム１００は、これら複数のカメラ２０を用いて、ホイールローダ１の周辺の撮影画像を取得することができる。

［非接触センサ］
非接触センサ４０は、ホイールローダ１に搭載され、ホイールローダ１の周辺の障害物を非接触で検出する。障害物としては、例えば、乗用車などがある。非接触センサ４０は、カメラ２０よりも下方に配置される。本実施形態において、非接触センサ４０は、電波を障害物に発射して障害物を非接触で検出可能なレーダ装置を含む。なお、非接触センサ４０は、レーザ光を障害物に発射して障害物を非接触で検出可能なレーザスキャナ装置を含んでもよい。本実施形態においては、４台の非接触センサ４０がホイールローダ１に搭載される。複数の非接触センサ４０がホイールローダ１に搭載されることにより、周辺監視システム１００は、ホイールローダ１の周辺の異なる領域に存在する障害物を検出可能である。

図１、図２、及び図８等に示すように、非接触センサ４０は、ホイールローダ１の周辺の障害物を検出するために、ホイールローダ１の車体２の外面に設けられる。本実施形態において、非接触センサ４０は、車体２の右方及び右後方の障害物を検出する非接触センサ４０Ａと、車体２の後方及び右後方の障害物を検出する非接触センサ４０Ｂと、車体２の後方及び左後方の障害物を検出する非接触センサ４０Ｃと、車体２の左方及び左後方の障害物を検出する非接触センサ４０Ｄとを含む。つまり、非接触センサ４０Ｂの電波の発射方向と非接触センサ４０Ｃの電波の発射方向とが交差するように、各非接触センサ４０が設置され、車体２の後方に存在する障害物が漏れ無く検出されるようになっている。

本実施形態において、非接触センサ４０Ａ，４０Ｂ，４０Ｃ，４０Ｄは、車体後部２Ｒに設けられる。

図９及び図１０は、本実施形態に係る非接触センサ４０Ａの検出領域ＤＡ、非接触センサ４０Ｂの検出領域ＤＢ、非接触センサ４０Ｃの検出領域ＤＣ、及び非接触センサ４０Ｄの検出領域ＤＤのそれぞれを説明するための模式図である。図９は、上方から見た非接触センサ４０の検出領域を示している。図１０は、前方又は後方から見た非接触センサ４０の検出領域を示している。非接触センサ４０の検出領域は、発射した電波が到達可能な領域を含む。非接触センサ４０は、検出領域に存在する障害物を検出する。

図９に示すように、水平方向の非接触センサ４０の検出角γは、約８０［°］である。図１０に示すように、垂直方向の非接触センサ４０の検出角δは、約３０［°］である。

非接触センサ４０Ａは、車体２の右方に規定された検出領域ＤＡの障害物を検出する。非接触センサ４０Ａの検出領域ＤＡは、車体２の右方に拡がるように規定される。図２及び図８等に示すように、非接触センサ４０Ａは、車体後部２Ｆの右側部に設けられる。本実施形態において、非接触センサ４０Ａは、例えば、運転台３の運転室に通じるステップの下部の近傍に設けられる。

非接触センサ４０Ｂは、車体２の後方及び左後方に規定された検出領域ＤＢの障害物を検出する。非接触センサ４０Ｂの検出領域ＤＢは、車体２の後方及び左後方に拡がるように規定される。図２及び図８等に示すように、非接触センサ４０Ｂは、例えば、車体後部２Ｆの後部に設けられているリアバンパーの右部に設けられる。

非接触センサ４０Ｃは、車体２の後方及び右後方に規定された検出領域ＤＣの障害物を検出する。非接触センサ４０Ｃの検出領域ＤＣは、車体２の後方及び右後方に拡がるように規定される。図１、図２、及び図８等に示すように、非接触センサ４０Ｃは、車体後部２Ｆの後部に設けられているリアバンパーの左部に設けられる。

非接触センサ４０Ｄは、車体２の左方に規定された検出領域ＤＤの障害物を検出する。非接触センサ４０Ｄの検出領域ＤＤは、車体２の左方に拡がるように規定される。図１、図２、及び図８等に示すように、非接触センサ４０Ｄは、車体後部２Ｆの左側部に設けられる。本実施形態において、非接触センサ４０Ｄは、運転台３の運転室に通じるステップの下部の近傍に設けられる。

カメラ２０の撮影領域と、非接触センサ４０の検出領域の少なくとも一部とは、重複する。

［制御装置］
次に、本実施形態に係る制御装置８０について説明する。図１１は、本実施形態に係る制御装置８０を含む周辺監視システム１００の一例を示す機能ブロック図である。制御装置８０は、角度センサ５０、複数のカメラ２０、前後進切替スイッチを含む運転操作装置５２、入力装置７０、複数の非接触センサ４０、及び表示装置６０のそれぞれと接続される。制御装置８０、角度センサ５０、複数のカメラ２０、運転操作装置５２、入力装置７０、複数の非接触センサ４０、及び表示装置６０は、ホイールローダ１に搭載されている。

制御装置８０は、コンピュータシステムを含む。制御装置８０は、ＣＰＵ（Central Processing Unit）のようなプロセッサと、ＲＯＭ（Read Only Memory）又はストレージのような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含む記憶装置とを有する。

表示装置６０及び入力装置７０は、運転台３の運転室に配置される。表示装置６０は、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）又は有機ＥＬディスプレイ（Organic Electroluminescence Display：ＯＥＬＤ）のようなフラットパネルディスプレイを含む。入力装置７０は、スイッチボタン、コンピュータ用キーボード、マウス、及び表示装置６０の表示画面に設けられたタッチセンサの少なくとも１つを含む。制御装置８０は、表示装置６０に表示データを出力する。ホイールローダ１の運転者は、表示装置６０に表示された表示データを視認可能である。表示装置６０は、制御装置８０から出力された表示データを表示画面に表示する。入力装置７０は、ホイールローダ１の運転者によって操作される。運転者に操作されることにより、入力装置７０は、入力データを生成し、制御装置８０に出力する。

制御装置８０は、屈曲角度データ取得部８１と、撮影画像データ取得部８２と、障害物データ取得部８３と、俯瞰画像合成部８４と、フロント画像生成部８５と、カメラ画像切替部８６と、記憶部８７と、判定部８８と、選択部８９と、障害物位置データ生成部９０と、表示制御部９１とを備える。

屈曲角度データ取得部８１は、ホイールローダ１に搭載されている角度センサ５０で検出された車体前部２Ｆと車体後部２Ｒとの屈曲角度θを示す屈曲角度データを角度センサ５０から取得する。

撮影画像データ取得部８２は、ホイールローダ１に搭載されている複数のカメラ２０のそれぞれで撮影された撮影画像を示す撮影画像データを複数のカメラ２０のそれぞれから取得する。

障害物データ取得部８３は、ホイールローダ１に搭載されている複数の非接触センサ４０のそれぞれで検出された障害物を示す障害物データを複数の非接触センサ４０のそれぞれから取得する。

俯瞰画像合成部８４は、撮影画像データ取得部８２で取得された複数の撮影画像データを画像処理してホイールローダ１の周辺の俯瞰画像ＢＩを示す俯瞰画像データを生成する。本実施形態において、俯瞰画像合成部８４は、車体後部２Ｆに設けられているカメラ２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆで取得された複数の撮影画像データに基づいて、ホイールローダ１の周辺の俯瞰画像データを生成する。

フロント画像生成部８５は、撮影画像データ取得部８２で取得された撮影画像データに基づいてホイールローダ１の前方の画像を示すフロント画像データを生成する。フロント画像生成部８５は、車体前部２Ｆに設けられているカメラ２０Ａで取得された撮影画像データに基づいて、フロント画像データを生成する。

カメラ画像切替部８６は、複数のカメラ２０のそれぞれが撮影した複数の撮影画像データから特定の撮影画像データを選択する。本実施形態において、カメラ画像切替部８６は、運転操作装置５２の前後進切替スイッチの操作信号に基づいて、複数の撮影画像データから特定の撮影画像データを選択する。また、カメラ画像切替部８６は、入力装置７０で生成された入力データに基づいて、複数の撮影画像データから特定の撮影画像データを選択することができる。

記憶部８７は、車体前部２Ｆと車体後部２Ｒとの複数の屈曲角度範囲ＦＲのそれぞれに属するホイールローダ１の代表画像を示すライブラリ画像データを記憶する。ホイールローダ１の代表画像は、ホイールローダ１を上方から見た上面図に相当する状態画像を含む。

図１２は、本実施形態に係る屈曲角度範囲ＦＲを説明するための模式図である。車体前部２Ｆは、車体後部２Ｒに対して左右に屈曲する。屈曲角度範囲ＦＲは、右側の第１閾値屈曲角度θｓ１と左側の第２閾値屈曲角度θｓ２との間において重複しないように複数定められる。複数の屈曲角度範囲ＦＲのうち、いずれかの屈曲角度範囲ＦＲと、その屈曲角度範囲ＦＲの隣に規定される屈曲角度範囲ＦＲとにおいて、同一の角度は存在しない。代表画像は複数用意され、複数の屈曲角度範囲ＦＲのそれぞれに１つずつ定められる。

屈曲角度θの基準が０［°］に定められる。屈曲角度θが０［°］であることは、ホイールローダ１が直進状態であることを意味する。本実施形態においては、屈曲角度θが０［°］を基準として車体前部２Ｆが右側に屈曲したときの車体前部２Ｆと車体後部２Ｒとの屈曲角度θを正値とし、車体前部２Ｆが左側に屈曲したときの車体前部２Ｆと車体後部２Ｒとの屈曲角度θを負値とする。本実施形態において、右側の第１閾値屈曲角度θｓ１は＋３５［°］である。左側の第２閾値屈曲角度θｓ２は−３５［°］である。屈曲角度範囲ＦＲは、＋３５［°］と−３５［°］との間において重複しないように複数定められる。

本実施形態において、屈曲角度範囲ＦＲは、０［°］の屈曲角度を含む基準屈曲角度範囲ＦＲｃと、基準屈曲角度範囲ＦＲｃよりも右側の複数の右屈曲角度範囲ＦＲｒと、基準屈曲角度範囲ＦＲｃよりも左側の複数の左屈曲角度範囲ＦＲｌとを含む。

本実施形態において、基準屈曲角度範囲ＦＲｃの右側の端部を規定する屈曲角度θａ１の絶対値と左側の端部を規定する屈曲角度θａ２の絶対値とは等しい。本実施形態において、屈曲角度θａ１は＋５［°］であり、屈曲角度θａ２は−５［°］である。すなわち、本実施形態において、基準屈曲角度範囲ＦＲｃは、屈曲角度θが−５［°］以上＋５［°］以下の範囲（−５［°］≦θ≦＋５［°］）である。

また、本実施形態において、複数の右屈曲角度範囲ＦＲｒの大きさと複数の左屈曲角度範囲ＦＲｌの大きさとは等しい。右屈曲角度範囲ＦＲｒは、屈曲角度θが＋５［°］よりも大きく＋２０［°］以下の範囲（＋５［°］＜θ≦＋２０［°］）の第１右屈曲角度範囲ＦＲｒ１と、屈曲角度θが＋２０［°］よりも大きく＋３５［°］以下の範囲（＋２０［°］＜θ≦＋３５［°］）の第２右屈曲角度範囲ＦＲｒ２とを含む。左屈曲角度範囲ＦＲｌは、屈曲角度θが−２０［°］以上−５［°］よりも小さい範囲（−２０［°］≦θ＜−５［°］）の第１左屈曲角度範囲ＦＲｌ１と、屈曲角度θが−３５［°］以上−２０［°］よりも小さい範囲（−３５［°］≦θ＜−２０［°］）の第２左屈曲角度範囲ＦＲｌ２とを含む。

代表画像は、屈曲角度範囲ＦＲの中央値の屈曲角度θで車体前部２Ｆが屈曲した状態のホイールローダ１を上方からみたときの形状を示す状態画像を含む。なお、状態画像は、ホイールローダ１を上方からみたときの輪郭線のみを示した画像でもよい。この場合、輪郭線の表示形態は実線でも破線でもよい。また、状態画像は、作業機１０を示す部分を省略した画像でもよい。さらに、取り付けられるバケット１２の大きさや形状に対応して複数の状態画像を記憶部８７に記憶させておき、実際に取り付けられているバケット１２に対応した状態画像を、例えば入力装置７０を操作して選択できるようにしてもよい。

図１３から図１９は、本実施形態に係る複数の屈曲角度範囲ＦＲのそれぞれに属するホイールローダ１の代表画像の一例を模式的に示す図である。

図１３は、屈曲角度θが−５［°］以上＋５［°］以下の基準屈曲角度範囲ＦＲｃに属するホイールローダ１の状態画像を示す図である。基準屈曲角度範囲ＦＲｃの中央値の屈曲角度θは０［°］である。図１３に示すように、基準屈曲角度範囲ＦＲｃに属するホイールローダ１の状態画像は、屈曲角度θが０［°］の状態を表している。

図１４は、屈曲角度θが＋５［°］よりも大きく＋２０［°］以下の第１右屈曲角度範囲ＦＲｒ１に属するホイールローダ１の状態画像を示す図である。第１右屈曲角度範囲ＦＲｒ１の中央値の屈曲角度θは＋１２．５［°］である。図１４に示すように、第１右屈曲角度範囲ＦＲｒ１に属するホイールローダ１の状態画像は、屈曲角度θが＋１２．５［°］の状態を表している。

図１５は、屈曲角度θが＋２０［°］よりも大きく＋３５［°］以下の第２右屈曲角度範囲ＦＲｒ２に属するホイールローダ１の状態画像を示す図である。第２右屈曲角度範囲ＦＲｒ２の中央値の屈曲角度θは＋２７．５［°］である。図１５に示すように、第２右屈曲角度範囲ＦＲｒ２に属するホイールローダ１の状態画像は、屈曲角度θが＋２７．５［°］の状態を表している。

図１６は、屈曲角度θが−２０［°］以上−５［°］よりも小さい第１左屈曲角度範囲ＦＲｌ１に属するホイールローダ１の状態画像を示す図である。第１左屈曲角度範囲ＦＲｌ１の中央値の屈曲角度θは−１２．５［°］である。図１６に示すように、第１左屈曲角度範囲ＦＲｌ１に属するホイールローダ１の状態画像は、屈曲角度θが−１２．５［°］の状態を表している。

図１７は、屈曲角度θが−３５［°］以上−２０［°］よりも小さい第２左屈曲角度範囲ＦＲｌ２に属するホイールローダ１の状態画像を示す図である。第２左屈曲角度範囲ＦＲｌ２の中央値の屈曲角度θは−２７．５［°］である。図１７に示すように、第２左屈曲角度範囲ＦＲｌ２に属するホイールローダ１の状態画像は、屈曲角度θが−２７．５［°］の状態を表している。

また、本実施形態において、代表画像は、第１閾値屈曲角度θｓ１である＋３５［°］よりも右側の右外側屈曲角度範囲ＦＲｒｏ、及び第２閾値屈曲角度θｓ２である−３５［°］よりも左側の左外側屈曲角度範囲ＦＲｌｏのそれぞれに１つずつ定められる。本実施形態において、右外側屈曲角度範囲ＦＲｒｏは、屈曲角度θが＋３５［°］よりも大きい範囲（＋３５［°］＜θ）である。左外側屈曲角度範囲ＦＲｌｏは、屈曲角度θが−３５［°］よりも小さい範囲（θ＜−３５［°］）である。

図１８は、屈曲角度θが＋３５［°］よりも大きい右外側屈曲角度範囲ＦＲｒｏに属するホイールローダ１の状態画像を示す図である。図１８に示すように、右外側屈曲角度範囲ＦＲｒｏに属するホイールローダ１の状態画像において、屈曲角度θは、例えば＋３５［°］である。なお、右外側屈曲角度範囲ＦＲｒｏに属するホイールローダ１の状態画像における屈曲角度θは、一定値であればよく、例えば屈曲角度θが＋４０［°］の状態を表してもよい。

図１９は、屈曲角度θが−３５［°］よりも小さい左外側屈曲角度範囲ＦＲｌｏに属するホイールローダ１の状態画像を示す図である。図１９に示すように、左外側屈曲角度範囲ＦＲｌｏに属するホイールローダ１の状態画像において、屈曲角度θは、例えば−３５［°］である。なお、左外側屈曲角度範囲ＦＲｌｏに属するホイールローダ１の状態画像における屈曲角度θは、一定値であればよく、例えば屈曲角度θが−４０［°］の状態を表してもよい。

このように、本実施形態において、記憶部８７には、図１３から図１９を参照して説明したような、複数の屈曲角度範囲ＦＲと、それら複数の屈曲角度範囲ＦＲのそれぞれに１つずつ定められるホイールローダ１の代表画像を示すライブラリ画像データとが記憶されている。

判定部８８は、記憶部８７に記憶されている複数の屈曲角度範囲ＦＲから、屈曲角度データ取得部８１で取得された屈曲角度θが属する屈曲角度範囲ＦＲを判定する。すなわち、判定部８８は、角度センサ５０で検出されたホイールローダ１の屈曲角度θが、記憶部８７に記憶されている複数の屈曲角度範囲ＦＲのうちどの屈曲角度範囲ＦＲに属するかを判定する。例えば、角度センサ５０で検出されたホイールローダ１の屈曲角度θが＋１５［°］である場合、判定部８８は、屈曲角度θが第１右屈曲角度範囲ＦＲｒ１に属すると判定する。また、角度センサ５０で検出されたホイールローダ１の屈曲角度θが−２５［°］である場合、判定部８８は、屈曲角度θが第２左屈曲角度範囲ＦＲｌ２に属すると判定する。

選択部８９は、記憶部８７に記憶されている複数の代表画像から、判定部８８で判定された屈曲角度範囲ＦＲに属する代表画像を選択する。例えば、判定部８８で判定された屈曲角度範囲ＦＲが第１右屈曲角度範囲ＦＲｒ１であると判定された場合、選択部８９は、記憶部８７に記憶されている複数の代表画像のうち、図１４を参照して説明したような第１右屈曲角度範囲ＦＲｒ１が属する代表画像を選択する。また、判定部８８で判定された屈曲角度範囲ＦＲが第２左屈曲角度範囲ＦＲｌ２であると判定された場合、選択部８９は、記憶部８７に記憶されている複数の代表画像のうち、図１７を参照して説明したような第２左屈曲角度範囲ＦＲｌ２が属する代表画像を選択する。

障害物位置データ生成部９０は、障害物データ取得部８３で取得された障害物データに基づいて、障害物の位置を示す障害物位置データを生成する。

表示制御部９１は、俯瞰画像合成部８４で生成された俯瞰画像と選択部８９で選択された代表画像とを表示装置６０に同時に表示させる。本実施形態において、表示制御部９１は、選択部８９で選択された代表画像を表示装置６０の表示画面の中央部に表示させ、俯瞰画像を表示装置６０の表示画面において代表画像の周囲に表示させる。

また、表示制御部９１は、障害物位置データ生成部９０で生成された障害物位置データに基づいて、障害物の位置を示すマークを表示装置６０に表示させる。表示制御部９１は、俯瞰画像に重ねるように、障害物の位置を示すマークを表示装置６０に表示させる。

図２０は、本実施形態に係る表示装置６０に表示される表示画面の一例を模式的に示す図である。図２０に示すように、本実施形態において、表示制御部９１は、表示装置６０の表示画面の第１領域６１に代表画像ＣＧ及び俯瞰画像ＢＩを表示させ、第１領域６１の隣の表示画面の第２領域６２に撮影画像を表示させる。

図２０は、角度センサ５０で検出されたホイールローダ１の屈曲角度θが＋３［°］であり、その屈曲角度θが属する屈曲角度範囲ＦＲが基準屈曲角度範囲ＦＲｃであると判定され、図１３を参照して説明したような基準屈曲角度範囲ＦＲｃに属する代表画像ＣＧが表示されている例を示す。表示制御部９１は、基準屈曲角度範囲ＦＲｃに属する代表画像ＣＧを第１領域６１の中央部に表示させ、その第１領域６１において代表画像ＣＧの周囲にホイールローダ１の周辺の俯瞰画像ＢＩを表示させる。

また、表示制御部９１は、俯瞰画像ＢＩを生成するための撮影画像データを取得する複数のカメラ２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆの撮影領域ＳＢｐ，ＳＣｐ，ＳＤｐ，ＳＥｐ，ＳＦｐの境界を示すラインＬＧを俯瞰画像ＢＩに重ねて表示させる。なお、撮影領域ＳＢｐ，ＳＣｐ，ＳＤｐ，ＳＥｐ，ＳＦｐは、実際のカメラ２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆの撮影領域ＳＢｐ，ＳＣｐ，ＳＤｐ，ＳＥｐ，ＳＦｐに対応する画像データを示す。

また、表示制御部９１は、ホイールローダ１の外縁からの距離を示すラインＬａ，Ｌｂ，Ｌｃを俯瞰画像ＢＩに重ねて表示させる。ホイールローダ１の外縁とは、ホイールローダ１が、直進できる姿勢において、ホイールローダ１を上方から見た平面視が示すホイールローダ１の外形を形成する線である。図２０に示す例において、ラインＬａは、ホイールローダ１の外縁から３［ｍ］の位置を示し、ラインＬｂは、ホイールローダ１の外縁から５［ｍ］の位置を示し、ラインＬｃは、ホイールローダ１の外縁から７［ｍ］の位置を示す。なお、ラインＬａ，Ｌｂ，Ｌｃが示す距離は一例であり、任意に定めることができる。また、ホイールローダ１の外縁からの距離を示すラインは、３本でなくてもよく、１本又は２本でもよいし、４本以上の任意の複数本でもよい。

また、表示制御部９１は、非接触センサ４０によって検出された障害物の位置を示すマーク６３を俯瞰画像ＢＩに重ねて表示させる。例えば、ホイールローダ１の後方に存在する障害物が非接触センサ４０によって検出されたとき、表示制御部９１は、障害物位置データ生成部９０で生成された障害物の位置を示す障害物位置データに基づいて、俯瞰画像ＢＩにおいて表示されている障害物にマーク６３を重ねて表示させる。これにより、障害物が存在することが強調して示され、ホイールローダ１の運転者は、障害物の存在を速やかに認識することができる。ここで、表示制御部９１は、マーク６３を点滅表示させてもよい。また、本実施形態においては、表示制御部９１は、複数の撮影領域ＳＢｐ，ＳＣｐ，ＳＤｐ，ＳＥｐ，ＳＦｐのうち、障害物が存在する撮影領域を強調表示させる。例えば、表示制御部９１は、障害物が存在する撮影領域（図２０の場合、撮影領域ＳＤｐ）を、障害物が存在しない他の撮影領域とは異なる色彩で表示させたり、障害物が存在する撮影領域を点滅表示させたりすることができる。また、表示制御部９１は、障害物が存在する撮影領域の輪郭線を点滅表示させてもよい。

第２領域６２には、撮影画像データ取得部８２で取得された撮影画像が表示される。図２０は、カメラ２０Ａで撮影され、フロント画像生成部８５において画像処理された、ホイールローダ１の前方を示す撮影画像ＣＩが表示される例を示す。第２領域６２には、ホイールローダ１の所定の部位を示すガイドラインＬｄ，Ｌｅが表示される。なお、ラインＬａ，Ｌｂ，ＬｃやガイドラインＬｄ，Ｌｅは、図２０に示すような破線による表示形態でも良いし、実線による表示形態であってもよい。また、それぞれのラインあるいはガイドラインを色分けした表示形態により表示させてもよい。

本実施形態において、ホイールローダ１が前進しているとき、表示制御部９１は、カメラ２０Ａで撮影されたホイールローダ１の前方を示す撮影画像ＣＩを第２領域６２に表示させる。一方、ホイールローダ１が後進しているとき、表示制御部９１は、カメラ２０Ｄで撮影されたホイールローダ１の後方を示す撮影画像ＣＩを第２領域６２に表示させる。

本実施形態においては、運転操作装置５２の前後進切替スイッチの操作信号がカメラ画像切替部８６に入力される。カメラ画像切替部８６は、運転操作装置５２から出力された操作信号に基づいて、第２領域６２に表示させる撮影画像ＣＩを切り替えるための指令データを表示制御部９１に出力する。ホイールローダ１が前進しており、ホイールローダ１の前方の撮影画像ＣＩを表示させる指令データをカメラ画像切替部８６から取得したとき、表示制御部９１は、カメラ２０Ａで撮影された撮影画像ＣＩを第２領域６２に表示させる。ホイールローダ１が後進しており、ホイールローダ１の後方の撮影画像ＣＩを表示させる指令データをカメラ画像切替部８６から取得したとき、表示制御部９１は、カメラ２０Ｄで撮影された撮影画像ＣＩを第２領域６２に表示させる。

また、第２領域６２には、複数のカメラ２０の撮影領域のうち第２領域６２に表示されているカメラ２０の撮影領域を示すインジケータ６４が表示される。また、第２領域６２は、非接触センサ４０が作動状態であることを示すアイコン６５が表示される。

なお、表示制御部９１は、第２領域６２を表示させず、選択部８９で選択された代表画像ＣＧを表示装置６０の表示画面の中央部に表示させ、俯瞰画像ＢＩを表示装置６０の表示画面において代表画像ＣＧの周囲に表示させてもよい。あるいは、表示制御部９１は、第１領域６１を表示させず、選択部８９で選択された撮影画像ＣＩを表示装置６０の表示画面の中央部に表示させてもよい。すなわち、表示制御部９１は、所謂、二画面表示させてもよいし、一画面表示させてもよい。

図２１は、本実施形態に係る運転台３の運転室の一例を模式的に示す図である。図２１は、運転室の運転席に着座した運転者が見ている景色を模式的に示す。

表示装置６０は、車体２の運転室に配置される。運転者は、運転室に設けられている表示装置６０を見て、ホイールローダ１の周辺の状況を確認することができる。

運転室には、例えば運転操作装置５２であるアクセルペダル５２Ａ及び左右のブレーキペダル５２Ｂ、計器５４、モニタ装置５６、及びリアビューモニタ装置５８など、複数の機器が設けられている。運転室の前部にはフロントガラスが設けられる。フロントガラスは、運転室のピラー３３に支持されている。表示装置６０は、ピラー３３に支持される。表示装置６０がピラー３３に支持されているので、運転者は、表示装置６０に遮られることなく、フロントガラスを介して外部の状況を視認することができる。

図２１に示すように、ホイールローダ１においては、運転室の運転者は、フロントガラスを介して、ブーム１１及びバケットシリンダ１４等を視認可能であるものの、地面ＲＳを含むホイールローダ１の周辺の状況を視認することは困難である。

本実施形態においては、ホイールローダ１の周辺の撮影画像データがカメラ２０で取得され、表示装置６０に表示される。また、ホイールローダ１の周辺に存在する障害物が非接触センサ４０によって検出され、表示装置６０に表示される。これにより、運転者は、ホイールローダ１の周辺の状況を円滑に把握することができる。

［周辺監視方法］
次に、本実施形態に係る作業車両の周辺監視方法について説明する。図２２は、本実施形態に係る作業車両の周辺監視方法の一例を示すフローチャートである。

例えばホイールローダ１を使って運搬車両のベッセルに掘削物を積み込むとき、運転者は、バケット１２に掘削物が保持された状態で、運搬車両に向かってホイールローダ１を前進させる。

屈曲角度データ取得部８１は、角度センサ５０で検出された車体前部２Ｆと車体後部２Ｒとの屈曲角度θを示す屈曲角度データを取得する（ステップＳ１０）。

また、撮影画像データ取得部８２は、複数のカメラ２０のそれぞれで撮影された撮影画像ＣＩを示す撮影画像データを取得する（ステップＳ２０）。

俯瞰画像合成部８４は、カメラ２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆで取得された複数の撮影画像データを画像処理してホイールローダ１の周辺の俯瞰画像ＢＩを示す俯瞰画像データを生成する（ステップＳ３０）。

判定部８８は、ステップＳ１０で取得された屈曲角度データに基づいて、記憶部８７に記憶されている複数の屈曲角度範囲ＦＲから、ホイールローダ１の屈曲角度θが属する屈曲角度範囲ＦＲを判定する（ステップＳ４０）。

選択部８９は、記憶部８７に記憶されている複数の代表画像ＣＧから、ステップＳ４０で判定された屈曲角度範囲ＦＲに属する代表画像ＣＧを選択する（ステップＳ５０）。

表示制御部９１は、ステップＳ３０で生成された俯瞰画像ＢＩと、ステップＳ５０で選択された代表画像ＣＧとを、ホイールローダ１の運転室に搭載されている表示装置６０の第１領域６１に同時に同一の表示画面に表示させる（ステップＳ６０）。なお、作業車両の周辺監視方法について、ステップＳ２０及びステップＳ３０を先に行い、ステップＳ１０を実行してもよい。つまり、俯瞰画像ＢＩを生成する処理を先に行い、代表画像ＣＧを選択する処理をその後に実行してもよいし、その逆の順序でそれぞれの処理を実行してもよい。

例えば、屈曲角度θが−５［°］以上＋５［°］以下である場合、図１３を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが＋５［°］よりも大きく＋２０［°］以下である場合、図１４を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが＋２０［°］よりも大きく＋３５［°］以下である場合、図１５を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが−２０［°］以上であり−５［°］よりも小さい場合、図１６を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが−３５［°］以上であり−２０［°］よりも小さい場合、図１７を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが＋３５［°］よりも大きい場合、図１８を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。屈曲角度θが−３５［°］よりも小さい場合、図１９を参照して説明した代表画像ＣＧが選択され、第１領域６１に表示される。

また、ホイールローダ１の前進においては、表示装置６０の第２領域６２に、カメラ２０Ａで取得された撮影画像データが表示される。

運転者は、作業レバーを操作して、バケット１２に保持されている掘削物を運搬車両のベッセルに積み込んだ後、前後進切替スイッチを操作して、ホイールローダ１を後進させる。これにより、ホイールローダ１は、運搬車両から離れる。ホイールローダ１の後進においては、表示装置６０の第２領域６２に、カメラ２０Ｄで取得された撮影画像データが表示される。

ホイールローダ１の後進においても、屈曲角度データ取得部８１は、角度センサ５０から屈曲角度データを取得する。ホイールローダ１の後進においても、ホイールローダ１の周辺の俯瞰画像ＢＩが生成され、屈曲角度θが属する屈曲角度範囲ＦＲが判定され、判定された屈曲角度範囲ＦＲに属する代表画像ＣＧが選択され、生成された俯瞰画像ＢＩと選択された代表画像ＣＧとが表示装置６０に同時に表示される。

また、例えばホイールローダ１の後進において、非接触センサ４０によりホイールローダ１の側方（右方又は左方）に存在する障害物が検出された場合、表示制御部９１は、障害物位置データ生成部９０で生成された障害物の位置を示す障害物位置データに基づいて、障害物が存在する撮影領域の撮影画像データを表示装置６０に表示させる。例えば、ホイールローダ１の後進において、カメラ２０Ｂの撮影領域ＳＢに障害物が存在することを非接触センサ４０Ａが検出したとき、表示制御部９１は、第２領域６２に表示されている撮影画像データを、カメラ２０Ｄで取得された撮影画像データからカメラ２０Ｂで取得された撮影画像データに切り替える。これにより、運転者は、障害物の状況や障害物とホイールローダ１との相対位置を視認することができる。

［効果］
以上説明したように、本実施形態によれば、複数の屈曲角度範囲ＦＲのそれぞれに属するホイールローダ１の代表画像ＣＧを示すライブラリ画像データを予め作成し、ホイールローダ１の実際の屈曲角度θに応じて代表画像ＣＧを選択して表示装置６０に表示するようにしたので、画像処理の負荷を大きくすることなく、ホイールローダ１の屈曲状態を運転者に認識させることができる。また、ホイールローダ１の屈曲状態を示す代表画像ＣＧとともに俯瞰画像ＢＩが表示されることにより、運転者は、ホイールローダ１の周囲の状況を十分に把握することができる。しかも、代表画像ＣＧは、ホイールローダ１の屈曲状態が表現されるため、ホイールローダ１がいずれの方向に進もうとするかを運転者は認識でき、ホイールローダ１の周辺に障害物が存在する場合には、ホイールローダ１と障害物との相対位置や、ホイールローダ１の進行予定方向において障害物と干渉するかどうかといったことを正確に認識することができる。

本実施形態によれば、ホイールローダ１の屈曲角度θが変化する度に表示装置６０に表示させるホイールローダ１の画像を変化させるのではなく、屈曲角度θを規定の屈曲角度範囲ＦＲにグループ化し、そのグループを代表する代表画像ＣＧを表示装置６０に表示させる。これにより、画像処理の負荷が低減される。また、表示装置６０に表示される画像がちらつく可能性が低減され、視認性の悪化が抑制される。したがって、コストの増大を抑制して、少なくともホイールローダ１の進行予定方向を運転者に正確に認識させることができる。

また、本実施形態によれば、選択された代表画像ＣＧの周囲に俯瞰画像ＢＩが表示される。これにより、運転者は、ホイールローダ１を基準として、ホイールローダ１の周辺の状況を認識することができる。

また、本実施形態によれば、表示装置６０の第１領域６１に代表画像ＣＧ及び俯瞰画像ＢＩが表示され、第１領域６１の隣の第２領域６２にカメラ２０の撮影画像ＣＩが表示される。これにより、運転者は、俯瞰画像ＢＩとカメラ２０の撮影画像ＣＩとの両方から周辺の状況に関する情報を取得することができる。

また、本実施形態においては、例えばホイールローダ１が前進しているとき、カメラ２０Ａで取得された撮影画像ＣＩが第２領域６２に表示される。第１領域６１にはホイールローダ１の屈曲状態を示す代表画像ＣＧが表示されているので、運転者は、第１領域６１の代表画像ＣＧを見て、カメラ２０Ａが搭載されている車体前部２Ｆが向いている方向を直感的に認識することができる。そのため、運転者は、第２領域６２に表示されているカメラ２０Ａの撮影画像ＣＩの方向を直感的に認識することができる。

また、本実施形態においては、屈曲角度範囲ＦＲは、右側の第１閾値屈曲角度θｓ１と左側の第２閾値屈曲角度θｓ２との間において重複しないように複数定められ、代表画像ＣＧは、複数の屈曲角度範囲ＦＲのそれぞれに１つずつ定められる。これにより、画像処理の負荷が十分に低減され、表示装置６０に表示される画像がちらつくことが十分に抑制される。

また、本実施形態によれば、代表画像ＣＧは、屈曲角度範囲ＦＲの中央値の屈曲角度θで車体前部２Ｆが屈曲したホイールローダ１を示す状態画像を含む。状態画像の屈曲角度θを屈曲角度範囲ＦＲの中央値とすることにより、運転者は、状態画像を見て、ホイールローダ１の屈曲状態を直感的に認識することができる。

また、本実施形態によれば、屈曲角度範囲ＦＲは、零度の屈曲角度θを含む基準屈曲角度範囲ＦＲｃと、基準屈曲角度範囲ＦＲｃよりも右側の複数の右屈曲角度範囲ＦＲｒ１，ＦＲｒ２と、基準屈曲角度範囲ＦＲｃよりも左側の複数の左屈曲角度範囲ＦＲｌ１，ＦＲｌ２とを含む。基準屈曲角度範囲ＦＲｃの右側の端部を規定する屈曲角度θａ１の絶対値と左側の端部を規定する屈曲角度θａ２の絶対値とは等しい。また、第１右屈曲角度範囲ＦＲｒ１の大きさと、第２右屈曲角度範囲ＦＲｒ２の大きさと、第１左屈曲角度範囲ＦＲｌ１の大きさと、第２左屈曲角度範囲ＦＲｌ２の大きさとは、等しい。これにより、運転者は、それら複数の屈曲角度範囲ＦＲに基づいて屈曲する代表画像ＣＧを見て、ホイールローダ１の屈曲状態を直感的に認識することができる。

また、本実施形態によれば、代表画像ＣＧは、第１閾値屈曲角度θｓ１よりも右側の右外側屈曲角度範囲ＦＲｒｏ、及び第２閾値屈曲角度θｓ２よりも左側の左外側屈曲角度範囲ＦＲｌｏのそれぞれに１つずつ定められる。ホイールローダ１が第１閾値屈曲角度θｓ１よりも大きく屈曲した場合、又はホイールローダ１が第２閾値屈曲角度θｓ２よりも大きく屈曲した場合、複数の代表画像ＣＧではなく、１つの代表画像ＣＧが表示されるため、画像処理の負荷が十分に低減され、表示装置６０に表示される画像がちらつくことが十分に抑制される。

第２実施形態．
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

上述の第１実施形態において、運転操作装置５２、表示装置６０、及び制御装置８０は、ホイールローダ１に搭載されることとした。運転操作装置５２及び表示装置６０がホイールローダ１の遠隔地にあってもよい。また、制御装置８０の複数の機能の一部又は全部がホイールローダ１の遠隔地にあってもよい。

図２３は、本実施形態に係るホイールローダ１の一例を模式的に示す図である。本実施形態において、ホイールローダ１は、ホイールローダ１の遠隔地に設けられている運転操作装置５２Ｆによって遠隔操作される。

上述の実施形態と同様、ホイールローダ１は、少なくとも、車体前部２Ｆと、車体後部２Ｒと、車体前部２Ｆと車体後部２Ｒとを屈曲可能に連結する関節機構９と、車体２に搭載されたカメラ２０とを備える。

ホイールローダ１の遠隔地に設けられている遠隔操作施設に、表示装置６０Ｆ、入力装置７０Ｆ、制御装置８０Ｆ、及び運転操作装置５２Ｆが配置される。表示装置６０Ｆ、入力装置７０Ｆ、制御装置８０Ｆ、及び運転操作装置５２Ｆはそれぞれ、ホイールローダ１とは別体で設けられる。

ホイールローダ１と制御装置８０Ｆとは、無線通信システムを介して無線通信する。ホイールローダ１には無線通信システムの無線通信機２０１が設けられ、制御装置８０Ｆには無線通信システムの無線通信機２０２が接続される。

運転操作装置５２Ｆは、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ホイールローダ１を旋回操舵するためのステアリングレバー、ホイールローダ１の前進と後進とを切り替える前後進切替スイッチ、及び作業機１０を操作するための作業レバーを含む。運転者は、遠隔操作施設において運転操作装置５２Ｆを操作する。運転操作装置５２Ｆが操作されることにより生成された操作信号は、無線通信システムを介して、ホイールローダ１に送信される。これにより、ホイールローダ１は遠隔操作され、ホイールローダ１の走行速度の調整、前進又は後進の切り替え、旋回、及び作業機１０の操作が実施される。

制御装置８０Ｆは、図１１を参照して説明したような、屈曲角度データ取得部８１と、撮影画像データ取得部８２と、障害物データ取得部８３と、俯瞰画像合成部８４と、フロント画像生成部８５と、カメラ画像切替部８６と、記憶部８７と、判定部８８と、選択部８９と、障害物位置データ生成部９０と、表示制御部９１とを有する。

ホイールローダ１に設けられているカメラ２０で撮影された撮影画像は、無線通信システムを介してホイールローダ１から制御装置８０Ｆに送信される。制御装置８０Ｆの表示制御部９１は、カメラ２０で撮影され無線通信システムを介してホイールローダ１から送信された撮影画像と、選択された代表画像ＣＧとを表示装置６０Ｆに重畳表示させる。遠隔操作施設の運転者は、表示装置６０Ｆに表示された表示データを視認可能である。

以上説明したように、ホイールローダ１が無線通信システムを介して遠隔操作されてもよい。運転者は、遠隔地で、運転操作装置５２Ｆを操作する。運転操作装置５２Ｆの操作信号は、無線通信システムを介してホイールローダ１に送信される。ホイールローダ１は、運転操作装置５２Ｆの操作信号に基づいて、走行速度の調整、前進又は後進の切り替え、旋回、及び作業機１０の操作を実施することができる。また、制御装置８０Ｆが遠隔地にある場合、角度センサ５０で取得された屈曲角度データ、非接触センサ４０で取得された障害物データ、及びカメラ２０で取得された撮影画像データは、無線通信システムを介して、遠隔地にある制御装置８０Ｆに送信される。制御装置８０Ｆは、受信した屈曲角度データ及び撮影画像データに基づいて、代表画像ＣＧ及び俯瞰画像ＢＩを、遠隔地にある表示装置６０Ｆに表示させることができる。また、制御装置８０Ｆは、受信した障害物データに基づいて、障害物を示すマーク６３を表示装置６０Ｆに表示させることができる。

なお、上述の実施形態においては、屈曲角度データ取得部８１は、関節機構９のピン部材に設けられた角度センサ５０から屈曲角度データを取得することとした。屈曲角度データ取得部８１は、例えばホイールローダ１を操舵するためのステアリングレバーの操作量を取得して、屈曲角度データを算出してもよい。また、関節機構９は、車体前部２Ｆを屈曲させる動力を発生する油圧シリンダを有する。屈曲角度データ取得部８１は、関節機構９の油圧シリンダのストローク量を取得して、屈曲角度データを算出してもよい。

なお、上述の実施形態においては、ブーム１１の先端部に作業部材の一種であるバケット１２が連結されることとした。ブーム１１の先端部に連結される作業部材は、刃先を有するブレードでもよい。

なお、上述の実施形態においては、ホイールローダ１が鉱山の採掘現場で稼働することとした。ホイールローダ１は、施工現場又は建設現場で使用されてもよいし、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。また、ブーム１１の先端部に連結される作業部材は、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。

なお、上述の実施形態においては、作業車両１がホイールローダであることとした。作業車両１は、車体前部、車体後部、及び車体前部と車体後部とを屈曲可能に連結する関節機構を備えるアーティキュレートダンプトラックでもよい。

１…ホイールローダ（作業車両）、２…車体、２Ｆ…車体前部、２Ｒ…車体後部、３…運転台、４…走行装置、５…車輪、５Ｆ…前輪、５Ｒ…後輪、６…タイヤ、６Ｆ…前タイヤ、６Ｒ…後タイヤ、７…動力伝達機構、８…ハウジング、８Ｂ…アクスルボール、９…関節機構、１０…作業機、１１…ブーム、１２…バケット、１２Ｂ…先端部、１２Ｅ…端部、１３…ブームシリンダ、１４…バケットシリンダ、１５…ベルクランク、１６…リンク、２０…カメラ、２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆ…カメラ、３０…照明装置、３１…ケーシング、３１Ｌ…ロッド部材、３２…カバー部材、３３…ピラー、４０…非接触センサ（レーダ装置）、４０Ａ，４０Ｂ，４０Ｃ，４０Ｄ…非接触センサ（レーダ装置）、５０…角度センサ（検出装置）、５２…運転操作装置、５２Ａ…アクセルペダル、５２Ｂ…ブレーキペダル、５４…計器、５６…モニタ装置、５８…リアビューモニタ装置、６０…表示装置、６１…第１領域、６２…第２領域、６３…マーク、６４…インジケータ、６５…アイコン、７０…入力装置、８０…制御装置、８１…屈曲角度データ取得部、８２…撮影画像データ取得部、８３…障害物データ取得部、８４…俯瞰画像合成部、８５…フロント画像生成部、８６…カメラ画像切替部、８７…記憶部、８８…判定部、８９…選択部、９０…障害物位置データ生成部、９１…表示制御部、１００…周辺監視システム、Ｌａ，Ｌｂ，Ｌｃ…ライン、Ｌｄ，Ｌｅ…ガイドライン、ＬＧ…ライン、ＲＳ…地面。

Claims (10)

1. 車体前部、車体後部、及び前記車体前部と前記車体後部とを屈曲可能に連結する関節機構を備える作業車両の周辺監視システムであって、
   前記作業車両に搭載されている検出装置で検出された前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得する屈曲角度データ取得部と、
   前記作業車両に搭載されている複数のカメラのそれぞれで撮影された撮影画像を取得する撮影画像データ取得部と、
   複数の前記撮影画像データを画像処理して前記作業車両の周辺の俯瞰画像を生成する俯瞰画像合成部と、
   前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶する記憶部と、
   複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定する判定部と、
   複数の前記代表画像から前記判定部で判定された屈曲角度範囲に属する代表画像を選択する選択部と、
   前記俯瞰画像合成部で生成された前記俯瞰画像と前記選択部で選択された前記代表画像とを表示装置に同時に表示させる表示制御部と、
   を備える作業車両の周辺監視システム。
2. 前記表示制御部は、前記選択部で選択された前記代表画像を前記表示装置の表示画面の中央部に表示させ、前記俯瞰画像を前記表示画面において前記代表画像の周囲に表示させる、
   請求項１に記載の作業車両の周辺監視システム。
3. 前記表示制御部は、前記表示装置の表示画面の第１領域に前記代表画像及び前記俯瞰画像を表示させ、前記第１領域の隣の前記表示画面の第２領域に前記撮影画像を表示させる、
   請求項１又は請求項２に記載の作業車両の周辺監視システム。
4. 前記車体前部は、前記車体後部に対して左右に屈曲し、
   前記屈曲角度範囲は、右側の第１閾値屈曲角度と左側の第２閾値屈曲角度との間において重複しないように複数定められ、
   前記代表画像は、複数の前記屈曲角度範囲のそれぞれに１つずつ定められる、
   請求項１から請求項３のいずれか一項に記載の作業車両の周辺監視システム。
5. 前記代表画像は、前記屈曲角度範囲の中央値の前記屈曲角度で前記車体前部が屈曲した前記作業車両の状態を示す、
   請求項４に記載の作業車両の周辺監視システム。
6. 前記屈曲角度範囲は、零度の屈曲角度を含む基準屈曲角度範囲と、前記基準屈曲角度範囲よりも右側の複数の右屈曲角度範囲と、前記基準屈曲角度範囲よりも左側の複数の左屈曲角度範囲とを含み、
   前記基準屈曲角度範囲の右側の端部を規定する屈曲角度と左側の端部を規定する屈曲角度とは等しく、
   複数の前記右屈曲角度範囲の大きさと複数の前記左屈曲角度範囲の大きさとは等しい、
   請求項４又は請求項５に記載の作業車両の周辺監視システム。
7. 前記代表画像は、前記第１閾値屈曲角度よりも右側の右外側屈曲角度範囲、及び前記第２閾値屈曲角度よりも左側の左外側屈曲角度範囲のそれぞれに１つずつ定められる、
   請求項４から請求項６のいずれか一項に記載の作業車両の周辺監視システム。
8. 前記表示装置は、前記作業車両とは別体で設けられ、
   前記カメラで撮影され無線通信システムを介して前記作業車両から送信された前記撮影画像と、選択された前記代表画像とが前記表示装置に同時に表示される、
   請求項１から請求項７のいずれか一項に記載の作業車両の周辺監視システム。
9. 請求項１から請求項８のいずれか一項に記載の作業車両の周辺監視システムを備える作業車両。
10. 車体前部と車体後部とが屈曲可能な作業車両の周辺監視方法であって、
    前記車体前部と前記車体後部との複数の屈曲角度範囲のそれぞれに属する前記作業車両の代表画像を記憶することと、
    前記車体前部と前記車体後部との屈曲角度を示す屈曲角度データを取得することと、
    前記作業車両の周辺を撮影した撮影画像を取得することと、
    複数の前記撮影画像を画像処理して前記作業車両の周辺の俯瞰画像を生成することと、
    複数の前記屈曲角度範囲から前記屈曲角度が属する屈曲角度範囲を判定することと、
    複数の前記代表画像から前記判定された屈曲角度範囲に属する代表画像を選択することと、
    前記俯瞰画像と前記選択された前記代表画像とを同時に表示することと、
    を含む作業車両の周辺監視方法。

Images