JP6559464B2 - 作業車両の周囲監視装置 - Google Patents

Description

本発明は、作業車両の周囲監視装置に関する。

油圧ショベル等の作業車両の周囲監視装置は、作業車両の周囲をカメラ等で撮影し、作業車両の周囲に存在する人や障害物を監視するものである。例えば、特許文献１に記載の技術では、作業時の作業車両の姿勢および作業範囲を描画する画像と、カメラで撮影した作業車両周辺の画像を作業車両の上方視点からの俯瞰画像に変換した画像と、カメラ等で検出した障害物を描画する画像とを、表示装置に重畳表示するようにしている。

しかしながら、カメラで撮影した映像を用いて二次元の俯瞰画像を生成すると歪みが発生しやすい。また、二次元画像では障害物との関係が把握し難い場合がある。そこで、特許文献２に記載の技術では、作業機の周囲の対象地形の形状をステレオカメラ等で撮影し、その撮影情報に基づいて対象地形の三次元形状を演算し、対象地形および作業機の三次元形状を重畳表示するようにしている。例えば、バケットを用いた土面の成形作業におけるバケットの動きや地形形状を三次元画像として提示することで、作業状況が分かりやすいようにしている。

特開２００８−２４８６１３号公報 特開２００８−１４４３７９号公報

ところで、周囲監視装置においては、作業時か否かに関係なく、また作業時には作業状態に応じて、作業車両の周囲の障害物の状況を運転者に認識しやすく提示することが求められる。しかしながら、特許文献２には、作業車両の周囲の障害物の状況を運転者に認識しやすく提示することに関しては、記載されていない。

本発明に係る作業車両の周囲監視装置は、作業車両の周囲に存在する障害物の位置を含む障害物情報を認識する障害物認識部と、前記作業車両の位置情報を受信する位置情報受信部と、前記作業車両の障害物情報を受信する無線受信部と、前記作業車両の操作信号及び前記障害物情報に基づいて画像を生成する際の視点位置を決定する視点位置決定部と、前記作業車両の周囲地形に関する三次元データが保持されている情報保持部と、前記情報保持部に保持されている前記三次元データに基づき、前記視点位置決定部によって決定された前記視点位置からの三次元表示画像を生成する画像生成部と、前記画像生成部によって生成された前記三次元表示画像が表示される表示装置とを備え、前記障害物認識部は、前記障害物の位置が監視範囲内であるか否かを判定し、前記障害物認識部により前記障害物の位置が前記監視範囲外であると判定された場合に、前記視点位置決定部は、前記操作信号が前記作業車両の前進であると判定された場合には、前記視点位置を前記作業車両の後方斜め上方の位置とし、前記操作信号が前記作業車両の後進であると判定された場合には、前記視点位置を前記作業車両の前方斜め上方の位置とし、前記操作信号が前記作業車両の前進でも後進でもないと判定され、かつ前記操作信号が掘削動作であると判定された場合には、前記視点位置を前記作業車両の斜め前方の斜め上方位置とすることを特徴とする。

本発明によれば、作業車両の作業状態および周辺障害物に応じて自動で適切に選択された視点の三次元表示画像を提供することができるため、作業車両の周囲の障害物の状況が、従来よりも認識しやすくなる。

図１は、本実施の形態に係る周囲監視装置が適用される作業車両の一例を示す図である。 図２は、本実施の形態に係る周囲監視装置のシステム構成の一例を示すブロック図である。 図３は、作業車両が停止状態にある場合の監視範囲を示す図である。 図４は、左旋回時および右旋回時の、フロント作業部の監視範囲を示す図である。 図５は、作業車両が前後方向に走行している時の監視範囲を示す図である。 図６は、旋回動作時における三次元表示画像の一例を示す図である。 図７は、作業車両が前進している時の三次元表示画像の一例を示す図である。 図８は、作業車両が後進している時の三次元表示画像の一例を示す図である。 図９は、掘削作業時における三次元表示画像の一例を示す図である。 図１０は、人物が監視範囲に侵入した場合の、三次元表示画像の一例を示す図である。 図１１は、車両停止時に移動障害物が監視範囲内に侵入した場合の、三次元表示画像の一例を示す図である。 図１２は、作業車両走行時にダンプトラックが監視範囲内に侵入した場合の、三次元表示画像の一例を示す図である。 図１３は、作業車両走行時に高架線が監視範囲内に侵入した場合の、三次元表示画像の一例を示す図である。 図１４は、視点位置決定処理の一例を示すフローチャートである。 図１５は、図１４のステップＳ８０の作業状況判定処理の一例を示すフローチャートである。 図１６は、変形例を示す図である。

以下、図を参照して本発明による作業車両の周囲監視装置の実施の形態について説明する。図１は、本実施の形態に係る周囲監視装置が適用される作業車両の一例である油圧ショベルの外観図である。作業車両１は、それぞれ垂直方向に回動するブーム１ａ、アーム１ｂ、バケット１ｃからなる多関節型のフロント作業部１Ａと、上部旋回体１ｄ及び下部走行体１ｅからなる車体１Ｂとで構成される。ブーム１ａ、アーム１ｂ、バケット１ｃはブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃによりそれぞれ駆動される。

フロント作業部１Ａにおいて、ブーム１ａは、基端が上部旋回体１ｄの前部に回動可能に支持され、先端にアーム１ｂの一端が回動可能に支持されている。アーム１ｂの他端には、バケット１ｃが回動可能に支持されている。ブーム１ａは、ブームシリンダ３ａによって垂直方向に回動するように駆動される。アーム１ｂは、アームシリンダ３ｂによって垂直方向に回動するように駆動される。バケット１ｃは、バケットシリンダ３ｃによって垂直方向に回動するように駆動される。

車体１Ｂにおいて、操作室１ｆを有する上部旋回体１ｄは、下部走行体１ｅに対して旋回可能に取り付けられている。不図示の旋回モータ３ｄ（図２を参照）が駆動されると、上部旋回体１ｄが下部走行体１ｅに対して旋回する。下部走行体１ｅは、左右一対の走行モータ３ｅ，３ｆ（３ｆは不図示）により駆動される。下部走行体１ｅおよび走行モータ３ｅは、車体１Ｂの反対側にも設けられており、この一対の走行モータ３ｅ，３ｆは、それぞれ独立して駆動される。一対の走行モータ３ｅ，３ｆが同時にあるいは独立して駆動されることにより、作業車両１は前進あるいは後進走行し、また、走行方向を変更することができる。

操作室１ｆ内には、ブームシリンダ３ａを駆動するブーム操作レバー、アームシリンダ３ｂを駆動するアーム操作レバー、バケットシリンダ３ｃを駆動するバケット操作レバー、上部旋回体１ｄを駆動する旋回モータ３ｄ駆動用の旋回操作レバー、および走行モータ３ｅ，３ｆを駆動する走行モータ操作レバーが設けられている（図２を参照）。また、図示していないが、操作室１ｆ内には、表示装置および警報部等が搭載されている。

８ａ、８ｂ、８ｃは、それぞれ、ブーム１ａ、アーム１ｂおよびバケット１ｃの回動支点に設けられた回動角を検出する角度検出器であり、８ｄは上部旋回体１ｄの旋回角を検出する旋回角検出器である。各検出器８ａ〜８ｄは図示しないドライバにより駆動される。検出した角度に関する情報は操作室１ｆ内に搭載された表示モニタに表示される。

図２は、本実施の形態に係る周囲監視装置のシステム構成の一例を示すブロック図である。周囲監視装置１０は、監視コントローラ２０と、表示装置５０と、警報部４０と、無線受信機１０ａと、ＧＰＳ(Global Positioning System)受信機１０ｂを備えている。監視コントローラ２０は、表示画像生成部２１と、障害物認識部２２と、視点位置決定部２３と、情報保持部２４とを有している。情報保持部２４は、予め、作業車両周囲において監視が必要とされる領域として設定された監視領域、周囲地形に関する三次元データ（例えば、三次元点群データ）、作業車両データ、障害物データ等を保持している。障害物データとしては、作業に関与する車両や作業員に関するデータや、静止障害物（後述する高架線１２０など）の種類及び位置のデータがある。周囲監視装置１０の監視コントローラ２０には、車体コントローラ３０から車体情報３９が入力される。

車体コントローラ３０は車体制御部３１を有している。車体制御部３１には、ブームシリンダ３ａの回動角を検出する角度検出器８ａからの信号、アームシリンダ３ｂの回動角を検出する角度検出器８ｂからの信号、バケットシリンダ３ｃの回動角を検出する角度検出器８ｃからの信号、上部旋回体１ｄの旋回角を検出する旋回角検出器８ｄからの信号、および、操作室１ｆに設けられた操作レバー４ａ〜４ｅからの信号がそれぞれ入力される。操作レバー４ａ〜４ｅは例えば電気レバーにより構成される。図２の操作レバー４ａ〜４ｅは、順に、上述したブーム操作レバー、アーム操作レバー、バケット操作レバー、旋回操作レバー、走行モータ操作レバーである。なお、油圧式の操作レバーの場合には、操作信号はパイロット圧が対応する。

フロント作業部駆動用のシリンダ３ａ〜３ｃおよび旋回モータ３ｄは、操作レバー４ａ〜４ｄの操作量に応じて制御される。走行モータ３ｅ，３ｆはそれぞれ操作レバー４ｅの操作量に応じて制御される。車体制御部３１には、予め作業車両の形状や寸法などの幾何学情報が記憶されている。車体制御部３１は、操作レバー４ａ〜４ｅからの信号と各検出器８ａ〜８ｄからの信号等の車体情報３９を監視コントローラ２０に送信する。

車体制御部３１から入力された車体情報３９は、情報保持部２４に保持される。監視コントローラ２０には、無線受信機１０ａおよびＧＰＳ受信機１０ｂからの信号が入力され、情報保持部２４に保持される。ＧＰＳ受信機１０ｂは、作業車両１の位置情報（絶対座標）を得るために搭載されている。また、無線受信機１０ａは、移動障害物（車両や作業員）からの情報を受信するために設けられている。各移動障害物は、ＧＰＳ受信機および無線送信機を備えている。各移動障害物の無線送信機からは、各々の絶対座標（ＧＰＳ情報）およびそれぞれに設定されたＩＤナンバーが、作業車両１の無線受信機１０ａに送信される。

障害物認識部２２は、無線受信機１０ａおよびＧＰＳ受信機１０ｂからの信号と、車体情報３９と、障害物データと、三次元点群データとに基づいて、障害物の種類および位置を求める。すなわち、障害物情報を認識する。さらに、障害物認識部２２は、障害物の位置が予め設定した監視範囲（後述する図３〜５参照）内であるか否かの判定も行う。なお、図示はしないが障害物認識部２２とは別に判定部を設けてもよい。この判定部は、障害物認識部２２からの障害物の位置を入力し、この障害物の位置が監視範囲内であるか否かの判定を行う。監視範囲内に障害物がある場合には、障害物認識部２２は警報部４０に制御信号を出力し、操作室内において警報を発生させる。情報保持部２４の三次元点群データを使用する際に、三次元点群データにＧＰＳ情報による位置データを付与し、作業車両１の現在位置データとの比較を行うことで、三次元点群データ中の現在位置を推定することができる。なお、ここではＧＰＳ情報を用いているが、自己位置と三次元点群データとの位置関係を比較できる手段であればＧＰＳ情報に限らない。

表示画像生成部２１は、三次元点群データと、ＧＰＳ受信機１０ｂからの信号に基づく作業車両１の位置と、視点位置決定部２３によって決定された視点位置とに基づいて、静止障害物を含む三次元地形画像を生成する。さらに、表示画像生成部２１は、無線受信器１０ａおよびＧＰＳ受信機１０ｂからの信号に基づく作業車両１の位置および移動障害物の位置と、上記視点位置と、車体情報３９と、情報保持部２４に保持されている作業機データおよび障害物データとに基づいて、上記視点位置に対応した作業車両画像および移動障害物画像を生成する。そして、表示画像生成部２１は、三次元地形画像上に作業車両画像および移動障害物画像を重畳表示した三次元表示画像を生成する。生成された三次元表示画像は、作業車両１の操作室内に設けられた表示装置５０の表示モニタ上に表示される。

＜監視範囲の説明＞
図３〜図５は、作業車両１の各種動作時における監視範囲の一例を示す図である。図３は、作業車両１がフロント作業部１Ａ、旋回または走行が全て停止した状態（このような作業動作を停止した状態を、以下では、単に停止状態と呼ぶ）にある場合の、監視範囲を示す図である。本実施形態における「停止状態」とは、作業車両のエンジンがＯＮであるかＯＦＦであるかに関係なく、フロント作業部の動作、旋回動作、走行動作の全てが停止している状態を示す。破線Ｌ１はフロント作業部１Ａに関する監視範囲を示し、破線Ｌ２は車体１Ｂに関する監視範囲を示している。

図３（ａ）は作業車両１を左側方から見た図であり、図３（ｂ）は上方から見た図である。フロント作業部１Ａに関する監視範囲Ｌ１において、高さ方向範囲Ｈ１は、フロント作業部１Ａの最も低い位置の高さよりも余裕度α１（ｍ）だけ低い位置から、最も高い位置よりも余裕度α２（ｍ）だけ高い位置までである。また、前後方向範囲Ｄ１は、フロント作業部１Ａの最先端位置よりも余裕度α３（ｍ）だけ前方位置から、フロント作業部１Ａの最後端位置までである。左右方向範囲Ｗ１は、バケット左端よりも余裕度α４（ｍ）だけ左側の位置から、バケット右端よりも余裕度α４（ｍ）だけ右側の位置までである。

一方、車体１Ｂに関する監視範囲Ｌ２は、上部から見た範囲に関しては、上部旋回体１ｄの旋回中心から半径Ｒ２までの範囲である。半径Ｒ２は、後端旋回半径に余裕度α５（ｍ）だけ大きく設定される。また、監視範囲Ｌ２の高さ範囲Ｈ２は、下部走行体１ｅの底面から車高よりも余裕度α６（ｍ）だけ高い位置までである。

図４は、左旋回時（図４（ａ））および右旋回時（図４（ｂ））に追加される、フロント作業部１Ａの監視範囲Ｌ３、Ｌ４を説明する図である。図４（ａ）に示す左旋回時に追加される監視範囲Ｌ３は、フロント作業部１Ａの左側に設定された扇形状の監視範囲であり、角度θは例えば６０度に設定される。扇形状の半径Ｒ３は、作業部最後端から最先端に余裕度α７（ｍ）を加えた位置までの寸法に設定される。また、監視範囲Ｌ３の高さ方向範囲は、図３の場合と同様のＨ１に設定される。一方、図４（ｂ）に示す右旋回時に追加される監視範囲Ｌ４は、監視範囲Ｌ３を左右反転した形状を有しており、扇形状の角度および半径は監視範囲Ｌ３と同一に設定される。

図５は、作業車両１が前後方向に走行している時の監視範囲を示したものである。車体１Ｂに関する監視範囲は、図３に示した停止状態の場合と同様のＬ２に設定される。一方、フロント作業部１Ａに関する監視範囲Ｌ５は、図３に示した監視範囲Ｌ１よりも大きく設定される。図５（ｂ）では、比較のために監視範囲Ｌ１を二点鎖線で示した。監視範囲Ｌ５の高さ方向範囲は停止状態の場合と同じＨ１に設定される。監視範囲Ｌ５の前後方向範囲Ｄ２は、停止状態の場合の前後方向範囲Ｄ１よりも余裕度ｄ（ｍ）だけ前方に伸びている。監視範囲Ｌ５の後端位置は監視範囲Ｌ２の場合と同様に、フロント作業部１Ａの最後端に設定される。余裕度ｄとしては、例えば、作業車両１が最高速度で走行した場合の、１秒間当たりの距離に設定される。また、監視範囲Ｌ５の左右方向範囲Ｗ２の寸法は、例えば、車体１Ｂの幅寸法と同一に設定される。

＜障害物と視点位置との関係の説明＞
表示画像生成部２１において三次元表示画像を生成する際の視点位置は、作業車両１と障害物との位置関係や、障害物の種類によって異なる。以下では、上述した視点位置決定部２３においてどのような視点位置が決定されるかについて、障害物と視点位置との関係の代表的な例をあげて説明する。

− 監視範囲Ｌ（Ｌ１〜Ｌ５）の内部に障害物が無い場合 −
まず、監視範囲Ｌの内部に障害物が無い場合について説明する。この場合、視点位置決定部２３は、作業車両１の作業状況に応じて視点位置を決定する。作業状況としては、例えば、上部旋回体１ｄの旋回動作、作業車両１の前後への走行動作、フロント作業部１Ａの駆動動作（例えば、掘削動作）などがある。これらの作業状況に応じて視点位置はそれぞれ異なるが、これらを総称して作業対応視点位置と呼ぶことにする。そして、上記の各作業状況に応じた個別の視点位置を、旋回時視点位置、前進時視点位置、後進時視点位置、掘削時視点位置と呼ぶことにする。

（旋回時視点位置）
図６は、旋回動作時における三次元表示画像の一例を示す。この場合、視点位置は作業車両１の真上の所定位置（以下では、旋回時視点位置と呼ぶ）に設定され、作業車両上方から作業車両１を見下ろしたような三次元表示画像が生成される。監視範囲は図示していないが、右旋回か左旋回かに応じて、図４に示すような監視範囲Ｌ１，Ｌ２，Ｌ３，Ｌ４が設定される。もちろん監視範囲を三次元表示画像上に重畳表示するようにしても良い。障害物認識部２２はこの監視範囲Ｌ１，Ｌ２，Ｌ３，Ｌ４の内部に障害物があるか否かを常に判定している。

視点位置決定部２３は、旋回動作時の旋回操作レバー４ｄの操作状態、すなわち、旋回操作レバー４ｄからの操作信号（電気信号またはパイロット圧）に基づいて旋回動作が行われているか否かを判定する。視点位置決定部２３は、旋回動作が行われていると判定すると、視点位置を旋回時視点位置に決定する。なお、旋回動作に限らず、作業車両１の動作状態は、操作レバー４ａ〜４ｅからの操作信号や、角度検出器８ａ〜８ｄで検出される検出角度の時間変化から推定することができる。

視点位置決定部２３により旋回時視点位置が決定されると、表示画像生成部２１は、この視点位置情報と、情報保持部２４に保持されている周囲地形の三次元点群データと、ＧＰＳ受信機１０ｂからの信号に基づく作業車両１の位置とに基づいて、旋回時視点位置から見た三次元地形画像を生成する。なお、三次元点群データには地面上に置かれた静止障害物が含まれているので、三次元地形画像はその静止障害物を含む三次元画像となっている。

さらに、表示画像生成部２１は、旋回時視点位置に応じた作業車両画像および移動障害物画像を生成する。作業車両画像としては、そのときの作業車両１の姿勢に応じた三次元画像が生成される。作業車両１の姿勢は、（上部旋回体１ｄの旋回角度及びフロント作業部１Ａの姿勢等）は、角度検出器８ａ〜８ｄによって検出された検出角度から算出することができる。

作業車両１および移動障害物の三次元画像を生成するに当たっては、作業車両１および移動障害物のアイコンデータが作業機データおよび障害物データとして予め情報保持部２４に保持されている。表示画像生成部２１は、それらのアイコンデータと、視点位置情報と、作業車両１の姿勢と、無線受信器１０ａからの信号に基づく移動障害物の位置情報とに基づいて、旋回時視点位置に応じた作業車両および移動障害物の三次元的なアイコン画像を生成する。表示画像生成部２１は、三次元地形画像上に作業車両および移動障害物のアイコン画像を重畳した画像を、三次元表示画像として表示装置５０に出力する。

なお、移動障害物が車両である場合には、複数種類の車両アイコンを情報保持部２４に予め保持しておく。そして、無線送信される車両情報（障害物データ）に車種情報も含まれるようにし、その車種情報に応じて車両アイコンを選択するようにしても良い。

（前進時視点位置）
図７は、作業車両１が前進している時の三次元表示画像の一例を示す。作業車両１が前進している場合には、オペレータとしては、作業車両１と車両前方および側方の障害物との位置関係をより詳細に把握する必要がある。そのためには、図７に示すように、作業車両１の後方斜め上方から見た三次元表示画像が好ましい。この場合の視点位置を、ここでは前進時視点位置と呼ぶことにする。前進時視点位置の一例としては、車両中央を前後方向に通る垂直面上であって、車体１Ｂの中央から後方を見て、仰角４５度の方向に選ぶことが考えられる。図７は、この方向の所定高さの位置から作業車両１を見た場合の三次元表示画像である。

（後進時視点位置）
図８は、作業車両１が後進している時の三次元表示画像の一例を示す。作業車両１が後進している場合には、オペレータとしては、作業車両１と車両後方および側方の障害物との位置関係をより詳細に把握する必要がある。そのためには、図８に示すように、作業車両１の前方斜め上方から見た三次元表示画像が好ましい。この場合の視点位置を、ここでは後進時視点位置と呼ぶことにする。後進時視点位置の一例としては、車両中央を前後方向に通る垂直面上であって、車体１Ｂの中央から前方を見て、仰角４５度の方向に選ぶことが考えられる。図８は、この方向の所定高さの位置から作業車両１を見た場合の三次元表示画像である。

（掘削時視点位置）
図９は、掘削作業時における三次元表示画像の一例を示す。掘削作業をよりスムーズに、かつ正確に行うためには、掘削しているバケットと施工面との関係と、そのときの周囲の状況（障害物の状況など）をより詳細に把握する必要がある。そのためには、図９に示すように、作業車両１の斜め前方の斜め上方から見た三次元表示画像が好ましい。この場合の視点位置を、ここでは掘削時視点位置と呼ぶことにする。掘削時視点位置の一例としては、車両中心線から前方斜め右４５度の方向であって、上部旋回体１ｄの中央から前方を見て、仰角４５度の方向に選ぶことが考えられる。図９は、この方向の所定高さの位置から作業車両１を見た場合の三次元表示画像である。

− 監視範囲Ｌ（Ｌ１〜Ｌ５）の内部に障害物が有る場合 −
次に、監視範囲Ｌの内部に障害物が有る場合について説明する。この場合、次の３つに区分される。第１は、作業車両１の監視範囲に人物が侵入した場合である。第２は、停止している作業車両１の監視範囲に人物以外の移動障害物が侵入した場合である。第３は、作業車両１が走行移動している場合に、障害物が監視範囲に侵入した場合である。

（人接近時視点位置）
まず、１番目の、人物が監視範囲に侵入した場合について説明する。この場合、作業車両１に対して人物がどこにいるかが明確に分かる三次元表示画像を提供するのが好ましい。図１０は、そのような場合の三次元表示画面の一例を示したものである。図１０に示す例では、人物Ｍの存在する方向から作業車両１を見下ろすような視点位置から見た場合の、三次元表示画像を示している。この場合の視点位置を、ここでは人接近時視点位置と呼ぶことにする。このような画像を表示することで、人物Ｍが作業車両１の陰に入ることがなく、人物Ｍが作業車両１のどの方向に接近しているかが容易に認識できる。

図１０は、人物Ｍは、作業車両１の後方斜め右４５度の方向において、人物Ｍが監視範囲に侵入した場合を示したものである。このときの視点位置は、後方斜め右４５度の方向の、例えば、仰角４５度の方向から作業車両１を見下ろすような視点位置が採用される。その結果、作業車両１の手前側に人物Ｍの画像が表示されることになる。

２番目として、停止している作業車両１の監視範囲に人物以外の移動障害物が侵入した場合である。例えば、ダンプトラックのような車両が監視範囲に侵入した場合である。この場合、表示画像生成部２１は、上述した監視範囲の内部に障害物が無い場合と同様の三次元表示画像を生成する。すなわち、作業対応視点位置に基づく三次元表示画像を生成する。その三次元表示画像には、監視範囲に侵入した移動障害物のアイコン画像が重畳表示される。図１１は、旋回時視点位置で三次元表示画像が表されている状況において、すなわち、作業車両１が走行停止状態で旋回動作を行っているときに、移動障害物１００が監視範囲内に侵入した場合の、三次元表示画像を示したものである。なお、説明は省略するが、その他の作業対応視点位置（前進時視点位置、後進時視点位置、掘削時視点位置）の場合も同様である。

３番目として、作業車両１が走行移動している場合に、人物以外の障害物が監視範囲に侵入した場合である。なお、障害物が移動障害物か静止障害物かに関係なく、同様の処理を行う。例えば、図１２は、ダンプトラック１１０に作業車両１が接近したことにより、ダンプトラック１１０が監視範囲内に侵入した場合を示す。一方、図１３は、作業車両１が高架線１２０に接近したことによって、その高架線１２０が監視範囲に侵入した場合を示す。図１３では、高架線１２０が視認しやすいように、実際よりも太い円柱状の画像として表示されている。

いずれの場合も、三次元表示画面に、作業車両１および障害物（ダンプトラック、高架線）の少なくとも両方が収まり、障害物と作業車両１との関係が認識しやすい視点位置が採用される。その場合、フロント作業部１Ａの動作範囲も収まるように視点位置を設定しても良い。ここでは、障害物毎に設定されるこのような視点位置を特定視点位置と呼ぶことにする。図１２に示す例では、操作室１ｆよりも若干上方の高さ位置で、かつ、作業車両１とダンプトラック１１０との中間位置を、作業車両１の右側方上方から見るような視点位置が特定視点位置として設定されている。特定視点位置は、予め確認されている障害物の全てに対して設定しても良いし、特定の障害物のみに設定しても良い。

＜視点位置決定処理＞
図１４は、視点位置決定部２３で行われる視点位置決定処理の一例を示すフローチャートである。この処理は、監視コントローラ２０が起動すると開始され、監視コントローラ２０が停止すると終了する。ステップＳ１０では、監視範囲に障害物があるか否か、すなわち、監視範囲に障害物が侵入したという信号が障害物認識部２２から入力されたか否かを判定する。監視範囲に障害物が無い場合にはステップＳ８０へ進んで、作業状況に応じた視点位置を決定する処理（作業状況判定処理）を行う。ステップＳ８０の処理は後述する。ステップＳ８０の処理を実行したならば、ステップＳ１０へ戻る。

一方、監視範囲に障害物があると判定された場合には、ステップＳ２０へ進み障害物が人物か否かを判定する。上述したように作業現場にいる作業員や車両からは、無線通信によりＧＰＳ位置情報がそれぞれのＩＤナンバーとともに作業車両１へ送信される。そのため、障害物認識部２２は、受信情報に基づいて作業員（人物）が監視範囲に侵入したか否かを判定することができる。視点位置決定部２３は、人物が監視範囲に侵入したという信号を障害物認識部２２から受信すると、ステップＳ３０へ進んで視点位置を前述した人接近時視点位置に決定する。ステップＳ３０の処理を実行したならば、ステップＳ１０へ戻る。一方、監視範囲に侵入した障害物が人物でない場合には、ステップＳ２０からステップＳ４０へ進む。

ステップＳ４０では、作業車両１が走行状態である否かを、走行モータ操作レバー４ｅの操作信号（車体情報３９に含まれている）に基づいて判定する。作業車両１が走行状態でない、すなわち、停止している作業車両１の監視範囲内に移動障害物が侵入した場合には、ステップＳ８０へ進んで作業状況判定処理を行う。一方、作業車両１が走行状態である場合には、すなわち、作業車両１が障害物に接近しつつある場合には、ステップＳ５０へ進む。

ステップＳ５０では、図１２，１３に示したような障害物に対して予め設定された特定視点位置があるか否かを判定する。侵入した障害物に対して特定視点位置が設定されていない場合には、ステップＳ７０に進んで予め設定された標準視点位置に決定される。標準視点位置としては、例えば、作業車両１の全方位が見やすい図６に示す旋回時視点位置が用いられる。一方、特定視点が予め設定されている場合には、ステップＳ５０からステップＳ６０へ進んで、障害物に対して設定された特定視点位置を視点位置に決定する。ステップＳ６０の処理を実行したならば、ステップＳ１０へ戻る。

図１５は、図１４のステップＳ８０の作業状況判定処理の一例を示したものである。ステップＳ１００は、作業車両１が旋回動作を行っている状態か否かを判定し、旋回動作状態の場合にはステップＳ１１０へ進み、旋回動作を行っていない場合にはステップＳ１２０へ進む。ステップＳ１１０では、視点位置を旋回時視点位置に決定する。三次元表示画像は図６のようになる。この場合、右旋回か左旋回かについても判定し、左旋回の場合には図４（ａ）に示すような監視範囲Ｌ１，Ｌ２，Ｌ３を表示し、右旋回の場合に図４（ｂ）に示すような監視範囲Ｌ１，Ｌ２，Ｌ４を表示するようにしても良い。

一方、ステップＳ１２０では、作業車両１が前進走行状態か否かを判定する。ステップＳ１２０で前進走行状態と判定されると、ステップＳ１３０へ進んで視点位置を前進時視点位置に決定する。すなわち、図７に示すような三次元表示画像が生成される。一方、ステップＳ１２０で前進走行状態でないと判定されると、ステップＳ１４０へ進んで後進走行状態か否かを判定する。ステップＳ１４０で後進走行状態と判定されると、ステップＳ１５０に進んで視点位置を後進時視点位置に決定する。すなわち、図８に示すような三次元表示画像が生成される。一方、ステップＳ１４０で後進走行状態でないと判定されると、ステップＳ１６０へ進む。

ステップＳ１６０では、作業車両１が掘削動作状態か否かを判定する。ステップＳ１６０で掘削動作状態であると判定されると、ステップＳ１７０へ進んで視点位置を図９に示すような掘削時視点位置に決定する。一方、掘削動作状態でないと判定されると、ステップＳ１８０へ進んで視点位置を停止状態時視点位置に決定する。停止状態視点位置とは作業車両１が前述した停止状態にある場合の視点位置であって、例えば、図６に示すような旋回時視点位置と同様の視点位置が用いられる。なお、停止状態視点位置として、装置起動時における停止状態では図６の場合と同様の視点位置とし、作業車両１が動作を行うっている状態から停止状態になった場合、直前の視点位置を維持するようにしても良い。例えば、ダンプトラック１１０へ接近している状態から停止した場合には、図１２に示す視点位置を維持する。

（１）以上説明したように、作業車両１の周囲監視装置１０は、作業車両１の周囲に存在する障害物の、例えば人物Ｍ、ダンプトラック１１０、高架線１２０などの、障害物情報（例えば、障害物の位置や種類）を認識する障害物認識部２２と、作業車両１の例えば操作レバー４ａ〜４ｅの操作信号および障害物認識部２２で認識された障害物情報に基づいて画像生成の際の視点位置を決定する視点位置決定部２３と、視点位置からの三次元表示画像を生成する表示画像生成部２１と、を備える。

このように、操作信号および検出された障害物に基づいて決定された視点位置からの三次元表示画像を生成しているので、作業車両１と障害物との相互の位置関係が把握しやすくなる。例えば、作業車両１の操作信号および認識された障害物情報からは車両の作業状況や周囲の状況がわかるので、図６〜１３に示したように、作業状況や周囲の状況に応じて、作業車両１と障害物との関係が分かりやすい視点を決定することが可能となる。

（２）さらに、障害物認識部２２は、認識された障害物の位置が監視範囲Ｌ内であるか否かを判定する。障害物の位置が監視範囲Ｌ外であると判定されると、視点位置決定部２３が、操作レバー４ａ〜４ｅの操作信号に応じた視点位置を決定する。障害物の位置が監視範囲Ｌ外である場合には、障害物との間に余裕を持って作業ができるので、このような作業車両１の作業状況が分かりやすい視点位置（作業対応視点位置）における三次元表示画像を生成するのが望ましい。

（３）さらに、障害物が人物であって、その人物が監視範囲Ｌ内であると障害物認識部２２により判定された場合には、図１０に示すように、作業車両画像の手前側に人物画像が配置されるような視点に位置が決定される。このような視点位置の三次元表示画像においては、人物Ｍは作業車両１の陰に隠れるようなことがなく、人物Ｍとの位置関係を的確に認識することができる。

（４）また、障害物が人物以外であって、その障害物が監視範囲Ｌ内であると判定され、かつ、作業車両１が走行停止状態である場合には、作業車両１の操作信号に応じた視点位置、すなわち、作業車両１の作業状況に応じた視点位置とするのが好ましい。このように、作業車両１が走行停止状態であれば、図１１のように作業状況（旋回動作）に応じた視点位置（旋回時視点位置）とすることで、監視範囲Ｌ内の障害物と作業車両との位置関係が把握しやすくなる。

（５）障害物が人物以外であって、その障害物が監視範囲Ｌ内であると判定され、かつ、作業車両１が旋回状態、走行状態、掘削状態のいずれかである場合には、図１２や図１３のように視点位置を作業車両および障害物の側方もしくは上方に決定する。このように視点位置を決定することで、作業車両１と障害物との位置関係が把握しやすくなる。

ところで、上述した実施形態では、障害物の検出、障害物と作業車両との相対位置の演算、侵入判定、視点位置の決定等を作業車両１の監視コントローラ２０で行うような構成とした。しかし、図１６に示すように、障害物に関する情報をセンタサーバ７０に送信し、障害物の検出や、障害物と作業車両との相対位置の演算等の全てまたは一部をセンタサーバ７０で行うようにしても良い。例えば、障害物の検出や、障害物と作業車両との相対位置の演算等の全てセンタサーバ７０で行う構成の場合、それらの結果を作業車両１に無線送信し、作業車両１において侵入判定や視点位置の決定を行うようにしても良い。すなわち、監視コントローラ２０は、作業車両の操作信号および入力された車両周囲の障害物に基づいて視点位置を決定し、その視点位置に基づく三次元表示画像を生成する。このように、作業負荷の一部をセンタサーバ７０に請け負わせることによって、作業車両１側の処理負荷を低減することができる。図１６において、８０はＧＰＳ衛星であり、人物ＭのＧＰＳ位置情報はセンタサーバ７０に送信される。

なお、上述した実施形態では、周囲地形に関する三次元データを予め情報保持部２４に保持しておく構成としたが、作業車両１の周辺地形を計測器（例えば、レーザレンジファインダ等）で計測し、その計測結果（三次元点群データ）を使用するような構成でも構わない。計測器は、作業車両１に搭載しても良いし、作業車両１とは別に設置しても良い。データの取得タイミングとしては、事前に計測して情報保持部２４に保持する以外に、リアルタイムで計測してもよい。また、異なる種類の計測器を組み合わせてもよい。例えば、レーザーレンジファインダの三次元点群データとカメラの映像データとを組み合わせて、三次元点群データに色情報を付与することで、周囲環境をより直感的に把握できる。

また、図１２のようにダンプトラック１１０のような車両のアイコン画像を生成する場合に、車両の向きも考慮してアイコン画像を生成しても良い。例えば、ダンプトラック１１０からの無線情報にハンドル操作やシフトレバー操作を含め、その操作量に基づいて車両の向きを推定する。

さらに、図１４のステップＳ４０において走行状態か否かを判定しているが、例えば走行状態の代わりに旋回状態、掘削状態のいずれかで判定を行ってもよい。また、ステップＳ４０で判定終了後に更に作業状態の判定を行うことで、複数の作業状態や複合動作について判定できるようにしてもよい。なお作業状態は走行状態、旋回状態、掘削状態に限るものでは無く、実際の作業内容や作業車両の機能によって別途設定してもよい。

なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。例えば、上述した実施形態では油圧ショベルを例に説明したが、ホイールローダなど種々の作業車両に適用することができる。

１…作業車両、１Ａ…フロント作業部、１Ｂ…車体、１ｄ…上部旋回体、１ｅ…下部走行体、４ａ〜４ｅ…操作レバー、１０…周囲監視装置、２０…監視コントローラ、２１…表示画像生成部（画像生成部）、２２…障害物認識部（判定部）、２３…視点位置決定部、２４…情報保持部、３０…車体コントローラ、５０…表示装置、１１０…ダンプトラック（人物以外の障害物）、１２０…高架線（人物以外の障害物）、Ｌ，Ｌ１〜Ｌ４…監視範囲、Ｍ…人物（障害物）

Claims (3)

1. 作業車両の周囲に存在する障害物の位置を含む障害物情報を認識する障害物認識部と、
   前記作業車両の位置情報を受信する位置情報受信部と、
   前記作業車両の障害物情報を受信する無線受信部と、
   前記作業車両の操作信号及び前記障害物情報に基づいて画像を生成する際の視点位置を決定する視点位置決定部と、
   前記作業車両の周囲地形に関する三次元データが保持されている情報保持部と、
   前記情報保持部に保持されている前記三次元データに基づき、前記視点位置決定部によって決定された前記視点位置からの三次元表示画像を生成する画像生成部と、
   前記画像生成部によって生成された前記三次元表示画像が表示される表示装置とを備え、
   前記障害物認識部は、前記障害物の位置が監視範囲内であるか否かを判定し、
   前記障害物認識部により前記障害物の位置が前記監視範囲外であると判定された場合に、前記視点位置決定部は、前記操作信号が前記作業車両の前進であると判定された場合には、前記視点位置を前記作業車両の後方斜め上方の位置とし、前記操作信号が前記作業車両の後進であると判定された場合には、前記視点位置を前記作業車両の前方斜め上方の位置とし、前記操作信号が前記作業車両の前進でも後進でもないと判定され、かつ前記操作信号が掘削動作であると判定された場合には、前記視点位置を前記作業車両の斜め前方の斜め上方位置とすることを特徴とする作業車両の周囲監視装置。
2. 請求項１記載の作業車両の周囲監視装置において、
   前記障害物認識部は、前記位置情報受信部で受信された前記作業車両の位置情報、前記無線受信部で受信された前記作業車両の障害物情報及び前記三次元データに基づいて、前記障害物の種類及び位置を認識することを特徴とする作業車両の周囲監視装置。
3. 請求項１記載の作業車両の周囲監視装置において、
   前記視点位置決定部は、前記操作信号が旋回動作であると判定された場合には、前記視点位置を前記作業車両の真上の所定位置とすることを特徴とする作業車両の周囲監視装置。
   

Images