JP5809988B2

JP5809988B2 - 作業機械の走行支援装置

Info

Publication number: JP5809988B2
Application number: JP2012001995A
Authority: JP
Inventors: 古渡　陽一; 陽一古渡; 石本　英史; 英史石本; 慶仁稲野辺
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2015-11-11
Anticipated expiration: 2032-01-10
Also published as: JP2013142228A

Description

本発明は、油圧ショベルなどの下部走行体と上部旋回体とを有する作業機械（建設機械）に係り、特にその車体の周囲状況を表す俯瞰画像上に予測走行軌道を表示して走行を支援するための装置に関するものである。

建設・作業機械の一つである油圧ショベルは、一般に運転席が上部旋回体の前方左側に設置されていることから、その上部旋回体の右方向と後方の視認性が良くない。そのため、例えば以下の特許文献１などでは、上部旋回体の右側面と後部にそれぞれカメラを設置し、それらのカメラで撮影された上部旋回体の右方向と後方の画像を運転席のモニター上に表示することでそれらの視認性を確保している。

また、この特許文献１や以下の特許文献２などでは、車体に設けられた複数のカメラで撮影された車体周囲の画像を上方視点変換処理してから合成して視点を車体上方に変換した俯瞰画像を作成し、この俯瞰画像を運転席のモニター上に表示することで車体とその周囲の障害物などとの距離を感覚的に把握できるようにした技術が開示されている。

また、さらにこれらの文献には、上部旋回体の旋回角情報や車両のステアリング舵角情報に基づいて車体の予測走行軌道を演算し、その予測走行軌道をカメラで撮影された画像や俯瞰画像上に重ねて表示することで走行を支援する技術も開示されている。

特開２００８−９５３０７号公報特開２００２−２５１６３２号公報

ところで、前記特許文献１に開示された車体の予測走行軌道の演算は、上部旋回体の旋回角情報に基づいて行っているため、直進や後退の場合は正確に演算できるもののカーブ走行や一定の場所での方向転換動作（片方ステ時やピボットターンなど）の場合は、その予測走行軌道を正確に求めることができない。

一方、前記特許文献２に開示された車体の予測走行軌道の演算は、ステアリング舵角情報に基づいて行っているため、自動車のようなステアリング機構を有しない油圧ショベルなどの作業機械では、その予測走行軌道を求めることができない。

そこで、本発明はこれらの課題を解決するために案出されたものであり、その目的は、ステアリング機構を有しない油圧ショベルなどの作業機械であってもその予測走行軌道を正確に演算して俯瞰画像上に表示できる新規な作業機械の走行支援装置を提供するものである。

前記課題を解決するために第１の発明は、左右一対のクローラを有する下部走行体と、当該下部走行体上に旋回自在に設けられた上部旋回体とを有する作業機械に備えられる走行支援装置であって、前記上部旋回体に設けられてその周囲を撮影する複数のカメラと、当該各カメラで撮影した各画像を上方視点変換処理してから合成して前記作業機械に対応する画像を中心とした周囲の俯瞰画像を作成する俯瞰画像作成手段と、前記各クローラを駆動する走行モータの制御情報と前記下部走行体に対する上部旋回体の旋回角を取得する車体情報取得手段と、当該車体情報取得手段で取得した前記各走行モータの制御情報と前記下部走行体に対する前記上部旋回体の旋回角から前記下部走行体の予測走行軌道と前記上部旋回体に対する前記下部走行体の旋回位置を演算する予測走行軌道演算手段と、当該予測走行軌道演算手段で演算された前記上部旋回体に対する前記下部走行体の旋回位置と前記下部走行体の予測走行軌道を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示する予測走行軌道表示手段とを有し、前記車体情報取得手段は、前記各走行モータの制御情報として前記各走行モータをそれぞれ制御する各走行レバーのパイロット圧間の差圧を取得し、前記予測走行軌道演算手段は、前記パイロット圧間の差圧から前記下部走行体がカーブ走行であると判断したときは前記下部走行体の走行方向と半径を算出してその予測走行軌道を演算することを特徴とする作業機械の走行支援装置である。

このような構成によれば、作業機械に対応する画像を中心とした周囲の俯瞰画像上に、各クローラを駆動する走行モータの制御情報に基づいて演算した下部走行体の予測走行軌道を重畳して表示することができる。これによって、ステアリング機構を有しない油圧ショベルなどの作業機械であってもその予測走行軌道を運転席のモニター上などに表示することができる。また、下部走行体の予測走行軌道は、各クローラを駆動する走行モータの制御情報に基づいて演算するため、直進走行は勿論、カーブ走行や一定の場所での方向転換動作（片方ステ時やピボットターンなど）の場合であっても正確にその予測走行軌道を演算して表示することができる。また、各走行レバーのパイロット圧から走行モータの動きを予測できるため、走行モータの動きを事前に把握して下部走行体の予測走行軌道を迅速かつ正確に演算することができる。

このような構成によれば、下部走行体の予測走行軌道を迅速かつ正確に演算して俯瞰画像上に表示できる。この結果、下部走行体に対して上部旋回体がずれている（旋回している）状態であっても下部走行体の前後方の向きやその予測走行軌道を容易かつ正確に把握することができる。

第２の発明は、第１の発明において、前記予測走行軌道表示手段は、前記下部走行体の予測走行軌道を、前記下部走行体の走行開始位置から離れるに従って徐々に太く表示することを特徴とする作業機械の走行支援装置。

このような構成によれば、カーブ走行時などにおいてクローラと地面との接地摩擦が小さくて滑りなどが発生して予測走行軌道の演算に誤差が生じた場合でも、その誤差を考慮した予測走行軌道を表示することができる。

第３の発明は、左右一対のクローラを有する下部走行体と、当該下部走行体上に旋回自在に設けられた上部旋回体とを有する作業機械に備えられる走行支援装置であって、前記上部旋回体に設けられてその周囲を撮影する複数のカメラと、当該各カメラで撮影した各画像を上方視点変換処理してから合成して前記作業機械に対応する画像を中心とした周囲の俯瞰画像を作成する俯瞰画像作成手段と、前記各クローラを駆動する走行モータの制御情報を取得する車体情報取得手段と、当該車体情報取得手段で取得した前記各走行モータの制御情報から前記下部走行体の予測走行軌道を演算する予測走行軌道演算手段と、当該予測走行軌道演算手段で演算された前記下部走行体の予測走行軌道を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示する予測走行軌道表示手段とを有し、前記予測走行軌道表示手段は、前記車体情報取得手段で取得した前記各走行モータの制御情報から前記下部走行体の動きが一定の場所での方向転換動作であるときは、前記下部走行体の転回方向を演算し、前記予測走行軌道表示手段は、前記予測走行軌道演算手段で演算された前記下部走行体の転回方向を示す標識を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示することを特徴とする作業機械の走行支援装置である。

このような構成によれば、片方ステ時やピボットターンなどのような転回軌道を表示し難い、一定の場所での方向転換動作における具体的な下部走行体の転回方向をわかりやすく表示することができる。

第４の発明は、第３の発明において、前記予測走行軌道表示手段は、前記下部走行体の各クローラの転回方向を演算し、前記予測走行軌道表示手段は、前記予測走行軌道演算手段で演算された前記下部走行体の各クローラの転回方向を示す標識を、前記俯瞰画像作成手段で作成した俯瞰画像の各クローラに対応する画像に重畳して表示することを特徴とする作業機械の走行支援装置である。

このような構成によれば、さらに下部走行体の各クローラの転回方向をより具体的に表示することができる。

本発明によれば、以下に示すような効果を発揮する。
（ａ）各クローラを駆動する走行モータの制御情報に基づいて下部走行体の予測走行軌道を演算して表示するため、ステアリング機構を有しない油圧ショベルなどの作業機械であってもその予測走行軌道を運転席のモニター上に表示することができる。
（ｂ）各クローラを駆動する走行モータの制御情報に基づいて下部走行体の予測走行軌道を演算するため、直進走行は勿論、カーブ走行や一定の場所での方向転換動作の場合であっても正確にその予測走行軌道を求めて表示することができる。

（ｃ）上部旋回体の旋回角情報に応じて下部走行体に対応する画像を旋回させた俯瞰画像を作成して表示できるため、下部走行体に対して上部旋回体がずれている（旋回している）状態であっても下部走行体の前後方の向きやその予測走行軌道を容易かつ正確に把握することができる。
（ｄ）各走行モータをそれぞれ制御する走行レバーのパイロット圧から各走行モータの動きが予測できるため、走行モータの動きを事前に把握して下部走行体の予測走行軌道を迅速かつ正確に演算することができる。
（ｅ）下部走行体の予測走行軌道を、その走行開始位置から離れるに従って徐々に太く表示することによって、カーブ走行時などにおいてクローラと地面との接地摩擦が小さくて滑りなどが発生して予測走行軌道の演算に誤差が生じた場合でも、その誤差を考慮した予測走行軌道を表示することができる。

（ｆ）下部走行体の動きが一定の場所での方向転換動作であるときは、その転回方向を示す標識を俯瞰画像に表示するため、片方ステ時やピボットターンなどのような転回軌道を表示し難い、一定の場所での方向転換動作における具体的な下部走行体の転回方向をわかりやすく表示することができる。
（ｇ）方向転換動作の場合にはさらに下部走行体の各クローラの転回方向を示す標識を、前記俯瞰画像作成手段で作成した俯瞰画像の各クローラに対応する画像に転回矢印などとして表示するため、下部走行体の各クローラの転回方向をより具体的に表示することができる。

本発明に係る作業機械の一つである油圧ショベル１００の実施の一形態を示す全体斜視図である。本発明に係る走行支援装置２００の実施の一形態を示すブロック図である。本発明に係る油圧ショベル１００の走行系の油圧制御回路図である。本発明に係る走行支援装置２００による走行支援制御の流れを示すフローチャート図である。俯瞰画像４００上に斜め左後方の予測走行軌道ｔ１，ｔ２を重畳して表示した合成画像５００を示す図である。俯瞰画像４００上に斜め右前方の予測走行軌道ｔ３，ｔ４を重畳して表示した合成画像５００を示す図である。下部走行体１０に対して上部旋回体２０を反時計回りに４５°旋回させたときの俯瞰画像４００上に斜め左後方の予測走行軌道ｔ５，ｔ６を重畳して表示した合成画像５００を示す図である。図７の俯瞰画像４００上に斜め右前方の予測走行軌道ｔ７，ｔ８を重畳して表示した合成画像５００を示す図である。俯瞰画像４００上に斜め左後方の予測走行軌道ｔ７、ｔ８を走行始点から離れるに従って徐々に拡大するように重畳して表示した例を示す図である。俯瞰画像４００上に各クローラ１１，１１に対応する画像ｇ１，ｇ２に転回方向を転回矢印ｍ１乃至ｍ４を用いて表示した例を示す図である。

次に、本発明の実施の形態を添付図面を参照しながら説明する。図１は、本発明に係る作業機械の一つである油圧ショベル１００の実施の一形態を示した全体斜視図である。図示するようにこの油圧ショベル１００は、下部走行体１０と、この下部走行体１０上に旋回自在に設けられた上部旋回体２０とから主に構成されている。下部走行体１０は、図示しない走行体フレームに互いに平行に位置する一対のクローラ１１，１１を有しており、これら各クローラ１１，１１には、それぞれの履帯を駆動して走行するための油圧駆動式の走行モータ１２がそれぞれ設けられている。

一方、上部旋回体２０は、図示しない旋回体フレーム上に設置されたエンジンやバッテリー、燃料タンクなどの各種機器類が収容されるエンジン室２１と、このエンジン室２１の前方左側に設けられた運転室２２と、この運転室２２の右側から前方に延びるフロント作業機２３と、このフロント作業機２３との重量バランスを図るべくエンジン室２１の後方に設けられたカウンターウエイト２４とから主に構成されている。

運転室２２は、オペレータが搭乗するキャビン２２ａ内にフロント作業機２３を操作する操作レバーや計器類などの他に、後述する左右一対の走行レバーや周囲監視モニターなどが設置されている。フロント作業機２３は、旋回体フレーム側から前方に延びるブーム２３ａと、このブーム２３ａの先端に揺動自在に設けられたアーム２３ｂと、このアーム２３ｂの先端に揺動自在に設けられたバケット２３ｃとから主に構成されており、これらブーム２３ａ、アーム２３ｂ、バケット２３ｃは、それぞれ油圧で伸縮するブームシリンダ２３ｄ、アームシリンダ２３ｅ、バケットシリンダ２３ｆによってそれぞれ動作するようになっている。なお、これら各部の具体的な動作や監視は、図２に示す車体コントローラ３００によって逐次コントロールされている。

また、このエンジン室２１の両側と、運転室２２の上部と、カウンターウエイト２４の上部には、それぞれの方向を連続して撮影するための４つのカメラ３０ａ、３０ｂ、３０ｃ、３０ｄが設置されている。すなわち、カメラ３０ａは上部旋回体２０の右側の領域を１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｂは上部旋回体２０の左側の領域を１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｃは上部旋回体２０の前方の領域を１８０°の画角で斜めに見下ろすような方向で連続的に撮影し、カメラ３０ｄは上部旋回体２０の後方の領域を１８０°の画角で斜めに見下ろすような方向で連続的に撮影している。

そして、これら各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影された各画像は、図２に示すように本発明に係る走行支援装置２００の表示コントローラ２１０にそれぞれ入力されるようになっている。なお、このカメラ３０ａ、３０ｂ、３０ｃ、３０ｄは、例えば耐久性や耐候性などに優れたＣＣＤやＣＭＯＳなどの撮像素子を備えた広角のビデオカメラなどから構成されている。

図２は、この油圧ショベル１００に搭載される走行支援装置２００の実施の一形態を示すブロック図である。図示するようにこの走行支援装置２００は、表示コントローラ２１０と、周囲監視モニター２２０とから主に構成されている。表示コントローラ２１０は、車体情報取得部２１１と、俯瞰画像作成部２１２と、予測走行軌道演算部２１３とを有している。この表示コントローラ２１０は、図示しないＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェースなどを備えた画像処理ＬＳＩ（ハードウェア）から構成されており、ＲＯＭなどに予め記憶された各種データおよび専用の制御プログラムや画像処理プログラムなどによってＣＰＵが前記各部２１１乃至２１３の機能を実現するようになっている。

車体情報取得部２１１は、予め油圧ショベル１００内に設置されている車体コントローラ３００の車体情報を取得して俯瞰画像作成部２１２および予測走行軌道演算部２１３に出力している。ここで、この車体情報取得部２１１で取得可能な車体情報としては特に限定されるものではないが、少なくとも走行モータ１２，１３を制御するパイロット圧と、下部走行体１０に対する上部旋回体２０の旋回角θについては常時取得するようになっている。

ここでいう旋回角θとは一般には、図１に示すように下部走行体１０のクローラ１１と上部旋回体２０の前後が互いに平行に位置している状態を旋回角０°とし、図１の状態から上部旋回体２０のフロント作業機２３が下部走行体１０に対して時計回りに右真横に向くように旋回した状態を旋回角９０°、さらに９０°時計回りに旋回して上部旋回体２０のフロント作業機２３の向きが下部走行体１０に対して反対側を向いた状態を旋回角１８０°、さらに９０°旋回して上部旋回体２０のフロント作業機２３の向きが下部走行体１０に対して左真横に旋回した状態を旋回角２７０°と表している。

俯瞰画像作成部２１２は、前記各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影した複数（４つ）の原画像を上方視点変換して合成し、油圧ショベル１００に対応する車体画像を中心とした周囲の俯瞰画像を例えば３０フレーム／秒の単位で作成して、作成した俯瞰画像（動画）を予測走行軌道演算部２１３に出力している。具体的には、各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄからそれぞれＮＴＳＣなどのコンポジット信号が入力されると、この俯瞰画像作成部２１２は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードしてからそれぞれ専用のフレームメモリに蓄積する。

その後、レンズ歪み補正処理を行ってからホモグラフィ行列による平面射影変換処理や三次元空間での投影処理などの画素変換処理によって各カメラ撮影画像をその上方に視点を移動した上方視点画像に変換処理する。そして、これら４つの上方視点画像を油圧ショベル１００に対応する車体画像を中心とした周囲に繋ぎ合わせて一つの連続した車体周囲全体の俯瞰画像を作成してその画像データを予測走行軌道演算部２１３のフレームメモリに出力している。

図５は、この俯瞰画像作成部２１２で作成される車体周囲全体の俯瞰画像４００の一例を示したものであり、中央部に予め作成された油圧ショベル１００に対応する車体画像Ｇを表示するための矩形状の表示エリアＥ１が設けられている。そして、この表示エリアＥ１を中心としてその前後左右にそれぞれ独立した台形状の表示エリアＥ２乃至Ｅ５を形成し、これら各表示エリアＥ２乃至Ｅ５に、前記各カメラ３０ａ、３０ｂ、３０ｃ、３０ｄで撮影したそれぞれの画像からなる視点変換画像を表示したものである。

すなわち、表示エリアＥ２には、カメラ３０ａで撮影された上部旋回体２０の前方の撮影画像からなる第１の視点変換画像が表示され、表示エリアＥ３には、カメラ３０ｄで撮影された上部旋回体２０の後方の撮影画像からなる第２の視点変換画像が表示され、表示エリアＥ４には、カメラ３０ｂで撮影された上部旋回体２０の左方向の撮影画像からなる第３の視点変換画像が表示され、表示エリアＥ５には、カメラ３０ａで撮影された上部旋回体２０の右方向の撮影画像からなる視点変換画像が表示されるようになっている。なお、図５の俯瞰画像４００では、油圧ショベル１００の右斜め後方に車両Ｓが写っており、この車両Ｓは油圧ショベル１００から数ｍの距離に位置しているのがわかる。

予測走行軌道演算部２１３は、俯瞰画像作成部２１２から出力される俯瞰画像の画像データと、車体情報取得部２１１から出力される車体情報とを入力し、その下部走行体１０のクローラ１１，１１の予測走行軌道や下部走行体１０に対する上部旋回体２０の旋回角θなどを演算して周囲監視モニター２２０に出力している。これらの演算の具体例については後述する。

周囲監視モニター２２０は、この予測走行軌道演算部２１３で演算された下部走行体１０の予測走行軌道を俯瞰画像作成部２１２で作成した俯瞰画像に重畳して表示部２２１に表示するようになっている。具体的には、予測走行軌道演算部２１３で演算された下部走行体１０の予測走行軌道に相当する位置の画素の輝度や色度を、俯瞰画像とは明らかに異なる輝度や色度、例えば赤や黄色、白などの連続した線または破線に変換した合成画像を生成する。そして、その合成画像のデータを出力用フレームメモリに格納し、その合成画像のデータ（ＲＧＢ信号）をコンポジット信号にエンコードした後、Ｄ／Ａ変換して表示部２２１に表示する。なお、この周囲監視モニター２２０には表示部２２１の他に入力部２２２が設けられており、オペレータがこの入力部２２２を操作することで電源のオン・オフや表示された合成画像の拡大、縮小、回転、表示範囲の変更、通常のカメラ撮影画像や２画面画像への切換えなどの各種操作が任意に行えるようになっている。

車体コントローラ３００は、情報処理装置からなる車体制御部３５０を備えており、左右一対の走行レバー４０、４１やフロント作業機２３の操作レバー４２，４３やパイロット圧センサ４０ａ、４０ｂ、４１ａ、４１ｂ、旋回角センサ４５などの各種センサからの信号を入力する。そして、この車体制御部３５０は、この入力信号と、内蔵されたＲＯＭなどに予め記憶された車体制御プログラムによるアルゴリズムとに従ってＣＰＵがエンジンや油圧ポンプなどを制御してフロント作業機２３を駆動する各種アクチュエータ７０ａ、７０ｂ、７０ｃや、走行モータ１２、１３および旋回モータ１４などを逐次コントロールするようになっている。

図３は、油圧ショベル１００の走行系の油圧制御回路の構成を示した回路図である。図のほぼ中央に位置する符号３０１はエンジンであり、その駆動力によってメインポンプ３０２とパイロットポンプ３０３を駆動するようになっている。このメインポンプ３０２で発生した作動油は、左走行コントロールバルブ３１１および右走行コントロールバルブ３１２を介してそれぞれ左走行モータ１２および右走行モータ１３に送られ、これら回転駆動するようになっている。

この左走行コントロールバルブ３１１および右走行コントロールバルブ３１２には、それぞれ左前進用パイロットバルブ３２１、左後退用パイロットバルブ３２２、右前進用パイロットバルブ３３１、右後退用パイロットバルブ３３２を備えた油圧ラインが接続されている。そして、左前進用パイロットバルブ３２１と左後退用パイロットバルブ３２２とには、前後揺動式の左走行レバー４１が設けられており、この左走行レバー４１を図中左側（前進方向）に倒すと左前進用パイロットバルブ３２１が押圧されて作動し、反対にこの左走行レバー４１を図中右側（後退方向）に倒すと左後退用パイロットバルブ３２２が押圧されて作動するようになっている。

一方、右前進用パイロットバルブ３３１と右後退用パイロットバルブ３３２とにも、同じく前後揺動式の右走行レバー４０が設けられており、この右走行レバー４０を図中左側（前進方向）に倒すと左前進用パイロットバルブ３３１が押圧されて作動し、反対にこの右走行レバー４０を図中右側（後退方向）に倒すと右後退用パイロットバルブ３３２が押圧されて作動するようになっている。

これら４つのパイロットバルブ３２１、３２２、３３１、３３２は、それぞれ右走行レバー４０および左走行レバー４１の操作量（圧力）に比例するパイロット圧を発生するようになっており、そのパイロット圧に応じて左走行コントロールバルブ３１１および右走行コントロールバルブ３１２を流れる作動油量が増減することで左走行モータ１２および右走行モータ１３の回転方向および回転速度が制御されるようになっている。

そして、これら４つのパイロットバルブ３２１、３２２、３３１、３３２には、それぞれのパイロット圧力を検出するための左前進用パイロット圧センサ４０ａ、左後退用パイロット圧センサ４０ｂ、右前進用パイロット圧センサ４１ａ、右後退用パイロット圧センサ４１ｂが設けられており、これら４つのパイロット圧センサ４０ａ、４０ｂ、４１ａ、４１ｂで検出されたパイロット圧ｐ１、ｐ２、ｐ３、ｐ４が前述した表示コントローラ２１０の車体情報取得部２１１によって走行支援装置２００側に逐次取得されるようになっている。

なお、この右走行レバー４０と左走行レバー４１は、運転席２２内の着座シートの前方に左右一対のペアとなって設けられており、オペレータが左手で左走行レバー４１を把持すると同時にその右手で右走行レバー４０を把持した状態で両方同時に、あるいは片方のみの操作が任意に行えるようになっている。また、図３中符号３２０は、エンジン回転指示コントローラ、３３０は、エンジン回転制御コントローラ、３４０はポンプレギュレータ、３５０はエンジンコントロールダイヤルである。

次に、このような構成をした本発明の走行支援装置２００の作用を主に図４のフローを参照しながら説明する。先ず、この走行支援装置２００を構成する表示コントローラ２１０の俯瞰画像作成部２１２は、油圧ショベル１００のエンジンが起動するなどして車体コントローラ３００側の電源が投入されると、これと連動するように起動して初期のシステムチェックを行い、異常がなければ最初のステップＳ１００に移行する。

ステップＳ１００では、前述したように車体の四方に設けられた４つのカメラ３０ａ、３０ｂ、３０ｃ、３０ｄによって車体周囲を撮影してその画像を取得して次のステップＳ１０２に移行する。ステップＳ１０２では撮影された４つの周囲画像を視点変換処理してそれぞれ毎の視点変換画像を作成し、これらを繋ぎ合わせて図５に示すように中央に車体画像Ｇを有する全体の俯瞰画像４００を作成して次のステップＳ１０４に移行する。

ステップＳ１０４では、この表示コントローラ２１０の車体情報取得部２１１がパイロット圧センサ４０ａ、４０ｂ、４１ａ、４１ｂで検出されたパイロット圧ｐ１、ｐ２、ｐ３、ｐ４や旋回角センサ４５で検出された旋回角θなどの車体情報を、車体コントローラ３００から取得して次のステップＳ１０６に移行する。

ステップＳ１０６では、車体情報取得部２１１で取得した車体情報からいずれかのパイロット圧ｐ１、ｐ２、ｐ３、ｐ４が発生しているか否かを判定する。この結果、いずれか一つ以上のパイロット圧ｐ１、ｐ２、ｐ３、ｐ４が発生していると判断したとき（ＹＥＳ）はステップＳ１０８に移行するが、いずれのパイロット圧ｐ１、ｐ２、ｐ３、ｐ４も発生していないと判断したとき（ＮＯ）はステップＳ１０７に移行する。

ステップＳ１０７では、ステップＳ１０２で作成された俯瞰画像をそのまま運転席の周囲監視モニター２２０の表示部２２１に表示してステップＳ１１４に移行する。すなわち、いずれのパイロット圧ｐ１、ｐ２、ｐ３、ｐ４も発生していないときは、下部走行体１０が停止している状態であると判断してステップＳ１０２で作成された俯瞰画像のみをそのまま表示する。

一方、ステップＳ１０８では、この表示コントローラ２１０の予測走行軌道演算部２１３が検出されたいずれか一つ以上のパイロット圧ｐ１、ｐ２、ｐ３、ｐ４に基づいて下部走行体１０のクローラ１１，１１の予測走行軌道を演算して次のステップＳ１１０に移行する。ステップＳ１１０では、周囲監視モニター２２０がこの予測走行軌道をステップＳ１０２で作成された俯瞰画像上に重畳してステップＳ１１２に移行し、ステップＳ１１２では、予測走行軌道が重畳された俯瞰画像を運転席の周囲監視モニター２２０に表示して最後のステップＳ１１４に移行する。ステップＳ１１４では、エンジンが停止されたか否かを判断し、エンジンが停止されたと判断したとき（ＹＥＳ）は処理を終了するが、エンジン停止されていないと判断したとき（ＮＯ）は、最初のステップＳ１００に戻って同様な処理を繰り返すことになる。

図５は、演算された下部走行体１０のクローラ１１，１１の各予測走行軌道ｔ１，ｔ２を俯瞰画像４００上に重畳し、その合成画像５００を周囲監視モニター２２０の表示部２２１に表示した例を示したものである。運転席２２のオペレータが左右一対の走行レバー４０，４１を同時に手前（後退方向）に倒し、かつ右走行レバー４０を左走行レバー４１よりもやや多めに倒すと、それぞれ後退側のパイロット圧ｐ２，ｐ４が発生すると同時にこれらのパイロット圧ｐ２，ｐ４間に差圧が生じる（ｐ２＞ｐ４）。

すると、表示コントローラ２１０の予測走行軌道演算部２１３は、車両の左斜め後方へのカーブ走行であると判断すると共に、パイロット圧ｐ２，ｐ４間の差圧からそのカーブの半径ｒを算出して各クローラ１１，１１の予測走行軌道ｔ１，ｔ２を演算し、演算した予測走行軌道ｔ１，ｔ２を図５に示すように俯瞰画像４００上にその俯瞰画像４００の輝度または色度とは異なる輝度または色度のライン（例えば赤や黄色、白の曲線や破線）として重畳表示し、その合成画像５００を周囲監視モニター２２０の表示部２２１に表示する。図５の例では、各クローラ１１，１１の後端を始点として表示された予測走行軌道ｔ１，ｔ２が、車体の右後方にある障害物（車両）Ｓと干渉しないため、そのまま後退移動しても車体がその障害物Ｓと接触するおそれはないことが一目瞭然となる。

一方、図６は、左右一対の走行レバー４０，４１を同時に反対側（前進方向）に倒し、かつ左走行レバー４１を右走行レバー４０よりもやや多めに倒したとき（パイロット圧ｐ１＜ｐ３）の各クローラ１１，１１の予測走行軌道ｔ３，ｔ４を表示した合成画像５００の例である。この例では、演算された右クローラ１１の先端を始点とした予測走行軌道ｔ４が車体の右前方にある障害物Ｓと重なっているため、そのまま下部走行体１０を前進移動させると車体がその障害物Ｓと接触する結果となることが一目瞭然となる。そのため、この場合には、左走行レバー４１を戻すなどしてパイロット圧ｐ１、ｐ３の差圧を小さくすれば、図示矢印に示すように予測走行軌道ｔ３，ｔ４の方向が修正されるため、障害物Ｓとの接触を回避できることが容易にわかる。

このように本発明の走行支援装置２００は、各クローラ１１，１１を駆動する走行モータ１２，１３の制御情報に基づいて下部走行体１０の予測走行軌道を演算して表示するため、ステアリング機構を有しない油圧ショベル１００などの作業機械であってもその予測走行軌道を運転席２２の周囲監視モニター２２０上に正確に表示することができる。また、各クローラ１１，１１を駆動する走行モータ１２，１３の制御情報に基づいて下部走行体１０の予測走行軌道ｔ，ｔを演算するため、直進走行は勿論、カーブ走行の場合であっても正確にその予測走行軌道ｔ，ｔを求めて表示することができる。この結果、油圧ショベル１００の操作に不慣れなオペレータであっても、その動きを容易に把握できるため、近傍の障害物Ｓとの接触などを確実に回避することが可能となる。

次に、図７乃至図１０は本発明の他の実施の形態を示したものである。先ず図７は、下部走行体１０に対して上部旋回体２０を反時計回りに４５°旋回させたときの状態を示す俯瞰画像４００とその合成画像５００とを表示したものである。油圧ショベル１００のように下部走行体１０に対して上部旋回体２０が旋回自在となる車両においては、図示するように上部旋回体２０の前後方向と下部走行体１０の走行方向が一致しない場合が生ずる。このような状態でオペレータが下部走行体１０を上部旋回体２０の真後ろ方向に直線的に後退させようとしてうっかり走行レバー４０，４１を操作すると、下部走行体１０が思わぬ方向に移動して障害物Ｓと接触する可能性がある。

そのため、図７の例では、旋回角センサ４５で得られた下部走行体１０に対する上部旋回体２０の旋回角θに基づいて旋回させた下部走行体１０に対応する画像ｇ１も同時に表示し、その状態における下部走行体１０の予測走行軌道を表示するようにしたものである。図７の例では、上部旋回体２０に対応する画像ｇ２に対して下部走行体１０に対応する画像ｇ１が時計回りに４５°旋回した状態の画像Ｇが表示されているため、オペレータは下部走行体１０と上部旋回体２０との状態を一目で把握できると同時に、走行レバー４０，４１の操作によって表示された予測走行軌道ｔ５，ｔ６が障害物Ｓと重なっていること容易にわかるため、直ちにその方向への移動を中止することができる。

また、図８に示すように、下部走行体１０の前方に障害物Ｓが存在する場合であっても、右走行レバー４０のパイロット圧ｐ１が左走行レバー４１のパイロット圧ｐ３よりも大きくなるように差圧を発生させて下部走行体１０を左側にカーブしながら前進させるような予測走行軌道ｔ７，ｔ８であれば、障害物Ｓとの接触を回避可能なことも一目で把握することができる。

このように本実施の形態によれば、さらに上部旋回体２０の旋回角θに応じて下部走行体１０に対応する画像ｇ１を旋回させた俯瞰画像４００を作成して表示できるため、下部走行体１０の前後方向と上部旋回体２０の前後方向がずれている（旋回している）状態であっても下部走行体１０の前後方向とその予測走行軌道を容易かつ正確に把握することができる。

次に、図９は、前述したように走行レバー４０，４１のパイロット圧ｐ１、ｐ２、ｐ３、ｐ４に基づいて演算された下部走行体１０の予測走行軌道ｔ９、ｔ１０を、下部走行体１０の走行開始位置から離れるに従って徐々に太く表示したものである。すなわち、直進走行は勿論、特にカーブ走行時などにおいてクローラ１１，１１と地面との接地摩擦が小さくて滑りなどが発生した場合やパイロット圧ｐ１、ｐ２、ｐ３、ｐ４の検出誤差などが生じた場合には、予測走行軌道ｔ９、ｔ１０の演算結果と実際の軌道との間にずれが生じ、このずれは下部走行体１０の走行開始位置から離れるに従って徐々に大きくなることが考えられる。従って、本実施の形態では、このように予測走行軌道ｔ９、ｔ１０の演算結果とに実際の軌道との間にずれが生じた場合でも、その誤差を考慮した予測走行軌道ｔ９、ｔ１０を表示することができる。

次に、図１０は、本発明の走行支援装置２００の予測走行軌道演算部２１３が、各走行モータ４０，４０のパイロット圧ｐ１，ｐ２，ｐ３，ｐ４から下部走行体１０の動きが一定の場所での方向転換動作であると判断したときには、その下部走行体１０の転回方向を演算し、演算された下部走行体１０の各クローラ１１，１１の転回方向を示す標識を、俯瞰画像４００の各クローラに対応する画像ｇ３，ｇ４の近傍に重畳して表示するようにしたものである。

すなわち、例えば、取得可能なパイロット圧ｐ１，ｐ２，ｐ３，ｐ４のうちパイロット圧ｐ１のみが検出された場合には、右走行モータ１３のみが前進方向に駆動するような走行制御が行われているため、この走行制御により下部走行体１０がその左クローラ１１の中央部を軸として反時計回りに方向転換動作（いわゆる片方ステ走行）することが予測される。従って、このような操作が行われた場合には、予測走行軌道演算部２１３は、図１０に示すように右クローラ１１に対応する画像ｇ４の先端側にその右クローラ１１が左方向に転回する方向を示した標識（旋回矢印）ｍ１を表示することになる。

また、パイロット圧ｐ２のみが検出された場合には、右走行モータ１３のみが後退方向に駆動するような走行制御が行われているため、この走行制御により下部走行体１０がその左クローラ１１の中央部を軸として時計回りに方向転換動作することが予測されるため、この場合には、右クローラ１１に対応する画像ｇ４の後端側にその右クローラ１１が時計回りに転回する旨の標識ｍ４を表示することになる。同様にして、パイロット圧ｐ３のみが検出された場合には、左クローラ１１に対応する画像ｇ３の先端側にその左クローラ１１が時計回りに転回する旨の標識ｍ２を表示し、パイロット圧ｐ４のみが検出された場合には、左クローラ１１に対応する画像ｇ３の後端側にその左クローラ１１が反時計回りに転回する旨の標識ｍ３を表示することになる。

また、取得可能なパイロット圧ｐ１，ｐ２，ｐ３，ｐ４のうちパイロット圧ｐ１とｐ４のみが検出された場合には、右走行モータ１３が前進方向、左走行モータ１２が後退方向に駆動するような走行制御が行われているため、この走行制御により下部走行体１０がそのクローラ１１，１１間のほぼ中央を軸として反時計回りに方向転換動作（いわゆるピボットターン走行）することが予測される。従って、このような操作が行われた場合には、予測走行軌道演算部２１３は、図１０に示すように右クローラ１１に対応する画像ｇ４の先端側にその右クローラ１１が左方向に転回する旨の標識ｍ１を表示すると共に、左クローラ１１に対応する画像ｇ３の後端側にその左クローラ１１が反時計回りに転回する旨の標識ｍ３を表示することになる。

また、同様にしてパイロット圧ｐ２とｐ３のみが検出された場合には、反対に右走行モータ１３が後退方向、左走行モータ１２が前進方向に駆動して下部走行体１０が時計回りにピボットターンすることが予測されるため、このような操作が行われた場合には、図１０に示すように右クローラ１１に対応する画像ｇ４の後端側にその右クローラ１１が左方向に転回する旨の標識ｍ４を表示すると共に、左クローラ１１に対応する画像ｇ３の先端側にその左クローラ１１が時計回りに転回する旨の標識ｍ２を表示することになる。

このように片方ステ走行時やピボットターンなどのような一定の場所での方向転換動作である場合には、その下部走行体１０の旋回方向を演算し、演算された下部走行体１０の各クローラ１１，１１の転回方向を示す標識を、俯瞰画像４００の各クローラに対応する画像ｇ３，ｇ４の近傍に、例えば円形の矢印などとして重畳して表示するようにしたため、一定の場所での方向転換動作における具体的な下部走行体１０の旋回方向を容易かつ正確に把握することができる。

なお、前記各実施の形態では、本発明の走行支援装置２００の予測走行軌道演算部２１３が、走行モータ１２，１３のパイロット圧ｐ１，ｐ２，ｐ３，ｐ４や旋回角θに基づいて下部走行体１０の予測走行軌道ｔ，ｔを演算するようにしたが、これに加えて、あるいはこれに代えて走行モータ１２，１３や車輪などの走行に関与する部位の回転方向や回転速度を直接検出する回転センサを設け、これらの回転センサからの出力に基づいて下部走行体１０の予測走行軌道ｔ，ｔを演算するようにしても良い。

このような構成にすれば、直接走行モータ１２，１３などの走行に関与する部位の回転方向および回転速度を検出できるため、より正確に予測走行軌道ｔ，ｔを演算することが可能となる。一方、前記のようにパイロット圧ｐ１，ｐ２，ｐ３，ｐ４に基づいて下部走行体１０の予測走行軌道ｔ，ｔを演算する場合には、そのパイロット圧ｐ１，ｐ２，ｐ３，ｐ４によって実際に走行モータ１２，１３が動き出すには多少のタイムラグがあるため、実際に走行モータ１２，１３が動き出す前に予測走行軌道ｔ，ｔを演算することが可能となってより迅速に予測走行軌道ｔ，ｔを表示することが可能となる。また、走行モータ１２，１３の直近の油圧配管に油圧センサを設け、その油圧に基づいて予測走行軌道ｔ，ｔを演算するようにしても良い。

また、前記各実施の形態では、周囲監視モニター２２０が、この予測走行軌道演算部２１３で演算された下部走行体１０の予測走行軌道ｔ，ｔを俯瞰画像作成部２１２で作成した俯瞰画像４００に重畳して表示部２２１に表示するようになっているが、この予測走行軌道ｔ，ｔと俯瞰画像４００との重畳処理は、表示コントローラ２１０側で行い、専らその画像信号（コンポジット信号）を入力して表示するだけのものであっても良い。

１００…油圧ショベル（作業機械）
２００…走行支援装置
２１０…表示コントローラ
２１１…車体情報取得部（車体情報取得手段）
２１２…俯瞰画像作成部（俯瞰画像作成手段）
２１３…予測走行軌道演算部（予測走行軌道演算手段）
２２０…周囲監視モニター（予測走行軌道表示手段）
３００…車体コントローラ
４００…俯瞰画像
５００…合成画像
１０…下部走行体
１１，１１…クローラ
１２，１３…走行モータ
２０…上部旋回体
３０ａ、３０ｂ、３０ｃ、３０ｄ…カメラ
４０…右走行レバー
４１…左走行レバー
４０ａ、４０ｂ、４１ａ、４１ｂ…パイロット圧センサ
４５…旋回角センサ
ｔ，ｔ１〜ｔ１２…予測走行軌道
ｍ…旋回移動方向を示す標識（円形矢印）

Claims

左右一対のクローラを有する下部走行体と、当該下部走行体上に旋回自在に設けられた上部旋回体とを有する作業機械に備えられる走行支援装置であって、
前記上部旋回体に設けられてその周囲を撮影する複数のカメラと、
当該各カメラで撮影した各画像を上方視点変換処理してから合成して前記作業機械に対応する画像を中心とした周囲の俯瞰画像を作成する俯瞰画像作成手段と、
前記各クローラを駆動する走行モータの制御情報と前記下部走行体に対する上部旋回体の旋回角を取得する車体情報取得手段と、
当該車体情報取得手段で取得した前記各走行モータの制御情報と前記下部走行体に対する前記上部旋回体の旋回角から前記下部走行体の予測走行軌道と前記上部旋回体に対する前記下部走行体の旋回位置を演算する予測走行軌道演算手段と、
当該予測走行軌道演算手段で演算された前記上部旋回体に対する前記下部走行体の旋回位置と前記下部走行体の予測走行軌道を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示する予測走行軌道表示手段とを有し、
前記車体情報取得手段は、前記各走行モータの制御情報として前記各走行モータをそれぞれ制御する各走行レバーのパイロット圧間の差圧を取得し、
前記予測走行軌道演算手段は、前記パイロット圧間の差圧から前記下部走行体がカーブ走行であると判断したときは前記下部走行体の走行方向と半径を算出してその予測走行軌道を演算することを特徴とする作業機械の走行支援装置。
請求項１に記載の作業機械の走行支援装置において、
前記予測走行軌道表示手段は、前記下部走行体の予測走行軌道を、前記下部走行体の走行開始位置から離れるに従って徐々に太く表示することを特徴とする作業機械の走行支援装置。
左右一対のクローラを有する下部走行体と、当該下部走行体上に旋回自在に設けられた上部旋回体とを有する作業機械に備えられる走行支援装置であって、
前記上部旋回体に設けられてその周囲を撮影する複数のカメラと、
当該各カメラで撮影した各画像を上方視点変換処理してから合成して前記作業機械に対応する画像を中心とした周囲の俯瞰画像を作成する俯瞰画像作成手段と、
前記各クローラを駆動する走行モータの制御情報を取得する車体情報取得手段と、
当該車体情報取得手段で取得した前記各走行モータの制御情報から前記下部走行体の予測走行軌道を演算する予測走行軌道演算手段と、
当該予測走行軌道演算手段で演算された前記下部走行体の予測走行軌道を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示する予測走行軌道表示手段とを有し、
前記予測走行軌道表示手段は、前記車体情報取得手段で取得した前記各走行モータの制御情報から前記下部走行体の動きが一定の場所での方向転換動作であるときは、前記下部走行体の転回方向を演算し、
前記予測走行軌道表示手段は、前記予測走行軌道演算手段で演算された前記下部走行体の転回方向を示す標識を、前記俯瞰画像作成手段で作成した俯瞰画像に重畳して表示することを特徴とする作業機械の走行支援装置。
請求項３に記載の作業機械の走行支援装置において、
前記予測走行軌道表示手段は、前記下部走行体の各クローラの転回方向を演算し、
前記予測走行軌道表示手段は、前記予測走行軌道演算手段で演算された前記下部走行体の各クローラの転回方向を示す標識を、前記俯瞰画像作成手段で作成した俯瞰画像の各クローラに対応する画像に重畳して表示することを特徴とする作業機械の走行支援装置。