JP5066198B2 - 作業機械のモニタ装置 - Google Patents

Description

本発明は、油圧ショベル等の作業機械のモニタ装置に関する。

油圧ショベル等の作業機械、特に、下部走行体に対して上部旋回体が旋回可能な作業機械の場合、周囲にいる人や物との接触を回避するのは、重要な課題である。このため、作業機械の死角となり易い側方あるいは後方にカメラを備えるように構成した作業機械のモニタ装置が多く開発されている。

特許文献１においては、周囲の状況をできるだけ広範囲に把握するために２つのカメラによって２つの画像を得、撮影された各画像を並べてモニタに表示する建設機械のモニタ装置が開示されている。

カメラを複数備えるようにした装置は、１つのカメラで広角あるいは魚眼レンズを用いて撮影する装置と比較して歪みの少ない画像を広範囲にわたって確保することができるという利点がある。

特開２００９−７８６０号公報（図２〜図５）

複数のカメラで得た複数の画像を１つのモニタに表示しようとした場合、ある程度の視認性を確保するためにはモニタの大型化が避けられない。しかしながら、油圧ショベル等の作業機械の場合、モニタを大型化すると、単にコストが増大するだけでなく、前方の視認性が低下して作業機械本来の操作性が著しく低下してしまう。このため、単純なモニタの大型化には限界がある。

この問題は、例えば、カメラを３個以上用いてマルチ撮影するような場合に特に顕著となる。

本発明は、このような問題を解消するためになされたものであって、小さなモニタを使用しながら、必要時に必要な部分をより詳細に視認することができるようなモニタ装置を提供することをその課題としている。

本発明は、作業機械の周辺を撮影可能な複数のカメラと、該カメラの画像を表示可能なモニタを備えると共に、下部走行体に対し上部旋回体が旋回可能な作業機械のモニタ装置において、前記複数のカメラによって得られた画像を合成して単一の合成画像を生成可能な画像処理手段を備えると共に、前記モニタは、前記合成画像のうち、特定の範囲のみを表示可能であり、且つ前記上部旋回体の旋回操作がなされるときに、該旋回操作に依存して、または旋回操作に先立って、前記モニタによって表示される前記特定の範囲をずらして表示可能とされている構成とすることにより、前記課題を解決したものである。

複数のカメラを有するモニタ装置において、被写体のより詳細な視認性を確保するための第１の改良案としては、各カメラでとらえた画像の全てを表示するのではなく、例えば各カメラごとにその主要部のみを拡大して表示する手法が考えられる。しかし、同一の大きさのモニタで、単純に全カメラの画像の一部のみを集めて表示するのは、必然的に各カメラごとにカットされた部分の確認ができなくなってしまうため、その分安全性が低下する。

そこで考えられる第２の改良案として、特に旋回時の安全性を確保するために、旋回操作がなされるときには、モニタによって表示される各カメラの画像を旋回方向に順次切り換えるという手法が考えられる。しかしながら、この手法では、表示対象カメラが切り換わるときの画像の連続性が問題となる。特に速い速度で旋回する場合や被写体が動いているようなときに、各カメラの境界付近に存在する被写体の把握が困難となり易い。

本発明では、先ず、複数のカメラによって各々得られた複数の画像を合成処理して単一の合成画像を得る。即ち、この合成画像には、基本的に全てのカメラによって得られた全ての撮影情報が一覧で含まれている。一方、モニタは、この合成画像のうち、特定の範囲のみを表示可能とされており、且つ、実際にモニタによって表示すべき当該特定の範囲が、旋回操作に依存して（あるいは旋回操作に先立って）ずらして表示される。これにより、各カメラの画像の非連続性を気にすることなく、旋回操作に応じて真に確認したい方向の作業機械の周辺を、連続的に且つ詳細に観察することができる。

本発明において、好ましくは、前記カメラが作業機械の後方及び側方に配置されていることである。これにより、オペレータにより直視が困難な、いわゆる作業機械の死角部分であっても、モニタによって確認できるようになるため、安全性が向上する。

また、好ましくは、前記画像処理装置によって合成される前記合成画像が、各カメラによって得られた画像を合成して作業機械の上方より俯瞰視した俯瞰画像とされることである。これにより、作業機械に対する被写体（障害物）の絶対位置等を、より直感的に把握することができるようになり、安全性が更に向上する。

また、好ましくは、前記画像処理装置によって合成される前記合成画像が、各カメラによって得られた画像を合成して水平にパノラマ視したパノラマ画像であることである。これにより、より「実視」に近い態様で作業機械の周囲を連続してより遠方まで確認することが可能となり、安全性が更に向上する。

また、好ましくは、更に、前記特定の表示範囲の移動を指示可能な移動指示手段を備え、オペレータが該移動指示手段を操作したときに、前記モニタによって表示される前記特定の範囲を、手動で変更・移動可能とした構成とすることである。これにより、実際の状況に応じてオペレータがよりに詳細に確認したい範囲をより的確に表示することが可能となる。

本発明によれば、小さなモニタを使用しながら、必要時に必要な部分をより詳細に視認することができるようになる。

本発明の実施形態に係る作業機械のモニタ装置の一例において、各カメラによって撮影される範囲を示す平面図 各カメラによって現に映し出されている被写体を示す撮影図 （Ａ）各カメラの撮影画像を合成した俯瞰合成図、及び（Ｂ）その特定の範囲のみを取り出してモニタによって表示される表示図 合成画像が俯瞰画像であるときに、作業機械の上部旋回体が右旋回したときのモニタの表示図 合成画像が俯瞰画像であるときに、作業機械の上部旋回体が左旋回したときのモニタの表示図 合成画像がパノラマ画像であるときに、作業機械の上部旋回体が左右に旋回したときのモニタの表示図 （Ａ）本発明の実施形態の一例に係るモニタ装置が適用された作業機械の概略平面図、及び（Ｂ）その運転室内の概略平面図

以下、図面に基づいて、本発明の実施形態の一例について詳細に説明する。

図７（Ａ）は、本発明の実施形態の一例に係るモニタ装置が適用された油圧ショベル（作業機械）の概略平面図、（Ｂ）は、その運転室内の概略平面図である。

図７（Ａ）を参照して、この油圧ショベル１０は、クローラ１２、１３を備える下部走行体１４と、この下部走行体１４上に旋回可能に装着された上部旋回体１６とを備える。上部旋回体１６の左側前部には運転室（キャブ）１８が配置されている。また、上部旋回体１６の中央前部にはブーム１９、アーム２０、アタッチメント２２からなる作業機２４が突出配置されている。この基本的な構成は従来と同様である。

図７（Ｂ）に示されるように、運転室１８内には、運転席（シート）２６が装着されている。運転席２６の両側には、左右のコンソールボックス２８、３０が装備され、それぞれのコンソールボックス２８、３０に作業機２４の駆動操作及び上部旋回体１６の旋回操作を行うための操作レバー３２、３４が前後左右方向に揺動可能に搭載してある。運転席２６の前方フロアには、左右のクローラ１２、１３を駆動制御するための走行用のペダル３６、３８が前後方向に踏み込み可能に設けられ、それぞれのペダル３６、３８には走行用の操作レバー４０、４２が取り付けられている。

図１に示されるように、上部旋回体１６には、油圧ショベル１０の周辺を撮影可能なカメラとして、後方に後方カメラ５０、側方の後部両側に右カメラ５２、左カメラ５４がそれぞれ備えられている。図２は、各カメラ５０、５２、５４によって映し出されている個別映像を示している。図２（Ａ）には、右カメラ５２によって映し出されている作業機械の右側画像Ｉａが示されている。ここでは、油圧ショベル１０から見て前部８１Ａを左方向に向けて停車している自動車８１が映し出されている。図２（Ｂ）には、後方カメラ５０によって映し出されている後方画像Ｉｂが示されている。ここでは、作業員８２、８３が映し出されている。図２（Ｃ）には、左カメラ５４によって映し出されている左側画像Ｉｃが示されている。ここでは、立木８４、８５が映し出されている。

本実施形態に係るモニタ装置ＭＳ１は、運転室２６の右コンソールボックス２８内に、コントローラ（画像処理手段）５６を備えている（図７（Ｂ）参照）。コントローラ５６は、この３つのカメラ５０、５２、５４によって得られた画像Ｉａ〜Ｉｃを合成して単一の俯瞰画像（合成画像）Ｂ０を生成可能である（後述）。運転席２６の右前部には、この俯瞰画像Ｂ０のうち、特定の範囲を表示可能な液晶モニタ５５が配置されている。

なお、上部旋回体１６には、旋回角度センサ５９が設けられている。この角度センサ５９は、旋回操作に依存して前記特定の範囲をずらすために、現時点でどの程度の旋回操作が行われているかを検出する。具体的には、旋回操作がなされるときに上部旋回体１６と下部走行体１４との相対位置が変化する部分において、当該相対位置の変化を何らかの方法で検知できるような構成とされている。なお、一般に、油圧ショベル等の作業機械における上部旋回体の旋回は、下部走行体側に固定された大きな内歯歯車に、上部旋回体側に組み込まれた旋回ピニオンが内接噛合する構成で実現しているため、例えば、該旋回ピニオンをモータによって駆動している場合には、（上述したような旋回角度センサに代えて）この旋回ピニオンの回転を制御するモータへの指示情報を利用するようにしてもよい。

なお、この実施形態においては、更に、操作レバー３４の揺動角度情報がコントローラ５６に入力されるようになっている。これにより、操作レバー３４を操作した直後に（未だ上部旋回体１６が実際に旋回を開始していない段階で）、液晶モニタ５５に表示される特定の範囲をこれから旋回される方向にずらすことができる。

以下、上記モニタ装置ＭＳ１での描写処理を、より詳細に説明する。

前述したように、右カメラ５２により油圧ショベル１０の右側画像Ｉａが、後方カメラ５０により後方画像Ｉｂが、左カメラ５４により左側画像Ｉｃが、それぞれ映し出される。コントローラ５６は、図３（Ａ）に示されるように、各カメラ５０、５２、５４によって得られた画像Ｉａ〜Ｉｃを合成して油圧ショベル１０の上方より俯瞰視した俯瞰画像Ｂ０を生成する。この俯瞰画像Ｂ０の生成には、公知の手法（例えば特開２００９−７８６０や同２００９−１１３５６１等で開示されている手法、即ち、映し出された画像を９０度、あるいは１８０度回転させる手法）等が採用できる。

図３（Ａ）の描写から明らかなように、この俯瞰画像Ｂ０は、一般的な意味で用いられる俯瞰画像とは異なり、必ずしもその被写体そのものが上方から観察されたような映像（例えば帽子を被っている人であるならば、帽子および肩部のみが映し出されているような映像）を意味しているものではない。即ち（本発明における俯瞰画像は）、作業機械を上方から見たときに、各カメラが映し出している被写体が、該作業機械を中心として実際に存在する方向及び位置に映し出されるように、各カメラで得られた映像Ｉａ〜Ｉｃが配置・処理されていれば足りる。

この実施形態では、具体的には図３（Ａ）に示されるように、右カメラ５２が得た画像Ｉａを右に９０度回転し、後方カメラ５０が得た画像Ｉｂを１８０度回転し、左カメラ５４が得た画像Ｉｃを左に９０度それぞれ回転させている。各画像Ｉａ〜Ｉｃが重なる部分には、各画像Ｉａ〜Ｉｃの下側（合成画像で内側）を圧縮、上側（同外側）を伸長する補正を施した上で合成している。ただし、この補正の仕方は特にこの方法に限定されない。また、この画像補正は必ずしも必須ではない。例えば、各カメラでの映像エリアがうまく重なるならば、重なる部分に関しては一方のカメラの映像のみを活かし、他方のカメラの映像が無視される（他方のカメラの映像が一方のカメラの映像に上書きされる）ような手法で合成するようにしてもよい。

得られた俯瞰画像Ｂ０は、３つのカメラ５０、５２、５４で映し出される画像Ｉａ〜Ｉｃを一覧で（同時に）確認できるという点で優れているが、極めて大きなモニタを必要とし、油圧ショベル１０での本来の作業をする際の前方の視認性が阻害される。そこで、この実施形態では、この俯瞰画像Ｂ０のうちの「特定の範囲」のみを、図３（Ｂ）に示されるような表示画像Ｂ１として切り出して、液晶モニタ５５に表示するようにしている。この表示画像Ｂ１は、旋回操作がなされていないときに液晶モニタ５５によって表示される画像に相当している。

ここで、液晶モニタ５５による周囲の安全の確認が特に必要なのは、旋回操作がなされるときである。このため、この表示画像（特定の範囲の画像）Ｂ１を、旋回操作に依存して図４に示されるようにずらして表示する。

即ち、図４（Ａ）に示されるように、上部旋回体１６が右方向に旋回するときには上部旋回体１６の後部左側での障害物（この場合は立木８１、８２）との衝突が最も問題となる。このため、図４（Ｂ）に示されるように、上部旋回体１６が右方向に旋回するときには、この右方向への旋回操作に依存して、後部左側部分Ｌ１が大きく表示されている表示画面Ｂ２にずれていくようになっている。本実施形態では、前述したように、旋回角度センサ５９からの旋回角度情報のほかに、操作レバー３４の揺動角度情報をも入手している。このため、旋回操作レバー３４を右旋回操作した直後から（未だ上部旋回体１６が実際に右方向に旋回を開始していない段階のうちから）、特定の範囲の表示を右旋回方向にずらすことができる。ずらし方（画面の移動の仕方）は、上部旋回体１６の旋回の程度に依存して行われる。即ち、旋回の程度が大きくなるにしたがって、後部中央、後部左側、中央左側、前部左側へと連続的に表示画像がずらされてゆく。この結果、油圧ショベル１０の上部旋回体１６の後部が動いていく方向の周辺を常に良好に観察することができる。

同様に、上部旋回体１６が左方向に旋回するときには、図５（Ａ）に示されるように、該上部旋回体１６の後方右側での障害物（この場合は自動車８１）との衝突が最も問題となる。このため、図５（Ｂ）に示されるように、上部旋回体１６が左方向に旋回するときには、後部右側部分Ｒ１が大きく表示されている表示画面Ｂ３にずれていくようになっている。

本実施形態における表示画像Ｂ１〜Ｂ３は、俯瞰画像Ｂ０のうちの一部分でしかないが、３つのカメラ５０、５２、５４の画像Ｉａ〜Ｉｃのうちの「その時点での要部」が同時に映し出されているため、各カメラ５０、５２、５４の画像Ｉａ〜Ｉｃの非連続性が問題となることはほとんどない。この点が、例えば各カメラ５０、５２、５４で撮影された画像を、旋回に依存して単純に切り替えていく描写手法と大きく異なる点である。合成画像としてこのような俯瞰画像Ｂ０を得る方法は、特に、油圧ショベル１０と被写体との絶対位置関係を直感的に把握することができるという利点がある。

上記実施形態においては、合成画像として、各カメラによって得られた画像を左右及び上下方向に合成して作業機械の上方より俯瞰視した俯瞰画像を生成するようにしていたが、本発明においては、合成画像として、例えばパノラマ画像を生成するようにしても、同様の作用効果が得られる。図６にこの例を示す。

この実施形態では、図６（Ａ）に示されるように、各カメラ５０、５２、５４によって得られた画像Ｉａ〜Ｉｃを左右方向に合成して水平にパノラマ視したパノラマ画像Ｐ０を得ている。各画像Ｉａ〜Ｉｃの境界は、補正して円滑な連続性を得るのが好ましいが、各カメラ５０、５２、５４での映像エリアがうまく重なるならば、必ずしも補正は必要ない。旋回開始（非旋回時）では、当該パノラマ画像Ｐ０のうち、図６（Ｂ）で示されるような特定の範囲の表示画像Ｐ１が液晶モニタ５５で表示される。この状態から、右旋回がなされると、図６（Ｃ）で示されるような表示画像Ｐ２にずらされていく。即ち、液晶モニタ５５には、後部左側の部分Ｌ２を中心とした映像が映し出される。逆に、左旋回がなされると、図６（Ｄ）で示されるような表示画像Ｐ３にずらされていく。この結果、液晶モニタ５５には、後部右側の部分Ｒ２を中心とした映像が映し出される。

このような構成によっても、各カメラ５０、５２、５４同士の撮影画像の非連続性を気にすることなく、真に見たい方向に障害物がある否かを確実に確認することができる。合成画像として、パノラマ画像Ｐ０を得る手法は、基本的な描写態様が「実視」と一致しているため、特に、被写体の形状あるいは複数の被写体同士の間隔や相対位置関係を直感的に捉えやすいという利点がある。

なお、上記実施形態を、更に改良することも可能である。例えば、図７（Ｂ）に図示されているように、コントローラ５６に操作レバー（移動指示手段）７０を付設して、この操作レバー７０を例えば前後左右に傾けることで液晶モニタ５５によって表示される特定の範囲を変更あるいは移動できるようにしてもよい。これにより、オペレータが該操作レバー７０を操作したときに、旋回操作に依存して液晶モニタ５５によって表示される表示画像を、手動で変更（調整）することが可能となり、実際の状況に応じてオペレータの意思によって、より見たい方向に当該表示画像を意図的にずらしたり、表示縮尺を変えたりすることができるようになる。なお、この移動指示手段は、（レバーではなく）例えば４つの方向キーのようなものであってもよい。また、例えば液晶モニタがタッチセンサ機能を有している場合には、該液晶モニタの一部を手で触れることによって触れた位置に依存して表示画像がずれるような構成とされていてもよい。

更には、この手動での移動機能を発展させ、旋回操作に先立って（現に行われている旋回操作に依存することなく）手動操作のみで合成画像の一部である特定の範囲をずらせるような構成としておくことも可能である。

例えば、油圧ショベル等の作業機械のモニタ装置に好適に用いることができる。

１０…油圧ショベル（作業機械）
１４…下部走行体
１６…上部旋回体
１８…運転室
２６…運転席

Claims (5)

1. 作業機械の周辺を撮影可能な複数のカメラと、該カメラの画像を表示可能なモニタを備えると共に、下部走行体に対し上部旋回体が旋回可能な作業機械のモニタ装置において、
   前記複数のカメラによって得られた画像を合成して単一の合成画像を生成可能な画像処理手段を備えると共に、
   前記モニタは、前記合成画像のうち、特定の範囲のみを表示可能であり、且つ
   前記上部旋回体の旋回操作がなされるときに、該旋回操作に依存して、または旋回操作に先立って、前記モニタによって表示される前記特定の範囲をずらして表示可能とされている
   ことを特徴とする作業機械のモニタ装置。
2. 請求項１において、
   前記カメラが、作業機械の後方及び側方に配置されている
   ことを特徴とする作業機械のモニタ装置。
3. 請求項１または２において、
   前記画像処理装置によって合成される前記合成画像が、各カメラによって得られた画像を合成して作業機械の上方より俯瞰視した俯瞰画像である
   ことを特徴とする作業機械のモニタ装置。
4. 請求項１または２において、
   前記画像処理装置によって合成される前記合成画像が、各カメラによって得られた画像を合成して水平にパノラマ視したパノラマ画像である
   ことを特徴とする作業機械のモニタ装置。
5. 請求項１〜４のいずれかにおいて、
   更に、前記特定の表示範囲の移動を指示可能な移動指示手段を備え、
   オペレータが該移動指示手段を操作したときに、前記モニタによって表示される前記特定の範囲を、手動で変更・移動可能とした
   ことを特徴とする作業機械のモニタ装置。

Images