JP6071786B2 - 作業機械の周囲監視装置 - Google Patents

Description

本発明は、作業機械の周囲監視装置に関する。

従来から、油圧ショベル等の作業機械には、機体の周囲を監視するためにカメラを搭載したものがある（例えば、特許文献１参照）。特許文献１には、油圧ショベルに起伏自在に枢着されたフロントアタッチメントのブームの下部に前方監視カメラを設けた監視カメラ装置が開示されている。

実開平７−２０３５４号公報

しかしながら、上記特許文献１に記載の装置においては、ブームの下部に前方監視カメラが設けられているため、フロントアタッチメントの動作位置によっては前方監視カメラによって撮像される前方領域の画像がフロントアタッチメントによって遮られてしまう。

（１）請求項１に記載のフロント作業機と機械本体とを有する作業機械の周囲監視装置は、フロント作業機の一方側の機械本体に設けられた第１の撮像部と、フロント作業機の他方側の機械本体に設けられた第２の撮像部とを有し、機械本体の一部分を含む作業機械の前方領域を撮像する撮像装置と、撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成装置と、画像生成装置によって生成された仮想視点画像を表示する表示装置とを備え、表示装置は、仮想視点画像においてフロント作業機に相当する位置にフロント作業機を表す部分画像が配置され、仮想視点画像のうちフロント作業機に相当する部分の仮想視点画像と部分画像とを重ね合わせて表示する。
（２）請求項２に記載の作業機械の周囲監視装置は、請求項１に記載の作業機械の周囲監視装置において、第１の撮像部の撮像領域は、作業機械の前方領域に加えて、作業機械の一方側の側方領域を含む。
（３）請求項３に記載の作業機械の周囲監視装置は、請求項１に記載の作業機械の周囲監視装置において、第１の撮像部と第２の撮像部は、フロント作業機を基準として略左右対称に配置されている。
（４）請求項４に記載の作業機械の周囲監視装置は、請求項１から請求項３のいずれか１項に記載の作業機械の周囲監視装置において、撮像装置は、作業機械の前方領域に加えて、作業機械の側方領域および後方領域を撮像し、表示装置は、作業機械の全周囲の仮想視点画像を表示する。

本発明によれば、フロント作業機の稼働状況に拘わらず、フロント作業機に遮られることなく作業機械の前方領域を監視することができる作業機械の周囲監視装置を提供することができる。

図１は、本発明の第１の実施の形態による周囲監視装置を搭載した油圧ショベルの側面図である。 図２は、図１に示す油圧ショベルの正面図である。 図３は、図１に示す油圧ショベルの上面図である。 図４は、運転室内を模式的に示した上面図である。 図５は、第１の実施の形態による周囲監視装置の構成を示すブロック図である。 図６は、油圧ショベルとその周囲の様子を概略的に示す上面図である。 図７は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図８は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図９（ａ）（ｂ）は、油圧ショベル旋回時の周囲の様子を概略的に示す上面図と、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図１０（ａ）（ｂ）は、油圧ショベル前進時の周囲の様子を概略的に示す上面図と、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。 図１１は、本発明の第２の実施の形態による周囲監視装置を搭載した油圧ショベルの側面図である。 図１２は、図１１に示す油圧ショベルの正面図である。 図１３は、図１１に示す油圧ショベルの上面図である。 図１４は、第２の実施の形態による周囲監視装置の構成を示すブロック図である。 図１５は、油圧ショベルとその周囲の様子を概略的に示す上面図である。 図１６（ａ）（ｂ）は、左前方カメラおよび右前方カメラによって撮影される画像の一例である。 図１７は、表示モニタに表示される油圧ショベルの周囲画像の一例を示す図である。

≪第１の実施の形態≫
以下、図面に基づいて本発明の第１の実施の形態による周囲監視装置について詳細に説明する。なお、第１の実施の形態では、作業機械として大型の油圧ショベルに周囲監視装置を搭載した場合を例として説明する。図１は、本発明の第１の実施の形態による周囲監視装置を搭載した油圧ショベル１０の側面図、図２は、図１に示す油圧ショベル１０の正面図、図３は、図１に示す油圧ショベル１０の上面図である。なお、図１においては、油圧ショベル１０のフロント作業機（フロントアタッチメント）の図示を省略している。

油圧ショベル１０は、一対のクローラ１１，１２を有する下部走行体１３と、下部走行体１３上に旋回可能に設けられた上部旋回体１４とを備える。上部旋回体１４は、上段部１４ａと下段部１４ｂから構成されている。図３において斜線のハッチングを施した部分が下段部１４ｂに相当する。上部旋回体１４の前方左側には運転室１５が設けられ、上部旋回体１４の前方中央にはブーム１６、アーム１７およびバケット１８からなるフロント作業機１９が設けられている。油圧ショベル１０のフロント作業機１９を除く部分が油圧ショベル１０の機械本体である。

下部走行体１３のクローラ１１，１２は、それぞれ不図示の走行モータにより駆動される。上部旋回体１４は、その中心部に設けられた旋回モータ（不図示）により下部走行体１３に対して旋回する。ブーム１６、アーム１７およびバケット１８は、それぞれ不図示のブームシリンダ、アームシリンダおよびバケットシリンダの伸縮により俯仰動（回動）される。これらの各モータおよび各シリンダは上部旋回体１４のエンジン室に設けられた油圧ポンプからの圧油によって駆動される。

図４は、運転室１５内を模式的に示した上面図である。図４に示すように、運転室１５には、運転席２０と、運転席２０の左右に設けられたコンソールボックス２１ａ，２１ｂと、運転席２０の前方のフロアに設けられた走行ペダル２３ａ，２３ｂと、運転席２０の後方に設けられたコントローラ１１０と、運転席２０の前方左側に設けられた表示装置１２０とが設けられている。コンソールボックス２１ａ，２１ｂには、フロント作業機１９の駆動操作、上部旋回体１４の旋回操作を行うためにオペレータによって操作される操作レバー２２ａ，２２ｂが設置されている。操作レバー２２ａ，２２ｂは、前後左右方向に揺動可能に構成されている。走行ペダル２３ａ，２３ｂは、クローラ１１，１２を駆動制御するためにオペレータによって前後方向に踏込操作される。走行ペダル２３ａ，２３ｂには、走行用の操作レバー２４ａ，２４ｂが設置されている。

図５は、第１の実施の形態による周囲監視装置１００の構成を示すブロック図である。周囲監視装置１００は、コントローラ１１０と、表示装置１２０と、撮像装置１３０とから構成される。撮像装置１３０は、油圧ショベル１０の全周囲の画像を取得するための装置であり、左前側方カメラ１３１と、右前方カメラ１３２と、右側方カメラ１３３と、後方カメラ１３４とを備えている。

左前側方カメラ１３１は、運転室１５の左前方の下部に設置されており、図１、図２に破線で示すように、油圧ショベル１０の前方左側から左側方までの領域を撮像可能に構成されている。左前側方カメラ１３１の撮像領域は、油圧ショベル１０の一部も含むように設定されている。すなわち、左前側方カメラ１３１によって、オペレータにとって死角となる運転室１５の直下も撮像できるように構成されている。右前方カメラ１３２は、上部旋回体１４の右前方部分に設置されており、図２に破線で示すように、油圧ショベル１０の前方右側の領域を撮像可能に構成されている。右前方カメラ１３２の撮像領域は、油圧ショベル１０の一部も含むように設定されている。これにより、油圧ショベル１０が図３に示すように前方を向いている場合は、左前側方カメラ１３１および右前方カメラ１３２によって撮像される画像に下部走行体１３のクローラ１１，１２の一部も含まれることになる（図７参照）。

右側方カメラ１３３は、上部旋回体１４の右側方部分に設置され、油圧ショベル１０の右側方の領域を撮像可能に構成されている。後方カメラ１３４は、上部旋回体１４の後部に設置され、油圧ショベル１０の後方の領域を撮像可能に構成されている。なお、各カメラ１３１〜１３４は、例えば図１および図２に破線で示すように撮像領域の一部がオーバーラップするように画角および光軸方向が設定されており、これにより、４つのカメラ１３１〜１３４によって油圧ショベル１０の全周囲の画像を取得できるように構成されている。

図２に示すように、左前側方カメラ１３１と右前方カメラ１３２は、フロント作業機１９の左側の前方領域と右側の前方領域をそれぞれ撮像するように、フロント作業機１９の左側の位置、および右側の位置にそれぞれ設置されている。これにより、フロント作業機１９の稼働状況や動作姿勢に拘わらず、フロント作業機１９に遮られることなく、左前側方カメラ１３１と右前方カメラ１３２によって油圧ショベル１０の前方領域を撮像することができる。なお、右前方カメラ１３２は油圧ショベル１０の前方右側の領域を撮像するために、油圧ショベル１０の右前方部分のうちフロント作業機１９寄りに配置されている。一方、左前側方カメラ１３１は油圧ショベルの前方左側の領域に加えて左側方の領域を撮像するために、油圧ショベル１０の左前方部分の左側端部、すなわちフロント作業機１９から最も遠い位置に配置されている。

図３に示すように、左前側方カメラ１３１、右前方カメラ１３２、右側方カメラ１３３、および後方カメラ１３４は、運転室１５のオペレータから死角となる油圧ショベル１０の直近の領域を含めて撮像するために、上部旋回体１４の最外縁となる位置に配置されている。また、各カメラ１３１〜１３４で撮像された画像は、後述するように合成されるので、各カメラ１３１〜１３４は上部旋回体１４の上段部１４ａにおいて略同じ高さの位置に配置されている。ただし、上部旋回体１４の下段部１４ｂは上段部１４ａよりも外側に張り出している部分があるので、左前側方カメラ１３１、右前方カメラ１３２および後方カメラ１３４は、下段部１４ｂの最外縁、すなわち上部旋回体１４の最外縁相当の位置に配置されるように、エクステンションバー１３１ａ，１３２ａ，１３４ａによって支持されている。

各カメラ１３１〜１３４で撮像された油圧ショベル１０の周囲画像の画像データはコントローラ１１０に入力される。

コントローラ１１０は、ＣＰＵと、ＲＯＭおよびＲＡＭ等のＣＰＵ周辺部品とから構成される電子制御ユニットであり、周囲監視装置１００全体の制御を行う。コントローラ１１０は、例えばＣＰＵのソフトウェア形態により、画像補正処理部１１１、画像変換部１１２、画像合成処理部１１３、および表示画面設定部１１４を構成する。コントローラ１１０は、撮像装置１３０から入力された画像データに対し、上方視点となるように視点変換して合成し、仮想視点画像として表示装置１２０に表示させる。画像補正処理部１１１、画像変換部１１２、および画像合成処理部１１３が画像生成装置を構成する。コントローラ１１０における制御については、後述する。

表示装置１２０は、例えば液晶パネル等から構成される画像表示部である表示モニタ１２１と、画面切替操作部材１２２とを有する。表示モニタ１２１には、コントローラ１１０からの信号に応じて文字や画像が表示される。画面切替操作部材１２２は、表示モニタ１２１に表示される表示画面を切り替えるためにオペレータによって操作される操作部材であり、例えばスイッチ等から構成される。
次に、周囲監視装置１００における仮想視点画像の生成表示制御について説明する。ここでは、後方カメラ１３４の画像データを例として説明する。まず、後方カメラ１３４から入力された画像データは、画像補正処理部１１１に入力される。画像補正処理部１１１は、画像データに対して、カメラ光学系パラメータに基づく収差補正、コントラスト補正、色調補正等の画像補正を行い、入力された画像の画質を向上させる。

画像変換部１１２は、画像補正処理部１１１から入力された画像データに基づいて仮想視点画像を生成する。図１に一点鎖線で示すように、後方カメラ１３４の光軸が油圧ショベル１０の接地面Ｌに対してなす角度はθである。すなわち、後方カメラ１３４からは、接地面Ｌに対して角度θを持った画像が得られる。画像変換部１１２は、後方カメラ１３４から得た画像データに対し、接地面Ｌを仮想平面とした仮想視点ＶＦの光軸が垂直となるように座標変換し、仮想視点画像を作成する。これにより、接地面Ｌに対して角度θを持った斜め上方からのカメラ画像が、上方視点からの仮想視点画像、すなわち俯瞰画像に変換される。

画像変換部１１２は、左前側方カメラ１３１、右前方カメラ１３２、および右側方カメラ１３３から得た画像データに対しても、同様に座標変換を施し、仮想視点画像を作成する。

画像合成処理部１１３は、左前側方カメラ１３１の画像データに基づく仮想視点左前側方画像、右前方カメラ１３２の画像データに基づく仮想視点右前方画像、右側方カメラ１３３の画像データに基づく仮想視点右側方画像、および後方カメラ１３４の画像データに基づく仮想視点後方画像を合成し、油圧ショベル１０の全周囲の俯瞰画像に相当する仮想視点画像を生成する。なお、画像合成処理部１１３は、右側方カメラ１３３から得た画像データを右方向に９０度回転するとともに、後方カメラ１３４から得た画像データを１８０度回転したうえで、合成している。

表示画面設定部１１４は、画像切替操作部材１２２からの信号に応じて、画像合成処理部１１３で生成された仮想視点画像を表示する際の表示範囲を設定する。表示装置１２０の表示モニタ１２１には、コントローラ１１０からの信号に応じて油圧ショベル１０の全周囲の仮想視点画像が表示される。表示モニタ１２１に表示される仮想視点画像は、撮像装置１３０から入力される画像データに基づいて逐次、更新される。

以下に、表示装置１２０に表示される画像について説明する。図６には、油圧ショベル１０とその周囲の様子を概略的に示している。図７に、図６に示すような状況における表示装置１２０の表示例を示す。図６に示すように、油圧ショベル１０の前方にはダンプトラック５０ａが停車しており、油圧ショベル１０の左側方にはダンプトラック５０ｂが停車している。

表示モニタ１２１には、その中央位置に油圧ショベル１０の平面図を図形化した作業機械画像６０が表示されている。作業機械画像６０は、油圧ショベル１０の上部旋回体１４に相当するイラストである。作業機械画像６０において、運転室１５に相当する位置には運転室枠画像６１が表示され、フロント作業機１９に相当する位置にはフロント枠画像６２が表示されている。運転室枠画像６１は運転室１５の外形を表す矩形の枠状のイラストである。同様に、フロント枠画像６２は、フロント作業機１９の外形を表す矩形の枠状のイラストである。枠画像６１，６２は、油圧ショベル１０の一部分を表す部分画像である。

作業機械画像６０の周囲には、各カメラ１３１〜１３４の画像データに基づいて視点変換し合成した仮想視点画像７０が表示される。仮想視点画像７０は、上述したように、左前側方カメラ１３１の画像データに基づく仮想視点左前側方画像７１、右前方カメラ１３２の画像データに基づく仮想視点右前方画像７２、右側方カメラ１３３の画像データに基づく仮想視点右側方画像７３、および後方カメラ１３４の画像データに基づく仮想視点後方画像７４から構成される。図７に示すように、仮想視点画像７０は、左前側方カメラ１３１によって撮像されたクローラ１１の一部、および右前方カメラ１３２によって撮像されたクローラ１２の一部も含んでいる。

仮想視点左前側方画像７１と仮想視点右前方画像７２との間、仮想視点右前方画像７２と仮想視点右側方画像７３との間、および仮想視点右側方画像７３と仮想視点後方画像７４との間、仮想視点後方画像７４と仮想視点左前方画像７１との間には、それぞれ、表示領域の境界としての境界ライン７５，７６，７７，７８が表示されている。

このように仮想視点画像７０を表示することにより、表示モニタ１２１には、各カメラ１３１〜１３４が撮像している被写体が、油圧ショベル１０を中心として上方から見下ろしたときに実際に存在する方向および位置（距離）に表示される。図７の表示例においては、油圧ショベル１０の前方に存在するダンプトラック５０ａと左側方に存在するダンプトラック５０ｂが、油圧ショベル１０を中心として実際に存在する方向および位置に対応する位置に表示されている。また、油圧ショベル１０のクローラ１１，１２の一部も油圧ショベル１０、より具体的には上部旋回体１４を中心として実際に存在する方向および位置に対応する位置に表示されている。

図７に示すように、仮想視点画像７０には、運転室枠画像６１およびフロント枠画像６２が重ね合わせて表示されているが、運転室枠画像６１とフロント枠画像６２は枠形のイラストであるので、枠画像６１，６２が重畳された部分の仮想視点画像７０、すなわち枠の内部の仮想視点画像も視認可能である。したがって、例えば運転室１５の直下に存在するクローラ１１の一部およびその近辺も、運転室画像６１によって視認性が妨げられることはない。

図８に、表示モニタ１２１の別の表示例を示す。図８の表示例においては、画像合成処理部１１３で生成された仮想視点画像のうち、特定の範囲を表示画像として切り出して表示している。上述したように、表示画像、すなわち表示範囲の切換えは、オペレータが表示装置１２０の画面切替操作部材１２２を操作することによって行うことができる。画面切替操作部材１２２を操作することによって、画像合成処理部１１３で生成された最大範囲の仮想視点画像と、例えば油圧ショベル１０の作業半径に対応する範囲の表示画像とを切換えて表示することができる。

以下に、油圧ショベル１０の動作維持における周囲監視装置１００の作用について説明する。

図９（ａ）（ｂ）に、油圧ショベル１０の旋回時の周囲の様子を概略的に示す上面図と、表示モニタ１２１の表示例を示す。図９（ａ）は図６に示す状態から油圧ショベル１０が右方向に旋回する様子を示している。作業機械画像６０は表示モニタ１２１の中央位置に固定して表示されているので、油圧ショベル１０の旋回動作に伴い、図９（ｂ）に示す表示モニタ１２１の表示画像上は、油圧ショベル１０の周囲画像、すなわち仮想視点画像７０が旋回方向とは反対方向に回転するように見える。前方を向いていた油圧ショベル１０が矢印で示すように右方向に旋回する場合、フロント作業機１９が前方のダンプトラック５０ａと接触する可能性がある。また、油圧ショベル１０の後端部がダンプトラック５０ｂと衝突する可能性がある。周囲監視装置１００においては、図９（ｂ）に示すように、表示モニタ１２１に油圧ショベル１０の旋回動作に対応して更新される仮想視点画像７０が表示されるので、オペレータは表示モニタ１２１の表示画像から油圧ショベル１０の周囲に存在するダンプトラック５０ａ，５０ｂの存在方向および位置を確認しながら、安全に旋回動作を行うことができる。

図１０（ａ）（ｂ）に、油圧ショベル１０の前進時の周囲の様子を概略的に示す上面図と、表示モニタ１２１の表示例を示す。図１０（ａ）に示すように、油圧ショベル１０の右前方にはサービスカー５０ｃが停車している。油圧ショベル１０の左前方の運転室１５にいるオペレータからは、フロント作業機１９によってサービスカー５０ｃが隠れて目視できない可能性がある。周囲監視装置１００においては、図１０（ｂ）に示すように、表示モニタ１２１に油圧ショベル１０の前進動作に対応して更新される仮想視点画像７０が表示されるので、オペレータは表示モニタ１２１の表示画像からサービスカー５０ｃが実際に存在する方向および位置を確認しながら、安全に前進動作を行うことができる。

このように、以上説明した第１の実施の形態においては、以下のような作用効果を奏することができる。
（１）周囲監視装置１００は、フロント作業機１９の一方側の機械本体に設けられた左前側方カメラ（第１の撮像部）１３１と、フロント作業機１９の他方側の機械本体に設けられた右前方カメラ（第２の撮像部）１３２とを有し、機械本体の一部分であるクローラ１１，１２の一部を含む油圧ショベル１０の前方領域を撮像する撮像装置１００と、撮像装置１００によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成するコントローラ１１０と、コントローラ１１０によって生成された仮想視点画像７０を表示する表示装置１２０とを備えている。表示装置１２０の表示モニタ１２１には、油圧ショベル１０の一部分である運転室１５およびフロント作業機１９を表す枠画像６１，６２を、枠画像６１，６２を通して仮想視点画像７０が視認可能となるように仮想視点画像７０に重ね合わせて表示する。フロント作業機１９の両側に一つずつカメラを設けることにより、フロント作業機１９の稼働状況に拘わらず、オペレータはフロント作業機１９に遮られることなく油圧ショベル１０の前方領域を監視することができる。また、撮像装置１３０によって取得された画像に基づく仮想視点画像を表示モニタ１２１に表示することにより、オペレータは、油圧ショベル１０の前方領域に存在するダンプトラック５０ａ等の障害物との位置関係を瞬時に把握することができる。さらに、撮像装置１３０はクローラ１１，１２の一部も含むように前方領域を撮像するので、オペレータから死角となる油圧ショベル１０の直近の領域、とくに運転室１５の直下の領域の状況も表示モニタ１２１に表示される。このように、表示モニタ１２１に表示される画像によって、オペレータの周囲確認を補助することができる。オペレータは、油圧ショベル１０の直近の領域を含む前方領域の状況を把握しながら快適な操作を行うことが可能となる。

（２）左前側方カメラ１３１の撮像領域は、図１に示すように油圧ショベル１０の前方領域に加えて、油圧ショベル１０の一方側の側方領域、具体的には左側方領域を含むように構成されている。これにより、油圧ショベル１０の一方側の側方領域のみを撮像するためのカメラの設置が不要となり、部品点数の増加を抑制できる。

（３）周囲監視装置１００の撮像装置１３０は、右側方カメラ１３３と後方カメラ１３４も備えており、油圧ショベル１０の前方領域に加えて側方領域および後方領域も撮像することができる。表示装置１２０の表示モニタ１２１には、図７，８に示すように油圧ショベル１０の全周囲の仮想視点画像７０が表示される。これにより、オペレータは、表示モニタ１２１に表示された画像から、油圧ショベル１０の前方領域を含む全周囲を監視することができ、油圧ショベル１０の周囲状況を把握しながら、快適な操作を行うことができる。

≪第２の実施の形態≫
図１１は、本発明の第２の実施の形態の変形例による周囲監視装置を搭載した油圧ショベル１０Ａの側面図、図１２は、図１１に示す油圧ショベル１０Ａの正面図、図１３は、図１１に示す油圧ショベル１０Ａの上面図である。なお、図１１においては、油圧ショベル１０Ａのフロント作業機１９の図示を省略している。図１４は、第２の実施の形態による周囲監視装置１００Ａの構成を示すブロック図である。図１１〜１４において、第１の実施の形態と同様の機能を有する箇所には同一の符号を付している。第２の実施の形態は、油圧ショベル１０Ａの周囲を撮像するカメラの数およびカメラの設置位置が、上述した第１の実施の形態と異なっている。以下では、上述した第１の実施の形態との相違点を主に説明する。

周囲監視装置１００Ａを構成する撮像装置１３０Ａは、５つのカメラ１３２，１３３，１３４，１３５，１３６を有している。具体的には、上述した第１の実施の形態における左前側方カメラ１３１の代わりに、左前方カメラ１３５と左側方カメラ１３６が設けられている。左前方カメラ１３５は、運転室１５の左前方の下部に設定されており、図１１，１２に破線で示すように、油圧ショベル１０Ａの前方左側の領域を撮像可能に構成されている。左前方カメラ１３５の撮像領域は、油圧ショベル１０Ａの一部も含むように設定されている。

左側方カメラ１３６は、上部旋回体１４の左側方部分に設置され、油圧ショベル１０Ａの左側方の領域を撮像可能に構成されている。左側方カメラ１３６は、下段部１４ｂの最外縁、すなわち上部旋回体１４の最外縁相当の位置に配置されるように、エクステンションバー１３６ａによって支持されている。

右前方カメラ１３２は、第１の実施の形態とは異なり、上部旋回体１４の右前方部分のうち最も外側、すなわちフロント作業機１９から最も遠い位置に配置されている。図１２に示すように、右前方カメラ１３２と左前方カメラ１３５は、フロント作業機１９を基準として左右対称に配置されている。また、各カメラ１３２〜１３６は上部旋回体１４の上段部１４ａにおいて略同じ高さの位置に配置されている。

各カメラ１３２〜１３６で撮像された油圧ショベル１０Ａの周囲画像の画像データはコントローラ１１０Ａに入力される。コントローラ１１０Ａは、撮像装置１３０Ａから入力された画像データを、上述した第１の実施の形態と同様に視点変換して合成し、仮想視点画像として表示装置１２０に表示させる。なお、画像合成処理部１１３は、仮想視点画像生成の際に、左側方カメラ１３６から得た画像データを左方向に９０度回転したうえで合成する。

図１５に、油圧ショベル１０Ａとその周囲の様子を概略的に示す。図１６（ａ）（ｂ）は、左前方カメラ１３５によって撮像される画像、右前方カメラ１３２によって撮像される画像の一例を示す。図１６（ａ）（ｂ）に示すように、左前方カメラ１３５および右前方カメラ１３２によって撮像される画像には、油圧ショベル１０Ａの前方に存在するダンプトラック５０ａとともに、油圧ショベル１０Ａの一部、具体的には、クローラ１１，１２の一部が含まれている。

画像合成処理部１１３は、図１６（ａ）（ｂ）に示す左前方カメラ１３５の画像データＦＬと右前方カメラ１３２の画像データＦＲについて、それぞれ画像データの下側、すなわち合成後の画像における内側を圧縮するとともに、画像データの上側、すなわち合成後の画像における外側を伸長したうえで合成処理を行っている。また、右側方カメラ１３３の画像データ、後方カメラ１３４の画像データ、左側方カメラ１３６の画像データについても同様に圧縮または伸長処理を行ったうえで合成する。

図１７に、図１６に示す状況における表示装置１２０の表示例を示す。第２の実施の形態においては、５つのカメラ１３２〜１３６で得られた画像に基づいて仮想視点画像７０Ａが生成される。具体的には、仮想視点画像７０Ａは、左前方カメラ１３５の画像データに基づく仮想視点左前方画像７１ａ、左側方カメラ１３６の画像データに基づく仮想視点左側方画像７１ｂ、右前方カメラ１３２の画像データに基づく仮想視点右前方画像７２、右側方カメラ１３３の画像データに基づく仮想視点右側方画像７３、および後方カメラ１３４の画像データに基づく仮想視点後方画像７４から構成される。仮想視点左前方画像７１ａと仮想視点左側方画像７１ｂとの間には、表示領域の境界としての境界ライン７９が表示されている。

このように、以上説明した第２の実施の形態においては、上述した第１の実施の形態による効果に加えて、以下のような作用効果を奏することができる。

左前方カメラ１３５と右前方カメラ１３２を、フロント作業機１９を基準として略左右対称に配置することにより、油圧ショベル１０の左前方領域と右前方領域の対称的な画像を取得することができる。

以上説明した第２の実施の形態においては、各カメラ１３２〜１３６の画像データに対して圧縮または伸長処理を施したうえで合成したが、第１の実施の形態においても、同様に、各カメラ１３１〜１３４の画像データに対して圧縮または伸長処理を施したうえで合成してもよい。ただし、各カメラ１３１〜１３６の画像データから油圧ショベル１０，１０Ａの全周囲の画像を合成できれば、画像データを圧縮または伸長する補正処理は必須ではない。例えば、各カメラ１３１〜１３６の撮像領域が部分的に重なる場合は、重なる範囲については一方のカメラの画像データを利用し、他方のカメラの画像データを利用しないようにすることができる。または、重なる範囲については他方のカメラの画像データに一方のカメラの画像データを上書きしてもよい。画像補正処理部１１１における補正処理も必須ではない。

以上説明した第１および第２の実施の形態においては、各カメラ１３１〜１３６を用いて油圧ショベル１０，１０Ａの全周囲を撮像し、全周囲の上方視点画像を表示モニタ１２１に表示するように構成したが、これには限定されない。例えば、左前側方カメラ１３１もしくは左前方カメラ１３５の画像データと、右前方カメラ１３２の画像データとに基づく前方領域の上方視点画像のみを表示モニタ１２１に表示するように構成してもよい。この場合は、例えば、図１７の仮想視点左前方画像７１ａと仮想視点右前方画像７２とからなる画像が表示モニタ１２１に表示される。また、後方カメラ１３４の画像データによる後方領域の上方視点画像のみを表示モニタ１２１に表示するように構成してもよい。前方領域のみの上方視点画像、後方領域のみの上方視点画像、および全周囲の上方視点画像を切換えて表示するように構成してもよい。

上述した第１および第２の実施の形態においては、仮想視点画像７０に運転室枠画像６１とフロント枠画像６２とを重ね合わせて表示したが、これには限定されない。例えば、運転室枠画像６１とフロント枠画像６２のいずれか一方のみを表示するようにしてもよい。また、枠画像６１，６２の形状は上述したものには限定されない。枠画像６１，６２の代わりに、仮想視点画像７０において運転室１５とフロント作業機１９に相当する位置に、仮想視点画像７０が透過して視認可能となるような画像を重ね合わせて表示するようにしてもよい。また、作業機械画像６０のデザインも、上述した実施の形態には限定されない。

上述した第１および第２の実施の形態では、作業機械として大型の油圧ショベルに周囲監視装置を適用する例を説明したが、これには限定されず、本発明による周囲監視装置１００，１００Ａを、小型や中型の油圧ショベル、または油圧ショベル以外のクレーン等、他の作業機械にも同様に適用することができる。

また、以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、本発明は上述した実施の形態および変形例に限定されるものではない。第１の実施の形態と第２の実施の形態を組み合わせることも可能である。さらに、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。

１０：油圧ショベル、１３：下部走行体、１４：上部旋回体、１５：運転室、１９：フロント作業機、１００：周囲監視装置、１１０：コントローラ、１２０：表示装置、１３０：撮像装置、１３１：左前側方カメラ、１３２：右前方カメラ、１３３：右側方カメラ、１３４：後方カメラ、１３５：左前方カメラ、１３６：左側方カメラ

Claims (4)

1. フロント作業機と機械本体とを有する作業機械の周囲監視装置であって、
   前記フロント作業機の一方側の前記機械本体に設けられた第１の撮像部と、前記フロント作業機の他方側の前記機械本体に設けられた第２の撮像部とを有し、前記機械本体の一部分を含む前記作業機械の前方領域を撮像する撮像装置と、
   前記撮像装置によって取得された画像を上方視点となるように視点変換して仮想視点画像を生成する画像生成装置と、
   前記画像生成装置によって生成された前記仮想視点画像を表示する表示装置とを備え、
   前記表示装置は、前記仮想視点画像において前記フロント作業機に相当する位置に前記フロント作業機を表す部分画像が配置され、前記仮想視点画像のうち前記フロント作業機に相当する部分の仮想視点画像と前記部分画像とを重ね合わせて表示する、作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記第１の撮像部の撮像領域は、前記作業機械の前方領域に加えて、前記作業機械の一方側の側方領域を含む、作業機械の周囲監視装置。
3. 請求項１に記載の作業機械の周囲監視装置において、
   前記第１の撮像部と前記第２の撮像部は、前記フロント作業機を基準として略左右対称に配置されている、作業機械の周囲監視装置。
4. 請求項１から請求項３のいずれか１項に記載の作業機械の周囲監視装置において、
   前記撮像装置は、前記作業機械の前方領域に加えて、前記作業機械の側方領域および後方領域を撮像し、
   前記表示装置は、前記作業機械の全周囲の仮想視点画像を表示する、作業機械の周囲監視装置。
   

Images