JP5230828B1 - 作業車両用周辺監視システム及び作業車両 - Google Patents

Abstract

【課題】複数の撮像装置が撮像した画像を合成した画像によって運転支援をするにあたって、画像を合成する画像処理装置の不具合を検知すること。
【解決手段】作業車両用周辺監視システム２０は、複数の撮像装置１１〜１６が出力した画像情報を所定のタイミングで取得し、取得した前記画像情報を合成して合成画像情報ＡＰを生成する合成処理部２４と、合成処理部２４が生成した合成画像情報ＡＰに、更新情報ＩＲを付加する更新情報付加部２５と、更新情報ＩＲが付加された合成画像情報ＡＰを記憶する合成画像記憶部２６と、更新情報ＩＲが付加された合成画像情報ＡＰを合成画像記憶部２６から取得し、更新情報ＩＲに基づいて合成画像情報ＡＰが更新されたことを検出する更新判定部２８と、を含む。
【選択図】図４

Description

本発明は、作業車両の周辺を監視する技術に関する。

土木作業現場又は鉱山の採石現場では、ダンプトラック、油圧ショベル等、様々な作業車両が稼働する。特に鉱山においては、超大型の作業車両が用いられる。このような作業車両は、一般的な車両と比較して著しく車幅及び前後長さが大きいため、サイドミラー等によって作業車両の周辺の状況をオペレータが確認し、把握することが困難である。

車両周辺の状況を運転者又はオペレータに簡易に把握させ、運転支援をする技術として、車両の周辺を監視する装置が提案されている。このような周辺を監視する装置は、例えば、車両に取り付けられたカメラ等によって車両の周辺を撮像し、得られた画像を合成することによって車両の周辺を示す俯瞰画像を作成するものがある（例えば、特許文献１）。

特開平０３−０９９９５２号公報

上述した俯瞰画像は、車両に搭載された画像表示装置に表示され、オペレータの運転支援に用いられる。俯瞰画像を生成する画像処理装置に何らかの不具合が発生した場合、正しい俯瞰画像が画像表示装置に表示されない可能性がある。特許文献１には、画像処理装置の不具合について記載も示唆もなく、改善の余地がある。

本発明は、複数の撮像装置が撮像した画像を合成した画像によって運転支援をするにあたって、画像を合成する画像処理装置の不具合を検知することを目的とする。

本発明は、作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、前記複数の撮像装置が出力した画像情報を取得し、取得した前記画像情報を合成して合成画像情報を生成する合成処理部と、前記合成処理部が生成した前記合成画像情報に、前記合成処理部が新たに生成したものであることを示す更新情報を付加する更新情報付加部と、前記更新情報が付加された前記合成画像情報を記憶する合成画像記憶部と、前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像を画像表示装置に表示させる画像表示処理部と、前記更新情報が付加された前記合成画像情報を前記合成画像記憶部から取得し、前記更新情報に基づいて前記合成画像情報が更新されたことを検出する更新判定部と、を含むことを特徴とする作業車両用周辺監視システムである。

本発明において、前記合成処理部は、取得した前記画像情報を合成して前記合成画像情報を生成するとともに、合成処理の終了信号を前記更新情報付加部に出力することが好ましい。

本発明において、前記更新情報付加部は、前記合成処理の終了信号に基づき、更新情報の付加を決定することが好ましい。

本発明において、前記更新判定部は、前記合成画像情報が更新されたことを検出しない場合、異常を示す情報を報知することが好ましい。

本発明において、前記更新判定部は、前記異常を示す情報を前記画像表示装置に報知することが好ましい。

本発明において、前記更新判定部は、前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像の表示を停止することが好ましい。

本発明において、前記異常を示す情報を報知するとは、前記画像表示装置への画像の表示が停止されることであることが好ましい。

本発明において、前記更新判定部は、前記合成画像情報が更新されたことを検出しない回数が所定回数以上であるときに、前記異常を示す情報を報知することが好ましい。

本発明において、作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、前記複数の撮像装置が出力した画像情報を取得し、取得した前記画像情報を合成して合成画像情報を生成する合成処理部と、前記合成処理部が生成した前記合成画像情報に、前記合成処理部が新たに生成したものであることを示す更新情報を付加する更新情報付加部と、前記更新情報が付加された前記合成画像情報を記憶する合成画像記憶部と、前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像を画像表示装置に表示させる画像表示処理部と、前記更新情報が付加された前記合成画像情報を前記合成画像記憶部から取得し、前記更新情報に基づいて前記合成画像情報が更新されたことを検出するとともに、前記合成画像情報が更新されたことを検出しない場合、異常を示す情報を前記画像表示装置に報知する更新判定部と、を含み、前記合成処理部は、取得した前記画像情報を合成して前記合成画像情報を生成するとともに、合成処理の終了信号を前記更新情報付加部に出力し前記更新情報付加部は、前記合成処理の終了信号に基づき、更新情報の付加を決定することを特徴とする作業車両用周辺監視システムである。

本発明は、上述した作業車両用周辺監視システムを備えたことを特徴とする作業車両である。

本発明は、複数の撮像装置が撮像した画像を合成した画像によって運転支援をするにあたって、画像を合成する画像処理装置の不具合を検知することができる。

図１は、本実施形態に係る作業車両１を示す斜視図である。 図２は、本実施形態に係る周辺監視システムが有する撮像装置を搭載した作業車両１の斜視図である。 図３は、撮像装置の取付位置と撮像範囲とを示す図である。 図４は、本実施形態に係る周辺監視システム２０の機能ブロック図である。 図５は、仮想投影面ＶＰを用いた画像変換の手法を示す図である。 図６は、画像合成部２２の処理手順を示すフローチャートである。 図７は、更新合成画像情報ＡＰａの概念図である。 図８は、画像表示部２３の処理手順を示すフローチャートである。 図９は、合成画像情報ＡＰ１〜ＡＰｎが更新されていることを示す概念図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。以下の説明において、前、後、左及び右は、運転席に着座したオペレータを基準とする用語である。車幅方向は、左右方向と同義である。

＜作業車両＞
図１は、本実施形態に係る作業車両１を示す斜視図である。本実施形態において、作業車両１は、鉱山での作業等に用いられる自走式の超大型のダンプトラックである。作業車両１は、ダンプトラックに限定されるものではなく、例えば、油圧ショベル若しくは電気ショベル、散水車、路面を整地するグレーダー又はホイールローダ等であってもよい。

作業車両１は、車体フレーム２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを含む。また、作業車両１は、作業車両１の周囲を監視して、その結果を表示する作業車両用周辺監視システム（以下、適宜周辺監視システムという）を有する。周辺監視システムの詳細は後述する。

本実施形態において、作業車両１は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪６を駆動する。このように、作業車両１は、いわゆる電気駆動方式であるが、作業車両１の駆動方式はこれに限定されるものではない。

車体フレーム２は、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。車体フレーム２の前部には、左右の前輪５（図１では右前輪のみを示している）が支持されている。車体フレーム２の後部には、左右の後輪６（図１では右後輪のみを示している）が支持されている。車体フレーム２は、ロアデッキ２ａと、アッパデッキ２ｂとを有する。ロアデッキ２ａは、車体フレーム２の前面の下部に取り付けられる。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａの下方には、例えば、可動式のラダー２ｃが配置されている。ロアデッキ２ａとアッパデッキ２ｂとの間には、斜めラダー２ｄが配置されている。アッパデッキ２ｂの上には、柵状の手すり２ｅが配置されている。

キャブ（運転室）３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側に配置されている。キャブ３内には、運転席、ハンドル、シフトレバーアクセルペダル及びブレーキペダル等の操作部材が配置されている。

ベッセル４は、砕石等の積荷を積載するための容器である。ベッセル４の底面の後部は、回転ピンを介して車体フレーム２の後部に回動可能に連結されている。ベッセル４は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、図１に示すように、ベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル４が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル４の前部が上方に回動することによってベッセル４は積載姿勢から起立姿勢に変化する。

＜周辺監視システムの撮像装置＞
図２は、本実施形態に係る周辺監視システムが有する撮像装置１１、１２、１３、１４、１５、１６を搭載した作業車両１の斜視図である。図３は、撮像装置１１、１２、１３、１４、１５、１６の取付位置と撮像範囲とを示す図である。本実施形態に係る周辺監視システムが有する撮像装置１１、１２、１３、１４、１５、１６は、作業車両１に取り付けられる。撮像装置１１、１２、１３、１４、１５、１６は、例えば、ＣＣＤ（Charge Coupled Device）カメラであり、作業車両１の周囲を撮像し、画像情報として出力する。撮像装置１１、１２、１３、１４、１５、１６はＣＣＤカメラに限定されるものではない。以下において、適宜、撮像装置１１を第１撮像装置１１、撮像装置１２を第２撮像装置１２、撮像装置１３を第３撮像装置１３、撮像装置１４を第４撮像装置１４、撮像装置１５を第５撮像装置１５、撮像装置１６を第６撮像装置１６という。また、これらを区別する必要がない場合、適宜、撮像装置１１〜１６という。

図２に示すように、第１撮像装置１１は、作業車両１の前面に取り付けられる。具体的には、第１撮像装置１１は、斜めラダー２ｄの上端部に配置される。図３に示すように、第１撮像装置１１は、作業車両１の周囲の第１領域１１Ｒを撮像して画像情報としての第１画像情報を出力する。第１領域１１Ｒは、作業車両１の前方に位置する。

図２に示すように、第２撮像装置１２は、作業車両１の前面における一方の側部に取り付けられる。具体的には、第２撮像装置１２は、アッパデッキ２ｂの前面の左側部に配置される。図３に示すように、第２撮像装置１２は、作業車両１の周囲の第２領域１２Ｒを撮像して画像情報としての第２画像情報を出力する。第２領域１２Ｒは、作業車両１の左斜め前方に位置する。

図２に示すように、第３撮像装置１３は、作業車両１の前面における他方の側部に取り付けられる。具体的には、第３撮像装置１３は、アッパデッキ２ｂの前面の右側部に配置される。そして、第３撮像装置１３は、作業車両１の幅方向中央を通る軸に対して第２撮像装置１２と左右対称となるように配置される。図３に示すように、第３撮像装置１３は、作業車両１の周囲の第３領域１３Ｒを撮像して画像情報としての第３画像情報を出力する。第３領域１３Ｒは、作業車両１の右斜め前方に位置する。

図２に示すように、第４撮像装置１４は、作業車両１の一方の側面に取り付けられる。具体的には、第４撮像装置１４は、アッパデッキ２ｂの左側面の前部に配置される。図３に示すように、第４撮像装置１４は、作業車両１の周囲の第４領域１４Ｒを撮像して画像情報としての第４画像情報を出力する。第４領域１４Ｒは、作業車両１の左斜め後方に位置する。

図２に示すように、第５撮像装置１５は、作業車両１の他方の側面に取り付けられる。具体的には、第５撮像装置１５は、アッパデッキ２ｂの右側面の前部に配置される。そして、第５撮像装置１５は、作業車両１の幅方向中央を通る軸に対して第４撮像装置１４と左右対称となるように配置される。図３に示すように、第５撮像装置１５は、作業車両１の周囲の第５領域１５Ｒを撮像して画像情報としての第５画像情報を出力する。第５領域１５Ｒは、作業車両１の右斜め後方に位置する。

図２に示すように、第６撮像装置１６は、作業車両１の後部に取り付けられる。具体的には、第６撮像装置１６は、２個の後輪６、６を連結するアクスルハウジングの上方であって、ベッセル４の回動軸付近に配置される。図３に示すように、第６撮像装置１６は、作業車両１の周囲の第６領域１６Ｒを撮像して画像情報としての第６画像情報を出力する。第６領域１６Ｒは、作業車両１の後方に位置する。

上述した６台の撮像装置１１〜１６を用いることにより、本実施形態に係る周辺監視システムは、図３の中央に示すように、作業車両１のほぼ全周の画像を撮像し、その画像情報を取得することができる。図３に示すように、第１領域１１Ｒ〜第６領域１６Ｒのうち隣接する２個の領域は、部分的に重なっている。具体的には、第１領域１１Ｒは、第１重複領域ＯＡ１において第２領域１２Ｒと部分的に重なっている。また、第１領域１１Ｒは、第２重複領域ＯＡ２において、第３領域１３Ｒと部分的に重なっている。

第２領域１２Ｒは、第３重複領域ＯＡ３において、第４領域１４Ｒと部分的に重なっている。第３領域１３Ｒは、第４重複領域ＯＡ４において第５領域１５Ｒと部分的に重なっている。第４領域１４Ｒは、第５重複領域ＯＡ５において第６領域１６Ｒと部分的に重なっている。第５領域１５Ｒは、第６重複領域ＯＡ６において第６領域１６Ｒと部分的に重なっている。次に、本実施形態に係る周辺監視システムの詳細について説明する。

＜周辺監視システム＞
図４は、本実施形態に係る周辺監視システム２０の機能ブロック図である。周辺監視システム２０は、上述した撮像装置１１〜１６と、画像処理装置２１とを含む。画像処理装置２１には、撮像装置１１〜１６と画像表示装置３０とが接続されている。画像表示装置３０は、図１、図２に示す作業車両１のキャブ３の内部に配置されている。より具体的には、画像表示装置３０は、作業車両１のオペレータがキャブ３内で作業車両１を操作するときに視認しやすく、かつ運転時におけるオペレータの視界を妨げない位置に配置される。画像処理装置２１は、撮像装置１１〜１６が撮像した作業車両１の周囲の第１画像情報ＩＰ１〜第６画像情報ＩＰ６を合成して合成画像情報を生成し、画像表示装置３０に作業車両１の周囲の俯瞰画像を表示する。

画像処理装置２１は、画像合成部２２と、画像表示部２３とを含む。画像合成部２２は、撮像装置１１〜１６から取得した第１画像情報ＩＰ１〜第６画像情報ＩＰ６を合成した合成画像情報ＡＰに、更新情報ＩＲを付加した更新合成画像情報ＡＰａを生成する画像処理を実行する。画像合成部２２は、例えば、このような画像処理を実行する専用のＩＣ（例えばＦＰＧＡ：Field-Programmable Gate Array）及びメモリ（例えばＶＲＡＭ：Video Random Access Memory）等を搭載した画像処理用デバイス（例えば、画像ボード）である。画像表示部２３は、画像合成部２２が出力した更新合成画像情報ＡＰａを取得して、更新合成画像情報ＡＰａが更新されたことを検出するとともに、更新合成画像情報ＡＰａを画像表示装置３０に表示する処理を実行する。画像表示部２３は、このような処理を実行する演算装置（例えばＣＰＵ：Central Processing Unit）である。

画像合成部２２は、合成処理部２４と、更新情報付加部２５と、合成画像記憶部２６と、合成画像出力部２７とを含む。合成処理部２４は、受信部２４Ｉと、合成画像作成部２４Ｐと、記憶処理部２４Ｅとを含む。画像表示部２３は、更新判定部２８と、画像表示処理部２９とを含む。

合成処理部２４の受信部２４Ｉは、複数の撮像装置１１〜１６からの複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６を受信する。本実施形態において、撮像装置１１〜１６と受信部２４Ｉとの間には、フレームメモリ１１Ｍ、１２Ｍ、１３Ｍ、１４Ｍ、１５Ｍ、１６Ｍ（適宜１１Ｍ〜１６Ｍと表記する）が接続されている。撮像装置１１〜１６が出力した第１画像情報ＩＰ１〜第６画像情報ＩＰ６は、フレームメモリ１１Ｍ〜１６Ｍが一時的に保存する。受信部２４Ｉは、フレームメモリ１１Ｍ〜１６Ｍから第１画像情報ＩＰ１〜第６画像情報ＩＰ６を受信する。

合成処理部２４の合成画像作成部２４Ｐは、受信部２４Ｉが受信した第１画像情報ＩＰ１〜第６画像情報ＩＰ６を受信部２４Ｉから取得する。そして、合成画像作成部２４Ｐは、取得した第１画像情報ＩＰ１〜第６画像情報ＩＰ６を合成して合成画像情報ＡＰを生成する。合成画像情報ＡＰは、上述したように、画像表示装置３０に作業車両１の周囲の俯瞰画像を表示するための情報である。次に、俯瞰画像について説明する。

図５は、仮想投影面ＶＰを用いた画像変換の手法を示す図である。合成画像作成部２４Ｐは、複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６によって示される複数の画像に基づいて、作業車両１の周囲の俯瞰画像を作成する。具体的には、合成画像作成部２４Ｐは、所定の変換情報を用いて第１画像情報ＩＰ１〜第６画像情報ＩＰ６の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置１１〜１６によって撮像された画像であり、第１画像情報ＩＰ１〜第６画像情報ＩＰ６に対応する画像である。出力画像は、画像表示装置３０に表示される俯瞰画像である。

合成画像作成部２４Ｐは、変換情報を用いて、撮像装置１１〜１６によって撮像された画像を、作業車両１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像装置１１〜１６によって撮像された画像は、所定の仮想投影面ＶＰに投影されることにより、作業車両１の上方に位置する仮想視点ＶＩＰから見た画像に変換される。変換情報は、この仮想投影面ＶＰを表している。変換後の画像が画像表示装置３０に表示される俯瞰画像である。合成画像作成部２４Ｐは、複数の撮像装置１１〜１６から取得した複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６を所定の仮想投影面ＶＰに投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。

上述したように、それぞれの撮像装置１１〜１６が撮像した作業車両１の周囲の領域は、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において重複している。合成画像作成部２４Ｐは、俯瞰画像において、それぞれの第１重複領域ＯＡ１〜第６重複領域ＯＡ６において互いに隣接する２個の撮像装置１１〜１６からの第１画像情報ＩＰ１〜第６画像情報ＩＰ６に対応する画像を重ねて表示する。

具体的には、合成画像作成部２４Ｐは、第１重複領域ＯＡ１では、第１撮像装置１１からの第１画像情報ＩＰ１の画像と、第２撮像装置１２からの第２画像情報ＩＰ２の画像とを重ねて表示する。また、合成画像作成部２４Ｐは、第２重複領域ＯＡ２では、第１撮像装置１１からの第１画像情報ＩＰ１の画像と、第３撮像装置１３からの第３画像情報ＩＰ３の画像とを重ねて表示する。また、合成画像作成部２４Ｐは、第３重複領域ＯＡ３では、第２撮像装置１２からの第２画像情報ＩＰ２の画像と、第４撮像装置１４からの第４画像情報ＩＰ４の画像とを重ねて表示する。また、合成画像作成部２４Ｐは、第４重複領域ＯＡ４では、第３撮像装置１３からの第３画像情報ＩＰ３の画像と、第５撮像装置１５からの第５画像情報ＩＰ５の画像とを重ねて表示する。また、合成画像作成部２４Ｐは、第５重複領域ＯＡ５では、第４撮像装置１４からの第４画像情報ＩＰ４の画像と、第６撮像装置１６からの第６画像情報ＩＰ６の画像とを重ねて表示する。また、合成画像作成部２４Ｐは、第６重複領域ＯＡ６では、第５撮像装置１５からの第５画像情報ＩＰ５の画像と、第６撮像装置１６からの第６画像情報ＩＰ６の画像とを重ねて表示する。

このように、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において、２個の画像情報を重ねて合成する場合には、第１画像情報ＩＰ１〜第６画像情報ＩＰ６の値に合成比率を乗じた値が加算される。合成比率は、第１画像情報ＩＰ１〜第６画像情報ＩＰ６に対応した値であり、合成画像作成部２４Ｐが記憶している。例えば、第１画像情報ＩＰ１の合成比率が０．５であり、第２画像情報ＩＰ２の合成比率が０．５である等、第１画像情報ＩＰ１〜第６画像情報ＩＰ６毎に合成比率が定められている。合成比率が用いられることにより、第１重複領域ＯＡ１〜第６重複領域ＯＡ６において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、自然な俯瞰画像を作成することができる。合成画像作成部２４Ｐは、上述のように合成された俯瞰画像を示す合成画像情報ＡＰを生成して、合成処理部２４の記憶処理部２４Ｅに出力する。

合成画像作成部２４Ｐは、第１画像情報ＩＰ１〜第６画像情報ＩＰ６を受信部２４Ｉから順次取得し、取得した第１画像情報ＩＰ１〜第６画像情報ＩＰ６を取得順に合成して合成画像情報ＡＰを生成する。更新情報付加部２５は、合成処理部２４が生成した合成画像情報ＡＰに、合成処理部２４が新たに生成したものであること、すなわち、生成された合成画像情報ＡＰがこれまでとは異なるものに更新されたことを示す更新情報ＩＲを付加する。更新情報ＩＲが付加された合成画像情報ＡＰは、他の合成画像情報ＡＰとは異なるタイミングで合成処理部２４が生成したものである。更新情報ＩＲは、合成画像記憶部２６が記憶可能な合成画像情報ＡＰの数以上の値を用いた番号の繰り返し情報、合成画像情報ＡＰの順番（通し番号）を数える順序情報、合成処理部２４による画像合成処理の処理時刻のタイムスタンプ又はこれらの組み合わせを用いることができる。

ここで、前述した、番号の繰り返し情報は、記憶部２６に記憶可能な合成画像情報ＡＰの数が例えば３の場合、４となる。更新情報ＩＲの番号は１、２、３、４、１、２、３、４、１、２、３、４・・・とサイクリックに使用される。タイムスタンプを行うのに必要となる時刻情報は、例えば、画像処理装置２１が有するＣＰＵ等の動作に用いるクロックを使用して生成することができる。

例えば、合成処理部２４による画像合成処理の処理時刻のタイムスタンプを用いる場合、合成画像作成部２４Ｐは、第１画像情報ＩＰ１〜第６画像情報ＩＰ６を合成して合成画像情報ＡＰを生成したタイミングで合成画像情報ＡＰを記憶処理部２４Ｅに出力するとともに、合成処理の終了信号）ＦＴを更新情報付加部２５に出力する。合成処理の終了信号ＦＴは、合成画像情報ＡＰの生成が終了したことを示す信号である。更新情報付加部２５は、終了信号ＦＴを受信した時刻のタイムスタンプを更新情報ＩＲとして記憶処理部２４Ｅの合成画像情報ＡＰに付加する。合成画像作成部２４Ｐが合成画像情報ＡＰを生成できなかった場合、合成画像作成部２４Ｐは終了信号ＦＴを出力しない。この場合、更新情報付加部２５は、更新情報ＩＲを付加しない。このように、更新情報付加部２５は、合成処理の終了信号ＦＴに基づき、更新情報ＩＲの付加を決定する。

更新情報ＩＲが付加された合成画像情報ＡＰ、すなわち上述した更新合成画像情報ＡＰａは、記憶処理部２４Ｅから合成画像記憶部２６に出力される。合成画像記憶部２６は、合成処理部２４の記憶処理部２４Ｅから出力された更新合成画像情報ＡＰａを記憶する。すなわち、合成画像記憶部２６は、合成処理部２４が生成した合成画像情報ＡＰに、更新情報付加部２５が更新情報ＩＲを付加した更新合成画像情報ＡＰａを順次記憶する。合成画像出力部２７は、更新合成画像情報ＡＰａを合成画像記憶部２６から記憶された順に読み出し、画像表示部２３の更新判定部２８へ順次出力する。合成画像記憶部２６は、更新合成画像情報ＡＰａが読み出されたら、その領域に、合成処理部２４からの新たな更新合成画像情報ＡＰａを記憶する。合成処理部２４が合成画像情報ＡＰを生成できない場合、合成画像記憶部２６に記憶されている更新合成画像情報ＡＰａは更新されない。

画像表示部２３の更新判定部２８は、更新情報ＩＲが付加された合成画像情報ＡＰ、すなわち更新合成画像情報ＡＰａを合成画像記憶部２６、より具体的には合成画像出力部２７を介して取得し、更新情報ＩＲに基づいて合成画像情報ＡＰが更新されたことを検出する。例えば、更新判定部２８は、今回取得した更新合成画像情報ＡＰａに含まれている更新情報ＩＲと、前回取得した更新合成画像情報ＡＰａに含まれている更新情報ＩＲとを比較する。その結果、両者が異なっていれば、今回取得した更新合成画像情報ＡＰａに含まれている合成画像情報ＡＰは、前回取得した更新合成画像情報ＡＰａに含まれている合成画像情報ＡＰに対して更新されているとする。すなわち、更新判定部２８は、画像合成部２２からの合成画像情報ＡＰが更新されたことを検出する。前述した比較の結果、両者が同一であれば、今回取得した更新合成画像情報ＡＰａに含まれている合成画像情報ＡＰは、前回取得した更新合成画像情報ＡＰａに含まれている合成画像情報ＡＰに対して更新されていないとする。すなわち、更新判定部２８は、画像合成部２２からの合成画像情報ＡＰが更新されていないことを検出する。

画像表示部２３の画像表示処理部２９は、合成画像記憶部２６に記憶されている合成画像情報ＡＰ、より具体的には、更新合成画像情報ＡＰａに含まれる合成画像情報ＡＰに基づいた画像、すなわち俯瞰画像を画像表示装置３０に表示させる。撮像装置１１〜１６のうち少なくとも１個が画像情報を出力しない場合、合成処理部２４は、出力された画像情報を用いて合成画像情報ＡＰを生成する。この合成画像情報ＡＰに基づいて画像表示処理部２９が画像表示装置３０に表示した俯瞰画像は、作業車両１の周囲における一部の領域が欠落した画像になる。

ここで、合成画像記憶部２６に記憶されている合成画像情報ＡＰが更新されていない場合における画像表示処理部２９の処理を説明する。この場合、画像表示処理部２９は、更新されていない合成画像情報ＡＰに基づいた俯瞰画像を画像表示装置３０に繰り返して表示することになる。

本実施形態では、更新判定部２８は、合成画像情報ＡＰが更新されたことを検出しない場合、異常を示す情報（異常発生情報）ＩＥを報知する。例えば、更新判定部２８は、画像表示装置３０に現在表示されている俯瞰画像は更新されておらず、実際に撮像装置１１〜１６から見える画像とは異なる旨の情報を、異常発生情報ＩＥとして画像表示装置３０に表示する。また、更新判定部２８は、報知装置３１に、上述した異常発生情報ＩＥを報知させる。報知装置３１は、図１に示すキャブ（運転室）３内に配置されている。報知装置３１は、例えば、スピーカー又はランプ等を用いることができる。スピーカーを用いる場合、報知装置３１は、音声で異常発生情報ＩＥを報知する。ランプを用いる場合、報知装置３１は、点滅、点灯又はこれまでとは異なる色での点灯等により、異常発生情報ＩＥを報知する。報知装置３１（例えばランプ）は、キャブ３内に配置されている画像表示装置３０が取り付けられるパネルに設けられていてもよい。

このようにすることで、画像処理装置２１に発生した何らかの不具合により、合成画像情報ＡＰが更新されなくなった場合、作業車両１のオペレータは、画像表示装置３０に現在表示されている俯瞰画像は更新されておらず、実際に撮像装置１１〜１６から見える画像とは異なる旨の情報を得ることができる。その結果、周辺監視システム２０による運転補助の安全性が向上する。

また、更新判定部２８は、合成画像情報ＡＰが更新されたことを検出しない場合、異常発生情報ＩＥの報知として、画像表示装置３０への俯瞰画像の表示、すなわち、合成画像記憶部２６が記憶している合成画像情報ＡＰに基づく画像の表示を停止してもよい。この場合、画像表示装置３０に表示されるべき俯瞰画像が表示されないことでオペレータは異常の発生を把握することができる。このようにしても、周辺監視システム２０による運転補助の安全性が向上する。合成画像情報ＡＰが更新されなかったときに俯瞰画像を画像表示装置３０に表示しない処理をする場合、画像表示装置３０への俯瞰画像の表示を停止するとともに、異常発生情報ＩＥとして不具合が発生していることを画像表示装置３０に表示して報知してもよい。このようにすれば、オペレータは、異常の発生をより確実に把握することができる。次に、周辺監視システム２０の処理手順を説明する。

＜周辺監視システムの処理手順＞
図６は、画像合成部２２の処理手順を示すフローチャートである。図７は、更新合成画像情報ＡＰａの概念図である。図８は、画像表示部２３の処理手順を示すフローチャートである。図９は、合成画像情報ＡＰ１〜ＡＰｎが更新されていることを示す概念図である。まず、画像合成部２２の処理手順を説明する。画像合成部２２は、ステップＳ１０１において、撮像装置１１〜１６から複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６を取得する。

ステップＳ１０２に進み、画像合成部２２の合成画像作成部２４Ｐは、複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６から合成画像情報ＡＰを作成する。合成画像作成部２４Ｐは、合成画像情報ＡＰを生成したら、更新情報付加部２５に終了信号ＦＴを出力するとともに、合成処理部２４の記憶処理部２４Ｅに生成した合成画像情報ＡＰを出力する。

ステップＳ１０３において、終了信号ＦＴを受信した更新情報付加部２５は、合成画像作成部２４Ｐが生成した合成画像情報ＡＰに付加する更新情報ＩＲを生成する。そして、ステップＳ１０４において、更新情報付加部２５は、生成した更新情報ＩＲを、合成画像作成部２４Ｐが生成して合成処理部２４の記憶処理部２４Ｅに出力した合成画像情報ＡＰに付加する。ステップＳ１０５において、合成画像記憶部２６は、更新情報ＩＲが付加された合成画像情報ＡＰ、すなわち更新合成画像情報ＡＰａを記憶する。更新合成画像情報ＡＰａは、例えば、図７に示すように、合成画像情報ＡＰが終わった後に更新情報ＩＲが付加されたものである。次に、ステップＳ１０６において、合成画像出力部２７は、合成画像記憶部２６から更新合成画像情報ＡＰａを取得して、画像表示部２３の更新判定部２８に出力する。

次に、画像表示部２３の処理手順を説明する。ステップＳ２０１において、更新判定部２８は、画像合成部２２、より具体的には合成画像出力部２７から更新合成画像情報ＡＰａを取得する。次に、ステップＳ２０２において、更新判定部２８は、取得した更新合成画像情報ＡＰａから更新情報ＩＲを取り出す。次にステップＳ２０３に進み、更新判定部２８は、合成画像情報ＡＰの更新の有無を検出する。図９に示す例において、現在（例えば、時刻ｔ＝ｔ２）における更新合成画像情報ＡＰａ２の更新の有無を検出する場合、更新判定部２８は、今回の更新合成画像情報ＡＰａ２が有する更新情報ＩＲ２と、前回（時刻ｔ＝ｔ１、ｔ１＜ｔ２）の更新合成画像情報ＡＰａ１が有する更新情報ＩＲ１とを比較する。そして、ＩＲ１とＩＲ２とが異なる場合（具体的にはＩＲ２＞ＩＲ１）、更新判定部２８は、更新合成画像情報ＡＰａ２に含まれる合成画像情報ＡＰ２が、更新合成画像情報ＡＰａ１に含まれる合成画像情報ＡＰ１に対して更新されていることを検出する（ステップＳ２０３、Ｙｅｓ）。

時刻ｔ＝ｔｎにおける更新合成画像情報ＡＰａｎが現在の更新情報合成画像情報である場合、更新判定部２８は、更新合成画像情報ＡＰａｎと、前回（時刻ｔ＝ｔｎ−１、ｔｎ−１＜ｔｎ）の更新合成画像情報ＡＰａｎ−１とを比較する（ｎは１以上の整数）。このように、更新合成画像情報ＡＰａｎの更新の有無を検出する場合、更新判定部２８は、前回、すなわち１回前に生成された更新合成画像情報ＡＰａｎ−１の更新情報ＩＲｎ−１と今回の更新合成画像情報ＡＰａｎの更新情報ＩＲｎとを比較する。

今回の更新合成画像情報ＡＰａに含まれる合成画像情報ＡＰが前回に対して更新されている場合（ステップＳ２０３、Ｙｅｓ）、ステップＳ２０４に進み、画像表示処理部２９は、更新合成画像情報ＡＰａに含まれる合成画像情報ＡＰから画像信号ＳＡＰを生成する。そして、ステップＳ２０５に進み、画像表示処理部２９は、生成した画像信号ＳＡＰに基づいた画像を画像表示装置３０に表示する。画像信号ＳＡＰに基づいた画像は、俯瞰画像になる。

ステップＳ２０３において、今回の更新合成画像情報ＡＰａに含まれる合成画像情報ＡＰが前回に対して更新されていない場合（ステップＳ２０３、Ｎｏ）、ステップＳ２０６に進み、更新判定部２８は、異常発生処理を実行する。異常発生処理は、更新判定部２８が、異常発生情報ＩＥを生成する処理である。本例において、更新判定部２８は、異常発生情報ＩＥを生成して画像表示処理部２９に出力する。異常発生情報ＩＥを取得した画像表示処理部２９は、ステップＳ２０７において異常発生情報ＩＥを含む画像情報ＳＥを生成する。そして、ステップＳ２０５に進み、画像表示処理部２９は、生成した画像情報ＳＥに基づいた画像を画像表示装置３０に表示する。画像情報ＳＥに基づいた画像は、例えば、上述したように、現在画像表示装置３０に表示されている画像は、実際に撮像装置１１〜１６から見える画像とは異なる旨の情報を含む画像である。

ステップＳ２０３においては、合成画像情報ＡＰが更新されていないことを更新判定部２８が１回検出した場合に、異常発生処理を実行して異常発生情報ＥＰを生成し、報知するようにしている。しかし、異常発生情報ＥＰの生成の判断はこれに限定されない。例えば、更新判定部２８は、合成画像情報ＡＰが更新されたことを検出しない回数が所定回数以上であるときに、異常発生情報ＥＰを生成して報知してもよい。

ノイズ等により更新情報付加部２５が終了信号ＦＴを取得できずに更新情報ＩＲを付加できなかったり、ノイズ等の影響によって更新判定部２８が合成画像情報ＡＰの更新を検出できなかったりすることがある。このような場合、合成画像情報ＡＰが更新されていても、更新判定部２８は合成画像情報ＡＰが更新されたことを検出できず、異常発生情報ＥＰを生成して報知してしまう。合成画像情報ＡＰが更新されたことを検出しない回数が所定回数以上であるときに、異常発生情報ＥＰを生成して報知することで、更新判定部２８は合成画像情報ＡＰの更新の有無をより確実に検出することができる。そして、周辺監視システム２０は、オペレータに対して異常の発生をより確実に報知することができる。

以上、本実施形態は、合成画像情報ＡＰに付与した更新情報ＩＲに基づいて合成画像情報ＡＰの更新の有無を検知する。このようにすることで、合成画像情報ＡＰが更新されない場合は、画像処理装置２１に何らかの不具合が発生しているとして、画像処理装置２１に発生した何らかの不具合を検知することができる。また、本実施形態は、合成画像情報ＡＰが更新されない場合には、画像処理装置２１に何らかの不具合が発生したとして、異常を示す情報が報知される。このようにすることで、作業車両１のオペレータは、報知された異常を示す情報によって、画像表示装置３０に現在表示されている俯瞰画像に異常が発生していることを把握することができる。その結果、周辺監視システム２０による運転補助の安全性が向上する。本実施形態は、特に、鉱山で使用される超大型の作業車両に好適である。

また、本実施形態は、複数の第１画像情報ＩＰ１〜第６画像情報ＩＰ６から生成された合成画像情報ＡＰに、更新情報ＩＲを付加する。このため、それぞれの第１画像情報ＩＰ１〜第６画像情報ＩＰ６に更新情報ＩＲを付加する場合と比較して、更新情報ＩＲを付加する処理の負荷を低減できるとともに、更新情報ＩＲを付加した第１画像情報ＩＰ１〜第６画像情報ＩＰ６を記憶するメモリの容量も低減できる。

また、本実施形態は、合成画像情報ＡＰに更新情報ＩＲを付加した更新合成画像情報ＡＰａを合成画像記憶部２６が記憶する。このため、合成画像記憶部２６に記憶された更新合成画像情報ＡＰａの更新情報ＩＲ等を事後に分析することによって、不具合が発生したタイミング又は不具合の発生箇所を特定することもできる。例えば、合成画像記憶部２６に記憶されている更新合成画像情報ＡＰａの合成画像情報ＡＰが更新されていなければ、合成画像記憶部２６よりも撮像装置１１〜１６側で不具合が発生したと特定できる。また、画像表示装置３０に画像が表示されなくなった場合、合成画像記憶部２６に記憶されている更新合成画像情報ＡＰａの合成画像情報ＡＰが更新されていれば、合成画像記憶部２６よりも画像表示装置３０側で不具合が発生したと特定できる。このように、本実施形態は、合成画像情報ＡＰが更新されたか否かを利用することにより、不具合が発生した箇所をより特定しやすくなる。

本実施形態は、合成画像情報ＡＰに更新情報ＩＲを付加した更新合成画像情報ＡＰａを合成画像記憶部２６に順次記憶しながら画像表示部２３へ出力するので、合成画像記憶部２６は、所定期間に含まれる更新合成画像情報ＡＰａを時系列で記憶している。このため、合成画像情報ＡＰが更新されたりされなかったりした状態が発生した場合、合成画像記憶部２６に時系列で記憶されている更新合成画像情報ＡＰａを事後に分析することにより、どのタイミングで不具合が発生しているかを把握することもできる。このように、本実施形態は、画像処理装置２１に発生した不具合の特定がしやすくなるという利点がある。

上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。また、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 作業車両
１１ 第１撮像装置（撮像装置）
１１Ｍ、１２Ｍ、１３Ｍ、１４Ｍ、１５Ｍ、１６Ｍ フレームメモリ
１２ 第２撮像装置（撮像装置）
１３ 第３撮像装置（撮像装置）
１４ 第４撮像装置（撮像装置）
１５ 第５撮像装置（撮像装置）
１６ 第６撮像装置（撮像装置）
２０ 作業車両用周辺監視システム（周辺監視システム）
２１ 画像処理装置
２２ 画像合成部
２３ 画像表示部
２４ 合成処理部
２４Ｅ 記憶処理部
２４Ｉ 受信部
２４Ｐ 合成画像作成部
２５ 更新情報付加部
２６ 合成画像記憶部
２７ 合成画像出力部
２８ 更新判定部
２９ 画像表示処理部
３０ 画像表示装置
３１ 報知装置
ＡＰ、ＡＰ１、ＡＰ２ 合成画像情報
ＡＰ１ 合成画像情報
ＡＰａ、ＡＰａ１、ＡＰａ２、ＡＰａｎ−１、ＡＰａｎ 更新合成画像情報
ＥＰ 異常発生情報
ＦＴ 終了信号
ＩＥ 異常発生情報
ＩＲ、ＩＲ１、ＩＲ２、ＩＲｎ−１、ＩＲｎ 更新情報
ＳＡＰ 画像信号
ＳＥ 画像情報
ＶＩＰ 仮想視点
ＶＰ 仮想投影面

Claims (10)

1. 作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、
   前記複数の撮像装置が出力した画像情報を取得し、取得した前記画像情報を合成して合成画像情報を生成する合成処理部と、
   前記合成処理部が生成した前記合成画像情報に、前記合成処理部が新たに生成したものであることを示す更新情報を付加する更新情報付加部と、
   前記更新情報が付加された前記合成画像情報を記憶する合成画像記憶部と、
   前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像を画像表示装置に表示させる画像表示処理部と、
   前記更新情報が付加された前記合成画像情報を前記合成画像記憶部から取得し、前記更新情報に基づいて前記合成画像情報が更新されたことを検出する更新判定部と、
   を含むことを特徴とする作業車両用周辺監視システム。
2. 前記合成処理部は、取得した前記画像情報を合成して前記合成画像情報を生成するとともに、合成処理の終了信号を前記更新情報付加部に出力する、請求項１に記載の作業車両用周辺監視システム。
3. 前記更新情報付加部は、前記合成処理の終了信号に基づき、更新情報の付加を決定する、請求項２に記載の作業車両用周辺監視システム。
4. 前記更新判定部は、前記合成画像情報が更新されたことを検出しない場合、異常を示す情報を報知する、請求項１から３のいずれか１項に記載の作業車両用周辺監視システム。
5. 前記更新判定部は、前記異常を示す情報を前記画像表示装置に報知する、請求項４に記載の作業車両用周辺監視システム。
6. 前記更新判定部は、前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像の表示を停止する、請求項５に記載の作業車両用周辺監視システム。
7. 前記異常を示す情報を報知するとは、前記画像表示装置への画像の表示が停止されることである、請求項４に記載の作業車両用周辺監視システム。
8. 前記更新判定部は、前記合成画像情報が更新されたことを検出しない回数が所定回数以上であるときに、前記異常を示す情報を報知する、請求項４から７のいずれか１項に記載の作業車両用周辺監視システム。
9. 作業車両に取り付けられて前記作業車両の周囲を撮像し、画像情報として出力する複数の撮像装置と、
   前記複数の撮像装置が出力した画像情報を取得し、取得した前記画像情報を合成して合成画像情報を生成する合成処理部と、
   前記合成処理部が生成した前記合成画像情報に、前記合成処理部が新たに生成したものであることを示す更新情報を付加する更新情報付加部と、
   前記更新情報が付加された前記合成画像情報を記憶する合成画像記憶部と、
   前記合成画像記憶部に記憶されている前記合成画像情報に基づいた画像を画像表示装置に表示させる画像表示処理部と、
   前記更新情報が付加された前記合成画像情報を前記合成画像記憶部から取得し、前記更新情報に基づいて前記合成画像情報が更新されたことを検出するとともに、前記合成画像情報が更新されたことを検出しない場合、異常を示す情報を前記画像表示装置に報知する更新判定部と、を含み、
   前記合成処理部は、取得した前記画像情報を合成して前記合成画像情報を生成するとともに、合成処理の終了信号を前記更新情報付加部に出力し、
   前記更新情報付加部は、前記合成処理の終了信号に基づき、更新情報の付加を決定することを特徴とする作業車両用周辺監視システム。
10. 請求項１から９のいずれか１項に記載の作業車両用周辺監視システムを備えたことを特徴とする作業車両。

Images