JP6420657B2 - 作業機械およびその周囲監視装置 - Google Patents

Description

本発明は画像に基づいて作業機械周囲の障害物を検出する作業機械及びその周囲監視装置に関する。

本技術分野の背景技術として、特開２０１３−００８０７０号公報（特許文献１）がある。この公報には、「魚眼レンズを採用したカメラで車両の前方を撮影して取得される画像に対して、その画像の中央部分に位置する閉領域（例えば楕円状の領域）である標識存在認識エリアＥＡと、その外側に位置する閉領域（例えば扁平ドーナツ状の領域）である標識内容認識エリアＣＡを設定する。標識存在認識部は、予め各種の標識の形状テンプレートを記憶しており、標識存在認識エリアＥＡにおいてこの形状テンプレートによるマッチングを行うことで、標識の存在を検知する。標識位置推定部は、標識存在認識部により検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する。標識位置推定部３２は、推定された位置に基づいて、標識内容認識エリアＣＡ中の探索エリアＳＡを指定し、当該探索エリアＳＡを推定時刻とともに標識内容認識部に通知する。標識内容認識部は、標識位置推定部から取得した推定時刻になると、探索エリアＳＡにて標識の内容を認識する処理を行う。その後、標識内容認識部は、認識結果を出力部に出力する。出力部は、表示及び音声によって認識結果を出力する」と記載されている。

特開２０１３−００８０７０号公報

上記文献にかかる技術は、車両との衝突のおそれが殆ど無く形状パターンが限られた標識の存在および内容を認識するための技術であり、主として普通自動車による公道走行時に利用される。また、認識対象とする標識は主として車両前方に位置するものであり、その認識処理の基となる画像はドライバーの視線高さのやや上方（例えばルームミラー高さ）に車両前方に向かって略水平に設置されたカメラで撮影されている。

これに対して、ダンプトラックおよび油圧ショベル等を含む作業機械は、一般的に普通自動車等に比して巨大で運転席の位置が高いため、普通自動車等に比して作業機械の周囲の広い領域（特に作業機械の左右側面や背後）がオペレータの死角となり易く、その死角は作業機械のサイズが大きくなるほど大きくなる。この種の事情を鑑みて、作業機械の関連技術には、作業機械の周囲を撮影する複数のカメラ（撮像装置）を当該作業機械に搭載し、当該複数のカメラで撮影された各画像に基づいて当該作業機械の周囲監視を行う技術がある。

作業機械は既述のように普通自動車等に比してサイズが大きいため、周囲監視用のカメラの設置位置は高くなる傾向がある。そして、そのカメラの設置位置において作業機械に極めて近い路面（作業機械の側面に近い路面）を撮影しようとすると当該カメラは路面を見下ろす格好となり当該カメラの俯角は大きくなる。さらに、作業機械の前面、後面、左側面および右側面をそれぞれ少ない台数（例えば１台）のカメラで監視しようとすると、各カメラのレンズは広角となる。これにより各カメラで撮影される画像には歪み（例えば樽形歪み）が生じ、同じ物体でもカメラに対する位置および距離（画像上の位置）に応じて形状が異なって現れる。例えば、作業機械の近傍に位置し画像の下部に現れる立方体については当該立方体の上面（例えば自動車であれば天井部）のみが大きく現れることがある。また、当該立方体がこの位置よりも作業機械から離れた場所に位置し画像の中央部寄りに現れた場合には当該立方体の側面が画像上に現れるものの、当該側面の下辺に比して上辺が左右に伸びた形状で現れることがある。当該立方体がさらに作業機械から離れた場所に位置し画像上の上部寄りに現れた場合には当該画像上の当該立方体は実際よりも小さくみえる。このように上記の作業機械の周囲監視装置では、同じ物体でも画像上の位置に応じて異なる形状として現れるため、上記文献の技術のように予め記憶しておいた障害物の形状テンプレートに基づいて或る物体が障害物か否かを判定することは困難である。

また、本発明が適用対象とするダンプトラックおよび油圧ショベル等を含む作業機械はオフロード（未舗装道路）を走行することが前提となる。そのため、上記の作業機械の周辺監視装置における画像中の被写体には、ある程度形状の決まった自動車および標識等の人工物だけでなく、天候によって出現・形状変化する路面上の水溜まり・雪溜まり、しみ、轍等（非定形物）も含まれる。この観点からも上記文献の技術のように障害物の形状テンプレートに基づいて障害物を検知することは困難である。

上記のように障害物の形状パターンに基づく障害物検知は作業機械の周囲監視装置での利用に適したものではない。そのため、作業機械の周囲監視装置では、画像の特徴量に基づいて当該画像中の特徴パターン（例えば、当該画像中のコーナー（点）やエッジ（輪郭））を抽出し、当該特徴パターンに基づいて当該画像中で障害物候補が含まれる領域（障害物候補領域）を抽出し、その領域中の障害物の存否検知が行われることがある。しかし、この方法だと、画像中で所定の面積を有する路面上の水溜まり、雪溜まり、しみ等も障害物候補として認識される可能性が高い。これらの本来は障害物ではないものが障害物として誤って検知されると、本来は必要の無い警報が発せられて作業効率が低下するおそれがある。

本発明の目的は、作業機械の周囲を撮影した画像内に水溜りやしみ等が存在しても、障害物のみを高精度に検知できる作業機械の周辺監視装置を提供することにある。

上記目的を達成するために、本発明にかかる作業機械の周辺監視装置は、カメラで撮影された作業機械の周囲の画像の特徴量に基づいて、当該画像中で障害物が含まれる可能性のある第１領域を抽出する領域抽出部と、当該領域抽出部で抽出された第１領域のうち前記画像中に予め設定した第２領域に重なる第１領域の内部に含まれる一部または全部の画素の輝度を算出する輝度算出部と、当該輝度算出部で輝度が算出された前記第１領域の輝度分布の傾向に基づいて当該第１領域内の障害物の有無を検知する障害物検知部とを備えるものとする。

本発明によれば、作業機械の周囲を撮影した画像内の第１領域の輝度分布の傾向に基づいて、第１領域内に存在する水溜まりやしみ等を障害物ではないと容易に認識できるので、非障害物が障害物と誤認識される頻度を低減できる。その結果として、周囲監視装置の障害物検知精度を向上できる。

本発明の実施の形態に係るダンプトラック１の上面図。 図１に示したダンプトラック１の側面図。 本発明の実施の形態に係る画像処理装置１０の全体構成図。 画像合成部３５で実行される処理手順の一例を示す図。 ４台のカメラの入力画像を画像合成部３５で合成した画像の一例を示す図。 輝度算出領域設定部６０により設定される輝度算出領域の一例を示す図。 障害物候補領域抽出部５０で実行される処理のフローチャートの一例を示す図。 図７のステップＳ５６からステップＳ６０の処理を入力画像２０ａ中の車９０ａに適用した場合に得られる画像の模式図 図７のステップＳ５６からステップＳ６０の処理を入力画像２０ａ中の地面のしみ９０ｂに適用した場合に得られる画像の模式図。 障害物候補領域抽出部５０によって抽出された障害物候補領域が輝度算出部７０の輝度算出対象となるか否かを説明するための図。 図１０の入力画像２０ａ上で外接矩形５７内に含まれる画素の輝度を模式的に示した図。 外接矩形５７を構成する画素に関して、横軸に階級として輝度、縦軸に度数として画素数をとったヒストグラムを示す図。 図１０における外接矩形５８内に含まれる画素の輝度を模式的に示した図。 外接矩形５８を構成する画素に関して、横軸に階級として輝度、縦軸に度数として画素数をとったヒストグラムを示す図。 図１０の入力画像２０ａ上で外接矩形５７内に含まれるコーナー点周辺の画素の輝度を模式的に示した図。 図１５中のコーナー周辺領域Ｓ５９ＡＡ〜Ｓ５９ＲＲに含まれる画素の輝度ヒストグラムを示した図。 図１０の入力画像２０ａ上で外接矩形５８内に含まれるコーナー点周辺の画素の輝度を模式的に示した図。 図１７中のコーナー周辺領域Ｓ５９ＳＳ〜Ｓ５９ＺＺに含まれる画素の輝度ヒストグラムを示した図。 輝度算出部７０及び障害物検知部９０で実行される一連の処理のフローチャートの一例を示す図。 車９０ａの輝度ヒストグラムについて度数が閾値Ｆ以上の輝度分布を示した図。 地面のしみ９０ｂの輝度ヒストグラムについて度数が閾値Ｆ以上の輝度分布を示した図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 表示装置の表示画面の一例を示す図。 本発明の作業機械の周囲監視装置の全体構成のその他の例を示す図。 本発明の適用対象である作業機械の１つである大型油圧ショベルの側面図。

以下、本発明を用いた作業機械の周囲監視装置の実施の形態について図面を用いて説明する。ここでは作業機械としてダンプトラックを適用した例について説明するが、作業機械はダンプトラックのみに限定されない。つまり、本発明は、油圧ショベルを含む、所定の作業（運搬や掘削等）を行う任意の作業機械に適用することができる。

図１は、本発明の実施の形態に係るダンプトラックの上面図を示している。この図に示すダンプトラック１は、車体フレーム２と、車体フレーム２に対して回転可能に取り付けられた前輪３（３Ｌ及び３Ｒ）と後輪４（４Ｌ及び４Ｒ）と、車体フレーム２の上方に起伏可能に取り付けられたベッセル５と、シャーシや車体フレーム２等に固定された単眼カメラ６（６ａ及び６ｂ及び６ｃ及び６ｄ）と、車体フレーム２の前方上部に設けられた運転室７と、車体フレーム２上の任意の場所（例えば運転室７の内部）に搭載された画像処理装置１０と、運転室７の内部に設けられた表示装置１００とを備えている。車体フレーム２はダンプトラック１の本体を形成するものであり、車体フレーム２の前方に前輪３、後方に後輪４を設けている。なお、前輪３Ｒは車両右側の前輪であり、前輪３Ｌは車両左側の前輪である。また、後輪４Ｒは車両右側の２つの後輪であり、後輪４Ｌは車両左側の２つの後輪である。ベッセル５はいわゆる荷台であり、土砂や鉱物等を積載するために利用される。なお、図示した前輪３および後輪４の配置および数は一例に過ぎない。

撮像装置である単眼カメラ６は、ダンプトラック１の任意の位置に設置することができる。本実施の形態では、合計４台のカメラ６ａ，６ｂ，６ｃ，６ｄが搭載されており、カメラ６ａは、その視野範囲１１（図１の破線１１の範囲）に車両前方１５ａが含まれるように、ダンプトラック１の前方上部に斜め下方を俯瞰する格好で設置されている。これと同様に、カメラ６ｂは、視野範囲１２に車両右側方１５ｂが含まれるように車両右側方上部に設置されており、カメラ６ｃは、視野範囲１３に車両後方１５ｃが含まれるように車両後方上部に設置されており、カメラ６ｄは、視野範囲１４に車両左側方１５ｄが含まれるように車両左側方上部に設置されている。

図２は図１に示したダンプトラック１の側面図を示している。
前方視野範囲１１（図２の破線１１の範囲）を有するカメラ６ａは運転室７から見て右斜め前方の位置に取り付けられ、右側方視野範囲１２（図２の破線１２の範囲）を有するカメラ６ｂは運転室７から見ての右斜め後方の位置に取り付けられ、後方視野範囲１３（図２の破線１３の範囲）を有するカメラ６ｃは車体フレーム２の後方に取り付けられている。右側方視野範囲１２（図２に示していない）カメラ６ｄは運転室７から見て左斜め後方の位置に取り付けられているが、図２には示されていない。４台のカメラ６ａ，６ｂ，６ｃ，６ｄが撮影した映像は画像データとして画像処理装置１０に出力される。

運転室７はオペレータが搭乗してダンプトラック１を操作するためのステアリングハンドル、アクセルペダルおよびブレーキペダルを含む各種の操作手段が設けられている。その他の操作手段としては、例えば、ダンプトラック１を前進または後進させるシフトレバーがある。運転室７には画像処理装置１０と表示装置１００とが設けられており、４台のカメラ６ａ，６ｂ，６ｃ，６ｄにより撮影・生成される画像データは画像処理装置１０で所定の画像処理が行なわれる。画像処理が行なわれた画像データは表示装置１００に表示される。基本的に表示装置１００には４台のカメラ６ａ，６ｂ，６ｃ，６ｄが撮影する映像が表示されている。

ここで、図２においては、前方視野範囲１１はダンプトラック１の前方の斜め下方の領域となっている。右側方視野範囲１２、後方視野範囲１３、左側方視野範囲１４も同様である。

図３は本発明の実施の形態に係る画像処理装置１０の全体構成図である。この図に示す画像処理装置１０は、演算装置、記憶装置及び入出力装置を備えるコンピュータであり、画像入力部２０、画像記憶部３０、画像合成部３５、障害物候補領域抽出部５０、輝度算出領域設定部６０、輝度算出部７０、および障害物検知部９０として機能する。

４台のカメラ６ａ，６ｂ，６ｃ，６ｄで撮影されたカメラ画像（入力画像）は、それぞれ所定のサンプリング間隔で画像入力部２０に入力され、画像記憶部３０に記憶される。

画像記憶部３０は、画像入力部２０からの入力画像を予め定められた間隔でサンプリングして記憶する。画像入力部２０からの入力画像のサンプリング間隔は一定でも良いがダンプトラック１の速度に応じて異ならせても良い。例えば、停止時はサンプリング間隔を長く、移動時はサンプリング間隔を短くして記憶すると、必要最低限の入力画像による画像処理でよく、時間短縮が図れて処理の適正化を図ることが可能になる。

画像合成部３５は、４台のカメラ６ａ，６ｂ，６ｃ，６ｄから出力され画像記憶部３０に記憶された複数のカメラ画像を１画像に合成する。

本実施の形態の作業機械の周囲監視装置の画像合成部３５で実行される処理手順の一例を図４に示す。まず、ステップ３５ａで、画像合成部３５は、画像記憶部３０から入力した画像が４台のカメラ６ａ，６ｂ，６ｃ，６ｄのうちどのカメラの画像であるか判定する。そして、前方カメラ６ａの場合には画像処理画面の左上に配置する処理を行ない（ステップ３５ｂ）、右側方カメラ６ｂの場合には画像処理画面の右上に配置する処理を行ない（ステップ３５ｃ）、後方カメラ６ｃの場合には画像処理画面の右下に配置する処理を行ない（ステップ３５ｄ）、左側方カメラ６ｄの場合には画像処理画面の左下に配置する処理を行う（ステップ３５ｅ）。この手順により４台のカメラ６ａ、６ｂ、６ｃ、６ｄの画像を１フレームとする合成画像が生成される（ステップ３５ｆ）。

本実施の形態の作業機械の周囲監視装置のカメラ６ａの入力画像２０ａと、カメラ６ｂの入力画像２０ｂと、カメラ６ｃの入力画像２０ｃと、カメラ６ｄの入力画像２０ｄとを画像合成部３５で合成した画像の一例を図５に示す。図５には、入力画像２０ａにおいてカメラ近くに車９０ａ及び地面のしみ９０ｂが存在し、カメラ遠方に車９０ｃ及び地面のしみ９０ｄが存在している。また、入力画像２０ｃにおいてカメラ近くに車９０ｅが存在している。

なお、４台のカメラ６ａ、６ｂ、６ｃ、６ｄの画像を１枚の画像にした例として図５のものを挙げて説明したが、これは一例に過ぎず、当該１枚の画像における各画像の配置は図５に示したもの以外のものでも良い。また、ここで説明する例では、４台のカメラ画像を利用して障害物検知を行うが、障害物検知に利用するカメラの台数（すなわち、障害物検知に利用する画像の枚数）はいくつでも良い。

輝度算出領域設定部６０は、４台のカメラ６ａ，６ｂ，６ｃ，６ｄそれぞれで撮影された入力画像２０ａ，２０ｂ，２０ｃ，２０ｄ中に設定される所定の閉領域であって、その内部に含まれる画素の輝度分布が分散する傾向が強い領域（輝度ムラが生じる傾向が強い領域）を予め設定する部分である。ここでは、輝度算出領域設定部６０によって設定される領域を輝度算出領域（第２領域）と称することがある。詳細は後述するが、輝度算出領域は、障害物候補領域抽出部５０が抽出した障害物候補領域の内部に含まれる複数の画素の輝度を輝度算出部７０が算出するか否かを決定するための判定に利用されることがある。

４台のカメラ６ａ，６ｂ，６ｃ，６ｄのそれぞれの入力画像２０ａ，２０ｂ，２０ｃ，２０ｄ中に輝度算出領域設定部６０によって設定される輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄの一例を図６に示す。図６の輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄは矩形で規定されている。

ダンプトラック１を含む作業機械は、一般的な乗用車と比較して巨大で車高も高いため、周囲監視用のカメラ（撮像装置）６ａ，６ｂ，６ｃ，６ｄの設置位置は高くなる傾向がある。そのため、ある程度の高さを有する立体的な障害物（例えば、入力画像２０ａにおける車９０ａ）がカメラの近くに存在する場合には、その障害物の上部からカメラが撮影するため、カメラ画像（入力画像）にその障害物の全形が表れることが少なくない。そして、その立体的な障害物に光（昼間の日光や夜間のダンプトラック１の照明等）が当たると、光の当たり易い場所（例えば、障害物の上部）と当たり難い場所（例えば、障害物の下部）が発生して、その障害物に係る画素の輝度分布が分散する傾向が強い。これに対して、ほぼ高さの無い平坦な物体（水溜まり・雪溜まり、地面上のシミ等がこれに該当し、例えば、入力画像２０ａにおけるしみ９０ｂ）は略一様に光が当たるので、その全形が表れても、光の当たり方（明るさ）が一様になりやすい（つまり、輝度分布が集中する傾向が強い）。

また、カメラ遠方に物体が存在する場合には、画像中のその物体のサイズが小さくなるため細かい輝度分布が捨象され、また、画像中に現れるその物体の部分が限定される（例えば、立体的な物体（入力画像２０ａにおける車９０ｃ）であれば主に側面が、平坦な物体（入力画像２０ａにおけるしみ９０ｄ）であれば主に上面が画像に現れる）。そのため、その物体が立体的か平坦かに関わらず、その全形が表れても、カメラ近くに存在する場合と比較すると明暗の差は少なくなる（つまり、輝度分布が集中する傾向が強くなる）。

そこで、本実施の形態では、或る物体を示す画素の輝度分布が分散する傾向が強いカメラ近くの領域を輝度算出領域設定部６０により輝度算出領域として設定し、当該輝度算出領域に障害物候補領域が重なる場合にその障害物候補領域内に含まれる一部または全部の画素の輝度を輝度算出部７０により算出することにした。輝度算出領域は、ダンプトラック（作業機械）の側面から外側（作業機械から離れる方向）に向かって所定の距離に含まれる領域となる。この所定の距離は、各カメラ６ａ，６ｂ，６ｃ，６ｄの設置高さ、各カメラ６ａ，６ｂ，６ｃ，６ｄのレンズ歪み、及び各画像２０ａ，２０ｂ，２０ｃ，２０ｄ内における各カメラ６ａ，６ｂ，６ｃ，６ｄからの距離（これらをカメラパラメータと称することがある）の少なくとも１つに基づいて変化する。

図６の例における輝度算出領域は、入力画像２０ａにおけるカメラ近くの領域６０ａ、入力画像２０ｂにおけるカメラ近くの領域６０ｂ、入力画像２０ｃにおけるカメラ近くの領域６０ｃ、入力画像２０ｄにおけるカメラ近くの領域６０ｄである。

輝度算出領域設定部６０による輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄの設定方法としては、各入力画像２０ａ，２０ｂ，２０ｃ，２０ｄに対して、オペレータがマウス等の入力装置を操作して手動入力するものがある。また、上記のカメラパラメータの少なくとも１つに基づいて自動的に設定する方法もある。しかし、適切な輝度算出領域が設定可能な方法であれば上記２つの方法以外の他の方法も利用可能である。また、各入力画像２０ａ，２０ｂ，２０ｃ，２０ｄで異なる形状（図６の矩形に限らず閉じた図形であれば他の図形でも良い）の輝度算出領域を異なる位置に設定しても良い。輝度ムラが存在し易い領域を輝度算出領域として設定すれば、障害物の検出精度を向上できる。

障害物候補領域抽出部５０は、４台のカメラ６ａ，６ｂ，６ｃ，６ｄで撮影されたダンプトラック１の周囲の画像２０ａ，２０ｂ，２０ｃ，２０ｄの特徴量に基づいて、その画像２０ａ，２０ｂ，２０ｃ，２０ｄの中で障害物が含まれる可能性がある領域（障害物候補領域（第１領域））を抽出する処理（障害物領域抽出処理）を実行する部分である。

図７は本実施の形態の作業機械の周囲監視装置に係る障害物候補領域抽出部５０で実行される処理のフローチャートの一例である。図示した処理が開始されると、まず、ステップＳ５１において、４つの入力画像２０ａ，２０ｂ，２０ｃ，２０ｄのいずれかを選択し、その画像の輝度値から昼夜判定処理を行い、ステップＳ５２において昼間か否かを判定する。昼間と判定された場合、ステップＳ５３で昼間用の平滑化パラメータ設定を行い、昼間でないと判定された場合（すなわち夜間であると判定された場合）、ステップＳ５４で夜間用の平滑化パラメータ設定を行う。次に、ステップＳ５５では、Ｓ５３又はＳ５４で設定したパラメータに基づいて平滑化処理を画像に行うことでノイズを低減し、その平滑化処理後の画像に対して、ステップＳ５６で輪郭（エッジ）を抽出する輪郭処理を行う。ステップＳ５７では、ステップＳ５６で輪郭を抽出した画像に対して、所定の閾値で２値化処理を施して２値画像を作成し、その２値画像中の図形（輪郭）に対して膨張及び収縮等の整形処理を行う（ステップＳ５８）。

また、ステップＳ５６，Ｓ５７，Ｓ５８と並行して、ステップＳ５５の平滑化処理後の画像に対してコーナー点を検知するコーナー点検知処理を行う（ステップＳ５９）。

ステップＳ６０では、ステップＳ５８で作成した輪郭画像とステップＳ５９のコーナー点画像の加算（ＯＲ）処理を行い、輪郭とコーナー点が加算された領域が存在する画像を作成する。ステップＳ６１では、ステップＳ６０で作成した画像中の図形の輪郭（エッジ）に基づいて障害物が含まれる可能性がある領域（障害物候補領域）を抽出し、ステップＳ６３で他に未抽出の障害物候補領域が存在せず障害物候補領域の抽出処理が終了したことが確認されたら一連の処理を終了する。

なお、本実施の形態の障害物候補領域抽出部５０は、ステップＳ６１において、ステップＳ６０の画像中のエッジに基づいて障害物の可能性のある物体（図形）を抽出し、その物体の外接矩形を障害物候補領域として抽出している。物体の外接矩形を障害物候補領域とすることは一例に過ぎず、例えば当該物体の外接矩形をその中心に向かって所定の大きさだけ縮小したものを障害物候補領域としても良いし、当該物体の内接矩形を障害物候補領域としても良い。

また、上記のステップＳ５１で入力画像の輝度値から昼夜判定処理を行う場合、入力画像全体の輝度値を基準にして判定する方法がある。その他の方法の例としては、入力画像において光の照射されない領域の輝度値を基準にして判定するものもある。輝度値から昼夜判定を行うことに代えて、入力画像の撮影時刻を用いて判定する方法もある。このように本実施の形態では、昼夜が判定できれば特に手法を限定する必要はない。

さらに、図７の例では、エッジ検出処理とコーナー点検出処理を並列して行ったが、エッジとコーナー点の一方が取得できれば本発明は適用可能であるため、エッジとコーナー点の一方が取得できれば一方の処理を実行するだけでも構わない。

次に図７のステップＳ５６からステップＳ６０の処理を実行することにより得られる画像の一部の例について図８および図９を用いて説明する。

図８は、ステップＳ５６からステップＳ６０の処理を入力画像２０ａ中の車９０ａ（図６参照）に適用した場合に得られる画像の模式図である。

ステップＳ５６，５７，５８で抽出される輪郭（エッジ）は、ソーベル手法やラプラシアン手法等の公知の手法によりエッジを検出した画像に対して、２値化処理（ステップＳ５７）及び整形処理（ステップＳ５８）を施すことにより得られる２値画像中に存在している。例えば入力画像２０ａ中の車９０ａからは図８に示した複数のエッジ（例えば、エッジＳ５６Ａ、Ｓ５６Ｂ、Ｓ５６Ｃ等）が抽出される。なお、図８の例にはエッジに囲まれた領域の輝度がグレースケールで表示されているが、これは便宜的なものに過ぎず、ステップＳ５６，５７，５８で得られる実際の画像は図８からエッジのみを抽出した２値画像となる。

また、ステップＳ５９で検知されるコーナー点は、Ｓ５５で平滑化処理を施した画像に対してハリスの手法等の公知の手法を適用することで検出されるものであり、例えば車９０ａからは図８に示した複数のコーナー点（例えば、コーナー点Ｓ５９Ａ、Ｓ５９Ｂ、Ｓ５９Ｃ、‥‥‥、Ｓ５９Ｑ、Ｓ５９Ｒ）が検出される。なお、図８における各コーナー点は、１点（画素）であるが、説明の都合上、破線を輪郭とする小さい円で示している。また、図８の例では便宜上コーナー点がエッジとともに示されているが、ステップ５９で得られる画像は図８からコーナー点のみを抽出した画像となる。

図９は、ステップＳ５６からステップＳ６０の処理を入力画像２０ａ中の地面のしみ９０ｂ（図６参照）に適用した場合に得られる画像の模式図である。

この図の例の場合も、ステップＳ５６，５７，５８の処理により、図８の車９０ａの場合と同様に複数のエッジ（例えば、エッジＳ５６Ｄ、Ｓ５６Ｅ、Ｓ５６Ｆ等）が抽出される。また、ステップＳ５９の処理により、図８の場合と同様に複数のコーナー点（例えば、コーナー点Ｓ５９Ｓ、Ｓ５９Ｔ、Ｓ５９Ｕ、‥‥‥、Ｓ５９Ｙ、Ｓ５９Ｚ）が検出される。なお、図８の場合と同様に、ステップＳ５６，５７，５８で得られる実際の画像は図９からエッジのみを抽出した２値画像となる。また、図９中の各コーナー点は、図８の場合と同様に、破線を輪郭とする小さい円で示している。さらに、図９の例では便宜上コーナー点がエッジとともに示されているが、ステップ５９で得られる画像は図９からコーナー点のみを抽出した画像となる。

輝度算出部７０は、４つの入力画像２０ａ，２０ｂ，２０ｃ，２０ｄから障害物候補領域抽出部５０が抽出した障害物候補領域（図７のステップ６１で得られる領域）のうち、各入力画像２０ａ，２０ｂ，２０ｃ，２０ｄ中に設定された輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄと重なる障害物候補領域の内部に含まれる画素の輝度を算出する部分である。なお、ここにおける「輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄと重なる障害物候補領域」における「重なる」とは、（１）輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄのいずれかに或る障害物候補領域の全部が重なる場合（つまり、輝度算出領域の内部に障害物候補領域が包含される場合）と、（２）或る障害物候補領域の一部が輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄのいずれかと重なる場合の双方を示すものとする。

図１０は、障害物候補領域抽出部５０によって１以上の障害物候補領域が抽出された場合に、その障害物候補領域が輝度算出部７０の輝度算出対象となるか否かを説明するための図である。ところで、輝度算出部７０は、図７のフローチャートを経て取得した障害物候補領域を輝度算出に際して参照するが、輝度算出の対象は、入力画像２０ａ，２０ｂ，２０ｃ，２０ｄ中の画素であり、図７のステップＳ６０で作成された２値画像中の画素ではない。つまり、図１０の例で説明すれば、入力画像２０ａ上において輝度算出領域６０ａと重なる外接矩形５７，５８（障害物候補領域）に含まれる画素の輝度が算出される。ただし、輝度算出の対象とする入力画像２０ａ，２０ｂ，２０ｃ，２０ｄとして、図７のステップＳ５１〜Ｓ５５の平滑化処理を施した入力画像２０ａ，２０ｂ，２０ｃ，２０ｄを利用しても良い。

既述の通り、図７のステップＳ６１において障害物候補領域抽出部５０は、複数の輪郭とコーナー点により定義される領域の外接矩形を障害物候補領域として抽出する。図１０の入力画像２０ａでは、外接矩形５７（車９０ａの外接矩形）と外接矩形５８（地面のしみ９０ｂの外接矩形）と外接矩形５５（車９０ｃの外接矩形）と外接矩形５６（地面のしみ９０ｄの外接矩形）の４つが障害物候補領域として抽出されている。このうち外接矩形５７と外接矩形５８は輝度算出領域６０ａの内部に存在しているが、残りの外接矩形５５と外接矩形５６は輝度算出領域６０ａと共通領域が存在せず、輝度算出領域６０ａの外部に存在している。

これにより、カメラ近くに位置して輝度算出領域６０ａとの共通領域が存在する外接矩形５７（車９０ａの外接矩形）と外接矩形５８（地面のしみ９０ｂの外接矩形）に限定して輝度算出部７０が輝度算出処理を行い、これにより各外接矩形５７，５８の輝度ヒストグラムの集中度特徴の検討が行われる。

図１１は、図１０の入力画像２０ａ上で外接矩形５７（車９０ａの外接矩形）内に含まれる画素の輝度を模式的に示した図である。

カメラ近くに存在する障害物（立体物の車９０ａ）はその上部から撮影されるため、図１１に示すように、その障害物の全形が表れ、かつ、その上部が明るく下部が暗く表れることが少なくない。図１１の例では、車９０ａを構成する画素の集合は、車９０ａに係る複数のエッジによって複数の閉領域７０Ａ〜７０Ｋに分割されており、各領域７０Ａ〜７０Ｋに含まれる画素は同じ輝度（明るさ）を有している。各領域の明るさの特徴としては、車の上部に位置する領域７０Ａ，７０Ｂは明るく、車の側面に位置する領域７０Ｃ，７０Ｄ，７０Ｅ，７０Ｆはやや明るく、車の下部に位置する領域７０Ｇ，７０Ｈ，７０Ｉは暗く、車のタイヤ部に該当する領域７０Ｊ，７０Ｋが最も暗くなっている。

これより、領域７０Ａや７０Ｂは明るいため輝度値が大きく、領域７０Ｃや７０Ｄや７０Ｅや７０Ｆは、領域７０Ａや７０Ｂよりやや暗いため、輝度値がやや小さくなる。また、領域７０Ｇ、７０Ｈ、領域７０Ｉ、７０Ｃ等よりも暗いため、輝度値は更に小さくなり、領域７０Ｊ、７０Ｋのタイヤの部分は更に輝度値が小さくなる。従って、車９０ａに関しては輝度の分布が４階調の分布となり、外接矩形５７における車９０ａの外側の背景部分７０Ｌの１階調も加えると、外接矩形５７の内部全体では輝度の分布が５階調の分布となる。

図１２は、外接矩形５７（車９０ａの外接矩形）を構成する画素に関して、横軸４５に階級として輝度、縦軸４６に度数として画素数をとったヒストグラム（本稿で輝度ヒストグラムと称することがある）を示す図である。なお、図１１の例では輝度は５階調しか存在しないため各輝度値を階級としたが、輝度値が広域に亘る場合には階級数が適切な値に収まるように階級間隔を適宜定めてヒストグラムを作成することが好ましい（後述のヒストグラムについても同様）。

図１２に示すヒストグラムは、５本の柱７２，７３，７４，７５，７６によって構成されている。柱７２（輝度値は７０Ｖ１）は、図１１におけるタイヤの部分の最も輝度値が小さい領域７０Ｊ、７０Ｋの画素の合計値、柱７３（輝度値は７０Ｖ２）は、暗い車の下部の領域７０Ｇ、７０Ｈ、７０Ｉの画素の合計値、柱７４（輝度値は７０Ｖ３）は、やや明るい車の側面の領域７０Ｃや７０Ｄや７０Ｅや７０Ｆの画素の合計値、柱７５（輝度値は７０Ｖ４）は、明るい車の上部の領域７０Ａや７０Ｂの画素の合計値、柱７６（輝度値は７０Ｖ５）は、背景部分７０Ｌの画素の合計値となっている。

これより、車９０ａの外接矩形５７の全体に含まれる画素の輝度分布７１により５個のピーク部が発生し、輝度ヒストグラムの集中度が低い（分散している）傾向があることが分かる。なお、図１２中の輝度分布７１は、５本の柱７２，７３，７４，７５，７６を線グラフに変換したものを平滑化したものである（後述する図１４の輝度分布７７も同様）。

図１３は、図１０における外接矩形５８（地面のしみ９０ｂの外接矩形）内に含まれる画素の輝度を模式的に示した図である。

この図に示すように、地面のしみ等の外乱は、入力画像中にその全形が表れても、地面と同じく略平坦であり一様に光が当たるため全体的に輝度（明るさ）が比較的均一となる。図１１に示したしみ９０ｂは黒いしみであり、しみ９０ｂに係る複数のエッジによって閉領域７０Ｍが形成されており、その領域７０Ｍに含まれるしみを構成する画素は均一の小さい輝度値を有している。従って、しみ９０ｂに関しては輝度の分布が１階調の分布となり、外接矩形５８におけるしみ９０ｂの外側の背景部分７０Ｎの１階調も加えると、外接矩形５８の内部全体では輝度の分布が２階調の分布となる。

図１４は、外接矩形５８（地面のしみ９０ｂの外接矩形）を構成する画素に関して、横軸４５に階級として輝度、縦軸４６に度数として画素数をとったヒストグラムを示す図である。

この図のヒストグラムは２本の柱７８，７９によって構成されている。柱７８（輝度値は７０Ｖ６）は、図１３におけるしみの内部の領域７０Ｍの画素の合計値、柱７９（輝度値は７０Ｖ５）は、図１３における背景部分７０Ｎの画素の合計値となっている。これより、しみ９０ｂの外接矩形５８の全体に含まれる画素の輝度分布７７により２個のピーク部が発生し、輝度ヒストグラムの集中度が高い（画素の輝度が分布している輝度値又は輝度範囲が比較的少ない）傾向があることが分かる。

障害物検知部９０は、輝度算出部７０で輝度が算出された障害物候補領域（先述の例では外接矩形５７，５８）の輝度分布の傾向に基づいてその障害物候補領域内の障害物の有無を検知する処理を実行する部分である。本実施の形態では、「輝度分布の傾向」を把握する１つの指標として、輝度算出部７０により取得した輝度分布に現れるピークの数を利用している。

図１９は、本実施の形態の作業機械の周囲監視装置に係る輝度算出部７０及び障害物検知部９０で実行される一連の処理のフローチャートの一例である。図示した処理が開始されると、まず、ステップＳ９２において、輝度算出部７０は、障害物候補領域抽出部５０により抽出された障害物候補領域が、輝度算出領域設定部６０で設定した輝度算出領域と重なりがあるか判定を行う。

ステップＳ９２で重なりが存在しない場合、障害物候補領域は輝度算出領域外に存在するため、ステップＳ１０１の処理終了判定へ進む。一方、ステップＳ９２で重なりが存在した場合、輝度算出部７０は、ステップＳ９３で、輝度算出領域に重なる障害物候補領域の内部に含まれる画素の輝度ヒストグラムを、障害物候補領域ごとに算出する。つまり、輝度算出領域に重なる障害物候補領域が複数存在する場合には、各障害物候補領域に対応する輝度ヒストグラムが算出される。

障害物検知部９０は、ステップＳ９４で、ステップＳ９３の輝度ヒストグラムにおける輝度の集中度をチェックし、ステップＳ９５で、その輝度ヒストグラムの輝度分布が幅広い輝度に分散しているか否かの判定を行う。なお、ステップＳ９３の輝度ヒストグラムが複数存在する場合には輝度ヒストグラムごとに判定を行う。

Ｓ９５の判定に関して、本実施の形態では、ステップＳ９３の輝度ヒストグラムの輝度分布（例えば図１２，１４の輝度分布７１，７７）に対して度数が所定の閾値Ｆ以上の部分のみを抽出し、その抽出した輝度分布に表れる塊（輝度のピーク）の数が所定の閾値Ｃを超える場合に「その輝度ヒストグラムの輝度分布は分散している」と判定している。判定に際して閾値Ｆを超える部分のみを抽出することで、ノイズ的に表れている度数の少ない輝度が捨象され、ピークとして表れている輝度のみに輝度分布の判定対象を限定できるというメリットがある。次に、ステップＳ９３で先述の図１２及び図１４の輝度ヒストグラム（つまり入力画像２０ａにおける車９０ａとしみ９０ｂの輝度ヒストグラム）が算出されたことを前提として、この判定の具体的な方法について説明しつつ、ステップＳ９５，９６，Ｓ１００を説明する。

図２０は、車９０ａの輝度ヒストグラム（図１２の輝度分布７１）について度数が閾値Ｆ以上の輝度分布を示した図である。図１２における輝度分布７１に対して度数がＦ未満の部分を除外すると、図２０に示すように、ハッチングを施した５個の塊（ピーク）Ｓ９５ａ、Ｓ９５ｂ、Ｓ９５ｃ、Ｓ９５ｄ、Ｓ９５ｅが算出できる。閾値Ｃ＝４のとき、図２０の場合には塊の数（＝５）が閾値Ｃ（＝４）を超えるので、図１９のステップＳ９５で障害物候補領域（外接矩形）５７の輝度ヒストグラムの輝度分布は分散していると判定され、障害物検知部９０は、ステップＳ９６で障害物候補領域５７内に障害物が存在すると判定する。

一方、図２１は、地面のしみ９０ｂの輝度ヒストグラム（図１４の輝度分布７７）について度数が閾値Ｆ以上の輝度分布を示した図である。図１４における輝度分布７７に対して度数がＦ未満の部分を除去すると、図２１に示すように、ハッチングを施した２個の塊（ピーク）Ｓ９５ｆ、Ｓ９５ｇが算出できる。閾値Ｃ＝４のとき、図２１の場合には塊の数（＝２）が閾値Ｃ以下なので、図１９のステップＳ９５で障害物候補領域（外接矩形）５８の輝度ヒストグラムの輝度分布は分散していない（集中している）と判定され、障害物検知部９０は、ステップＳ１００で障害物候補領域５８内に障害物が存在しないと判定する。

図１９の説明に戻り、ステップＳ９６で障害物が存在すると判定したら、障害物検知部９０は、ステップＳ９７でその障害物が移動物体か否かを判別するために追跡を開始する。ステップＳ９８では、その障害物を所定回数追跡できたか否かを判定し、所定回数追跡できた場合にはステップＳ９９でその障害物が移動物体であり、注意を要する物体であることを検知する。一方、ステップＳ９８で所定回数追跡できない場合には、ステップＳ９２に戻る。

ステップＳ９８において、所定回数追跡できない場合とは、例えば、所定回数過去の入力画像にさかのぼって、その障害物の移動した距離が閾値以下（静止は、移動距離が０）の場合とする。これにより、移動しない障害物（例えば、同一場所で揺れている旗や草木等）が報知されることを防止でき、特に注意を要する移動物体のみを検知の対象とすることができる。ただし、本実施の形態の最たる特徴は平面的な物体を障害物候補対象から除外することが目的であるため、ステップＳ９７，Ｓ９８，Ｓ９９の処理は省略して、ステップＳ９６の結果のみに基づいて障害物の検知を行っても構わない。

ステップＳ９９が完了したら、最後にステップＳ１０１で処理終了の判定を行い、終了しない場合にはステップＳ９２に戻り処理を続行する。

以上の一連の処理により、本実施の形態に係る作業機械の周囲監視装置は、障害物候補領域内に障害物が存在するか否かを検知する。この障害物の検知結果は表示装置（報知部）１００に出力され、表示装置１００を介してダンプトラック１の運転者や管理者等に対して報知される。

なお、Ｓ９５の判定に関して、上記で説明したものに代えて、Ｓ９３の輝度ヒストグラム（複数の柱で表したグラフ）において度数が所定の閾値Ｆ以上の輝度（階級）の数に基づいて行い、当該輝度の数が所定の閾値Ｃを超える場合に「その輝度ヒストグラムの輝度分布は分散している」と判定しても良い。また、輝度ヒストグラムにおける階級を、上記の例のように或る輝度値ではなく、ある輝度範囲で分類した場合も同様である。ただし、各場合で閾値Ｆ，Ｃの具体的な値は異ならせても良い。また、上記の例では、閾値Ｃを超える場合を「分散している」と判定したが、これに代えて閾値Ｃ以上の場合を「分散している」と判定するように変更しても良い。要は、或る閾値Ｃを基準にして判定を行えば良い。

既述の通り、障害物となり得るある程度の高さを有する立体的な物体（例えば、車両）は、光（日光や照明等）が当たったときに当該光の当たる場所と当たらない場所が発生するため輝度分布が分散する傾向がある（輝度ムラが生じる傾向がある）。他方、障害物になり難いほぼ高さの無い物体（例えば、水溜まり・雪溜まり、地面上のシミ等）は略一様に光が当たるので輝度分布が集中する傾向がある。上記のように構成した周囲監視装置によれば、画像の特徴量に基づいて障害物を含む可能性があると判定された領域（障害物候補領域（第１領域））の内部の画素の輝度を輝度算出部７０により算出することで、その領域（障害物候補領域）の輝度分布を把握することができる。そして、当該輝度分布に分散傾向が見られれば、当該領域に障害物が存在すると判定でき、他方、当該輝度分布に集中傾向が見られれば、当該領域に障害物は存在しないと判定できる。したがって、本実施の形態によれば、障害物が含まれる可能性の有る領域（障害物候補領域）の輝度分布を把握することにより、非障害物を障害物と誤認識する頻度（回数）を低減でき、その結果として障害物検知精度を向上できる。すなわち、ダンプトラック１の周囲を撮影した画像内に存在する水溜りやしみ等を障害物ではないと容易に認識できるので、非障害物を障害物と誤認識することの防止と障害物検知精度の向上が可能となる。

また、本実施の形態の処理では、作業機械の周辺を撮影した１枚の画像が存在すれば、その画像中に障害物が存在するか否かを検知することができる。つまり、ある場所の障害物の検知を単眼カメラの画像（静止画）で行うことができるという点もメリットとなる。

さらに、作業機械が鉱山で利用される場合には、鉱物に由来する色（例えば、鉄鉱石採掘現場では、鉄鉱石特有の赤茶色）が地表に表れることもあるが、本実施の形態では、画像の色を障害物候補を抽出する際の特徴量として用いないため、鉱山などの地面に不規則な色の変化が現れる場所で利用しても、作業機械の周囲の障害物検知に支障をきたすことがない。

上記の説明では、輝度算出領域と重なる障害物候補領域に含まれる全ての画素の輝度を算出して障害物検知を行ったが、輝度算出領域と重なる障害物候補領域に含まれる一部の画素の輝度を算出して障害物検知を行っても良い。次にその場合の一例について説明する。

図１５は、図１０の入力画像２０ａ上で外接矩形５７（車９０ａの外接矩形）内に含まれるコーナー点周辺の画素の輝度を模式的に示した図である。

本実施の形態における輝度算出部７０は、輝度ヒストグラムを算出するために、図７のフローにおけるステップＳ５９で検知された複数のコーナー点（例えば、図８及び図９のコーナー点Ｓ５９Ａ，Ｓ５９Ｂ，Ｓ５９Ｓ，Ｓ５９Ｔ等）のそれぞれを基準として設定した複数の所定の領域（コーナー周辺領域と称することがある）に含まれる画素の輝度を算出して輝度ヒストグラムを取得する。

本実施の形態におけるコーナー周辺領域は、ステップＳ５９で検知された各コーナー点を中心とし所定の半径を有する円であり、輝度算出部７０は、各円の内部に含まれる画素の輝度から輝度ヒストグラムを取得する。

図１５には、ステップＳ５９で検知された１８個のコーナー点（図８参照）に対応する１８個のコーナー周辺領域が示されている。コーナー周辺領域Ｓ５９ＡＡは、図８に示したコーナー点Ｓ５９Ａに対応するものであり、コーナー周辺領域を領域Ｓ５９ＢＢは、コーナー点Ｓ５９Ｂに対応するものである。残りのコーナー周辺領域Ｓ５９ＣＣ〜Ｓ５９ＲＲの符号は、これと同様のルールで付されている。各コーナー周辺領域Ｓ５９ＡＡ〜Ｓ５９ＲＲの内部に含まれる画素の輝度値（輝度値７０Ｖ１、‥‥、７０Ｖ５）は図８及び図１１と同様にグレースケールで示した。

図１６は、図１５中のコーナー周辺領域Ｓ５９ＡＡ〜Ｓ５９ＲＲに含まれる画素の輝度ヒストグラムを示した図であり、５本の柱８１、８２，８３，８４，８５によって構成されている。図１６のグラフの下方において、各柱８１、８２，８３，８４，８５を構成する画素がどのコーナー周辺領域に属するかを示している。例えば、柱８１（輝度値７０Ｖ１）は、３個の領域Ｓ５９ＨＨ，Ｓ５９ＩＩ，Ｓ５９ＪＪの部分領域によって構成されており、柱８２（輝度値７０Ｖ２）は、１０個の領域Ｓ５９ＤＤ，Ｓ５９ＥＥ，Ｓ５９ＦＦ，Ｓ５９ＧＧ，Ｓ５９ＨＨ，Ｓ５９ＩＩ，５９ＪＪ，Ｓ５９ＫＫ，Ｓ５９ＱＱ，Ｓ５９ＲＲの部分領域によって構成されている。

図１６から明らかなように、車９０ａに係るコーナー周辺領域に含まれる画素の輝度分布８０にも図１２の場合と同様に５個のピーク部が存在し、輝度ヒストグラムの輝度分布が分散している傾向があることが分かる。なお、図１６中の輝度分布８０は、図１２等の場合と同様に５本の柱８１，８２，８３，８４，８５を線グラフに変換したものを平滑化したものである（図１８の輝度分布８８も同様）。

図１７は、図１０の入力画像２０ａ上で外接矩形５８（しみ９０ｂの外接矩形）内に含まれるコーナー点周辺の画素の輝度を模式的に示した図である。この図には、ステップＳ５９で検知された８個のコーナー点（図９参照）に対応する８個のコーナー周辺領域Ｓ５９ＳＳ〜Ｓ５９ＺＺが示されている。各コーナー周辺領域Ｓ５９ＳＳ〜Ｓ５９ＺＺの符号は図１５の場合と同じルールで付されている。各コーナー周辺領域Ｓ５９ＳＳ〜Ｓ５９ＺＺの内部に含まれる画素の輝度値（輝度値７０Ｖ５、７０Ｖ６）は図９及び図１２と同様にグレースケールで示した。

図１８は、図１７中のコーナー周辺領域Ｓ５９ＳＳ〜Ｓ５９ＺＺに含まれる画素の輝度ヒストグラムを示した図であり、２本の柱８６、８７によって構成されている。図１８のグラフの下方には、図１６と同様に、各柱８６、８７を構成する画素がどのコーナー周辺領域に属するかを示した。図１８から明らかなように、しみ９０ｂに係るコーナー周辺領域に含まれる画素の輝度分布８８にも図１４と同様に２個のピーク部が存在し、輝度ヒストグラムの輝度分布が集中している傾向があることが分かる。

画像の特徴パターンの１つであるコーナー点の周囲には、その性質上、輝度の異なる画素がエッジに比して集中し易い。そこで本実施の形態においては、障害物候補領域内に含まれるコーナー点を抽出し、その抽出した各コーナー点を基準とした所定の領域（コーナー周辺領域）に含まれる画素の輝度を算出することとした。このように周囲監視装置を構成すると、輝度を算出する画素数を低減しても障害物検出精度を維持できる。

なお、コーナー周辺領域は、コーナー点を基準とした閉領域であれば足りるので、上記の円以外の図形で定義しても良い。

次に、上記の作業機械の周囲監視装置による障害物の検知結果を表示装置１００に表示する場合の表示例について図面を用いて具体的に説明する。

図２２は、本発明の作業機械の周囲監視装置に係る障害物検知部９０により検出された障害物（車）９０ａを表示装置１００に俯瞰画像１１０で表示した画面の一例を示す図である。図２２は、ダンプトラック１の前部を上側に表示しており、運転室７はダンプトラック１の左上の位置に表示される（図２３も同様）。

この図の例では、ダンプトラック１の周囲から遠方の距離（約１２ｍ程度）まで表示領域に広げて表示装置１００に表示している。この図では、入力画像２０ａを変換した部分俯瞰画像２０ａａと、入力画像２０ｂを変換した部分俯瞰画像２０ｂｂと、入力画像２０ｃを変換した部分俯瞰画像２０ｃｃと、入力画像２０ｄを変換した部分俯瞰画像２０ｄｄとを合成してダンプトラック１を中心とした俯瞰画像１１０が作成されている。各部分俯瞰画像２０ａａ，２０ｂｂ，２０ｃｃ，２０ｄｄには、輝度算出領域６０ａ，６０ｂ，６０ｃ，６０ｄが設定・表示されている。

図２２では、画像２０ａａ内の輝度算出領域６０ａに車９０ａとしみ９０ｂが存在し、障害物検知部９０が車９０ａを障害物として検出し、ダンプトラック１に障害物が存在していることを示す警告表示１９０が表示画面１１０上に表示されている。なお、表示装置１００の中央部に表示した図形は、ダンプトラック１を示しており、図示したもの以外にもダンプトラック１を示すものであれば他の図形を表示しても良い。

図２２中の警告表示１９０は、障害物の外形に略接するように規定された星マークであり、表示装置１００の画面上に表示された警告表示１９０により運転員は障害物の接近を容易に認知できる。警告表示１９０の形状は、星マーク以外の図形でも良く、図形に色を付しても良いし、時間とともに形状や色を変化させても良い。

図２３は、本発明の作業機械の周囲監視装置に係る障害物検知部９０により検出された障害物（車）９０ａを表示装置１００に俯瞰画像１１０Ａで表示した画面の一例を示す図である。この図の例では、ダンプトラック１の周囲から比較的近距離（約５ｍ程度）の範囲に俯瞰画像１１０Ａの表示領域を限定して表示装置１００に表示している。

図２２及び図２３に示すように、ダンプトラック１の周囲に俯瞰表示で障害物を表示すると、運転員は運転室７からの方向感覚と違和感のない感覚で前後左右の状況を把握することが可能であり、障害物の存在を瞬時に認識できる。

図２４は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成された俯瞰画像１１０と、後方カメラ６ｃで撮影されたそのままの画像（スルー画像）１１１とを並列して表示した例であり、俯瞰画像１１０ではダンプトラック１の前部が上側に表示されており、運転室７がダンプトラック１の左上に表示されている。後方カメラ６ｃによるスルー画像１１１を表示することにより、運転員は見慣れたカメラ画像に基づいて違和感なく後方の障害物（車両９０ｅ）を判別できる。図示した例では俯瞰画像１１０とスルー画像１１１の双方に警告表示１９０が表示されており、運転員は車両１０５の接近を容易に把握できる。

図２５は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１２に関して、ダンプトラック１の周囲から比較的近距離（約５ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ａは、表示範囲に追随して図２４の場合よりも大きく表示されており、ダンプトラック１ａの前部は画像中の右側に表示され、運転室７は表示画面の右上に表示されている。表示範囲をダンプトラック１の近くに限定しており、ダンプトラック１の近くに存在する障害物（車両９０ｅ）が大きく表示されるので、運転員はダンプトラック１の近くに存在する最も危険な障害物を明瞭に判別できる。

図２６は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１３に関して、ダンプトラック１の周囲から中距離（約８ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ｂは、表示範囲に追随して図２５の場合よりも小さく表示されている。表示範囲を中距離に設定すると、運転員はダンプトラック１から中距離の位置に存在する障害物（車両９０ｅ）まで判別できる。

図２７は表示装置１００の表示画面の一例を示す図である。この図の例は、画像合成部３５で合成した俯瞰画像１１４に関して、ダンプトラック１の周囲から遠距離（約１２ｍ程度）の範囲を表示装置１００に表示している。ダンプトラック１を示す図形１ｃは、表示範囲に追随して図２６の場合よりも小さく表示されている。表示範囲を遠距離に設定すると、運転員はダンプトラック１から遠距離の位置に存在する障害物（車両９０ｅ）まで判別できる。

図２８は表示装置１００の表示画面の一例を示す図である。この図の例は、右側方カメラ６ｂのスルー画像１１６と左側方カメラ６ｄのスルー画像１１５を並列に表示している。このように左右のスルー画像１１６，１１５を表示すると、ダンプトラック１の左右に存在する障害物の判別が容易になるので、ダンプトラック１が左右旋回する場合等の障害物発見が容易になる。

図２９は表示装置１００の表示画面の一例を示す図である。この図の例は、後方カメラ６ｃのスルー画像１１７を表示している。このように後方のスルー画像１１７を表示すると、ダンプトラック１の後方に存在する最も発見の難しい障害物の発見が容易になる。

図３０は本発明の作業機械の周囲監視装置の全体構成のその他の例である。図３と同じ部分については同じ符号を付して説明を省略する。図３０において、画像記憶部３０は、作業機械の起動時に画像入力部２０からの画像を一旦入力したら、これ以降は作業機械稼働データ２０２に基づいて得られる作業機械の稼働状況をチェックし、作業機械が停止中でない場合（稼働中の場合）には画像入力部２０から画像を入力し、作業機械が停止中の場合には画像入力部２０からの画像の入力を中断する。これにより、作業機械の稼働状況に応じて異なるサンプリング間隔で画像入力部２０から画像をサンプリングすることが可能になる。これにより、必要最低限の入力画像に基づいて障害物検知を行えばよく、処理の適正化が図れる。

なお、画像記憶部３０による作業機械稼働データ２０２に基づいた上記処理を行わない場合には、一定のサンプリング間隔で画像入力部２０からの画像をサンプリングすれば良い。

ところで、上記の説明では、障害物検知部９０によって障害物が検知されたことを報知する報知装置（報知部）の役割を表示装置１００が果たしているが、障害物報知の方法としては、音声を発生する音声装置や警告灯等、公知の報知装置の利用が可能である。

また、上記では、障害物検知部９０の障害物の検知結果を運転者や管理者に対して報知することを前提とするシステム構成の説明をしたが、障害物の検知結果をトリガーとしてダンプトラック１が所定の目的の動作をするように制御しても良い。例えば、障害物が検知された場合に、当該障害物を回避する動作を行うようにダンプトラック１を制御しても良い。当該制御はダンプトラック１が自律走行している場合に特に有効となる。

ところで、既述のように本発明の適用対象はダンプトラックに限定されず、他の作業機械にも適用可能である。図３１は、本発明の適用対象である作業機械の１つであるいわゆるローダタイプの大型油圧ショベルの側面図である。この油圧ショベルは、下部走行体１５５と、この下部走行体１５５の上部に旋回台軸受け１５７を介して旋回可能に設けた上部旋回体１５６と、この上部旋回体１５６に俯仰動可能に連結された多関節型のフロント作業機１５８とを備えている。多関節型のフロント作業機１５８に備えられたバケット１５２が接地状態で開口部が前方側へ向くように配置され、バケット開閉シリンダ１６４がバケット１５２に図示するように装設されている。また、ブームシリンダ１６１、バケットシリンダ１６２、アームシリンダ１６３、及びバケット開閉シリンダ１６４がそれぞれ伸縮動作によりブーム上げ／下げ、アーム押し／引き、バケットクラウド／ダンプ、バケット閉止／開放を行うようになっている。このように構成された油圧ショベルに複数台のカメラ（例えば図中のカメラ６ａ，６ｃ，６ｄ）及び画像処理装置１０をはじめとした上記の各構成を搭載すれば、上記のダンプトラック１の場合と同様に周囲監視装置を構成することができる。

なお、上記の例では、輝度算出部７０の算出結果に基づいて作成したヒストグラムから障害物の検知を行ったが、ヒストグラムに代えて、横軸に輝度値、縦軸に画素数をとったグラフに算出結果をプロットし、その結果に基づいて障害物の検知を行っても良い。さらに各種のグラフに変換することなく数値ベースで輝度分布の分散の程度を把握し障害物検知を行っても良い。

ところで、上記では、画像処理装置１０及び表示装置１００をダンプトラック１（作業機械）に搭載する場合について説明したが、これは一例に過ぎず、画像処理装置１０及び表示装置１００の設置場所は当該画像処理装置に画像を出力するカメラ６が搭載された作業機械に限定されない。例えば、画像処理装置１０における画像入力部２０、画像記憶部３０、画像合成部３５、障害物候補領域抽出部５０、輝度算出領域設定部６０、輝度算出部７０、及び障害物検知部９０は、少なくとも図３において通信線で接続されたもの同士が通信可能に構成すれば、その設置場所に限定は無い。また、同様にカメラ６からの画像が入力可能であれば画像入力部２０はカメラ６と異なる場所に設置しても良く、障害物検知部９０は表示装置（報知部）１００に障害物検知結果を出力可能であれば表示装置１００と異なる場所に設置しても良い。

また、上記では、１台のダンプトラック（作業機械）のカメラ画像を基にそのダンプトラックの周囲の監視を行うシステム構成について説明したが、管制センタ等に設置した画像処理装置１０に対して複数のダンプトラックのカメラ画像を出力し、その画像処理装置１０で各ダンプトラックの周囲監視を集中管理するシステムを構成しても良い。すなわち、１台の画像処理装置の処理対象は1台の作業機械のカメラ画像に限らない。また同様に１台の画像処理装置から複数の表示装置１００に対して障害物検知結果を出力しても良い。

なお、本発明は、上記の各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば、本発明は、上記の各実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、ある実施の形態に係る構成の一部を、他の実施の形態に係る構成に追加又は置換することが可能である。

また、上記の画像処理装置に係る各構成や当該各構成の機能及び実行処理等は、それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また、上記の画像処理装置に係る構成は、演算処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該画像処理装置の構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は、例えば、半導体メモリ（フラッシュメモリ、ＳＳＤ等）、磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク、光ディスク等）等に記憶することができる。

６ａ，６ｂ，６ｃ，６ｄ…カメラ、３０…画像記憶部、３５…画像合成部、５０…障害物候補領域抽出部、６０…輝度算出領域設定部（領域抽出部）、７０…輝度算出部、９０…障害物検知部、１００…表示装置（報知部）

Claims (5)

1. カメラで撮影された作業機械の周囲の画像の特徴量に基づいて、当該画像中で障害物が含まれる可能性のある第１領域を抽出する領域抽出部と、
   当該領域抽出部で抽出された第１領域のうち前記画像中に予め設定した第２領域に重なる第１領域の内部に含まれる一部または全部の画素の輝度を算出する輝度算出部と、
   当該輝度算出部で輝度が算出された前記第１領域の輝度分布の傾向に基づいて当該第１領域内の障害物の有無を検知する障害物検知部と
   を備え、
   前記障害物検知部は、前記輝度算出部で輝度を算出された画素が或る値又は或る範囲の輝度に集中して現れるピークの数が所定の閾値を超える場合に前記第１領域内に障害物が存在すると検知することを特徴とする作業機械の周囲監視装置。
2. カメラで撮影された作業機械の周囲の画像の特徴量に基づいて、当該画像中で障害物が含まれる可能性のある第１領域を抽出する領域抽出部と、
   当該領域抽出部で抽出された第１領域のうち前記画像中に予め設定した第２領域に重なる第１領域の内部に含まれる一部または全部の画素の輝度を算出する輝度算出部と、
   当該輝度算出部で輝度が算出された前記第１領域の輝度分布の傾向に基づいて当該第１領域内の障害物の有無を検知する障害物検知部と
   を備え、
   前記輝度算出部は、前記輝度算出部で輝度が算出された前記第１領域内に含まれる複数のコーナーのそれぞれを基準として設定した複数のコーナー周辺領域に含まれる画素の輝度を算出することを特徴とする作業機械の周囲監視装置。
3. 請求項１又は２に記載の作業機械の周囲監視装置において、
   前記第２領域は、前記カメラの設置高さ、前記カメラのレンズ歪み、および前記画像内における前記カメラからの距離の少なくとも１つに基づいて設定されることを特徴とする作業機械の周囲監視装置。
4. 請求項１又は２に記載の作業機械の周囲監視装置において、
   前記画像を利用して前記作業機械を含む俯瞰画像を作成する画像合成部と、
   前記障害物検知部によって検知された前記障害物の位置を前記俯瞰画像上に表示する表示部とをさらに備えることを特徴とする作業機械の周囲監視装置。
5. 請求項１又は２に記載の作業機械の周囲監視装置を備えることを特徴とする作業機械。

Images