JP6878221B2

JP6878221B2 - 作業機械の障害物検知システム

Info

Publication number: JP6878221B2
Application number: JP2017174549A
Authority: JP
Inventors: 和也杉本; 川股　幸博; 幸博川股; 善文福田; 啓範石井; 舜辻村
Original assignee: Hitachi Construction Machinery Co Ltd
Current assignee: Hitachi Construction Machinery Co Ltd
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2021-05-26
Anticipated expiration: 2037-09-12
Also published as: JP2019049918A

Description

本発明は、カメラで取得された画像中の障害物を検知する作業機械の障害物検知システムに関する。

鉱山等の不整地環境下で稼働する作業機械として、例えば、地面を掘削する油圧ショベルや、地面を整地するホイールローダ、土砂を運搬するダンプトラック等がある。前述した作業機械の中でも、特に、全高が７ｍ以上ある超大型のダンプトラックは、オペレータが直接視認することができない死角が多く存在する。このような理由などから、作業機械がその周囲の障害物（詳細には、他の車両や人などの移動物）と接触する事故が発生する可能性がある。

そこで、作業機械のオペレータに注意を促すための作業機械の障害物検知システムが提唱されている（例えば、特許文献１参照）。特許文献１の障害物検知システムは、作業機械の周囲を撮影するカメラと、カメラで取得された画像中の障害物を検知する画像処理装置と、画像処理装置で処理された画像を表示する表示装置とを備える。

特許文献１の画像処理装置は、例えばカメラで取得された現在の画像と過去の画像とを比較して両画像の画素間に関する動きベクトル（オプティカルフロー）を算出し、動きベクトルに基づいて障害物の領域を検出する。あるいは、例えば現在の画像の画素値と予め作成された背景モデル画像の画素値との差分に基づいて障害物の領域を検出する。

特許文献２は、画像中の障害物の領域を検出する他の方法を開示している。この方法では、現在の画像の画素値と過去の画像の画素値との差分に基づいて複数の差分領域とそれら領域間の輪郭を算出する。また、現在の画像と過去の画像を比較して両画像の画素間に関する動きベクトルを算出し、互いに同じとみなせる動きベクトルを有する現在の画像の画素を集約して動きベクトル発生領域を取得する。そして、複数の輪郭のうち、動きベクトル発生領域に対応する輪郭を抽出し、それらの輪郭で囲まれた領域を障害物の領域として検出する。

特開２０１３−２２２２５４号公報

特開２０１５−１３８３１９号公報

上述した通り、特許文献１では、現在の画像と過去の画像を比較して動きベクトルを算出し、動きベクトルに基づいて障害物の位置を検知する方法を採用するか、若しくは、現在の画像の画素値と背景モデル画像の画素値との差分に基づいて障害物の位置を検知する方法を採用する。前者の方法では、障害物の全体に輝度差が無い場合に、障害物の全体に対して動きベクトルを算出することが困難となり、障害物の位置の検知精度が低下する。そのため、前者の方法より後者の方法のほうが、障害物の位置の検知精度を高めることが可能である。

しかし、鉱山等の不整地環境下では、障害物の走行や作業によって地形の変化が生じており、後者の方法では、地形の変化に対応することができず、誤検知を招く可能性がある。具体的に説明すると、障害物である他の車両が走行した際に、その軌跡上で轍が発生する。また、障害物である油圧ショベルやホイールローダが作業した際に、その軌跡上で地形が変化する。そして、現在の画像の画素値と背景モデル画像の画素値との差分には、障害物だけでなく地形の変化も含まれてしまうため、誤検知を招く可能性がある。

また、仮に、特許文献２に記載の方法を採用した場合でも、障害物の輪郭と地形の変化部分の輪郭が連続して区別できず、誤検知を招く可能性がある。

本発明は、上述の事柄に鑑みてなされたものであり、その目的は、障害物の走行又は作業による地形の変化が原因となる誤検知を防止しつつ、検知精度を高めることができる作業機械の障害物検知システムを提供することにある。

上記目的を達成するために、本発明は、作業機械の周囲を撮影するカメラと、前記カメラで取得された画像中の障害物を検知する画像処理装置と、前記画像処理装置で処理された画像を表示する表示装置とを備えた作業機械の障害物検知システムにおいて、前記画像処理装置は、前記カメラで取得された画像を時系列的に記憶する第１記憶部と、前記カメラで取得された現在の画像の画素値と予め作成された背景モデル画像の画素値との差分に基づいて差分発生領域を算出する背景差分算出部と、前記現在の画像と直前の画像とを比較して両画像間の画素に関する動きベクトルを算出し、互いに同じとみなせる動きベクトルを有する前記現在の画像の画素を集約して動きベクトル発生領域を取得する動きベクトル算出部と、前記動きベクトル算出部で取得された動きベクトル発生領域の面積が所定の閾値以上である場合に、前記動きベクトル発生領域の位置情報に基づいて、前記障害物が存在する領域を示す少なくとも１つの障害物位置推定領域を生成する障害物位置推定部と、前記障害物位置推定部で生成された前記障害物位置推定領域を時系列的に記憶する第２記憶部と、前記第２記憶部に記憶された前記障害物位置推定領域の履歴情報に基づいて前記障害物の移動経路領域を算出する移動経路領域算出部と、前記背景差分算出部で算出された差分発生領域から、前記移動経路領域算出部で算出された移動経路領域を除外することにより、前記障害物の位置検出領域を生成する障害物位置検出部と、前記カメラで取得された前記現在の画像に、前記障害物位置検出部で生成された障害物の位置検出領域を示す領域マーカを重畳して合成画像を生成し、この合成画像を前記表示装置へ出力する合成画像生成部とを備える。

本発明では、現在の画像の画素値と背景モデル画像の画素値との差分に基づいて差分発生領域を算出し、これに基づいて障害物の位置を検知する。これにより、現在の画像と直前の画像とを比較して動きベクトルを算出し、これに基づいて障害物の位置を検知する場合と比べ、検知精度を高めることができる。

しかし、前述した差分発生領域には、障害物の走行又は作業による地形の変化部分を含む可能性がある。そのため、本発明では、動きベクトル発生領域の位置情報に基づいて障害物位置推定領域を生成し、障害物位置推定領域の履歴情報に基づいて障害物の移動経路領域を算出する。この移動経路領域は、障害物の走行又は作業による地形の変化が現れる領域である。そのため、差分発生領域から移動経路領域を除外することにより、地形の変化が原因となる誤検知を防止することができる。

本発明の第１の実施形態におけるダンプトラックの構造を表す側面図である。本発明の第１の実施形態における障害物検知システムの構成を表す外観図である。本発明の第１の実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。本発明の第１の実施形態における現在の画像及び直前の画像の具体例を表す図である。本発明の第１の実施形態における画像処理装置の処理内容を表すフローチャートである。本発明の第１の実施形態における背景モデル画像の具体例を表す図である。本発明の第１の実施形態における差分発生領域の具体例を示す図である。本発明の第１の実施形態における動きベクトルの一例と動きベクトル発生領域の具体例を示す図である。本発明の第１の実施形態における現在の障害物の位置推定領域の具体例を示す図である。本発明の第１の実施形態における障害物の移動経路領域の算出方法を説明するための図である。本発明の第１の実施形態における障害物の位置検出領域の具体例を示す図である。本発明の第１の実施形態における合成画像の具体例を表す図である。本発明の第２の実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。本発明の第２の実施形態における画像処理装置の処理内容を表すフローチャートである。本発明の第２の実施形態における静止状態の障害物と動作状態の障害物を説明するための図である。本発明の第２の実施形態における過去の画像の具体例を表す図であり、過去の障害物位置推定領域の具体例を示す。本発明の第２の実施形態における現在の画像の具体例を表す図であり、現在の障害物位置推定領域の具体例を示す。本発明の第２の実施形態における障害物の移動経路領域の具体例を示す図である。本発明の第２の実施形態における差分発生領域の具体例を示す図である。本発明の第２の実施形態における障害物の位置検出領域の具体例を示す図である。本発明の第２の実施形態における合成画像の具体例を表す図である。本発明の第３の実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。本発明の第３の実施形態における画像処理装置の処理内容を表すフローチャートである。本発明の第３の実施形態における第１過去及び第２過去の画像の具体例を表す図であり、第１過去及び第２過去の障害物位置推定領域の具体例を示す。本発明の第３の実施形態における第３過去の画像の具体例を表す図であり、第３過去の障害物位置推定領域と地形変化領域の具体例を示す。本発明の第３の実施形態における現在の画像の具体例を表す図であり、現在の障害物位置推定領域の具体例を示す。本発明の第３の実施形態における障害物の移動経路領域の具体例を地形変化領域と共に示す図である。本発明の第３の実施形態における差分発生領域の具体例を示す図である。本発明の第３の実施形態における障害物の位置検出領域の具体例を示す図である。本発明の第３の実施形態における合成画像の具体例を表す図である。本発明の一変形例における合成画像の具体例を表す図である。

以下、本発明の適用対象として、鉱山等の不整地環境下で稼働するダンプトラックを例にとり、本発明の実施形態を説明する。

本発明の第１の実施形態を、図面を参照しつつ説明する。図１は、本実施形態におけるダンプトラックの構造を表す側面図である。図２は、本実施形態における障害物検知システムの構成を表す外観図である。図３は、本実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。

ダンプトラック１は、前輪２及び後輪３を有する車体フレーム４と、車体フレーム４の後部にピン結合部５を介し傾動可能に設けられたベッセル６と、車体フレーム４の前部に配置された運転室７とを備えている。ベッセル６は、土砂等を積載するための荷台であり、左右一対の起伏シリンダ８（油圧シリンダ）の伸縮によって起伏するようになっている。ベッセル６の前側上部には、運転室７を保護するための庇部９が設けられている。図示しないものの、運転室７の内部には、シフトレバー、操舵用のハンドル、アクセルペダル、及びブレーキペダル等が設置されている。

ダンプトラック１は、ダンプトラック１のオペレータに注意を促すための障害物検知システムを備えている。本実施形態の障害物検知システムは、ダンプトラック１の周囲を撮影するカメラ１１と、カメラ１１で取得された画像中の障害物を検知する画像処理装置１２（コントローラ）と、画像処理装置１２で処理された画像を表示する表示装置１３（モニタ）とで構成されている。

カメラ１１は、例えば図１で示すように、車体フレーム４の前部の幅方向中央に俯角（下向きの角度）で取付けられており、ダンプトラック１の前方の視野範囲ＡＲを撮影する。カメラ１１は、所定の周期で画像を取得して画像処理装置１２へ出力するようになっている。

画像処理装置１２及び表示装置１３は、運転室７内に設置されている。画像処理装置１２は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等で構成されており、機能的構成として、画像記憶部１４（第１記憶部）、障害物検知部１５、合成画像生成部１６、及び自機停車判定部（図示せず）を有している。

画像記憶部１４は、カメラ１１からの画像を順次入力して時系列に記憶しており、記憶した画像が上限枚数（例えば３０枚）に達すれば、最古の画像を削除して最新（現在）の画像３１を記憶する。また、画像記憶部１４は、合成画像生成部１６へ現在の画像３１を出力する。

図４（ａ）は、現在の画像３１の具体例を表す図である。図４（ｂ）は、過去の画像群３３に含まれる直前の画像３２の具体例を表す図である。この具体例では、ホイールローダ（障害物）が走行し、その軌跡上に轍が発生する場合を想定している。画像３１等には、自機構造物３４（詳細には、ダンプトラック１の車体フレーム４の前端）が映っている。

障害物検知部１５は、背景差分算出部１７、動きベクトル算出部１８、障害物位置推定部１９、移動経路領域算出部２０、障害物位置検出部２１、及び記憶部２２（第２記憶部）を有している。障害物検知部１５は、画像記憶部１４から現在の画像３１等を入力し、現在の画像３１等に対して画像処理を行うことにより、現在の画像３１中の障害物の位置検出領域を生成する（詳細は後述）。なお、時間短縮のため、画像の全体でなく対象範囲３５に対して処理を行うように設定されている。但し、画像の全体に対して処理を行ってもよい。

合成画像生成部１６は、画像記憶部１４からの現在の画像３１に、障害物検知部１５で生成された障害物の位置検出領域を示す領域マーカを重畳して合成映像を生成し、この合成映像を表示装置１３へ出力するようになっている（詳細は後述）。

自機停車判定部は、例えば速度センサ（図示せず）で検出された自機（ダンプトラック１）の走行速度を入力するか、若しくはシフトレバーの操作位置を入力しており、これに基づいて自機が停車しているか否かを判定する。そして、その判定情報を、画像記憶部１４及び障害物検知部１５に出力する。画像記憶部１４は、自機の停車後に記憶された画像の枚数をカウントし、そのカウント情報を障害物検知部１５の背景差分算出部１７へ出力する。

次に、本実施形態の画像処理装置１２の処理手順を説明する。図５は、本実施形態における画像処理装置１２の処理内容を表すフローチャートである。

まず、ステップＳ１０１にて、背景差分算出部１７は、画像記憶部１４からのカウント情報により、自機の停車後に記憶された画像が予め設定された所定枚数（例えば１０枚）以上であるか否かを判定する。自機の停車後に記憶された画像が所定枚数未満である場合は、ステップＳ１０１の判定がＮＯとなり、その判定が繰り返される。自機の停車後に記憶された画像が所定枚数以上である場合は、ステップＳ１０１の判定がＹＥＳとなり、ステップＳ１０２に移る。ステップＳ１０２にて、背景差分算出部１７は、自機の停車後に記憶された所定枚数の画像を画像記憶部１４から入力し、それらの画像に基づき背景モデル画像３６を作成して、画像記憶部１４に記憶する。図６は、背景モデル画像３６の具体例を表す図であり、この具体例では、背景モデル画像３６に障害物が存在していない。

そして、ステップＳ１０３に進み、背景差分算出部１７は、自機停車判定部からの判定情報に基づき、背景モデル画像３６を作成したときから、自機の停車状態が継続しているか否かを判定する。自機の停車状態が継続していない場合は、ステップＳ１０３の判定がＮＯとなり、ステップＳ１０１に戻って上記同様の手順を繰り返す。自機の停車が継続している場合は、ステップＳ１０３の判定がＹＥＳとなり、ステップＳ１０４及びＳ１０５に移る。

ステップＳ１０４にて、背景差分算出部１７は、画像記憶部１４から現在の画像３１と背景モデル画像３６を入力し、それらの画素値間の差分に基づいて差分発生領域を算出する。詳細には、現在の画像３１と背景モデル画像３６に対し、対象範囲３５内の画素毎の輝度値の差分を算出し、輝度値の差分が所定の閾値（例えば３０階調）以上は白、所定の閾値未満は黒とする二値化処理を行う。図７は、差分発生領域の具体例を示す図である。この具体例では、図４（ａ）の現在の画像３１の画素値と図５の背景モデル画像３６の画素値との差分に基づいて算出された差分発生領域３７を示している。なお、差分発生領域（並びに、後述する障害物位置推定領域、移動経路領域、及び障害物位置検出領域等）は、画像上の位置情報を含むものとする。

一方、ステップＳ１０５にて、動きベクトル算出部１８は、画像記憶部１４から現在の画像３１と直前の画像３２を入力し、例えばブロックマッチング法を用いて画像３１，３２を比較して、画像３１，３２間の画素に関する動きベクトルを算出する。詳細には、直前の画像３２の注目画素３８（図８（ａ）参照）及びその周囲の画素を含む注目ブロックと、この注目ブロックから位置をずらした現在の画像３１の比較画素３９（図８（ａ）参照）及びその周囲の画素を含む比較ブロックとを設定し、注目ブロックと比較ブロックに対して輝度値分布の類似度を算出し、この類似度が高いと判定された場合に注目画素３８から比較画素３９への動きベクトル４０（図８（ａ）参照）を算出する。なお、本実施形態では、動きベクトルの方向を左方向、右方向、上方向、及び下方向のうちのいずれかに大別しており、図８（ａ）の動きベクトル４０の方向は左方向とみなしている。

そして、ステップＳ１０６に進み、動きベクトル算出部１８は、動きベクトルを有する現在の画像３１の画素に対し、動きベクトルの方向が左方向、右方向、上方向、及び下方向のうちのいずれかで同じであるとみなせて且つ隣り合うものがあれば、それらを集約して動き発生ベクトル領域を取得する。図８（ｂ）は、動きベクトル発生領域の具体例を示す図であり、便宜上、現在の画像３１中のホイールローダ（障害物）に対し重畳して示している。この具体例では、１台のホイールローダの走行に起因した２つの動きベクトル発生領域４１Ａ，４１Ｂを取得している。

そして、ステップＳ１０７に進み、障害物位置推定部１９は、動きベクトル算出部１８で取得された動きベクトル発生領域の面積が所定の閾値（例えば対象範囲３５の面積の０．５％）以上であるか否かを判定する。動きベクトル発生領域の面積が所定の閾値以上である場合は、現在の画像３１中に動作状態の障害物が存在すると推定する。そして、動きベクトル算出部１８で取得された動きベクトル発生領域が１つである場合は、その動きベクトル発生領域の位置情報に基づいて、１つの障害物の存在領域を示す１つの障害物位置推定領域を生成する。詳細には、１つの動きベクトル発生領域を包含する矩形状の障害物位置推定領域を、面積が極力小さくなるように設定する。

動きベクトル算出部１８で取得された動きベクトル発生領域が２つある場合は、２つの動きベクトル発生領域に対し、それらの動きベクトルの方向が同じであるとみなせて且つそれらの中心間距離が所定の閾値（例えば３０ピクセル）以下であるか否かを判定する。動きベクトルの方向が同じであるとみなせて且つ中心間距離が所定の閾値以下である場合は、現在の画像３１中に１つの動作状態の障害物が存在すると推定する。そのため、図９で示すように、２つの動きベクトル発生領域４１Ａ，４１Ｂの位置情報に基づいて、１つの障害物の存在領域を示す１つの障害物位置推定領域４２を生成する。詳細には、２つの動きベクトル発生領域４１Ａ，４１Ｂを包含する矩形状の障害物位置推定領域４２を、面積が極力小さくなるように設定する。

動きベクトルの方向が異なるか、若しくは、中心間距離が所定の閾値を超えれば、現在の画像３１中に２つの動作状態の障害物が存在すると推定する。そのため、２つの動きベクトル発生領域の位置情報に基づいて、２つの障害物の存在領域をそれぞれ示す２つの障害物位置推定領域を生成する。詳細には、一方の動きベクトル発生領域を包含する一方の矩形状の障害物位置推定領域を、面積が極力小さくなるように設定すると共に、他方の動きベクトル発生領域を包含する他方の矩形状の障害物位置推定領域を、面積が極力小さくなるように設定する。上述のように生成された障害物位置推定領域は、障害物が動作状態であることや動きベクトルの方向と関連付けられて、記憶部２２に時系列的に記憶される。

また、障害物位置推定部１９は、動きベクトル算出部１８で取得された動きベクトル発生領域の面積が所定の閾値未満である場合に、現在の画像３１中に静止状態の障害物が存在するか否かを推定する。具体的には、例えば背景差分算出部１７で算出された差分発生領域の面積が所定の閾値（例えば対象範囲３５の面積の０．５％）以上であれば、現在の画像３１中に静止状態の障害物が存在すると推定する。あるいは、例えば記憶部２２で記憶された直前の障害物位置推定領域（又はこれを含む過去数回分の障害物位置推定領域）が対象範囲３５の縁側以外の部分（言い換えれば、中央の部分）に位置すれば、現在の画像３１中に静止状態の障害物が存在すると判定する。

現在の画像３１中に静止状態の障害物が存在すると推定した場合は、記憶部２２で記憶された直前の障害物位置推定領域（又はこれを含む過去数回分の障害物位置推定領域）に基づいて現在の障害物位置推定領域を生成する。このように生成された障害物位置推定領域は、障害物が静止状態であることと関連付けられて、記憶部２２に時系列的に記憶される。

そして、ステップＳ１０８に進み、移動経路領域算出部２０は、記憶部２２に記憶された障害物位置推定領域の履歴情報に基づいて、障害物の移動経路領域を算出する。詳細には、過去の障害物位置推定領域群４３（図１０（ａ）参照）と現在の障害物位置推定領域４２（図９及び図１０（ａ）参照）との差分によって障害物の移動経路領域４４（図１０（ｂ）参照）を算出する。

そして、ステップＳ１０９に進み、障害物位置検出部２１の地形変化差分除外部２３は、ステップＳ１０４にて背景差分算出部１７で算出された差分発生領域３７（図７参照）から、ステップＳ１０８にて移動経路領域算出部２０で算出された障害物の移動経路領域４４（図１０参照）を除外することにより、障害物の位置検出領域４５（図１１参照）を生成する。このようにして生成された障害物の位置検出領域４５は、上述した障害物位置推定領域と同様、障害物が静止状態又は動作状態であることと関連付けられて、記憶部２２に時系列的に記憶されてもよい。

そして、ステップＳ１１０に進み、合成画像生成部１６は、障害物位置検出部２１で生成された障害物の位置検出領域の面積が所定の閾値（例えば対象範囲３５の面積の０．５％）以上であるか否かを判定する。図１１で示す具体例では、障害物の位置検出領域４５の面積が所定の閾値以上であるから、ステップＳ１１０の判定がＹＥＳとなり、ステップＳ１１１に移る。ステップＳ１１１にて、合成画像生成部１６は、画像記憶部１４からの現在の画像３１（原画像）に、障害物位置検出部２１で生成された障害物の位置検出領域４５を示す領域マーカ４６を重畳して合成画像４７を生成する（図１２参照）。詳細には、障害物の位置検出領域４５を包含する矩形状の領域マーカ４６を、面積が極力小さくなるように設定する。そして、合成画像４７を、表示装置１３に出力して表示させる。

障害物位置検出部２１で算出された障害物の位置検出領域の面積が閾値未満である場合は、ステップＳ１１０の判定がＮＯとなり、ステップＳ１１２に移る。ステップＳ１１２にて、合成画像生成部１６は、画像記憶部１４からの現在の画像３１（原画像）をそのまま、表示装置１３に出力して表示させる。

以上のように構成された本実施形態においては、現在の画像３１の画素値と背景モデル画像３６の画素値との差分に基づいて差分発生領域３７を算出し、これに基づいて障害物の位置を検知する。これにより、現在の画像３１と直前の画像３２とを比較して動きベクトルを算出し、これに基づいて障害物の位置を検知する場合と比べ、検知精度を高めることができる。

しかし、前述した差分発生領域３７には、障害物の走行又は作業による地形の変化部分を含む可能性がある。そのため、本実施形態では、動きベクトル発生領域の位置情報に基づいて障害物位置推定領域を生成し、障害物位置推定領域の履歴情報に基づいて障害物の移動経路領域４４を算出する。この移動経路領域４４は、障害物の走行又は作業による地形の変化が現れる領域である。そのため、差分発生領域３７から移動経路領域４４を除外することにより、地形の変化が原因となる誤検知を防止することができる。すなわち、領域マーカ４６が地形の変化部分に重畳されるのを防止することができる。

したがって、ダンプトラック１のオペレータに障害物の位置を正確に示すことでき、ダンプトラック１の操作を支援することができる。

本発明の第２の実施形態を、図面を参照しつつ説明する。図１３は、本実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。図１４は、本実施形態における画像処理装置の処理内容を表すフローチャートである。なお、本実施形態において、第１の実施形態と同等の部分は同一の符号を付し、適宜、説明を省略する。

本実施形態の画像処理装置１２Ａの障害物検知部１５は、背景差分算出部１７、動きベクトル算出部１８、障害物位置推定部１９Ａ、移動経路領域算出部２０、障害物位置検出部２１Ａ、及び記憶部２２を有している。本実施形態の障害物位置推定部１９Ａは、第１の実施形態の障害物位置推定部１９に対し、図１４のステップＳ１１３で示す障害物の識別機能が付加又は変更されている（詳細は後述）。また、本実施形態の障害物位置検出部２１Ａは、第１の実施形態の障害物位置検出部２１に対し、図１４のステップＳ１０９Ａで示す障害物の位置検出領域の生成機能が付加又は変更されている（詳細は後述）。

鉱山では、ダンプトラック１のオペレータの交代のため、例えば図１５で示すように、ダンプトラック１の周囲に車両５１が停車し、停車中の車両５１から人５２（交代要員）が降り、人５２がダンプトラック１（自機）に向かって近づく場合がある。すなわち、カメラ１１で取得された画像上に静止状態の車両５１（第１障害物）と動作状態の人５２（第２障害物）が現れる場合がある。そして、人５２の移動経路領域が現在の車両５１の位置検出領域に重なり、車両５１の位置の検知精度を損なう可能性がある。本実施形態の画像処理装置１２Ａは、このような課題に対応する機能を有するものであり、その詳細を説明する。

まず、停車中の車両５１から人５２が降りる時点で、そのときに取得された画像５３（図１６参照）の処理を説明する。画像処理装置１２Ａの動きベクトル算出部１８は、人５２の動きに起因した動きベクトル発生領域を取得する。本実施形態の障害物位置推定部１９Ａは、記憶部２２から直前の車両５１の位置検出領域と車両５１が静止状態であることを取得した場合に、直前の車両５１の位置検出領域と前述した動きベクトル発生領域との重複率を算出し、この重複率が予め設定された所定範囲（例えば１０〜３０％）内にあるか否かを判定し、この判定結果に基づいて障害物を識別するようになっている。

仮に、重複率が所定範囲の上限値（３０％）を超える場合は、画像５３中に動作状態の車両５１が存在すると推定する。すなわち、車両５１が静止状態から動作状態に変わったと推定する。そのため、その時点の車両５１の位置推定領域を、動きベクトル算出部１８で取得された動きベクトル発生領域の位置情報に基づいて生成する。仮に、重複率が所定範囲の下限値（１０％）未満である場合は、画像５３中に静止状態の車両５１が存在するものの、動作状態の人５２が存在しないと推定する。そのため、その時点の車両５１の位置推定領域を、記憶部２２で記憶された直前の車両５１の位置推定領域（又はこれを含む過去数回分の車両５１の位置推定領域）に基づいて生成する。

重複率が所定範囲内にある場合は、画像５３中に静止状態の車両５１と動作状態の人５２が存在すると推定する。そのため、その時点の車両５１の位置推定領域５４を、記憶部２２で記憶された直前の車両５１の位置推定領域（又はこれを含む過去数回分の車両５１の位置推定領域）に基づいて生成する。また、その時点の人５２の位置推定領域５５を、動きベクトル算出部１８で取得された動きベクトル発生領域の位置情報に基づいて生成する。このように生成された障害物位置推定領域は、障害物の識別番号（例えば車両＝１、人＝２）が付与されるとともに、障害物が静止状態又は動作状態であることと関連付けられて、記憶部２２に時系列的に記憶される。

次に、車両５１から降りた人５２が自機に近づいている時点で、そのときに取得された画像５６（図１７参照）の処理を説明する。画像処理装置１２Ａの動きベクトル算出部１８は、人５２の動きに起因した動きベクトル発生領域を取得する。本実施形態の障害物位置推定部１９Ａは、前述した重複率が所定範囲内にないものの、記憶部２２で記憶された少なくとも直前の車両５１の位置推定領域及び少なくとも直前の人５２の位置推定領域に基づき、画像５６中に静止状態の車両５１と動作状態の人５２が存在すると推定する。そのため、現在の車両５１の位置推定領域５４を、記憶部２２で記憶された直前の車両５１の位置推定領域５４（又はこれを含む過去数回分の車両５１の位置推定領域５４）に基づいて生成する。また、現在の人５２の位置推定領域５７を、動きベクトル算出部１８で取得された動きベクトル発生領域の位置情報に基づいて生成する。このように生成された障害物位置推定領域は、障害物の識別番号が付与されるとともに、障害物が静止状態又は動作状態であることと関連付けられて、記憶部２２に時系列的に記憶される。

そして、移動経路領域算出部２０は、記憶部２２に記憶された車両５１の位置推定領域の履歴情報に基づいて車両５１の移動経路領域を算出する。詳細には、過去の車両５１の位置推定領域群（図示せず）と現在の車両５１の位置推定領域５４との差分によっての移動経路領域５８（図１８参照）を算出する。また、記憶部２２に記憶された人５２の位置推定領域の履歴情報に基づいて人５２の移動経路領域を算出する。詳細には、過去の人５２の位置推定領域群（位置推定領域５５を含むもの）と現在の人５２の位置推定領域５７との差分によって人５２の移動経路領域５９（図１８参照）を算出する。

背景差分算出部１７は、画像５６の画素値と背景モデル画像３６の画素値との差分に基づいて差分発生領域６０（図１９参照）を算出する。そして、本実施形態の障害物位置検出部２１Ａの地形変化差分除外部２３Ａは、背景差分算出部１７で算出された差分発生領域６０から、車両５１の移動経路領域５８と、人５２の移動経路領域５９のうちの現在の車両５１の位置推定領域５４と重複していない部分を除外することにより、車両５１の位置検出領域６１Ａ（図２０参照）及び人５２の位置検出領域６１Ｂ（図２０参照）を生成する。

合成画像生成部１６は、画像記憶部１４からの画像５６に、障害物位置検出部２１Ａで生成された車両５１の位置検出領域６１Ｂ及び人５２の位置検出領域６１Ｂをそれぞれ示す領域マーカ６２Ａ，６２Ｂを重畳して合成画像６３（図２１参照）を生成し、この合成画像６３を表示装置１３へ出力して表示させる。

したがって、本実施形態では、人５２の移動経路領域が車両５１の位置検出領域に重なっても、車両５１の位置の検知精度を維持することができる。

なお、第２の実施形態においては、障害物位置検出部２１Ａは、背景差分算出部１７で算出された差分発生領域から、移動経路領域算出部２０で算出された車両５１（第１障害物）の移動経路領域と、移動経路領域算出部２０で算出された人５２（第２障害物）の移動経路領域のうちの現在の車両５１の位置推定領域と重複していない部分を除外することにより、車両５１の位置検出領域と人５２の位置検出領域を取得する場合を例にとって説明したが、これに限られず、本発明の趣旨及び技術思想を逸脱しない範囲内で変形が可能である。

例えば、移動経路領域算出部２０は、人５２（第２障害物）の位置推定領域の履歴情報に基づいて人５２の移動経路領域を算出し、この人５２の移動経路領域から現在の車両５１（第１障害物）の位置推定領域との重複部分を削除して新たな移動経路領域を生成し、この新たな移動経路領域を人５２の移動経路領域として再設定してもよい。そして、障害物位置検出部２１の地形変化差分除外部２３Ａは、背景差分算出部１７で算出された差分発生領域から、移動経路領域算出部２０で算出された車両５１の移動経路領域と、移動経路領域算出部２０で再設定された人５２の移動経路領域を除外することにより、車両５１の位置検出領域と人５２の位置検出領域を取得してもよい。この場合も、上記同様の効果を得ることができる。

本発明の第３の実施形態を、図面を参照しつつ説明する。図２２は、本実施形態における画像処理装置の機能的構成を関連機器と共に表すブロック図である。図２３は、本実施形態における画像処理装置の処理内容を表すフローチャートである。なお、本実施形態において、第１及び第２の実施形態と同等の部分は同一の符号を付し、適宜、説明を省略する。

本実施形態の画像処理装置１２Ｂの障害物検知部１５は、背景差分算出部１７、動きベクトル算出部１８、障害物位置推定部１９Ｂ、移動経路領域算出部２０、障害物位置検出部２１Ｂ、及び記憶部２２を有している。本実施形態の障害物位置推定部１９Ｂは、第１の実施形態の障害物位置推定部１９に対し、図２３のステップＳ１１４で示す地形変化領域の推定機能が付加又は変更されている（詳細は後述）。また、本実施形態の障害物位置検出部２１Ｂは、第１の実施形態の障害物位置検出部２１に対し、図２３のステップＳ１０９Ｂで示す障害物の位置検出領域の生成機能が付加又は変更されている（詳細は後述）。

鉱山では、ホイールローダが土砂を押し出しながら前進し、その後、ホイールローダが後退して土砂から離れるような場合がある。このとき、ホイールローダと土砂が離れても土砂が暫く動くため、土砂を障害物として誤検知する可能性がある。画像処理装置１２Ｂは、このような課題に対応する機能を有するものであり、その詳細を説明する。

まず、ホイールローダが土砂を押し出しながら前進する時点で、そのときに取得された画像７１Ａ又は７１Ｂ（図２４（ａ）又は図２４（ｂ）参照）の処理を説明する。画像処理装置１２Ｂの動きベクトル算出部１８は、ホイールローダの動きに起因した動きベクトル発生領域と土砂の動きに起因した動きベクトル発生領域を取得する。本実施形態の障害物位置推定部１９Ｂは、第１の実施形態の障害物位置推定部１９と同様、２つの動きベクトル発生領域に対し、それらの動きベクトルの方向が同じであるとみなせて且つそれらの中心間距離が所定の閾値以下であるか否かを判定する。この場合、動きベクトルの方向が同じであるとみなせて且つ中心間距離が所定の閾値以下であることから、２つの動きベクトル発生領域に基づいて１つの障害物の位置推定領域７２Ａ又は７２Ｂを生成し、記憶部２２に記憶する。

次に、ホイールローダが後退を開始した時点で、そのときに取得された画像７１Ｃ（図２５参照）の処理を説明する。画像処理装置１２Ｂの動きベクトル算出部１８は、ホイールローダの動きに起因した動きベクトル発生領域と土砂の動きに起因した動きベクトル発生領域を取得する。本実施形態の障害物位置推定部１９Ｂは、上記と同様、２つの動きベクトル発生領域に対し、それらの動きベクトルの方向が同じであるとみなせて且つそれらの中心間距離が所定の閾値以下であるか否かを判定する。この場合、動きベクトルの方向が異なるか、若しくは、中心間距離が所定の閾値を超えることから、２つの動きベクトル発生領域に基づいて２つの障害物の位置推定領域７２Ｃ，７３をそれぞれ生成する。すなわち、障害物位置推定領域の個数が増加する。

ここで、本実施形態の障害物位置推定部１９Ｂは、前回取得した１つの障害物の位置推定領域７２Ｂと今回取得した２つの障害物位置推定領域７２Ｃ，７３の全体との中心間距離を算出し、この中心間距離が所定の閾値（例えば３０ピクセル）以下であるか否かを判定する。仮に、中心間距離が所定の閾値を超える場合は、画像７１Ｃ中に２つの動作状態の障害物が存在すると推定する。しかし、この場合は中心間距離が所定の閾値以下であることから、１つの障害物位置推定領域から２つの障害物位置推定に分別されたものと推定する。そのため、２つの位置推定領域７２Ｃ，７３のうち、面積が最も大きいほうの位置推定領域７２Ｃを真の位置推定領域として記憶部２２に記憶し、残りの位置推定領域７３を地形変化領域として記憶部２２に記憶する（地形変化領域の推定機能）。

次に、ホイールローダがさらに後退した時点で、そのときに取得された画像７４（図２６参照）の処理を説明する。画像処理装置１２Ｂの動きベクトル算出部１８は、ホイールローダの動きに起因した動きベクトル発生領域を取得する。本実施形態の障害物位置推定部１９Ｂは、第１の実施形態の障害物位置推定部１９と同様、１つの動きベクトル発生領域に基づいて１つの障害物の位置推定領域７５を生成する。そして、移動経路領域算出部２０は、記憶部２２に記憶された障害物の位置推定領域の履歴情報に基づいて障害物の移動経路領域を算出する。詳細には、過去の障害物の位置推定領域群（位置推定領域７２Ａ，７２Ｂ，７２Ｃを含むもの）と現在の障害物の位置推定領域７５との差分によって障害物の移動経路領域７６（図２７参照）を算出する。

背景差分算出部１７は、画像７４の画素値と背景モデル画像３６の画素値との差分に基づいて差分発生領域７７（図２８参照）を算出する。そして、本実施形態の障害物位置検出部２１Ｂの地形変化差分除外部２３Ｂは、背景差分算出部１７で算出された差分発生領域７７から、移動経路領域算出部２０で算出された障害物の移動経路領域７６と、記憶部２２で記憶された地形変化領域７３を除外することにより、障害物の位置検出領域７８（図２９参照）を算出する。

合成画像生成部１６は、画像記憶部１４からの画像７４に、障害物位置検出部２１Ｂで生成された障害物の位置検出領域７８を示す領域マーカ７９を重畳して合成画像８０（図３０参照）を生成し、この合成画像８０を表示装置１３へ出力して表示させる。

したがって、本実施形態では、土砂を障害物として誤検知するのを防止することができる。

なお、第１〜第３の実施形態において、画像処理装置の合成画像生成部１６は、合成画像を生成するとき、障害物の位置検出領域を示す領域マーカのみを重畳する場合を例にとって説明したが、これに限られず、本発明の趣旨及び技術思想を逸脱しない範囲内で変形が可能である。すなわち、合成画像生成部１６は、合成画像を生成するとき、障害物の動作状態及び動作方向（本変形例では、左方向、右方向、上方向、及び下方向のうちのいずれか）を示すマーカ８１Ａ（図３１（ａ）参照）と、障害物の静止状態（言い換えれば、動作方向なし）を示すマーカ８１Ｂ（図３１（ｂ）参照）を選択的に重畳してもよい。このような変形例では、ダンプトラック１のオペレータに障害物の状態を示すことができ、ダンプトラック１の操作をさらに支援することができる。

また、第１〜第３の実施形態において、カメラ１１は、ダンプトラック１の前側のみに設けられた場合を例にとって説明したが、これに限られず、本発明の趣旨及び技術思想を逸脱しない範囲内で変形が可能である。すなわち、カメラは、例えばダンプトラック１の前側、後側、左側、及び右側のうちの少なくとも１箇所に設けられていればよい。例えばダンプトラック１の前側、後側、左側、及び右側の４箇所にカメラが設けられた場合は、４つのカメラで撮影された映像を合成して１つの映像として表示してもよい。このような変形例においても、上記同様の効果を得ることができる。

また、第１〜第３の実施形態において、画像処理装置の自機停車判定部は、速度センサで検出された自機の走行速度若しくはシフトレバーの操作位置に基づいて、自機が停車しているか否かを判定する場合を例にとって説明したが、これに限られず、本発明の趣旨及び技術思想を逸脱しない範囲内で変形が可能である。すなわち、現在の画像と過去の画像の比較によって、自機が停車しているか否かを判定してもよい。このような変形例においても、上記同様の効果を得ることができる。

なお、以上においては、本発明の適用対象の作業機械としてダンプトラックを例にとって説明したが、これに限られず、例えば油圧ショベルやホイールローダ等でもよい。

１ダンプトラック
１１カメラ
１２，１２Ａ，１２Ｂ画像処理装置
１３表示装置
１４画像記憶部（第１記憶部）
１５障害物検知部
１６合成画像生成部
１７背景差分算出部
１８動きベクトル算出部
１９，１９Ａ，１９Ｂ障害物位置推定部
２０移動経路領域算出部
２１，２１Ａ，２１Ｂ障害物位置検出部
２２記憶部（第２記憶部）
３１現在の画像
３２直前の画像
３６背景モデル画像
３７差分発生領域
４０動きベクトル
４１Ａ，４１Ｂ動きベクトル発生領域
４２現在の障害物位置推定領域
４３過去の障害物位置推定領域群
４４障害物の移動経路領域
４５障害物の位置検出領域
４６領域マーカ
４７合成画像
５１車両（第１障害物）
５２人（第２障害物）
５３過去の画像
５４過去及び現在の車両の位置推定領域
５５過去の人の位置推定領域
５６現在の画像
５７現在の人の位置推定領域
５８車両の移動経路領域
５９人の移動経路領域
６０差分発生領域
６１Ａ車両の位置検出領域
６１Ｂ人の位置検出領域
６２Ａ，６２Ｂ領域マーカ
６３合成画像
７１Ａ，７１Ｂ，７１Ｃ過去の画像
７２Ａ，７２Ｂ，７２Ｃ過去の障害物の位置推定領域
７３地形変化領域
７４現在の画像
７５障害物の位置推定領域
７６障害物の移動経路領域
７７差分発生領域
７８障害物の位置検出領域
７９領域マーカ
８０合成画像
８１Ａ，８１Ｂマーカ

Claims

作業機械の周囲を撮影するカメラと、前記カメラで取得された画像中の障害物を検知する画像処理装置と、前記画像処理装置で処理された画像を表示する表示装置とを備えた作業機械の障害物検知システムにおいて、
前記画像処理装置は、
前記カメラで取得された画像を時系列的に記憶する第１記憶部と、
前記カメラで取得された現在の画像の画素値と予め作成された背景モデル画像の画素値との差分に基づいて差分発生領域を算出する背景差分算出部と、
前記現在の画像と直前の画像とを比較して両画像間の画素に関する動きベクトルを算出し、互いに同じとみなせる動きベクトルを有する前記現在の画像の画素を集約して動きベクトル発生領域を取得する動きベクトル算出部と、
前記動きベクトル算出部で取得された動きベクトル発生領域の面積が所定の閾値以上である場合に、前記動きベクトル発生領域の位置情報に基づいて、前記障害物が存在する領域を示す少なくとも１つの障害物位置推定領域を生成する障害物位置推定部と、
前記障害物位置推定部で生成された前記障害物位置推定領域を時系列的に記憶する第２記憶部と、
前記第２記憶部に記憶された前記障害物位置推定領域の履歴情報に基づいて前記障害物の移動経路領域を算出する移動経路領域算出部と、
前記背景差分算出部で算出された差分発生領域から、前記移動経路領域算出部で算出された移動経路領域を除外することにより、前記障害物の位置検出領域を生成する障害物位置検出部と、
前記カメラで取得された前記現在の画像に、前記障害物位置検出部で生成された障害物の位置検出領域を示す領域マーカを重畳して合成画像を生成し、この合成画像を前記表示装置へ出力する合成画像生成部とを備えたことを特徴とする作業機械の障害物検知システム。
請求項１に記載の障害物検知システムにおいて、
前記第２記憶部は、前記障害物が動作状態及び静止状態のいずれであるかと関連付けて、前記障害物位置検出部で生成された障害物の位置検出領域を時系列的に記憶し、
前記障害物位置推定部は、前記第２記憶部から直前の第１障害物の位置検出領域を取得し、前記第１障害物が静止状態である場合に前記位置検出領域と前記動きベクトル発生領域との重複率が予め設定された所定範囲内にあるかどうかを判定し、前記重複率が前記所定範囲内にある場合は、前記動きベクトル発生領域に基づいて、前記第１障害物とは別の第２障害物の存在領域を示す障害物位置推定領域を生成し、
前記移動経路領域算出部は、前記第１障害物の移動経路領域と前記第２障害物の移動経路領域を算出し、
前記障害物位置検出部は、前記背景差分算出部で算出された前記差分発生領域から、前記第１障害物の移動経路領域と、前記第２障害物の移動経路領域のうちの現在の前記第１障害物の位置推定領域と重複していない部分を除外することにより、前記第１障害物の位置検出領域と前記第２障害物の位置検出領域を生成し、
前記合成画像生成部は、前記合成画像を生成するとき、前記第１障害物の位置検出領域を示す第１領域マーカと、前記第２障害物の位置検出領域を示す第２領域マーカを重畳することを特徴とする作業機械の障害物検知システム。
請求項１に記載の作業機械の障害物検知システムにおいて、
前記障害物位置推定部は、前記障害物位置推定領域の個数が増加した場合は、１つの前回取得した障害物位置推定領域と複数の増加した障害物位置推定領域の全体との中心間距離を算出し、この中心間距離が所定の閾値以下である場合には前記複数の増加した障害物位置推定領域は前記１つの前回取得した障害物位置推定領域から分別されたものであると推定し、前記複数の増加した障害物位置推定領域のうち、面積が最も大きいものを真の障害物位置推定領域として前記第２記憶部に記憶し、残りの障害物位置推定領域を地形変化領域として前記第２記憶部に記憶し、
前記障害物位置検出部は、前記背景差分算出部で算出された前記差分発生領域から、前記移動経路領域算出部で算出された前記移動経路領域と、前記地形変化領域を除外することにより、前記障害物の位置検出領域を生成することを特徴とする作業機械の障害物検知システム。
請求項１に記載の作業機械の障害物検知システムにおいて、
前記合成画像生成部は、前記合成画像を生成するとき、前記障害物の位置検出領域を示す領域マーカに加え、前記障害物の動作方向情報を重畳することを特徴とする作業機械の障害物検知システム。