JP6868996B2 - 障害物検知システム及び建設機械 - Google Patents

Description

本発明は、不整地環境下においても障害物の誤検知や未検知を低減することができる障害物検知システム及びそれを備えた建設機械に関する。

オペレータの運転を支援する車載システムの一つに、自車と自車周囲に存在する障害物の接触を防止すべく、自車に搭載したカメラ（車載カメラ）の映像を用いて障害物検知を行い、オペレータに危険予知を促す障害物検知システムがある。中でも、特開２００４−３４１９７９号公報（特許文献１）では、対象物（障害物）が低解像度で撮影された場合やエッジ情報を有しない場合でも対象物を検出できるようにするために、画像情報入力部から所定時間経過ごとに入力される画像上に、比較領域設定部によって比較領域を設定し、その後、障害物検出部において各比較領域の特徴量を計測し、道路前方の変化を時間経過ごとの特徴量の差分値を算出し、これによって障害物の有無を判定する障害物検出装置が記載されている（要約参照）。

特開２００４−３４１９７９号公報

車載カメラを用いた障害物検知システムを、鉱山向けダンプ（以下、鉱山ダンプという）等の建設機械に適用する場合、不整地環境下において障害物検知の処理が行われる。そのため、建設機械が発生する振動や塵埃又は白煙等による映像中の微小なゆれ、或いは轍や落石といった障害物の特徴と似た地面模様など、障害物の誤検知の要因が多数発生する環境下で、オペレータが障害物検知システムを用いることになる。以下、不整地環境下において障害物の誤検知を招く上述したような要因を、不整地環境下における誤検知要因と呼ぶこととする。

特許文献１の障害物検出装置のような従来の障害物検知システムを不整地環境下で使用する場合は、不整地環境下における誤検知要因の影響を緩和すべく、対象物を移動物体としてみなすための移動量の閾値を比較的大きく設定する必要がある。そのため、従来の障害物検知システムを不整地環境下で使用する場合、動きが速い対象物しか検知できず、映像中を低速で移動する対象物や静止した対象物は未検知となる。さらには、路面が舗装された環境では発生しにくい轍や落石といった、障害物の形状や色特徴と似た地面模様を車両や人などの障害物として誤検知することが考えられる。

以上より、従来の障害物検知システムを鉱山ダンプ等の建設機械に適用した場合、オペレータは上述した未検知や誤検知が発生する状況下で作業を行なわなければならない。そのためオペレータには、誤検知による作業への注意分散や、未検知による障害物との接触事故を回避し、作業上の安全を確保するための多大な労力が必要とされる。

本発明の目的は、不整地環境下においても障害物の誤検知や未検知を低減することができる障害物検知システムを提供することにある。

上記目的を達成するために、本発明の障害物検知システムは、
車両の周囲の少なくとも一部の範囲を撮影するカメラと、前記カメラで撮影される映像に基づいて対象物を検知する障害物検知部と、前記障害物検知部により検知された対象物を表示する映像表示機器と、を備えた障害物検知システムにおいて、
前記障害物検知部は、
前記カメラで撮影した映像内に存在する所定速度以上の対象物について、前記映像内の輝度変化に基づいて前記対象物の位置情報を含む移動情報を検知する第１検知部と、
前記第１検知部で検知した前記対象物の前記位置情報に基づいて前記対象物が存在する対象領域を設定する対象領域設定部と、
前記対象領域設定部で設定した対象領域内に存在する前記所定速度に比べて小さい速度の対象物について、特徴部の変化に基づいて前記対象物の移動情報を検知する第２検知部と、を有し、
前記第１検知部及び前記第２検知部の両方で検知を行っている際に、
前記第１検知部で検出された対象物の移動速度が前記所定速度以上である通常移動状態の場合には、前記第２検知部による当該対象物の検知処理を停止して、前記第１検知部により検知された当該対象物を前記映像表示機器に表示させ、
前記第１検知部で検出された対象物の移動速度が前記所定速度に比べて小さい速度である微小移動状態の場合には、前記第１検知部により検知された対象物を非表示とし前記第２検知部により検知された対象物を前記映像表示機器に表示させる。

本発明によれば、不整地環境下においても障害物の誤検知や未検知を低減することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る障害物検知システムの一実施例を示す構成図である。 本発明の一実施例に係る鉱山ダンプの構成を示す図である。 前カメラが撮影した映像と障害物検知システムにて検知した結果の合成映像を作成する例を示す図である。 障害物検知システムにおける処理の流れを示す図である。 第１検知部における処理の流れを示す図である。 現在と過去のカメラ映像の比較を示す図である。 第１検知部における処理を実行している際の様子を示す図である。 第２検知部における処理の流れを示す図である。 第２検知部における処理を実行している際の様子を示す図である。 第１検知および第２検知の検知結果を出力した図である。 実施例３の第１検知部における処理の流れを示す図である。 実施例４の第１検知部における処理の流れを示す図である。

以下、本発明に係る実施例に関して図面を用いて説明する。

本発明に係る実施例は、鉱山ダンプ向け障害物検知システムにおいて、鉱山ダンプの周囲或いは周囲の一部の範囲に存在する車両や人などの障害物を検知する際に、第１検知部（第１検知手段）及び第２検知部（第２検知手段）を用いることで、映像上の複数対象物検知を高速かつ正確に行うことができる。

なお、本発明に係る実施例では鉱山ダンプ向けの障害物検知システムに焦点を絞って説明する。しかし、本発明に係る障害物検知システムは、鉱山ダンプのみを対象にしたものではなく、いずれの車体又は車両にも適用することができる。さらに本発明に係る障害物検知システムは、鉱山ダンプや油圧ショベル等の建設機械を含む大型作業機械に適用することで、より大きな作用効果が得られる。

また、以下では１台のカメラより得られた映像を用いた障害物検知システムの説明を行なうが、以下で説明する検知処理の内容は１台のカメラを用いる場合に限定されるものではない。車両の周囲を全周に亘って監視するためには、車体の前後左右にカメラを設置することが好ましく、少なくとも４台のカメラを用いる構成が好ましい。そのため、２台以上の複数台のカメラを用いる構成であってもよいし、４台よりも多い５台以上のカメラを用いる構成であってもよい。

［実施例１］
本発明の一実施例に係る障害物検知システム（監視システム）の構成を、図１を用いて説明する。図１は、本発明に係る障害物検知システムの一実施例を示す構成図である。

障害物検知システムは、鉱山ダンプの前方を撮影する前カメラ１００を備える。本実施例では、前カメラ１００で撮影した映像を映像入力部（映像入力手段）１０４にそれぞれ送出する。

映像入力部１０４は、前カメラ１００で撮影された前カメラ映像３００（図３参照）を取得し、前カメラ映像３００を障害物検知部（対象物検知部）１０５及び合成映像構築部（合成映像構築手段）１１３に送出する。

障害物検知部１０５は、自車両情報入力部（自車両情報入力手段）１０６、第１検知部（第１検知手段）１０７、第２検知部起動判定部（第２検知部起動判定手段）１０８、対象領域設定部（対象領域設定手段）１０９、第２検知部（第２検知手段）１１０、出力結果選択部（出力結果選択手段）１１１および記憶部１１２を備える。障害物検知部１０５が備える各処理部の機能については、後で詳細に説明する。

検知システムの起動直後を除き、前回の検知処理にて取得した、前カメラ映像３００の映像は保存される。このために本実施例では、障害物検知部１０５に記憶部１１２を備える。記憶部１１２は前カメラ１００に対して設けられる映像入力部１０４に設けてもよい。なお、図６では前回の検知ステップで取得した前カメラ映像を、前カメラ過去映像３００’として例示している。

合成映像構築部１１３は、第１検知部１０７および第２検知部１１０における処理の終了後に出力結果選択手段１１１より取得した対象物の検知位置を映像中に重畳表示し、図３に例示した合成映像３０３を出力部（出力手段）１１４に送出する。なお、第１検知部１０７、第２検知部１１０の処理内容については後ほど詳述する。また、出力部１１４は、ディスプレイ等の映像表示機器を備えており、合成映像構築手部１１３から入力した合成映像３０３をオペレータに対して提示する。

次に、本実施例の鉱山ダンプ２００の概要を、図２を用いて説明する。図２は、本発明の一実施例に係る鉱山ダンプの構成を示す図である。

鉱山ダンプ２００には、鉱山ダンプ２００の操作機能や状態表示機能を備えるコックピット２０１内に配置された障害物検知端末２０２と、鉱山ダンプ２００の前方に配置された前カメラ１００が装備されている。前カメラ１００は鉱山ダンプ２００の前方を撮影する。

前カメラ１００は、障害物検知端末２０２に接続されている。なお図３に示すように、前カメラ１００は、地表面を主に撮影するために、俯角をつけて取り付けられている。

前カメラ１００の撮影映像および障害物検知部１０５にて検知した結果の合成映像の例を、図３を用いて説明する。

ここで、前カメラ映像３００は前カメラ１００の撮影映像例を示している。

前カメラ映像３００は、広角カメラを用いて撮影しているため遠方、すなわち映像内では向かって上部に映し出されている地平線が湾曲して見えている。また、近傍、すなわち映像内では向かって下部に、自車（鉱山ダンプ）２００の一部が映っている。またここでは例として、前カメラ映像３００内に障害物（自動車）３０１を例示している。

なお図３に示すように、前カメラ映像３００内には前方抽出領域３０４が設定される。また後述する処理により合成映像３０３を構築するが、合成映像３０３内の障害物３０１には強調表示用マーカー３０５による強調表示を行う。

上述のシステム構成において、第１検知部１０７および第２検知部１１０を用いて対象物を検知し、結果表示するまでの流れを、図４を用いて説明する。図４は、障害物検知システムにおける処理の流れを示す図である。

障害物検知システムは、動作を開始すると、最初にステップ４０１の処理を行う。ステップ４０１では、映像入力部１０４より前カメラ映像３００を取得する。この例における前カメラ映像の様子は図３の前カメラ映像３００に示した通りである。またここでは、前回の検知にて映像入力部１０４より取得し使用した過去映像を、記憶部１１２から同時に取得する。カメラ映像取得後、処理をステップ４０２に移す。

ステップ４０２では、障害物検知部１０５が前カメラ映像３００を入力とし、第１検知部１０７および第２検知部１１０を用いて映像中の車両や人といった障害物の検知処理を実行した後、検知結果が存在する場合は検知位置座標を出力結果選択部１１１から出力する。この後、処理をステップ４０３に移す。

ステップ４０３では、第１検知部１０７および第２検知部１１０での処理を終了し、ステップ４０４に処理を移す。

ステップ４０４では、ステップ４０２における第１検知部１０７および第２検知部１１０の検知処理結果の有無を判定する。判定の結果、前カメラ映像３００内にて障害物を検知している場合は、障害物の位置座標とそれぞれの検知結果が第１検知部１０７および第２検知部１０９のどちらの手段にて検出されたものかの情報を保持した上でステップ４０５に処理を移し、それ以外の場合はステップ４０６に処理を移す。

本システムでは第２検知部１１０が起動している場合、同時に第１検知部１０７も起動している。そのため、ステップ４０６の合成映像構築処理では、１つの検知対象物に対して、状態の異なる検知結果を示すアイコンが複数描画される可能性がある。この場合、本来は１つである対象物に対し、オペレータは映像上で複数の対象物が移動または静止していると誤認識することになり、対象物への注意が分散される。

そこでステップ４０５では、合成映像３０３上に重畳表示する検知結果を選択する。ここでは、第２検知部１１０により得られた検知結果が存在する場合、図６に示す第２検知対象領域７０３の領域内に発生している第1検知部１０７の検知結果（第１検知結果領域）７０２を出力より除外し、処理をステップ４０６に移す。ただしこれは一例であり、前述した映像中の微小なゆれを移動体として誤検知せぬよう、ある程度以上の移動速度で移動する対象物のみを検知可能なように、予め第１検知部１０７の検知パラメータを調整してもよい。

本実施例では、第１検知部１０７で検出される対象物は移動速度に依存して合成映像３０３への表示と非表示が選択される。これにより、不整地環境下における誤検知要因の影響を受けて誤検知される対象物の表示は行わないようにして、不整地環境下における誤検知要因の影響を受け易い微小な速度で移動する対象物を正確に表示することができる。

ステップ４０６では、合成映像構築部１１３により合成映像を構築する。合成映像例は、図３における合成映像３０３に示した通りである。ここで、先のステップ４０２の処理において図３に示す障害物３０１の位置座標を取得している場合は、この位置座標に図３に示す強調表示用マーカー３０５による強調表示を行う。なお、検知結果の表示方法に関しては、本実施例の最後に詳述する。この後、処理をステップ４０７に移す。

ステップ４０７では、合成映像３０３を出力部１１４に対して送出し、処理をステップ４０８に移す。

ステップ４０８では、システムの終了要求があるか否かを判定する。終了要求がある場合は処理を終了し、それ以外の場合は処理をステップ４０１に戻し、再度検知処理を行う。

以下では、第１検知部１０７、対象領域設定部１０９、第２検知部１１０による検知処理内容の詳細を、図５〜図９を用いて説明する。なお以降では対象物の移動速度に応じて以下３つの状態を定義する。
（１）通常移動状態：対象物の速度が塵埃、自車振動を含む微小なゆれによる誤検知の影響を受けない速度域（不整地環境下における誤検知要因の影響を受けない速度域）で移動している際に、これを通常移動状態と呼称する。
（２）微小移動状態：対象物の速度が塵埃、自車振動を含む微小なゆれによる誤検知の影響を受ける低速度域（不整地環境下における誤検知要因の影響を受ける速度域）で移動している際に、これを微小移動状態と呼称する。
（３）静止状態：第１検知部１０７にて捕捉されておらず、第２検知部１１０による移動量の算出結果がない（移動量＝０）の場合は、対象物は静止していると判断し、これを静止状態と呼称する。

図５を用いて、第１検知部１０７の処理について説明する。図５は、第１検知部における処理の流れを示す図である。

ここでは例として、図６に例示した通り、前カメラ映像３００の前方抽出領域３０４内に存在する前方対象物７００を、第１検知部１０７および第２検知部１１０を用いて検知する。

第１検知部１０７は、動作を開始すると、最初に図５中のステップ５００の処理を行う。ステップ５００では、検知対象映像を取得する。検知対象映像は、前述した通り、映像入力部１０４から入力された前カメラ映像３００および前カメラ過去映像３００’に例示したような前回の検知処理の際に使用した過去映像である。検知対象映像取得後、ステップ５０１の処理を行う。

ステップ５０１の処理では、自車情報を取得する。ここでは、自車（鉱山ダンプ）の現在の移動速度（車速）およびステアリング角度を取得する。移動速度は自車に備えられた車速センサ１１５（図１参照）から自車両情報入力部１０６に入力される。ステアリング角度は自車に備えられたステアリング角度センサ１１６（図１参照）から自車両情報入力部１０６に入力される。自車情報取得後、ステップ５０２の処理を行う。

ステップ５０２の処理は、第１検知部１０７での処理内容を示している。第１検知部１０７は、例えば前カメラ映像中で設定した前方抽出領域３０４（図６参照）の全域に対し、移動物体が存在するか否かの検知を行う。ここで、第１検知部１０７では、前方抽出領域３０４の全域から対象物の検知を行う。この場合、実時間で結果を出力するため、比較的高速に移動物体を検知可能な画像処理手法を用いる必要がある。ここでは例として、オプティカルフローを利用して映像中の移動物体を検知する。このオプティカルフローは、連続する映像においてフレーム間の輝度変化を算出することで、動きベクトルを概算する手法である。本実施例では、この映像内の動きベクトルの中から、車両や人などによって生成されるものと同等の大きさや速度を持つ動きベクトルを抽出し、この結果から得られた領域を移動物体とみなす。加えてここでは、ステップ５０１の時点で自車速度が０ｋｍより大きい場合は、その時点でのステアリング角度情報と自車速度情報（車速情報）をもとに、自車移動により映像上で見かけ上発生しているオプティカルフローの減算処理を行なう。

上述したように第１検知部１０７は、対象物の位置、速度および移動方向を含む移動情報を検出する。

以下、図５と共に図６および図７を用いて、第１検知部１０７における対象物検知について説明する。図６は、現在と過去のカメラ映像の比較を示す図である。図７は、第１検知部における処理を実行している際の様子を示す図である。

ここでは例として、前カメラ映像３００の検知領域内にて前方対象物７００（自動車）が移動する場面を示している。前方拡大映像７０１は前カメラ映像３００の前方抽出領域３０４内における前方対象物７００付近の拡大映像を表している。また、前方拡大過去映像７０１’は前カメラ過去映像３００’の前方抽出領域３０４内における検知対象７００付近の拡大映像を表している。ここでは前カメラ過去映像３００’と前カメラ映像３００との前方抽出領域３０４内における輝度変化から前方対象物７００の移動ベクトルを算出する。

ステップ５０２での第１検知部１０７による移動体検知処理終了後、ステップ５０３へ処理を移行する。

ステップ５０３では、ステップ５０２にて得られた移動ベクトルのうち、通常移動状態となる移動速度を示す情報（所定の閾値以上の速度を示す情報）のみを集約し、集約した結果得られた領域の位置情報を抽出した後、処理をステップ５０４に移行する。

ステップ５０４の処理は、対象領域設定部１０９にて実行する内容を示している。ここでは、ステップ５０３にて取得した位置情報のうち、隣接する１つまたは複数の第１検知結果領域７０２を統合し、第２検知対象領域７０３を算出する。またここでは、前回の検知処理にて取得した第２検知対象過去領域７０３’と、今回の処理で取得した第２検知対象領域７０３とが重複していた場合は、第２検知対象領域７０３と第２検知対象過去領域７０３’とが同じ対象物を捉えていると判断できる。そこで、第２検知対象過去領域７０３’を消去し、今回新たに算出した第２検知対象領域７０３を第２検知部の対象領域情報として更新する。ステップ５０４終了後、ステップ５０５に処理を移行する。

ステップ５０５は第２検知部起動判定部１０８での処理を示している。前回の処理において取得した第２検知対象過去領域７０３’が現時点で存在する場合は、第２検知対象過去領域７０３’が第２検知対象領域７０３に更新されなかったことを意味する。第１検知部１０７は通常移動状態となる移動速度を示す情報を抽出するため、対象物が通常移動状態から微小移動状態に変化した場合、第１検知部１０７が第２検知対象領域７０３を検知することはない。このため、第２検知対象過去領域７０３’に重複する第２検知対象領域７０３が存在しなくなる。従って、前回の処理において取得した第２検知対象過去領域７０３’が現時点で存在する場合は、対象物が通常移動状態から微小移動状態に変化したと判断し、第２検知部１１０を起動すべくステップ５０６に処理を移行する。

ステップ５０６で第２検知部を起動し、第２検知部の処理を実行する。処理の内容に関しては図８に示しており、詳細は後述する。

他方、第２検知対象過去領域７０３’がステップ５０４にて消去され、第２検知対象領域７０３に更新されている場合はステップ５０７に処理を移す。

ステップ５０７では、前回の処理において第２検知対象過去領域７０３’を検知範囲とし、後述する第２検知部１１０が既に起動していた場合は処理をステップ５０８に移行する。

ステップ５０８では、第２検知部が起動している状態で第２検知対象過去領域７０３’に重複する第２検知対象領域７０３が存在するようになったことから、対象物は微小移動状態から通常移動状態に変化したと判断し、第２検知対象過去領域７０３’を検知範囲とした第２検知部１１０を停止する。ステップ５０８終了後、処理を図４のステップ４０３に移行する。

一方、ステップ５０７にて第２検知手段が起動していないと判断された場合は、対象物は通常移動状態であり、第１検知部１０７のみで捕捉可能であると判断し、図４のステップ４０３に処理を移行する。

ステップ５０６による第２検知部１１０の起動後、図８に示すステップ６００から処理を行う。図８は、第２検知部における処理の流れを示す図である。

ステップ６００では、第２検知部１１０の処理を実行するために、検知の対象となる映像を取得する。検知の対象となる映像は、前述した通り、映像入力部１０４から入力される前カメラ映像３００である。また、前回の検知処理の際に使用した過去映像も同時に取得する。ステップ６００での映像取得後、ステップ６０１に処理を移行する。

ステップ６０１では、ステップ５０３の処理の時点で取得済みの第２検知対象領域７０３の位置にもとづき、前カメラ映像３００内での検知範囲を絞り込む。ステップ６０１実行後、ステップ６０２に処理を移行する。

ステップ６０２では上述の処理にて絞り込んだ検知領域内のエッジ、コーナーといった画像特徴量（映像の特徴部）の時間変化を算出することで、対象物の微小移動量を検知する。ここでは例として、ＫＬＴ Ｔｒａｃｋｅｒ （Ｋａｎａｄｅ-Ｌｕｃａｓ-Ｔｏｍａｓｉ ｆｅａｔｕｒｅ Tｒａｃｋｅｒ）を利用して映像中の微小移動量を算出する。ＫＬＴ Ｔｒａｃｋｅｒは、時間的に連続する映像内におけるコーナー特徴点のフレーム間差分を算出することで、各特徴点の動きベクトルを取得する手法である。本実施例では、これらコーナー特徴点の動きベクトルを用いて対象物の微小移動量を算出する。

ここで、第２検知部１１０を用いた検知について、図９を用いて説明する。図９は、第２検知部における処理を実行している際の様子を示す図である。

ここでは例として、前カメラ映像３００の検知領域内で前方対象物７００（自動車）が微小移動する場面を示している。また、第２検知領域拡大映像８００は前カメラ映像３００における第２検知手段対象領域７０３の拡大図を表している。前述した通り、第２検知部１１０では第２検知領域拡大映像８００内のコーナー特徴点８０１、エッジ情報８０２といった画像特徴量の時間変化を追跡することで、対象物の微小移動量を算出する。対象物の微小移動量算出後、処理をステップ６０３に移す。

ステップ６０３では、ステップ６０２にて求めた対象物の微小移動量が存在する（移動量＝０以外）場合は、微小移動有りと判断し、処理をステップ６０４に移行する。一方、微小移動量がない（移動量＝０）の場合は、処理をステップ６０５に移行する。

ステップ６０４では、ステップ６０２で算出した微小移動量にもとづき第２検知対象領域７０３を移動させる。その後、処理をステップ６０６に移す。

ステップ６０６では、現在の第２検知対象領域７０３の位置情報を取得し、第２検知対象領域有りとした状態で図４におけるステップ４０３に処理を移す。

ステップ６０５では、微小移動量が存在しない（移動量＝０）静止状態が、第２検知部１１０の起動後２分未満の場合は処理をステップ６０６に移す。他方、静止状態が２分以上継続している場合は、捕捉している対象物が人や車両以外の、轍、落石といった障害物の形状や色特徴と似た地面模様を誤検知していると判断し、第２検知対象領域情報を削除後、処理をステップ６０８に移す。

ステップ６０８では、第２検知対象領域無しとした状態で、図４におけるステップ４０３に処理を移す。ステップ４０３以降の処理は前述した通りである。

このように本実施例では、自車周囲の検知エリア内に侵入した車両や人などの対象物を検知する第１検知部における検知処理と、その対象物の移動速度が塵埃または自車振動による微小なゆれによる影響を受ける微小移動状態に変化した場合に、その変化した位置付近に領域を絞り、その絞った領域に対して対象の特徴量差分を用いた第２検知部における検知処理とを実行する。これにより、塵埃または自車振動による微小なゆれや地面模様など検知対象と似た特徴の物体が存在する環境下で車両または人のみを検知することができ、未検知および誤検知の少ない障害物検知を高速に実行可能である。

［実施例２］
本実施例では、映像中に存在する複数の対象物が第１検知部１０７または第２検知部１１０にて捕捉されている場合の、障害物検知システムについて図１０を用いて説明する。図１０は、第１検知および第２検知の検知結果を出力した図である。

本実施例における障害物検知システムの構成は図１と同等である。本実施例における処理の流れは図４と概ね同等であるが、ステップ４０６における検知結果の表示手段が実施例１と異なる。この異なる部分について以下説明する。

障害物検知システムでは、第１検知部１０７および第２検知部１１０にて対象物を検知した後、検知結果をオペレータに通知するために、図４のステップ４０６において図１０に示すような対象物の強調表示の設定を行う。この強調表示は、移動体検知マーカー９０３、微小移動体検知マーカー９０４および静止対象物検知マーカー９０５を用いて行われる。

ここでは、合成映像３０３において、前カメラ映像３００内には通常移動状態の前方対象物９００、微小移動状態の右側方対象物９０１、静止状態の対象物９０２が存在する。本システムでは、第１検知部１０７および第２検知部１１０を用いることで、様々な速度で移動または静止する車両や人などの対象物を捕捉している。そのためここでは例として、実施例1にて定義した通常移動状態、微小移動状態または静止状態の３つの状態によって強調表示手法を区別する。

図１０の例では、上記３つの状態の対象物領域に太線の円を付してマーキングしている。さらに対象物が移動している場合は、円の中にその対象物の移動方向を示す矢印を描画する。ここでは、第１検知部１０７および第２検知部１１０の算出結果が示す移動方向の最頻値を対象物の移動方向として使用する。一方、対象物が静止している場合は、円の中に横線を描画した静止対象物検知マーカー９０５でマーキングすることで静止状態を示す。

また、対象物が移動しており第１検知部により捕捉されている場合は、黒で塗りつぶした矢印を用いた移動体検知マーカー９０３でマーキングすることで、対象物の進行方向を示す。また、第２検知部１１０により捕捉されている場合は、白で塗りつぶした矢印を用いた微小移動体検知マーカー９０４でマーキングすることで、対象物の進行方向および微小移動状態を示す。

このように各対象物の移動状態により表示系を区別することで、対象物の今後の移動方向や存在位置を予測させ、オペレータが次に取るべき行動を迅速に判断できるよう作業を促進する。

上述した各マーカー９０３，９０４，９０５は、移動状態、微小移動状態または静止状態の３つの状態が区別でき、移動方向を判断できるものであれば、図１０に示したマーカー以外のマーカーを用いてもよい。しかし、図１０に示したマーカーは比較的単純な図柄で３つの状態と移動方向とを判断できるため、オペレータが対象物の状態を判断することが容易である。

［実施例３］
本実施例では、映像中の対象物を第１検知部１０７および第２検知部１１０にて捕捉している場合の、障害物検知システムについて説明する。

本実施例における障害物検知システムの構成は図１と同等である。本実施例における処理の流れは図４と同等である。一方、第１検知部１０７の検知フローを示す図５のステップ５０４における第２検知部起動判定部１０８の処理が実施例１と異なる。この異なる部分について以下説明する。

対象物が塵埃または自車振動による微小なゆれの影響を受ける低速度域の境界付近の速度にて移動している場合、第２検知部起動判定部１０８の判定結果がフレームごとに変化し、第２検知部１１０がフレーム間で起動または停止を繰り返す。

そこで本実施例では、第２検知部起動判定部１０８の判定履歴を保持する処理を行う。判定履歴は記憶部１１２に保持する。判定履歴を保持した上で、上記対象物の領域付近において、短い時間に繰り返し判定結果が変化している場合は、この領域付近では一定時間第２検知部１１０の起動を行わないようにする。

図１１は、実施例３の第１検知部における処理の流れを示す図である。

本実施例では、例えば、ステップ５０９において、予め設定された所定時間の間に第２検知部１１０の起動判定が繰り返し変化しているかどうかを判定し、変化していない場合はステップ５０６に進み、変化している場合はステップ５０６をスキップして検知処理を終了する。起動判定の繰り返し回数は適宜設定し、記憶部１１２に保持する。これにより、第２検知部の不要な起動、停止の繰り返しを避けることが可能となるため、検知システム全体の処理を高速化することができる。

［実施例４］
本実施例では、映像中の対象物が微小移動する際に、第２検知部１１０が起動した場合の障害物検知システム例について説明する。

本実施例の障害物検知システムの構成は、図１と同等である。また、本実施例における処理の流れも図４と同等である。一方、第２検知部起動判定部１０８の処理に該当する図５のステップ５０４が実施例1と異なる。この異なる部分について説明する。

本実施例では対象物の移動速度が、塵埃または自車振動による微小なゆれの影響を受ける低速度域に減速した場合、ステップ５０４にて第２検知部１１０の起動判定を行なう際に、対象物の過去の移動速度履歴を参照する。このために移動速度履歴は記憶部１１２に記憶される。

第１検知部１０７では、実施例1にて説明した通り、オプティカルフローを利用して映像中の移動物体の動きベクトルを概算している。このため、第１検知部１０７で算出した動きベクトルと、前カメラ３００のカメラパラメータから算出可能な1画素あたりの実空間上での距離にもとづき、実空間上での対象物の移動速度が概算可能である。そのため各検知ステップ間において対象物の移動速度を算出し、算出した移動速度情報を蓄積することで対象物の移動速度履歴情報を取得可能である。

一般的に走行中の車両が停止する際には、車両が急停止や急旋回を行なわない限り、車両は徐々に減速し、直前の進行方向と同じ方向で停止する。そこで、ステップ５０４にて第２検知部起動判定部１０８を実行する際に、移動履歴を参照することで、直前の移動速度情報と比較した場合に、対象物の有り得ない急減速または有り得ない急旋回による移動速度の急激な低下があり、これによって、第２検知部１１０が起動したと確認した場合は、第２検知部１１０の起動を中止する。このために、移動速度の有り得ない急激な低下を判定するための速度変化の閾値を記憶部１１２に設定しておくとよい。

図１２は、実施例４の第１検知部における処理の流れを示す図である。

本実施例では、例えば、ステップ５１０で対象物の移動速度が急激に低下したか、または移動方向が急激に変化したかを判定し、移動速度の急激な低下または移動方向の急激な変化があった場合はステップ５０６をスキップして第２検知部１１０の起動を中止し、移動速度の急激な低下および移動方向の急激な変化が無い場合はステップ５０６に進む。

以上の処理を行うことで、第２検知部１１０を起動したことを原因とする誤検知が低減可能となり、オペレータは対象物に対して不要な注意を払う必要がなくなる。

上述した各実施例では、移動している対象物が静止した際に発生する未検知を低減でき、さらには轍、落石などの地面模様の誤検知を低減することが可能となる。これにより、オペレータは誤検知した対象物に不要な注意を払う回数が減少する。そのため、本来の作業に集中することができ、作業効率が向上する。また、未検知によって障害物との接触事故を起こす可能性を低減することで作業の安全性が向上する。

例えば鉱山ダンプのような大型の建設機械（作業機械）では、前カメラ１００の設置高さが高くなる。このため、数キロメートル先の遠方に存在する対象物はフレーズ間で動きが無いように見える。このため、不整地環境下における誤検知要因が存在する中で遠方の対象物を正確に検知することは難しい。このような状況で遠方の対象物を正確に検知しようとすると、システムが大掛かりになりコストもかさむ。上述した本発明に係る実施例では、前カメラ１００の設置高さが高い場合であっても、不整地環境下において遠方の対象物を正確に検知することが可能になる。

なお、本発明は上記した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００…前カメラ、１０４…映像入力部、１０５…障害物検知部、１０６…第１検知部、１０７…対象領域設定部、１０８…第２検知部起動判定部、１０９…第２検知部、１１２…記憶部、１１３…合成映像構築部、１１４…出力部、２００…鉱山ダンプ（自車）、３００…前カメラ映像、３０１…検知対象物、３０３…合成映像、３０５…強調表示用マーカー、７００…前方対象物、７０１…前方拡大映像、７０１’…前方拡大過去映像、７０２…第１検知結果領域、７０２’…第1検知結果過去領域、７０３…第２検知対象領域、７０３’…第２検知対象過去領域、８００…第２検知対象領域拡大映像、８０１…コーナー特徴点、８０２…エッジ情報、９０３…移動体検知マーカー、９０４…微小移動体検知マーカー、９０５…静止対象物検知マーカー。

Claims (7)

1. 車両の周囲の少なくとも一部の範囲を撮影するカメラと、前記カメラで撮影される映像に基づいて対象物を検知する障害物検知部と、前記障害物検知部により検知された対象物を表示する映像表示機器と、を備えた障害物検知システムにおいて、
   前記障害物検知部は、
   前記カメラで撮影した映像内に存在する所定速度以上の対象物について、前記映像内の輝度変化に基づいて前記対象物の位置情報を含む移動情報を検知する第１検知部と、
   前記第１検知部で検知した前記対象物の前記位置情報に基づいて前記対象物が存在する対象領域を設定する対象領域設定部と、
   前記対象領域設定部で設定した対象領域内に存在する前記所定速度に比べて小さい速度の対象物について、特徴部の変化に基づいて前記対象物の移動情報を検知する第２検知部と、を有し、
   前記第１検知部及び前記第２検知部の両方で検知を行っている際に、
   前記第１検知部で検出された対象物の移動速度が前記所定速度以上である通常移動状態の場合には、前記第２検知部による当該対象物の検知処理を停止して、前記第１検知部により検知された当該対象物を前記映像表示機器に表示させ、
   前記第１検知部で検出された対象物の移動速度が前記所定速度に比べて小さい速度である微小移動状態の場合には、前記第１検知部により検知された対象物を非表示とし前記第２検知部により検知された対象物を前記映像表示機器に表示させること特徴とする障害物検知システム。
2. 請求項１に記載の障害物検知システムにおいて、
   前記第１検知部における前回の検知処理で設定された対象領域と今回の検知処理で設定された対象領域とが対応する場合で、かつ既に前記第２検知部による検知処理が起動している場合に、前記第２検知部による検知処理を停止すること特徴とする障害物検知システム。
3. 請求項２に記載の障害物検知システムにおいて、
   前記第２検知部の検知処理の起動と停止とが連続的に繰り返された場合に、前記第２検知部の検知処理を停止することを特徴とする障害物検知システム。
4. 請求項１に記載の障害物検知システムにおいて、
   前記第１検知部が検知する前記移動情報は位置情報の他に移動速度情報を含み、
   前記第２検知部を起動する際に、前記第１検知部から取得した前記対象物の移動速度の履歴を参照し、前記対象物の移動速度が予め設定された閾値を超えて急激に低下している場合は、前記第２検知部の検知処理を中止することを特徴とする障害物検知システム。
5. 請求項１に記載の障害物検知システムにおいて、
   前記第１検知部により検知した対象物と前記第２検知部により検知した対象物とを合成した合成映像を生成する合成映像構築部を備えることを特徴とする障害物検知システム。
6. 請求項５に記載の障害物検知システムにおいて、
   前記第１検知部が検知する前記移動情報は、位置情報の他に移動速度情報と移動方向情報とを含み、
   前記第２検知部が検知する前記移動情報は、位置情報、移動速度情報及び移動方向情報を含み、
   前記合成映像構築部は、前記合成映像に表示される対象物に、移動速度情報及び移動方向情報を併せて表示することを特徴とする障害物検知システム。
7. 障害物検知システムを備えた建設機械において、
   前記障害物検知システムとして請求項１に記載の障害物検知システムを備えたことを特徴とする建設機械。

Images