JP4548181B2

JP4548181B2 - 障害物検出装置

Info

Publication number: JP4548181B2
Application number: JP2005100723A
Authority: JP
Inventors: 洋平新垣
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2010-09-22
Anticipated expiration: 2025-03-31
Also published as: JP2006285335A

Description

本発明は、撮像装置により撮像された熱画像を用いて障害物を検出する障害物検出装置に関する。

従来より、２台の赤外線カメラにより得られる熱画像を温度帯で２値化し、２値化により抽出された画像領域の形状から歩行者候補領域を検出し、三角測量の要領で車両と歩行者との間の距離を算出する車両周辺監視装置が知られている（例えば、特許文献１参照）。そして、このような車両周辺監視装置によれば、車両にとって危険な歩行者を検出することができる。また、従来より、遠赤外線カメラと可視カメラを組み合わせて歩行者を検出する車両運転支援システムが知られている（例えば特許文献２参照）。このシステムは、可視カメラにより道路上の白線を検出し、その領域内を歩行者検出対象領域に設定する。そして、遠赤外線カメラにより歩行者検出対象領域の温度分布を観察し、歩行者検出対象領域の温度分布が歩行者に相当する温度と分離できる場合、歩行者に相当する温度を持つ領域の大きさ、位置から歩行者を推定する。一方、歩行者検出対象領域の温度分布が歩行者に相当する温度と分離できない場合には、可視画像から歩行者の影を検出することにより歩行者を検出する。
特開2004-303219号公報特許第3574780号公報

しかしながら、従来の車両周辺監視装置は、熱画像を２値化した結果、歩行者に対応する画像領域とそれ以外の画像領域とを分離できることを前提としているために、例えば、夏場に気温が３０度を超える等、路面や壁が歩行者と同じような温度帯となる場合には、歩行者を確実に検出することができない。また、同様の理由で、気温が低く、歩行者の体表面温度が低下している場合も、同様の理由で歩行者を確実に検出することができない。また、仮に歩行者に対応する画像領域とそれ以外の画像領域とを分離できたとしても、従来の車両周辺監視装置は、歩行者の頭部形状を歩行者であるか否かの判定材料にしているため、撮像装置に対して真横を向いている歩行者、傘を差している歩行者、帽子をかぶっている歩行者、及び自転車に乗った人を検出できない場合がある。加えて、従来の車両周辺監視装置は、遠赤外線カメラを２台使用する構成となっているため、車両搭載コストが高く、また、２台の遠赤外線カメラを用いて三角測量を行い、障害物までの距離を算出する構成になっているので、カメラの取り付け方法や車両に取り付ける際のレイアウトに制限を受ける。

一方、従来の車両運転支援システムは、歩行者検出対象領域の温度分布が歩行者に相当する温度と分離できない場合、可視画像から歩行者の影を検出することにより歩行者を検出する構成になっているために、夜間等、歩行者の影を検出することが困難である場合には歩行者を確実に検出することができない。加えて、従来の車両運転支援システムは、遠赤外線カメラ以外に可視カメラ等を設定する必要があるために、システム設定時にかかるコストが大きくなってしまう。

本発明は、このような従来の課題を解決するためになされたものであり、その目的は、車両搭載時のレイアウト自由度を向上させると共に、安価且つ確実に障害物を検出することが可能な障害物検出装置を提供することにある。

上述の課題を解決するために、本発明に係る障害物検出装置は、車両周辺の熱画像を取得し、熱画像を構成する画素の中から周辺画素との輝度差が所定値以上の画素を特徴点として抽出し、検出対象物体のアスペクト比に応じて熱画像を複数の画像領域に分割し、各画像領域の特徴点の密度に基づいて各画像領域の点数を算出し、点数が所定値以上の画像領域を障害物領域として抽出する。

本発明に係る障害物検出装置によれば、周辺画素と比較して輝度値の変化量が所定の範囲である画素を特徴点として抽出し、抽出された特徴点に基づいて障害物領域を検出するので、熱画像を２値化した場合では捉えることが出来なかった障害物領域上に存在する温度の抑揚を捉えることができ、障害物と周囲の温度が同程度のときに検出が困難であった障害物を的確に検出することができる。

また、本発明に係る障害物検出装置によれば、特徴点に基づく各画像領域の点数に基づいて障害物領域を検出するので、計算コストが掛からず、簡便な方法で障害物を検出することができる。また、本発明に係る障害物検出装置によれば、１台の撮像装置により障害物を検出することができるので、障害物を安価に検出することができると共に、車両搭載時のレイアウト自由度を向上させることができる。

以下に本発明の実施形態について、図面とともに詳述する。

〔障害物検出装置の全体構成〕
本発明の第１の実施例となる障害物検出装置1は、図１に示すように、車両に搭載され、主として、撮像部２と、画像メモリ部３と、メモリ部４と、演算部５とを備える。

〔各構成部の詳細〕
撮像部２は、遠赤外線カメラ（IRカメラ）等の撮影機器により構成され、図２に示すように、車両前方のグリル部等の位置に設置される。なお、撮像部２の設置場所は、図２に示す位置に限られることはなく、他の設置位置であっても良い。画像メモリ部３は、RAM（Random access memory）等の記憶装置により構成され、撮像部２によって撮像された遠赤外線画像（以下、熱画像と略記）を記憶する。メモリ部４は、RAM（Random access memory）等の記憶装置により構成され、後述する候補領域抽出処理によって熱画像から抽出される特徴点、特徴点の強度、領域分割の設定、障害物抽出結果等の情報を一時記憶する。なお、特徴点の詳細については後述する。演算部５は、周知の情報処理装置により構成され、内部CPU(Central Processing Unit：中央演算処理装置)がプログラムを実行することにより、本発明に係る特徴点抽出手段，画像領域分割手段，分割領域点数化手段，及び障害物領域抽出手段として機能し、特徴点抽出部５１、画像領域分割部５２、分割領域投票部５３、及び障害物領域抽出部５４の機能を実現する。なお、特徴点抽出部５１、画像領域分割部５２、分割領域投票部５３、障害物領域抽出部５４の機能については後述する。

このような構成を有する障害物検出装置１は、以下に示す候補領域抽出処理を実行することにより、車両搭載時のレイアウト自由度を向上させると共に、安価且つ確実に障害物を検出する。以下、図３に示すフローチャートを参照して、候補領域抽出処理を実行する際の障害物検出装置１の動作について説明する。

〔候補領域抽出処理〕
図３に示すフローチャートは、車両のエンジンが始動、若しくは障害物検出装置１の電源がオンになるのに応じて開始となり、ステップS101に進む。

ステップＳ１０１の処理では、演算部３が、撮像部２が撮像した車両前方方向の熱画像のデータを取得する。ここで、撮像部２によって取得される熱画像には、例えば図４に示すように、人A１、電柱A２、先行車A３、道路A４等に対応する画像が含まれる。なお、熱画像のデータには、熱画像を構成する各画素の座標データ及び輝度データも含まれる。熱画像を取得すると、次のステップS102に進む。

ステップＳ１０２の処理では、演算部３が、撮像部２より取得した熱画像に含まれるノイズを除去するノイズ低減処理を実行する。ここで、ノイズ低減処理方法について説明すると、例えば、熱画像内で隣接する４つの画素の平均値を出力値とする画素結合を行い、熱画像の縦横サイズを２分の１に縮小する処理や、周囲画素との中央値を出力するメディアンフィルタ等を利用する処理方法がある。また、後続処理の性能向上のため、ノイズ低減処理において、いわゆるエッジ保存平滑化法を利用して、熱画像のエッジ部の情報は保存したまま、ノイズを低減する方法を利用するとなお良い。熱画像のノイズ低減処理が終了すると、次のステップS103に進む。

ステップＳ１０３の処理では、特徴点抽出部５１が、熱画像から特徴点を抽出し、図７に示すような複数の特徴点Ｃ５から成る特徴点画像を生成する。ここで、図５及び図６を参照して、特徴点の抽出方法について説明する。この特徴点抽出処理では、始めに、特徴点抽出部５１が、画像メモリ２に記憶されている各画素の座標データ及び輝度データを読み出す。次に、特徴点抽出部５１は、図５及び図６に示されるように、周辺画素との輝度差が所定値以上の画素を特徴点（Ｃ１~Ｃ４）として抽出する。ここで、特徴点の抽出方法について補足しておくと、画像処理では一般的にコーナーフィルタと呼ばれる方法を用いて、特徴点の抽出を行う。例えば、Jianbo Shi, Carlo Tomasi,（“Good Features to Track”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94) pp.593-600）等が、トラッキングを行なうのに適している画素を抽出する方法を述べている。この方法で抽出される画素は、撮像された被写体の輪郭の角となる部分が抽出される。また、特徴点は、領域内の温度分布が一様な領域を撮像した画像中ではあまり抽出されず、領域内の温度分布が大きい領域を撮像した画像中で特徴点は多く抽出される。また、撮像方向への表面構成が一様ではない（平坦ではない）被写体も、被写体から放射される赤外線の放射方向が撮像面に対して一様ではないので、熱画像上での輝度値変化が大きくなり特徴点が抽出されやすい。なお、ステップS103の処理で、特徴点を抽出するときに、特徴点の強度（対応する画素の輝度値）も同時にメモリ部４に記憶してもよい。特徴点の抽出が終了すると、次のステップS104に進む。

ステップＳ１０４の処理では、画像領域分割部５２が、検出対象となる障害物領域に対応した複数の画像領域に特徴点画像を分割する。例えば、道路の端にある障害物を検出したいのであれば、画像領域分割部５２は、図８(a)に示すように特徴点画像を４分割する。また、自車両前方に位置する先行車両を検出したいのであれば、画像領域分割部５２は、図８(b)に示すように水平方向に特徴点画像を分割する。なお、分割領域の設定は、図８(a)、(b)に限られるものではなく、検出対象物となる障害物に対応して分割方法を変更しても構わない。熱画像を分割すると、次のステップS105に進む。

ステップＳ１０５の処理では、分割領域投票部５３が、抽出された特徴点の輝度値の強度に基づいて特徴点毎の評価値を算出してランク付けし、ランク付けされた特徴点を所定のグループに分け、グループ毎に分けられた特徴点の点数の重み付けを行う。そして、分割された画像領域毎に重み付けされた特徴点の点数の総点数を算出する。例えば、熱画像中に特徴点が３００個抽出されたとすると、分割領域投票部５３は、特徴点に対応する画素の輝度値が大きい順に上位３分の１のグループに含まれる特徴点１００個に３点、中位３分の１のグループに含まれる特徴点１００個に２点、下位３分の１のグループに含まれる１００個に１点を与える。なお、点数の重み付けの配分は、抽出目的とする障害物等により変更してもよく、また、グループ分けも変更してもよい。次に、分割された画像領域毎に重み付けされた特徴点の点数の総点数を計算する。このように総点数を求めることで、例えば、ある画像領域内に特徴点の数は多いが総点数が低い場合は、障害物領域は存在しないと判断することができる。ここで、特徴点の強度について補足しておく。先に述べたが、特徴点は、周辺画素との輝度値の変化量が所定の範囲にある画素を特徴点として抽出しているが、特徴点の輝度値の絶対値は重要ではない。なぜならば、特徴点の強度は、周辺画素との輝度値の変化量が所定の範囲にあるか否かで決まるからである。すなわち、ステップS105の処理で行われる特徴点の強度のランク付けは、所定の範囲内において、特徴点の強度のランク付けを行うことにより、周囲温度の変化に影響を受けずに障害物領域上に存在する温度の抑揚を捉えて、障害物と成り得る領域を抽出し易くなる。特徴点への重み付けが終了すると、次のステップS106に進む。

ステップＳ１０６の処理では、障害物領域抽出部５４が、総点数が計算された画像領域の中から、所定の閾値以上の総点数をとる画像領域を障害物領域として抽出する。例えば、図９中の領域D1は、総点数が所定の閾値以上の値であるので、道路の端に障害物が存在する蓋然性が高いと判断し、障害物領域として抽出される。また、図９中のD2は、総点数が所定の閾値以上の値であるので、前方に車両が存在する蓋然性が高いと判断し、障害物領域として抽出される。なお、熱画像の特性を利用し、検出対象物が持つと想定される温度と明らかに異なる温度をもった領域については、ステップS103又はステップS105において排除することで、検出能力の向上を図ることができる。障害物領域が検出されると、障害物領域抽出工程は終了する。

以上の説明から明らかなように、本発明の第１の実施例となる障害物検出装置１によれば、特徴点抽出部５１が、周辺画素との輝度差が所定値以上の画素を特徴点として抽出し、画像領域分割部５２が、検出対象物に対応した領域に画像を分割し、分割領域投票部５３が、抽出された特徴点を基に分割された各領域の評価を行い、障害物領域抽出部５４が、分割された各領域の評価値を基にして障害物領域を検出するので、熱画像を２値化した場合では捉えられなかった障害物領域上に存在する温度の抑揚を捉えることができ、障害物と周囲の温度が同程度のときに検出が困難であった障害物を的確に検出することができる。また、赤外線カメラ１台のみで車両前方を撮像するので、システム設定時にかかるコストを抑制し、また、車両に赤外線カメラを搭載するときのレイアウトの自由度が大きくなる。

〔障害物検出装置の全体構成〕
次に、本発明の第２の実施例となる障害物検出装置の構成について説明する。なお、本発明の第２の実施例となる障害物検出装置の全体構成は本発明の第１の実施例となる障害物検出装置の全体構成と同じであるが、障害物検出装置１が実行する候補領域抽出処理の一部が変更されている。以下、図１０に示すフローチャートを参照して、候補領域抽出処理を実行する際の障害物検出装置１の動作について説明する。

〔候補領域抽出処理〕
図１０に示すフローチャートは、車両のエンジンが始動もしくは障害物検出装置の電源がオンになるのに応じて開始となり、ステップS201の処理に進める。なお、ステップS201からステップS203までの候補領域抽出処理は、本発明の第１の実施例における候補領域抽出処理のステップS101からステップS103までと同様であるので、以下ではステップS204以降の処理についてのみ説明を行う。

ステップＳ２０４の処理では、画像領域分割部５２が、道路上に存在する検出対象の障害物の幅に合わせて特徴点画像を短冊状に分割する。例えば、歩行者は熱画像中で縦長に撮像されるので、画像領域分割部５２は、図１１に示すように、短冊状に画像領域を分割することで、ステップS206の処理を実行するときに歩行者等を検出する検出能力を上げる。熱画像を複数の短冊状領域に分割すると、次のステップS205に進む。

ステップＳ２０５の処理では、分割領域投票部５３が、各画像領域中における特徴点の上限位置及び下限位置を探索し、画像領域毎に重み付けされた特徴点の点数の総点数を算出する。例えば、図１２に示されるように、紙面に向かって左側からi番目（i=０、１、２、・・・）の領域を短冊領域Tiとする（図１２ではT0からT4）。次に、分割領域投票部５３が、画像上の垂直方向で、短冊領域Ti内で上限位置にある特徴点Y_Max(i)、下限位置にある特徴点Y_Max(i)を探索する。例えば、図１３に示されるように、短冊領域T1、短冊領域T2及び短冊領域T3内の上限位置にある特徴点はそれぞれY_Max(2)、Y_Max(3)、Y_Max(4)であり、下限位置にある特徴点はそれぞれY_Min(2)、Y_Min(3)、Y_Min(4)である。次に、分割された領域毎に重み付けされた特徴点の点数の総点数を算出する処理は、本発明の第１の実施例の候補領域抽出処理のステップS104と同様であるので説明を省略する。ここで、短冊領域Ti毎に求められた総点数と短冊領域の番号とを対応付けて、各短冊領域Tiの総点数をPoint(i)と定義する。なお、歩行者の検出能力向上のために、分割領域投票部５３が、Y_Max(i)、Y_Max(i)を検索するときに、全ての特徴点から検索するのではなく、特徴点に対応する画素の輝度値が大きい順に上位３分の１のグループに含まれる特徴点のみを利用して算出してもよい。

テップＳ２０６の処理では、障害物領域抽出部５４が、短冊領域毎に求めたY_Max(i)、Y_Min(i)、point(i)より、短冊領域毎の特徴点密度ρ(i)を求め、Y_Max(i)、Y_Min(i)及び特徴点密度ρ(i)が所定の閾値以上となる短冊領域を抽出し、抽出された短冊領域から障害物領域を検出する。ここで、特徴点密度ρ(i)について定義すると、特徴点密度ρ(i)は、次の数式１で定義される。

例えば、各短冊領域で検索されたY_Max(i)及びY_Min(i)が短冊領域中で大きく離れている場合や特徴点の総点数の値が小さいとき等、すなわち、各短冊領域内に出現する特徴点の密度が小さく、特徴点密度ρ(i)が所定の閾値以下となるような場合は、短冊領域中に障害物領域が存在しないと判定し、障害物抽出処理から該当する短冊領域を除外する。また、短冊領域TiのY_Max(i)及びY_Min(i)が上端から下端全てを包含する場合など、歩行者等の対象物が存在し得ない領域が抽出された場合には、路上障害物以外の物体又はノイズを含んだエラーであるとして障害物抽出処理から該当する短冊領域を除外する。障害物領域抽出部５４が、Y_Max(i)、Y_Min(i)及び特徴点密度ρ(i)が所定の閾値以上である短冊領域中から図１４に示すように、歩行者領域として障害物領域E1及びE2を出力する。障害物領域が検出されると、障害物領域抽出処理は終了する。

以上の説明から明らかように、本発明の第２の実施例となる障害物検出装置によれば、画像領域分割部５２が、検出対象物体のアスペクト比に応じて画像を複数の画像領域に分割するので、特に検出率を向上させたい特定のアスペクト比を有する障害物に対して、検出率の向上を図ることができる。

また、本発明の第２の実施例に係る障害物検出装置によれば、画像領域分割部５２が、道路上に存在する歩行者の形状に合わせて熱画像を分割し、分割領域投票部５３が、分割領域毎の特徴点の重み付けの総点数及び分割領域内での特徴点の上限出現位置及び下限出現位置を算出し、障害物領域抽出部５４が、分割領域内の特徴点の密度及び特徴点の上限出現位置及び下限出現位置に基づいて障害物領域を抽出する。すなわち、本発明の第２の実施例となる障害物検出装置１は、歩行者の幅に合わせて分割した領域内の歩行者領域上で抽出される特徴点の位置及び密度を検出する際の判断基準としているので、歩行者と周囲の温度が同程度のときに検出が困難であった、帽子をかぶった歩行者や傘を差した歩行者、さらに自転車に乗っている人も的確に検出することができる。

〔障害物検出装置の全体構成〕
次に、図１５を参照して、本発明の第３の実施例となる障害物検出装置の構成について説明する。本発明の第３の実施例となる障害物検出装置は、図１５に示すように、本発明の第１の実施例の障害物検出装置１の構成部である演算部５に、新たに、測定部５５及び短冊幅再設定部５６を追加した構成となっている。なお、新たに追加された測定部５５及び短冊幅設定部５６の構成については後述する。以下、図１６に示すフローチャートを参照して、候補領域抽出処理を実行する際の障害物検出装置の動作について説明する。

〔候補領域抽出処理〕
図１６に示すフローチャートは、車両のエンジンが始動もしくは障害物検出装置の電源がオンになるのに応じて開始となり、ステップ301の処理に進める。なお、ステップS301からステップS306までの候補領域抽出処理は、本発明の第２の実施例における候補領域抽出処理のステップS201からステップS206までと同様であるので、以下ではステップS307以降の処理についてのみ説明を行う。

ステップS307の処理では、測定部５５が、ステップS306で出力された短冊領域Tiの特徴点Y_Min(i)に注目し、特徴点Y_Min(i)が障害物と路面とが接している位置であるとして、障害物までの距離Length(i)を算出する。具体的には、ｉ番目の短冊領域Tiに障害物領域が検出されたとき、この障害物領域の画像横方向での位置を、短冊領域Tiの中央値X(i)とすると、画像中での障害物領域の座標P（x、y）は数式２のように定義できる。

ここで、通常、路面は平面であるので、路面と画像内の座標との相対的な位置が常に一定であるとして、図１７に示すように、ｉ版目の短冊領域の画像中での座標P（x、y）を路面である平面上にI(x、y)を投影することにより、カメラ位置と障害物との距離を算出する事が出来る。なお、この投影は、透視変換の考え方を用いる事で実現できるが、射影変換などその他の方法で行ってもよい。また、車両がロール又はピッチすることにより、画像内での障害物座標と路面との関係が変化する場合も考えられるため、車両姿勢を検出する手段を用いる事で、投影時に補正を掛けるとよい。障害物が複数検出された場合、それぞれ障害物の位置関係を把握する事で、車両にとって危険な障害物を判別する事ができる。

ステップS308の処理では、短冊幅再設定部５６が、ステップS307で得られたカメラ位置と障害物までの距離に応じて、短冊領域Tiを再度分割するか否かを判断し、障害物とカメラ位置の距離が離れていていると、障害物が検出された短冊領域の再分割を行なうと判断してステップS309に進み、そうでなければ、複数の障害物領域が検出されなければ、候補領域抽出処理工程を終了する。

ステップS309の処理では、短冊幅再設定部５６が、遠方であると判断された障害物領域が属する短冊領域Tiの幅を狭める操作を行う。例えば、通常の画像領域分割で作成される短冊領域Tiの幅が１０画素分の幅だとしたとき、遠方の障害物領域が属する短冊領域Tiについては短冊幅を半分の５画素分の幅にする。そして、半分の５画素分に縮小された短冊領域Tiについて、再び、ステップS305からステップS306の処理を行い障害物領域の抽出をする。なお、このときに、再分割された短冊領域Ti内の特徴点の数が減少することにより、重み付けされた特徴点の値の総和も減少するので、例えば、障害物領域であると判定する特徴点の重み付けの点数の閾値を１０点以上であったものを、５点以上とする等の操作で下げるか、又は、投票時の特徴点の重み付けを３点であった点は６点にする等の変更を行なう。

なお、ここでの点数化手順で、障害物領域が検出されなかった場合は、前回の障害物検出結果を最終結果として出力する。ここで、新たに障害物領域が抽出されれば、短冊幅再設定部５６が、ステップS308の処理で再度短冊の設定要と判断し、再度、ステップS309の処理を行う。これらの手順を分割により新たな領域抽出がされなくなるか、短冊の幅が所定の幅以下になるまで繰り返す。よって、ステップS309の処理により遠方の障害物についても検出精度を向上させる事が可能となる。

また、ステップS309の処理は、障害物が遠方にある場合だけではなく近傍に存在するときも適用する事が可能であり、例えば、近傍であると判断された領域について、ステップS309で、短冊領域Tiの短冊の幅を広げる操作を行い、点数の投票をやり直す事で、一つの障害物が複数に分割して検出されることを防ぐ事が可能となる。この際、障害物領域の判定の為の分割領域の点数閾値や、投票時の点数の重み付けについては一つの領域に投票される点数が増える為、遠方に障害物がある場合とは逆の操作を行い、例えば、分割領域の閾値となる点数は標準で１０点としていた場合、２０点とする、投票時の重み付けについては３点であったものは２点や１点とするようにすればよい。

さらに、ステップS304の初期短冊領域設定の幅を変える事で、ステップS307の処理を省略することもできる。この場合、まず、ステップS304の処理で、短冊の幅を標準が１０画素分であれば２０画素分にするなど広く取っておく。もちろん、近傍領域の検出率を変更させる必要が無ければ、短冊の幅を標準状態から広げなくても良い。

次に、ステップS305からステップS306の処理を行い、標準より広い短冊領域を使って障害物の検出を行なう。

次に、ステップS308の処理では、障害物が検出されなかった領域に対して短冊領域の再設定が必要であるとしてステップS309の処理に進む。ステップS309の処理では、障害物が検出されなかった短冊に対して、幅の狭い短冊幅を設定し、再度、ステップS305からステップS306の処理を行う。このとき、一つの短冊領域で出現する特徴点の点数が減る事に対応するのを目的として、特徴点投票時に特徴点ごとの強度の違いによる重み付けを高くする、短冊領域の点数化結果により障害物領域であると判断する閾値を低く変更するなどの操作を行なう。なお、２回目以降のステップS308の処理で、短冊幅再設定要否の判断としては、現在の短冊幅がある閾値以下となった場合には短冊幅の再設定は行なわないような構成とすればよい。

以上の説明から明らかように、本発明の第３の実施例に係る障害物検出装置６では、測定部５５が、障害物領域の熱画像中での高さ方向位置を算出し、障害物領域に対応する障害物までの距離を算出するので、複数の障害物が検出された場合等の障害物放置装置としての商品性を向上させることができる。

また、本発明の第３の実施例に係る障害物検出装置６では、短冊幅再設定部５６が、障害物までの距離に応じて、障害物までの距離に応じて、画像領域の分割幅を変更するので、画像中で小さくなり、検出率が低下しやすい遠方の障害物についても検出率を向上させることができる。

〔障害物検出装置の全体構成〕
次に、図１８を参照して、本発明の第４の実施例となる障害物検出装置７の構成について説明する。

図１８に示すように、本発明の第４の実施例となる障害物検出装置７は、本発明の第３の実施例の障害物検出装置１に、グルーピング・トラッキング部５７が追加された構成となっている。そして、グルーピング・トラッキング部５７は、複数の短冊領域Tiにまたがる障害物領域を統合し、トラッキングする。以下、候補領域抽出処理を実行する際の障害物検出装置７の動作について説明する。

〔候補領域抽出処理〕
図１９に示すフローチャートは、車両のエンジンが始動もしくは障害物検出装置の電源がオンになるのに応じて開始となり、ステップS401の処理に進める。なお、ステップS401からステップS406までの候補領域抽出処理は、本発明の第３の実施例における候補領域抽出処理のステップ301からステップS306までと同様であるので、以下では、ステップS407以降の処理についてのみ説明を行う。

ステップS407の処理は、グルーピング・トラッキング部５７が、隣り合う短冊領域で障害物領域が連続的に検出されるかを観察し、グループ化を行なう。ここで、図２０に示すフローチャートを参照して、ステップS407において実行される短冊領域のグループ化について説明する。

ステップS4071の処理では、グルーピング・トラッキング部５７が、画像中で左から何番目の短冊領域であるかを示すS_counter(ｉ)（i=０、１、２、・・・）と、短冊領域をグループ化した場合に画像中で左から何番目のグループであるかを示すG_counter（j）（j=０、１、２、・・・）を共に０に設定し初期化する。

ステップS4072の処理では、グルーピング・トラッキング部５７が、ｉ番目の短冊を観察し、この短冊に障害物領域が存在していた場合、ステップS4073の処理に進む。そして、ステップS4073の処理では、グルーピング・トラッキング部５７は、ｊ番目の障害物グループの情報として、障害物領域の画像高さ方向での最大値と最小値を以下の数式３のように設定すると共に、画像左右方向の最小値として、障害物グループの一番左側にある短冊領域の番号を以下の数式４のように設定する。設定後、ステップS4074の処理に進む。一方、障害物領域が存在していない場合には、後述するステップS4079の処理に進む。

ステップS4074の処理では、グルーピング・トラッキング部５７が、ｉ＋１番目の短冊を観察し、その短冊で障害物領域が検出されていた場合、ステップS4075の処理に進む。

ステップS4075の処理では、グルーピング・トラッキング部５７が、Ｙ＿Ｍａｘ（ｉ）、Ｙ＿Ｍａｘ（ｉ＋１）、Ｙ＿Ｍｉｎ（ｉ）、Ｙ＿Ｍｉｎｘ（ｉ＋１）を観察し、縦方向への連続性を持つか否かを判定する。これは、例えば、Ｙ＿Ｍａｘ（ｉ）＜Ｙ＿Ｍｉｎ（ｉ＋１）となるような場合、短冊領域の連続性が損なわれる為、同一の領域として扱わず別の領域とするためである。ここで連続性が確認できなかった場合はステップS4077の処理の処理へ移り、連続性が確認できた場合はステップS4076に移る。

ステップS4076の処理では、グルーピング・トラッキング部５７が、ｉ＋１番目のＹ＿Ｍａｘ（ｉ＋１）とＹ＿Ｍｉｎ（ｉ＋１）と、これまでに算出しているＧｒｏｕｐＹ＿Ｍａｘ（ｊ）とＧｒｏｕｐＹ＿Ｍｉｎ（ｊ）の数値を比較し、障害物グループの画像高さ方向での最大値と最小値を更新する。そして、グルーピング・トラッキング部５７は、カウンタｉに１加算した後、ステップS4074の処理に戻る。

ステップS4077の処理では、グルーピング・トラッキング部５７が、ステップS4073〜ステップS4076の処理で得られた画像高さ方向での最大値，最小値に加えて、観察し終えた短冊番号を示しているカウンタｉからｊ番目の障害物グループの一番左側となる短冊をＧｒｏｕｐＸ＿Ｍａｘ（ｊ）＝ｉとして算出し、ステップS4078の処理で短冊カウンタｉとグループカウンタｊにそれぞれ１加算した後、ステップS4072の処理へ戻る。

ステップS4079の処理では、グルーピング・トラッキング部５７が、ｉ番目の短冊領域そのものが存在しているかどうかを確認する。存在している場合は、ステップS40710の処理としてカウンタｉに１加算した後、ステップS408の処理へ戻り、障害物領域の観察を継続する。一方、短冊領域が存在していなければ、全ての短冊領域を観察し終わったとしてステップS408の処理へ移る。ここまでのステップS407全体の処理により、複数の隣接する障害物領域が図２１に示すように一つの領域へと統合される。また、グループ化処理により算出される各パラメータは図中でそれぞれ下記の数式５のようになる。

ステップS408の処理では、グルーピング・トラッキング部５７が、前回のフレームで障害物が検出されており、今回のフレームで検出された障害物を重ね合わせた場合、接触、もしくはオーバーラップする関係となっていた場合、前回検出された障害物と同一の物であるとしてトラッキングする処理を行なう。具体的には、図２２に示すように、Ｎ１で示した点線の四角形が前回のフレームで検出された障害物で、Ｎ２で示した太線の四角形が今回の検出結果で得られた障害物領域であるとし、前回及び今回のフレームにて得られたパラメータが以下の数式６，７のように表されるとすると、たとえば、横方向の関係を示すＸのパラメータが以下の数式８，９に示すような場合であり、かつ、縦方向の関係を示すＹのパラメータも同様の関係となる場合、必ず領域がオーバーラップする為、グルーピング・トラッキング部５７は、同じ障害物であるとしてトラッキング処理を行なう。また、前回フレームでの障害物グループが今回検出されたグループを包含する場合、もしくは、今回のグループが前回のグループを包含する場合にも同じ障害物としてトラッキング処理を行なう。これにより、一連の候補領域抽出処理は終了する。

以上の説明から明らかなように、本発明の第４の実施例となる障害物検出装置では、グルーピング・トラッキング部５７が、複数の障害物領域の位置関係に基づいて、空間的に隣接する複数の障害物領域を統合し、１つの統合障害物領域としてグルーピングするので、形状のマッチングや推定等の複雑な処理を行うことなく、複数の障害物領域を１つの障害物領域に統合することができる。

また、本発明の第４の実施例となる障害物検出装置では、グルーピング・トラッキング部５７が、統合された障害物領域を逐次観察し、時系列で隣接する障害物領域を同一の障害物領域としてトラッキングするので、トラッキング処理では一般的な相関演算等の演算コストが高い処理を行うことなく、障害物の移動を観察することが可能となり、危険度合いを判別することができる。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明の第１の実施形態となる障害物検出装置の構成を示すブロック図である。図１に示す撮像部の取付位置の一例を示す図である。本発明の第１の実施形態となる候補領域抽出処理の流れを示すフローチャート図である。図１に示す撮像部により撮像された熱画像の一例を示す図である。本発明の実施形態となる特徴点抽出処理を説明するための図である。本発明の実施形態となる特徴点抽出処理を説明するための図である。本発明の実施形態となる特徴点画像の一例を示す図である。本発明の第１の実施形態となる特徴点画像の分割処理を説明するための図である。本発明の第１の実施形態となる特徴点画像の分割処理を説明するための図である。本発明の第２の実施形態となる候補領域抽出処理の流れを示すフローチャート図である。本発明の第２の実施形態となる特徴点画像の分割処理を説明するための図である。本発明の実施形態となる短冊領域の設定処理を説明するための図である。本発明の実施形態となる特徴点の上限及び下限位置の探索処理を説明するための図である。本発明の実施形態となる障害物領域検出処理を説明するための図である。本発明の第３の実施形態となる障害物検出装置の構成を示すブロック図である。本発明の第３の実施形態となる候補領域抽出処理の流れを示すフローチャート図である。カメラ位置と障害物間の距離の算出方法を説明するための図である。本発明の第４の実施形態となる障害物検出装置の構成を示すブロック図である。本発明の第４の実施形態となる候補領域抽出処理の流れを示すフローチャート図である。図１９に示すステップＳ４０６の処理のサブルーチンを示すフローチャート図である。本発明の実施形態となるグルーピング処理を説明するための図である。本発明の実施形態となるトラッキング処理を説明するための図である。

符号の説明

１：障害物検出装置
２：撮像部
３：画像メモリ部
４：メモリ部
５：演算部
５１：特徴点抽出部
５２：画像領域分割部
５３：分割領域投票部
５４：障害物領域抽出部

Claims

車両周辺の熱画像を取得する熱画像取得手段と、
前記熱画像を構成する画素の中から周辺画素との輝度差が所定値以上の画素を特徴点として抽出する特徴点抽出手段と、
検出対象物体の情報に応じて前記熱画像を複数の画像領域に分割する画像領域分割手段と、
各画像領域の特徴点の密度に基づいて各画像領域の点数を算出する分割領域点数化手段と、
前記分割領域点数化手段により点数が所定値以上の画像領域を障害物領域として抽出する障害物領域抽出手段と
を備え、
前記画像領域分割手段は、前記検出対象物体のアスペクト比に応じて前記熱画像を複数の画像領域に分割することを特徴とする障害物検出装置。
前記画像領域分割手段は、前記熱画像を縦方向に分割することにより複数の画像領域を生成し、前記障害物領域抽出手段は、前記特徴点抽出手段により抽出された特徴点の位置がどの画像領域に対応するかを判別し、画像領域中のどの部位に障害物が存在するかを判断することを特徴とする請求項１に記載の障害物検出装置。
前記障害物領域抽出手段により抽出された障害物領域の熱画像中での高さ方向位置を算出し、障害物領域に対応する障害物までの距離を算出する障害物測距手段を備えることを特徴とする請求項１又は請求項２に記載の障害物検出装置。
前記障害物測距手段により算出された障害物までの距離に応じて、前記画像領域分割手段により分割された画像領域のアスペクト比及び／又は大きさを変化させる分割サイズ可変手段を備えることを特徴とする請求項３に記載の障害物検出装置。
前記画像領域分割手段は、障害物領域の検出状況に応じて所定の幅づつ熱画像の分割幅を変更することを特徴とする請求項１から請求項４のうち、いずれかに１項に記載の障害物検出装置。
前記障害物領域抽出手段により抽出された複数の障害物領域の位置関係に基づいて、空間的に隣接する複数の障害物領域を１つの障害物領域として統合するグルーピング手段を備えることを特徴とする請求項１から請求項５のうち、いずれか１項に記載の障害物検出装置。
前記グルーピング手段により統合された障害物領域を逐次観察し、時系列で隣接する障害物領域を同一の障害物領域としてトラッキングするグループトラッキング手段を備えることを特徴とする請求項６に記載の障害物検出装置。