図1及び図2を参照して、本実施形態の対象物種別判定装置1は、CPU(中央演算装置)を備えた電子ユニットであり、2つの赤外線カメラ2R,2Lが接続されると共に、自車両10の走行状態を検出するセンサとして、自車両10のヨーレートを逐次検出するヨーレートセンサ3と、自車両10の走行速度(車速)を逐次検出する車速センサ4と、自車両10のブレーキの操作を逐次検出するためのブレーキセンサ5とが接続されている。
また、対象物種別判定装置1には、自車両10に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ6と、赤外線カメラ2R,2Lにより撮像された撮像画像や視覚的な注意喚起情報を表示するための表示装置7とが接続されている。表示装置7は、例えば、自車両10のフロントウィンドウに撮像画像等の情報を表示するHUD(ヘッドアップディスプレイ)7a等を備えている。HUD7aは、自車両10のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の撮像手段に相当し、夜間でも生体を明瞭に撮像することができる。
図2に示すように、赤外線カメラ2R,2Lは、自車両10の前方を撮像するために、自車両10の前部に所定の間隔で取り付けられている。そして、赤外線カメラ2R,2Lは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両10の前部に固定されている。
対象物種別判定装置1は、詳細の図示は省略するが、赤外線カメラ2R,2Lの入力アナログ信号をデジタル信号に変換するA/D変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス(読出し及び書込み)するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ(CPU、メモリ、入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ)等とを備えている。赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号(アナログ信号)は、デジタル信号に変換されて当該コンピュータに入力されるように構成されている。
そして、対象物種別判定装置1は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ6や表示装置7を介して運転者に注意喚起(対象物に対する運転者の注意の喚起)を行う処理等を実行する。
これらの処理は、対象物種別判定装置1のメモリに予め実装されたプログラムを対象物種別判定装置1により実行することにより実現される。
より詳しくは、対象物種別判定装置1は、対象物領域抽出手段11、初回種別判定手段12、選択手段13及び2回目種別判定手段14を、上記プログラムにより実現される機能として備える。対象物領域抽出手段11、初回種別判定手段12、選択手段13及び2回目種別判定手段14は、詳細については、図4〜図10において後述するので、ここでは、簡単に説明する。
対象物領域抽出手段11は、赤外線カメラ2R,2Lにより撮像された撮像画像から、自車両10の周辺に存在する対象物の画像部分を含む対象物領域(例:後述の図7の対象物領域Rk2)を抽出する。
初回種別判定手段12は、ΔT(本発明の所定時間ΔTに相当)だけ離れた第1及び第2の撮像時刻の第1及び第2の撮像画像について、対象物領域抽出手段11が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを判定し、異なるときは、対象物の種別は特定種別(例:後述の図9の歩行者)であると判定し、異ならないときは、種別判定を保留する。
選択手段13は、第1又は第2の撮像時刻に対してΔT前からΔT後までの時間範囲にあり第1及び第2の撮像時刻は除外した第3の撮像時刻に撮像された第3の撮像画像を選択する。ここで注意すべきは、第1又は第2の撮像時刻と第3の撮像時刻との時間間隔はΔTとは別の値になっていることである。
2回目種別判定手段14は、第1又は第2の撮像画像と第3の撮像画像とについて対象物領域抽出手段11が抽出した対象物領域を対比して、両対象物領域の特徴量が所定値以上異なるか否かを調べ、両対象物領域の特徴量が所定値以上異なるときは、対象物の種別は特定種であると判定し、両対象物領域の特徴量が所定値以上異ならないときは、対象物の種別は前記特定種ではないと判定する。
次に、対象物種別判定装置1による対象物種別判定を含む対象物注意喚起処理について、図3に示したフローチャートに従って説明する。対象物注意喚起処理は、対象物種別判定装置1を含む対象物注意喚起処理装置(図示せず)が実施する。
STEP1では、対象物注意喚起処理装置が赤外線カメラ2R,2Lの撮像画像から対象物を抽出する。具体的な抽出の仕方としては例えば周知のランレングスデータ方式がある。
この方式を簡単に説明すると、赤外線カメラ2R,2Lの一方の撮像画像(グレースケール画像)を基準画像として、該基準画像を2値化処理し、ランレングスデータを作成する。作成されるランレングスデータは、2値化領域を画像の横方向の1次元の連結画素であるラインの集合で表し、該2値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ(画素数)とで示したものである。そして、ランレングスデータで表されたラインのうち、画像の縦方向(y方向)に重なる部分のあるラインを1つの対象物とみなしてラベル(識別子)を付すことにより、画像内の連結した領域を対象物として抽出する。
STEP2では、対象物注意喚起処理装置が対象物の実空間位置を算出する。実空間位置の算出には、自車両10から対象物までの距離の算出が必要になるが、該距離は、対象物に対する赤外線カメラ2R,2Lの視差に基づき算出することもできる。
STEP3では、対象物注意喚起処理装置、特に対象物種別判定装置1が種別判定を実施する。種別判定の具体的な処理については、後述の図4及び図5において詳説する。
STEP4では、対象物注意喚起処理装置は周知の注意喚起の処理を実行する。簡単に述べると、STEP2で求めた対象物の実空間位置とSTEP3で求めた対象物の種別とに応じて、表示装置7に表示した基準画像中の注意喚起対象の画像を強調的に表示したり、注意喚起対象である対象物が存在することをスピーカ6から運転者に音声案内したりするものである。なお、注意喚起の処理を実施する際、自車両10が制動中か否かをブレーキセンサ5の出力から適宜判断し、制動中であれば、運転者は既に対象物の存在を認識しており、敢えて注意喚起を行う必要はないとして、STEP4の注意喚起を保留してもよい。
図4及び図5の対象物の種別判定処理のフローチャートの説明に先立ち、図6〜図10を参照して、生体の周期性運動について説明する。
図6は、自車両10が走行している道路の前方において、歩行者が横断するときの自車両10から見た歩行者の姿勢変化を示している。図6において、k1〜k3は、時刻を意味しており、後述では、各記号を識別するための便宜上、記号の添え字として使用する。なお、時刻k1からk3までの時間はTaと定義する。
歩行者の歩行周期は、歩行者から考えると、例えば左脚を着地開始してから次に左脚を着地開始するまでの2歩の期間となる。しかしながら、対象物種別判定装置1は、種別を判定しようとする対象物がなにがしかの周期運動をしていることが認められれば、該対象物は生体であると判定することができるので、対象物は生体であると能率的に判定することができる判定処理上の周期を、歩行者から考える周期とは別途に設定することができる。
そこで、対象物種別判定装置1は、能率的な判定処理を行う周期として、歩行者の左右の脚を、区別することなく、影絵的な脚とし、影絵的な両脚が最大量開いた時から次に影絵的な両脚が最大量開いた時までの時間(例:図6のk1−k3間の時間)を、対象物種別判定装置1は歩行者特有の運動周期(この場合は歩行者が1歩の前進に要した時間が周期となる。)として採用する。
図6は、歩行者の3つの側面視姿勢を時刻順k1,k2,k3に左から右側へ並べて示している。図6の例では、歩行者がいずれかの脚(左右を区別しない脚)を前方へ最大限突き出した時刻k1から次にいずれかの脚を前方へ最大限突き出した時刻k3までの時間Taが歩行者の脚の運動周期とされている。したがって、各歩行者姿勢の時間間隔k1−k2,k2−k3はTa/2となる。図6において時刻k1,k3の歩行者姿勢では、歩行者は、両脚を歩行者の前後方向へ最大に開いており、脚部の姿勢は同一となっている。時刻k2の歩行者姿勢では、歩行者は、両脚を歩行者の前後方向へ部分的に重ねていて、脚部姿勢は、時刻k1,k3の歩行者姿勢の脚部姿勢とは異なっている。
なお、図6は歩行者の脚の周期運動について説明したが、歩行者は、歩行中、腕も脚と同様に周期運動させる。歩行者の腕についての特徴量(後述の図9参照)に基づいて対象物が歩行者であるか否かを判定するとき、腕の運動周期は、脚の運動周期Taと同一であると想定される。
図4及び図5のフローチャートについて説明する。図4及び図5の対象物の種別判定処理は、ΔT/2の等時間間隔で実施される。理由は、該種別判定処理では、撮像時刻の時間間隔がΔT/2だけずれている2つの撮像画像が、STEP111において必要となるので、STEP107におけるメモリへの輝度プロファイルの記憶はΔT/2ごとに実施するのが処理の合理化上、有利だからである。
図4及び図5の対象物の種別判定処理では、対象物について判定しようとする種別が歩行者であるので、図4及び図5の対象物の種別判定処理の実行時間間隔としてのΔT/2は、歩行者の脚及び腕の運動周期Taの1/4とされる。すなわち、ΔT/2=Ta/4である。
図4及び図5において、STEP101〜102は対象物領域抽出手段11による処理に相当する。STEP103〜STEP110は初回種別判定手段12による処理に相当する。STEP111は選択手段13による処理に相当する。STEP112〜STEP114は2回目種別判定手段14による処理に相当する。
STEP101では、対象物種別判定装置1は、赤外線カメラ2Rの撮像画像から、対象物領域を抽出する。
具体的には、まず、対象物種別判定装置1は、赤外線カメラ2Rの撮像画像を2値化処理して、輝度値が閾値より明るい領域としての2値化対象物を抽出する。次に、対象物種別判定装置1は、抽出された2値化対象物までの自車両10からの距離を算出する。該距離の算出の仕方は、図3のSTEP2で対象物の実空間位置を算出したときと同様な仕方が採用される。
次に、対象物種別判定装置1は、抽出された2値化対象物の上下方向に、複数のマスク領域を設定する。そして、対象物種別判定装置1は、各マスク領域について、自車両10に対する距離を算出する。
次に、対象物種別判定装置1は、2値化対象物の自車両10に対する距離と、各マスク領域の自車両10に対する距離との差を算出する。次に、対象物種別判定装置1は、複数のマスク領域のうち、算出された差が所定範囲内であるマスク領域を取得する。そして、対象物種別判定装置1は、2値化対象物及び取得されたマスク領域を含む領域を、対象物領域として抽出する。
上述の対象物領域を抽出する処理について、例えば、図6の中央の歩行者姿勢に対応する撮像画像(該撮像画像は時刻k2における撮像画像であるので、以下、説明の便宜上、「撮像画像Ik2」と呼ぶ。)を例にして説明する。このとき、撮像画像Ik2から、図7で示すように2値化対象物Tk2(図中、点描を付して示す)が抽出される。そして、抽出された2値化対象物Tk2の上下に、図7に示すようにマスク領域M1(1)〜M1(8)が設定される。次に、マスク領域M1(1)〜M1(8)のうち、自車両10に対する距離の差が所定範囲内のマスク領域M1(3)〜M1(7)が取得される。そして、2値化対象物Tk2及び取得されたマスク領域M1(3)〜M1(7)を含む領域が、対象物領域Rk2として抽出される。
図4に戻り、STEP102では、対象物種別判定装置1は、対象物の時刻間追跡、すなわち、対象物種別判定装置1の演算処理周期毎に同一対象物を認識する処理を行う。
図6の時刻k1,k2に例示する歩行者姿勢の撮像画像(撮像時刻k1,k2の撮像画像)Ik1,Ik2間で、対象物の時刻間追跡を行う場合を例に説明する。撮像画像Ik1から抽出された2値化対象物Tk1の自車両10に対する距離をZk1、撮像画像Ik2から抽出された2値化対象物Tk2の自車両10に対する距離をZk2とする。
図8に示すように、具体的には、まず、対象物種別判定装置1は、撮像時刻k2の撮像画像Ik2の対象物領域Rk2に、幅XUk2、高さYUk2の上部分領域RUk2を設定する。なお、高さYUk2は、実空間における所定高さ(例えば、対象物を歩行者と仮定した場合に、その上半身が撮像され得る高さ)を、対象物領域Rk2の2値化対象物Tk2の自車両10に対する距離Zk2と、焦点距離と、画素間隔とを用いて画像空間に変換した値に設定される。すなわち、上部分領域RUk2は、歩行者の上半身に相当する領域となる。次に、対象物領域Rk2をZk2/Zk1倍した探索画像(テンプレート)を算出する。
次に、対象物種別判定装置1は、撮像時刻k1の画像(以下、「画像Ik1」という。)に対して探索画像(テンプレート)との相関演算を行って、撮像時刻k1の画像Ik1における上部分領域RUk1を抽出する(テンプレートマッチング)。次に、対象物種別判定装置1は、上部分領域RUk1に基づいて、距離に応じて対象物領域Rk2のサイズを変更し、画像Ik1の対象物領域Rk1を設定する。このように、歩行者では上半身の動きが比較的少ないため、対象物領域のうちの上部分領域を探索画像(テンプレート)としてテンプレートマッチングを行うことにより、対象物の時刻間追跡を精度良く行うことができる。
図4に戻って、STEP103では、対象物種別判定装置1は、対象物の移動速度が所定の閾値未満が否かを判定する。そして、所定の閾値未満であれば、処理はSTEP104へ進み、所定の閾値以上であれば、処理はSTEP105へ進む。
STEP104では、対象物種別判定装置1は、対象物領域Rから生体の周期運動の有無を、効率的に判断するために、対象物領域R全体からではなく、対象物領域Rに対して絞った特定部分から判断することにして、該特定部分としての運動判断領域Pを対象物領域Rの上側部分に設定する。STEP105では、対象物種別判定装置1は、運動判断領域Pを対象物領域Rの下側部分に設定する。対象物が歩行者である場合、対象物領域Rの上側部分は、歩行者の腕の画像を含む領域として選定され、対象物領域Rの下側部分は、歩行者の脚の画像を含む領域として選定されている。STEP106では、対象物種別判定装置1は、運動判断領域Pnについての輝度プロファイル(以下、運動判断領域Pnについての輝度プロファイルを「輝度プロファイルJn」という。)を作成する。
図9及び図10を参照して、輝度プロファイルについて説明する。図9及び図10では、各(b)の輝度プロファイルの基になる撮像画像の撮像時刻は各(a)の輝度プロファイルの基になる撮像画像の撮像時刻よりΔT後のものになっている。
図9及び図10において、(a)及び(b)の撮像画像は、図6の時刻k1,k2の歩行者姿勢を撮像したものに、相当する。図9及び図10の説明の便宜のために、(b)の撮像画像の撮像画像を現在時刻とする。したがって、(a)の撮像画像の撮像時刻は、現在時刻よりΔT前となる。説明の便宜上、(a)及び(b)の撮像画像に係る処理等を区別して説明するときは、添え字n及びoを付けて区別し、区別しないときは、添え字n及びoを省略する。
図9では、運動判断領域Pを対象物領域Rの上側部分としたときの輝度プロファイルを示している。一般に、歩行者は、左右の腕を交互に前及び後ろへ出しながら、歩行する。図9では、腕の位置に関係する輝度プロファイルが作成される。図9(a)は歩行者の両腕が歩行者の前後方向へ最大に開いているときの輝度プロファイルを示し、図9(b)は歩行者の両腕が歩行者の前後方向へ歩行者の体側に重なったときの輝度プロファイルを示している。
図9の場合の輝度プロファイルは、運動判断領域Pにおいて、赤外線カメラ2Rの撮像画像としてのグレースケール画像上の縦方向(y方向)の各座標位置における横方向(x方向)の全画素の輝度値の合計を高さとしたものである。
歩行者の画像部分の各画素は輝度値が高い。図9(a)の運動判断領域Poでは、両腕が体側から横方向両側へ大きく張り出しており、運動判断領域Poの縦方向へ腕の範囲では、横方向の全画素の輝度値の合計量がそれ以外の範囲の合計量に対して突出して大きくなる。したがって、図9(a)の輝度プロファイルは、対象物の高さ方向へ腕の範囲において大きく隆起する。
これに対し、図9(b)の運動判断領域Pnでは、両腕が体側に重なるので、対象物の高さ方向へ腕部の範囲において、横方向の全画素の輝度値の合計量は、それ以外の範囲の合計量に対して大きくなるものの、値自体はさほど大きくない。
図9(a)及び(b)の輝度プロファイルについて、最大隆起量は、対象物種別判定装置1が撮像画像における対象物の画像部分から該対象物が歩行者であると判定する際の特徴量に設定される。図9(a)及び(b)の運動判断領域Po,Pnの最大隆起量について対比すれば、両者の最大隆起量の差は所定値以上となっている。
図10では、運動判断領域Pを対象物領域Rの下側部分としたときの輝度プロファイルを示している。図10(a)は歩行者の両脚が歩行者の前後方向へ最大に開いているときの輝度プロファイルを示し、図10(b)は歩行者の両脚が歩行者の前後方向へ重なったときの輝度プロファイルを示している。
図10の輝度プロファイルは、運動判断領域Pにおいて、基準画像上の横方向(x方向)の各座標位置における縦方向(y方向)の全画素の輝度値の合計を高さとしたものである。
図10(a)の運動判断領域Poでは、両脚が前後へ大きく開かれており、運動判断領域Poの横方向へ各脚の範囲において、縦方向の全画素の輝度値の合計量はそれ以外の範囲の合計量に対して大きくなる。したがって、図10(a)の輝度プロファイルは、所定高さ以上の隆起部分が運動判断領域Poの横方向へ2つ生じる。
これに対し、図10(b)の運動判断領域Pnでは、両脚が前後方向へ閉じられて重なるので、所定高さ以上の隆起部分は運動判断領域Pnの横方向へ1つとなる。
図10(a)及び(b)の輝度プロファイルについて、隆起部分の個数は、対象物種別判定装置1が撮像画像における対象物の画像部分から該対象物が歩行者であると判定する際の特徴量に設定される。図10(a)及び(b)の運動判断領域Po,Pnの隆起部分の個数の差は所定値1以上であると判断される。
図4に戻って、STEP104〜106において、対象物種別判定装置1は、対象物の移動速度が遅い(閾値未満)ときは、運動判断領域Pを対象物領域Rの上側部分に設定し、対象物の移動速度が速い(閾値以上)ときは、運動判断領域Pを対象物領域Rの下側部分に設定する。その理由は、対象物が歩行者である場合に、歩行者が歩いているときは、脚の周期運動より腕の周期運動の方が大きな形状変化となり、また、歩行者が走っているときは、腕の周期運動より脚の周期運動の方が大きな形状変化となるからである。
STEP107では、対象物種別判定装置1は、STEP106で作成した輝度プロファイルJnをメモリに記憶する。なお、この歩行者判定処理では、後述のSTEP112の判定のために、ΔT/2の時間経過毎に、輝度プロファイルを作成し、該輝度プロファイルをメモリに記憶しておく必要がある。これに対し、STEP107以降は、ΔT/2の時間経過毎に実施されてもよいし、ΔTの時間経過毎に実施されてもよい。
STEP108では、対象物種別判定装置1は、現在よりΔT前に作成した輝度プロファイルを輝度プロファイルJoとしてメモリから読出す。もし輝度プロファイルJnが図9の(b)の輝度プロファイルであれば、輝度プロファイルJoは図9(a)の輝度プロファイルとなる。また、もし輝度プロファイルJnが10の(b)の輝度プロファイルであれば、輝度プロファイルJoは図10の(a)の輝度プロファイルとなる。
STEP109では、対象物種別判定装置1は、2つの輝度プロファイルJn,Joから抽出した特徴量の差(厳密には差の絶対値)が所定値以上であるか否かを調べる。輝度プロファイルJn,Joから抽出した特徴量とは、前述したように、図9の場合には、輝度プロファイルJn,Joの最大隆起量であり、図10の場合には、輝度プロファイルJn,Joにおいて隆起量が所定値以上である隆起の個数である。
STEP109において、特徴量の差が所定値以上であると判断されれば、STEP110へ進み、特徴量の差が所定値未満であると判断されれば、STEP111(図7)へ進む。STEP110では、対象物種別判定装置1は、対象物が歩行者であると判定し、歩行者判定処理が終了される。
STEP109において、両輝度プロファイルJn,Joの特徴量の差が所定値未満であると判定されたときに、STEP111へ進むことの意味することは、対象物についての種別判定を保留したことである。保留した理由は、この段階では、対象物が歩行者であるか否かを特定できないからである。すなわち、STEP109で対比された撮像画像の時間間隔ΔTが、歩行者の運動周期Taとたまたま一致したときには、対象物が、歩行者でないときだけでなく、歩行者であるときも、比較する輝度プロファイルは、特徴量の差が所定値未満であると判断されてしまうからからである。
図5のSTEP111以降は、選択手段13及び2回目種別判定手段14による処理に関する。すなわち、選択手段13により撮像画像の撮像時刻の時間間隔がΔTとは別の値としてのΔT/2とされて、2回目種別判定手段14による2回目種別判定が行われる。
STEP111では、対象物種別判定装置1は、現在時刻よりΔT/2前の撮像時刻th(本発明の第3の撮像時刻に相当する。)に撮像された撮像画像についての輝度プロファイルをJhとしてメモリから読出す。ここで、以降の説明の便宜上、現在時刻をtn、現在時刻tnよりΔT前の時刻をto、現在時刻tnよりΔT/2前の時刻をthと定義する。この定義によれば、輝度プロファイルJn,Jo,Jhの基になっている撮像画像の撮像時刻はそれぞれtn,to,thとなる。
STEP112では、対象物種別判定装置1は、2つの輝度プロファイルJn,Jhから抽出した特徴量の差(厳密には差の絶対値)が所定値以上であるか否かを調べる。なお、STEP112における所定値は、STEP109における所定値と同一である。また、STEP112における特徴量とは、STEP109における特徴量と同様に、図9の場合には、輝度プロファイルJn,Jhの最大隆起量であり、図10の場合には、輝度プロファイルJn,Jhにおいて隆起量が所定値以上である隆起の個数である。
なお、STEP112では、輝度プロファイルJnの代わりに、輝度プロファイルJoを使用することもできる。その場合、輝度プロファイルJo,Jhを対比し、両輝度プロファイルJo,Jhから抽出した特徴量の差(厳密には差の絶対値)が所定値以上であるか否かを調べることになる。さらに、歩行者判定処理を現在からΔT/2経過後に再実行して、その再実行時を撮像時刻とする撮像画像から生成した輝度プロファイルをSTEP112のJhとすることもできる。
さらに、撮像時刻thは、ΔTが、偶然に対象物の運動周期に一致したために、2回目種別判定を行わなければならないときに、STEP112において、2回目種別判定の対比対象の一方の輝度プロファイルJhが作成される撮像画像の撮像時刻(本発明の第3の撮像時刻に相当する。)となっている。撮像時刻thは撮像時刻tn又はtoとの時間間隔がΔT以外になるように選択された値である。th=tn−ΔT/2又はtn+ΔT/2に代えて、thは、例えば、tn−ΔT<th<tn+ΔTの時間範囲内(ただしth≠tn)にしたり、to−ΔT<th<〜to+ΔTの時間範囲内(ただしth≠to)にしたりすることもできる。
STEP112において、特徴量の差が所定値以上であると判断されれば、STEP113へ進み、特徴量の差が所定値未満であると判断されれば、STEP114へ進む。STEP114では、対象物種別判定装置1は、対象物が歩行者であると判定し、歩行者判定処理が終了される。STEP113では、対象物種別判定装置1は、対象物が歩行者でないと判定し、歩行者判定処理が終了される。
なお、図4のフローチャートでは、対象物としての歩行者が、STEP103の閾値未満の移動速度を維持して(歩行して)横断するか、閾値以上の移動速度を維持して(走って)横断しているかのいずれかであるとして、説明した。しかしながら、歩行者は、場合によって、途中で歩行と走行とを切り替えることがある。その場合は、STEP108で特徴量を抽出する輝度プロファイルJn,Joについて、Jnは図9(b)又は図10(b)の輝度プロファイルとなり、Joは図10(a)又は図9(a)の輝度プロファイルとなって、Jn,Joは相互に異なる運動判断領域由来の輝度プロファイルとなってしまう。
これに対処する場合は、STEP107とSTEP108と間に、輝度プロファイルJn,Joが同一の運動判断領域由来の輝度プロファイルであるか否かを判定するSTEPを追加する。そして、輝度プロファイルJn,Joが同一の運動判断領域由来の輝度プロファイルであると判定された場合には、STEP108以降へ進み、同一の運動判断領域由来の輝度プロファイルではないと判定された場合は、図4の歩行者判定処理を直ちに終了するようにする。なお、直ちに終了した場合も、図4の歩行者判定処理は一定時間経過後に再実行される。
本発明を実施形態について説明したが、本発明は、この実施形態に限定することなく、要旨の範囲内で種々に変形して、実施可能である。
上述の実施の形態では、対象物領域抽出手段11は、対象物領域を抽出する際に用いる、自車両10から対象物までの距離は、対象物に対する2つの赤外線カメラ2R,2Lの視差から算出している。これに対し、自車両10に搭載する赤外線カメラを1つとし、該1つの赤外線カメラから撮像した時系列の撮像画像の対象物画像の寸法変化と車速とに基づき自車両10から対象物までの距離を算出することもできる。
上述の実施の形態では、対象物の種別が歩行者(横断歩行者)であるか否かを判定しているが、本発明は、人以外の生体、例えば動物(前述の特開2009−42941号公報の図12(c)参照)等の種別判定にも適用することができる。
本発明は、さらに、横断歩行者ではなく、路側を道路に沿って歩行している歩行者を判定することもできる。この場合、路側を道路に沿って歩行している歩行者は、その移動方向が自車両10と同一方向になるので、図6のように、赤外線カメラ2Rから見える歩行者は側面視ではなく、正面視又は背面視となる。したがって、両腕又は両脚の運動を、撮像画像上の縦方向又は横方向の各位置での横方向又は縦方向の全画素の輝度値の合計量の輝度プロファイルから観察することが難しくなる。
これに対処するため、歩行者は脚を上下運動させながら歩行することに着目し(特開2009−42941号公報の図14参照)、輝度プロファイルに代えて、両脚の下端(撮像画像上のエッジ点に相当する。)の縦方向位置を、対比する両対象物領域の運動判断領域に基づき特徴量として検出する。そして、対比撮像画像における運動判断領域における特徴量の差としての縦方向距離差(厳密には縦方向距離差の絶対値)が所定値以上であるか否か調べる。
本発明における特徴量は、対象物がその周期運動に伴い変化させる形状について対比撮像画像間の差異が判断できる特徴量であれば、実施形態における対象物領域のプロファイル処理や、エッジ点検出処理に基づいて抽出できるもの以外の処理を採用することができる。
また、2回目種別判定手段において、対比対象物が抽出される2つの撮像画像は、第1又は第2の撮像画像と第3の撮像画像とに選定されるが、第1又は第2の撮像画像に代えて、第1及び第2の撮像画像を合成して、平均した合成・平均画像を採用してもよい。該合成・平均画像は、具体的には、各画素位置の輝度を、該画素位置と同一の、第1及び第2の撮像画像の画素位置の輝度を加算し、2で割って得られた値(平均値)とするものである。