<第一実施の形態>
以下、本発明の第一実施の形態について図面を用いて詳細に説明する。図1は、第一実施の形態における車両用外界認識装置1000のブロック図である。
車両用外界認識装置1000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ1010で撮影した画像内から、一部の形状が互いに共通している複数種類の物体を検出するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。傘をさしていない歩行者、および、傘をさしている歩行者は、その一部である下半身の形状が互いに共通している。
車両用外界認識装置1000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
車両用外界認識装置1000は、図1に示すように、画像取得部1011と、処理領域設定部1021と、共通類似度算出部1030と、第一の特有類似度算出部1031と、第二の特有類似度算出部1032と、第一の物体判定部1041と、第二の物体判定部1042と、物体位置算出部1051とを有し、さらに実施例によっては、更に物体位置取得部1111を有する場合がある。
画像取得部1011は、自車の前方を撮像可能な位置に取り付けられたカメラ1010から、自車前方を撮影したデータを取り込み、画像IMGSRC[x][y]としてRAM上に書き込む。なお、画像IMGSRC[x][y]は2次元配列であり、x、yはそれぞれ画像の座標を示す。
処理領域設定部1021は、画像IMGSRC[x][y]内から歩行者を検出する処理領域23(SX,SY,EX,EY)を設定する。処理の詳細については後述する。
以下、共通類似度算出部1030、第一の特有類似度算出部1031、第二の特有類似度算出部1032、第一の物体判定部1041、第二の物体判定部1042は、歩行者を検出する処理領域23(SX,SY,EX,EY)内を探索するように、判定領域31(図5を参照)(SXG[g],SYG[g],EXG[g],EYG[g])を設定し、第一の物体である傘をさしていない歩行者と第2の物体である傘をさしている歩行者を検出する処理を、繰り返し実行する。ここで、gは複数の領域を設定した場合のID番号である。
共通類似度算出部1030は、傘をさしていない歩行者、および、傘をさしている歩行者の共通なパターンである、歩行者の下半身のテンプレートTP0との類似度を算出する。共通類似度算出部1030は、歩行者の下半身のテンプレートTP0を有し、画像IMGSRC[x][y]の判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])との類似度MT0を算出する。処理の詳細については後述する。
第一の特有類似度算出部1031は、傘をさしていない歩行者の特有のパターンである、歩行者の上半身のテンプレートTP1との類似度を算出する。第一の特有類似度算出部1031は、歩行者の上半身のテンプレートTP1を有し、画像IMGSRC[x][y]の判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])との類似度MT1を算出する。処理の詳細については後述する。
第二の特有類似度算出部1032は、傘をさしている歩行者の特有のパターンである、傘を含む歩行者の上半身のテンプレートTP2との類似度を算出する。第二の特有類似度算出部1032は、テンプレートTP2を有し、画像IMGSRC[x][y]の判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])との類似度MT2を算出する。処理の詳細については後述する。
第一の物体判定部1041は、共通部分のテンプレートTP0との共通類似度MT0と、傘をさしていない歩行者特有のテンプレートTP1との第一の特有類似度MT1を用いて、傘をさしていない歩行者の有無を判定する。判定は、例えば閾値TH1_MTを用いて、共通類似度MT0と第一の特有類似度MT1とを加算した値が閾値TH1_MTよりも大きいという条件を満たす場合、すなわち、
(MT0+MT1)>TH1_MT
であれば存在すると判定してもよいし、共通類似度の閾値TH1_MT0と第一の特有類似度の閾値TH1_MT1を用いて、共通類似度MT0が閾値TH1_MT0よりも大きくかつ第一の特有類似度MT1が閾値TH1_MT1よりも大きいという条件を満たす場合、すなわち、
MT0>TH1_MT0、かつ、MT1>TH1_MT1
であれば物体が存在すると判定してもよい。
第二の物体判定部1042は、共通部分のテンプレートTP0との共通類似度MT0と、傘をさしている歩行者特有のテンプレートとの第二の特有類似度MT2を用いて、傘をさしている歩行者の有無を判定する。判定は、例えば閾値TH2_MTを用いて、共通類似度MT0と第二の特有類似度MT2とを加算した値が閾値TH2_MTよりも大きいという条件を満たす場合、すなわち、
(MT0+MT2)>TH2_MT
であれば存在すると判定してもよいし、共通類似度の閾値TH2_MT0と第二の特有類似度の閾値TH2_MT2を用いて、共通類似度MT0が閾値TH2_MT0よりも大きくかつ第二の特有類似度MT2が閾値TH2_MT2よりも大きいという条件を満たす場合、すなわち、
MT0>TH2_MT0、かつ、MT2>TH2_MT2
であれば物体が存在すると判定してもよい。
物体位置算出部1051は、第一の物体判定部1041、第二の物体判定部1042にて検出した物体の位置を算出する。物体位置取得部1111を有する場合、物体位置は物体位置取得部1111より取得した物体位置情報を用いる。処理の詳細は後述する。
物体位置取得部1111は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダからの検出信号を取得して、自車前方に存在する物体の物体位置(相対距離PYR[b]、横位置PXR[b]、横幅WDR[b])を取得する。ここで、bは複数の物体を検知している場合の各物体のID番号である。これらの物体の位置情報は、レーダの信号を車両用外界認識装置1000に直接入力することによって取得してもよいし、レーダとLAN(Local Area Network)を用いた通信を行うことによって取得してもよい。物体位置取得部1111で検出した物体位置は、処理領域設定部1021にて用いられる。
[処理領域設定部]
つぎに、図2を用いて、処理領域設定部1021における処理の内容について説明する。
図2は、処理領域設定部の処理の例を示す図である。処理領域設定部1021は、画像IMGSRC[x][y]内で歩行者検知処理を行う処理領域23を選定し、その座標の範囲である、x座標(横方向)の始点SXおよび終点EX、y座標上(縦方向)の始点SYおよび終点EYを求める(SX,SY,EX,EY)。処理領域設定部1021は、物体位置取得部1111からの位置情報を用いてもよく、用いなくてもよい。
まず、物体位置取得部1111からの位置情報を用いる場合について説明する。図2(a)は、物体位置取得部1111からの位置情報を用いた場合における処理領域設定部1021の処理の例を示す図である。
処理領域設定部1021は、物体位置取得部1111が検出した物体21の相対距離PYR[b]、横位置PXR[b]および横幅WDR[b]から、検出した物体21の画像上での位置を示す物体位置領域22(x座標(横方向)の始点SXB、終点EXB、y座標(縦方向)の始点SYB、終点EYB)を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば180[cm]などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
また、カメラ1010の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置取得部1111で検出した物体21の画像上での位置と、カメラ画像に写っている同じ物体21の画像上での位置に違いが生じる場合がある。よって、画像上での物体21の位置を示す物体位置領域22(SXB、EXB、SYB、EYB)に、補正を加えた領域を処理領域23(SX、EX、SY、EY)として算出する。補正は、画像上での物体21の位置を示す物体位置領域22を所定の量だけ拡大したり、移動させたりすることによって行われ、例えば、物体位置領域22の各点SXB、EXB、SYB、EYBの位置を上下左右に所定の画素だけ拡張してもよい。こうして、処理領域23(SX、EX、SY、EY)を得ることができる。なお、複数の領域に対して処理する場合、処理領域23(SX、EX、SY、EY)をそれぞれ生成し、後述する物体検出処理をそれぞれの処理領域23に対して個別に実施する。
つぎに、処理領域設定部1021において、物体位置取得部1111からの位置情報を用いずに処理領域23(SX、EX、SY、EY)を設定する処理について説明する。物体位置取得部1111を用いない場合の処理領域23の設定方法は、例えば、領域の大きさを変化させながら画像全体を探索するように複数の領域を設定する方法や、特定の位置、特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がT秒後に進んでいる位置に限定する方法がある。
図2(b)は、自車速を用いて,自車が2秒後に進んでいる位置を探索する場合の例である。処理領域23の位置、および大きさは、自車が2秒後に進んでいる位置までの相対距離における路面高さ(0cm)、および想定する歩行者21の高さ(本実施の形態では180cm)から、カメラ幾何パラメータを用いて画像IMGSRC[x][y]上のy方向の範囲(SYP、EYP)を求める。なお、x方向の範囲(SXP、EXP)は、制限しなくてもよいし、自車の予測進路等により制限してもよい。こうして、処理領域23(SX、EX、SY、EY)を得ることができる。
[類似度算出部]
つぎに、図3、4を用いて、共通類似度算出部1030、第一の特有類似度算出部1031、第二の特有類似度算出部1032、第一の物体判定部1041、第二の物体判定部1042、物体位置算出部1051における処理の流れについて説明する。図3は、車両用外界認識装置の処理を説明するフローチャートである。
まず、ステップS301にて、画像IMGSRC[x][y]の処理領域23(SX,SY,EX,EY)から、エッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合におけるエッジ画像EDGE[x][y]、および、勾配方向画像DIRC[x][y]の算出方法について説明する。
ソーベルフィルタは、図4に示すように3×3画素の大きさで、x方向の勾配を求めるx方向フィルタ41とy方向の勾配を求めるy方向フィルタ42の2種類が存在する。画像IMGSRC[x][y]からx方向の勾配を求める場合、画像IMGSRC[x][y]の1画素ごとに、その画素と周囲8画素の計9画素の画素値と、対応する位置のx方向フィルタ41の重みの積和演算を行う。積和演算の結果がその画素におけるx方向の勾配となる。y方向の勾配の算出も同様である。
画像IMGSRC[x][y]のある位置(x、y)におけるx方向の勾配の算出結果をdx、y方向の勾配の算出結果をdyとすると、勾配強さ画像DMAG[x][y]および勾配方向画像DIRC[x][y]は以下の式(1)(2)により算出される。
DMAG[x][y]=|dx|+|dy| ・・・(1)
DIRC[x][y]=arctan(dy/dx) ・・・(2)
なお、勾配強さ画像DMAG[x][y]および勾配方向画像DIRC[x][y]は、画像IMGSRC[x][y]と同じ大きさの2次元配列であり、勾配強さ画像DMAG[x][y]および勾配方向画像DIRC[x][y]の座標(x、y)は画像IMGSRC[x][y]の座標(x、y)に対応する。
算出した勾配強さ画像DMAG[x][y]の値とエッジ閾値THR_EDGEを比較し、勾配強さ画像DMAG[x][y]がエッジ閾値THR_EDGEよりも大きい(DMAG[x][y]>THR_EDGE)のであれば1、それ以外、すなわち、勾配強さ画像DMAG[x][y]がエッジ閾値THR_EDGE以下であれば0を、エッジ画像EDGE[x][y]に記憶する。
エッジ画像EDGE[x][y]は、画像IMGSRC[x][y]と同じ大きさの2次元配列であり、エッジ画像EDGE[x][y]の座標(x、y)は画像IMGSRC[x][y]の座標(x、y)に対応する。
なお、エッジ抽出前に、画像IMGSRC[x][y]から処理領域23(SX、EX、SY、EY)に該当する画像を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施の形態では、処理領域設定部1021にて用いた距離情報とカメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm]、幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。
また、エッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]の算出は、処理領域23(SX、EX、SY、EY)の範囲外は全てゼロとしてもよい。
つぎに、ステップS3011にて、エッジ画像EDGE[x][y],およびエッジ方向画像DIRC[x][y]内に歩行者判定を行う判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])を設定する。
ステップS301で述べたように,本実施の形態では、カメラ幾何を用い、画像IMGSRC[x][y]内の高さ180[cm]、幅60[cm]の物体が全て16ドット×12ドットの大きさになるように画像を拡大・縮小してエッジ画像EDGE[x][y]を生成している。よって、判定領域31の大きさを16ドット×12ドットとし、エッジ画像EDGE[x][y]内の処理領域23(SX、EX、SY、EY)が16ドット×12ドットより大きい場合は、判定領域31をエッジ画像EDGE[x][y]内に一定の間隔で敷き詰めるように複数設定する。
つぎに、g=0として、処理領域設定部1021にて設定された全ての判定領域31(SXG[g],SYG[g],EXG[g],EXG[g])について、以下ステップS302からS306の処理を実行する。
まず、ステップS302にて、判定領域31(SXG[g],SYG[g],EXG[g],EXG[g])内のエッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]を用いて、複数種類の物体で互いに共通している部分の類似度である共通類似度を算出する。ここでは、共通類似度算出部1030で、傘をさしていない歩行者と傘をさしている歩行者との共通部分である、歩行者の下半身のパターンとの類似度を求める処理を行い、共通類似度MT0を算出する。処理詳細は後述する。
つぎに、ステップS303にて、判定領域31(SXG[g],SYG[g],EXG[g],EXG[g])内のエッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]を用いて、所定の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第一の特有類似度を算出する。ここでは、第一の特有類似度算出部1031で、傘をさしていない歩行者特有の特徴部分である、歩行者の上半身のパターンとの類似度を求める処理を行い、傘をさしていない歩行者の特有な部分の類似度である第一の特有類似度MT1を算出する。処理詳細は後述する。
つぎに、ステップS304にて、判定領域31(SXG[g],SYG[g],EXG[g],EXG[g])内のエッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]を用いて、他の種類の物体が有する物体特有の特徴部分のパターンとの類似度である第二の特有類似度を算出する。ここでは、第二の特有類似度算出部1032で、傘をさしている歩行者特有の特徴部分である、歩行者の上半身の形状のパターンとの類似度を求める処理を行い、傘をさしている歩行者特有の特有な部分の類似度である第二の特有類似度MT2を算出する。処理詳細は後述する。
つぎに、ステップS305にて、第一の物体判定部1041の処理を行い、第一の判定結果格納用配列DTC1[x][y]の座標(SXG[g],SYG[g])に、物体が存在すると判定された場合には「1」を、そうでない場合には「0」を格納する。
さらに、ステップS306も同様に、第二の物体判定部1042の処理を行い、第二の判定結果格納用配列DTC2[x][y]の座標(SXG[g],SYG[g])に、物体が存在すると判定された場合には「1」を、そうでない場合には「0」を格納する。
以上の処理を、全ての判定領域31(SXG[g],SYG[g],EXG[g],EXG[g])に対し実行し、最後にステップS307にて、第一の判定結果格納用配列DTC1[x][y]、および、第二の判定結果格納用配列DTC2[x][y]の結果を統合し、物体位置を算出する。処理詳細は後述する。
[類似度算出部]
つぎに、図5、6を用いて、共通類似度算出部1030における処理の流れについて説明する。図5は、図1の共通類似度算出部で用いられる局所エッジ判定器の模式図、図6は、図1の共通類似度算出部による類似度の算出方法を示すブロック図である。
共通類似度算出部1030の処理を行うステップS302にて、ある判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])について、以下で詳述する識別器61の処理結果で得られる出力を類似度として取り扱う。
まず、識別器61を用いて類似度を算出する方法について説明する。
画像処理によって所定のパターンとの類似度を算出する方法として、パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。
いずれの方法を選択するとしても、あらかじめ所定のパターンか否かを決定する指標となるソースのデータベースが必要となる。パターンの様々な状態をデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境ではパターンに様々な状態が予想されるため、大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
そこで、本実施の形態では後者の識別器を用いて類似度を算出する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
本実施の形態で使用する識別器61は、複数の局所エッジ判定器に基づいて、傘をさしていない歩行者と傘をさしている歩行者の共通の特徴部分である、歩行者の下半身の類似度を算出する。
まず、局所エッジ判定器51について、図5の例を用いて説明する。局所エッジ判定器51は、エッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]、およびマッチング判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])を入力とし、0か1かの2値を出力する判定器であり、局所エッジ頻度算出部511、および閾値処理部512から構成される。
局所エッジ頻度算出部511は、マッチング判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])と同じ大きさのウィンドウ5111内に、局所エッジ頻度算出領域5112を持ち、マッチング判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])とウィンドウ5111の位置関係から、エッジ画像EDGE[x][y]および勾配方向画像DIRC[x][y]内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度MWCを算出する。
局所エッジ頻度MWCは、勾配方向画像DIRC[x][y]の角度値が角度条件5113を満たしており、かつ、対応する位置のエッジ画像EDGE[x][y]が1である画素の総数である。角度条件5113は、図4の例の場合、67.5度から112.5度の間、もしくは、267.5度から292.5度の間であることであり、勾配方向画像DIRC[x][y]の値が一定の範囲であるか否かを判定するものである。
閾値処理部512は、あらかじめ定められた閾値THWC#を持ち、局所エッジ頻度算出部511にて算出された局所エッジ頻度MWCが閾値THWC#以上であれば1、それ以外であれば0を出力する。なお、閾値処理部512は、局所エッジ頻度算出部511にて算出された局所エッジ頻度MWCが閾値THWC#以下であれば1、それ以外であれば0を出力してもよい。
つぎに、図6を用いて、識別器について説明する。識別器61は、エッジ画像EDGE[x][y]、勾配方向画像DIRC[x][y]、および判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])を入力とし、判定領域31内が歩行者の下半身に類似していれば正の値を、類似していなければ負の値を出力する。識別器61は、40個の局所エッジ頻度判定器6101〜6140と、合計部612とから構成される。
局所エッジ頻度判定器6101〜6140は、一つ一つの処理は、前述した局所エッジ判定器51と同様であるが、局所エッジ頻度算出領域5112、角度条件5113、閾値THWC#は、それぞれ異なっている。合計部6120は、局所エッジ頻度判定器6101〜6140からの出力に、対応する重みWWC1#〜WWC40#を乗じ、その合計値SCを出力する。
識別器61の各局所エッジ頻度判定器6101〜6140のパラメータである局所エッジ頻度算出領域5112、角度条件5113、閾値THWC、また、重みWWC1#〜WWC40#は、識別器61への入力画像が歩行者の下半身であった場合には、合計部612から出力される合計値SCが正の値、歩行者の下半身ではなかった場合には合計値SCが負の値となるように、教師データを用いて調整される。調整には、例えばAdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
例えば、NPD個の歩行者の下半身の教師データ、およびNBG個の非歩行者の教師データから、AdaBoostを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をcWC[m]と表す。ここで、mは局所エッジ頻度判定器のID番号である。
まず、局所エッジ頻度算出領域5112および角度条件5113が異なる局所エッジ頻度判定器cWC[m]を複数(例えば、100万通り)用意し、それぞれにおいて、局所エッジ頻度MWCの値を全ての教師データから算出し、閾値THWCをそれぞれ決定する。閾値THWCは、歩行者の下半身の教師データと非歩行者の教師データを最も分類することができる値を選択する。
つぎに、歩行者の下半身の教師データひとつひとつにwPD[nPD]=1/2NPDの重みを与える。同様に、非歩行者の教師データひとつひとつにwBG[nBG]=1/2NBGの重みを与える。ここで、nPDは歩行者の下半身の教師データのID番号、nBGは非歩行者の教師データのID番号である。そして、k=1として、以下、繰り返し処理を行う。
まず、歩行者の下半身・非歩行者全ての教師データの重みの合計が1となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率cER[m]を算出する。誤検知率cER[m]は、局所エッジ頻度判定器cWC[m]において、歩行者の下半身の教師データを局所エッジ頻度判定器cWC[m]に入力した場合の出力が0となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器cWC[m]に入力した場合の出力が1となったもの、すなわち出力が間違っている教師データの重みの合計である。
全ての局所エッジ頻度判定器の誤検知率cER[m]を算出後、誤検知率が最小となる局所エッジ頻度判定器のID mMin を選択し、最終局所エッジ頻度判定器WC[k]=cWC[mMin]とする。
つぎに、各教師データの重みを更新する。更新は、歩行者の下半身の教師データのうち、最終局所エッジ頻度判定器WC[k]を適用した結果が1となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器WC[k]を適用した結果が0となったもの、すなわち出力が正しい教師データの重みに、係数BT[k]=cER[mMin]/(1−cER[mMin])を乗じる。
k=k+1とし、kが予め設定した値(例えば、40)になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器WCがAdaBoostにより自動調整された識別器61となる。なお、重みWWC1〜WWC40は1/BT[k]から算出される。
つぎに、図7を用いて、第一の特有類似度算出部1031、第二の特有類似度算出部1032における処理の流れについて説明する。図7は、図1の第一の特有類似度算出部および第二の特有類似度算出部における類似度の算出方法を示すブロック図である。
第一の特有類似度算出部1031の処理を行うステップS303にて、ある判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])について、識別器611の処理結果得られる出力を第一の特有類似度MT1として取り扱う。識別器611は、識別器61と同じように設計された識別器であるが、教師データとして、傘をさしていない歩行者の上半身を用いている。
同様に、第二の特有類似度算出部1032の処理を行うステップS304にて、ある判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])について、識別器612の処理結果得られる出力を第二の特有類似度MT2として取り扱う。識別器612は、識別器61と同じように設計された識別器であるが、教師データとして、傘をさしている歩行者の上半身を用いている。
つぎに、物体位置算出部1051の処理について説明する。物体位置算出部1051は、判定結果格納用配列DTC1[x][y]において、「1」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
グルーピングされた領域のY座標と、カメラ幾何を用いて、歩行者の身長を180cmと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のX座標と、カメラ幾何を用いて、歩行者の幅を60cmと仮定すると、自車中央から歩行者がどれだけ横(車幅方向外側)に存在しているかを算出することができる。
また、物体位置取得部1111が存在する場合は、上記の方式により算出した位置の周辺に物体情報(PXR[b],PYR[b])が存在する場合は、情報を置き換える。もしくは、物体情報(PXR[b],PYR[b])を、カメラ幾何を用いて判定結果格納用配列DTC1[x][y]へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報(PXR[b],PYR[b])を歩行者の位置とする。判定結果格納用配列DTC2[x][y]についても同様の処理を行う。
以上説明したように、車両用外界認識装置1000は、一回に傘をさしていない歩行者と傘をさしている歩行者を同時に検出することができる。さらに、共通類似度算出部1030を有しているため、単純に2種類の歩行者パターンマッチを実行するよりも、処理負荷を低減することができる。
例えば、傘をさしていない歩行者の全身用のテンプレートと、傘をさしている歩行者の全身用のテンプレートとを用いてパターンマッチングを行った場合、共通する部分である歩行者の下半身については、重複してマッチング判定が行われ、処理の無駄が発生することとなる。
これに対して、車両用外界認識装置1000は、傘をさしていない歩行者と傘をさしている歩行者で共通する特徴部分である歩行者の下半身については、共通する下半身用のテンプレートを用いて類似度を算出し、各歩行者の上半身については、それぞれ傘ありと傘なしの上半身用のテンプレートを用いて類似度を算出しているので、下半身について重複してマッチング判定が行われるのを防ぎ、装置全体の処理負荷を軽減することができる。
なお、歩行者の検知に用いる識別器61、611,612は、本実施の形態で説明した方法の例に限定されない。正規化相関を用いたテンプレートマッチング、ニューラルネットワーク識別器、サポートベクターマシン識別器、ベイズ識別器などを用いてもよい。また、エッジを抽出せずに、濃淡画像やカラー画像をそのまま用いて、識別器61,611,612により判定してもよい。
また、識別器61,611,612は、様々な歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを教師データとして、AdaBoostなどの機械学習の手段を用いて調整してもよい。特に、実施の形態として車両用外界認識装置1000が物体位置取得部1111を備える場合には、様々な歩行者の画像データと、横断歩道、マンホールやキャッツアイ等、ミリ波レーダやレーザレーダが衝突の危険がないにも関わらず誤検知する領域の画像データを教師データとしてもよい。
<第二実施の形態>
つぎに、本発明の車両用外界認識装置の第二実施の形態について、以下に図面を用いて説明する。
図8は、第二実施の形態における車両用外界認識装置の構成を示すブロック図である。なお、以下の説明では、上述の第一実施の形態における車両用外界認識装置1000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
本実施の形態において特徴的なことは、自車周辺の環境を推定し、該推定した車両環境に応じて、第一の物体判定手段の判定結果に対する第一の信頼度と第二の物体判定手段の判定結果に対する第二の信頼度を調整する構成としたことである。
車両用外界認識装置2000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された2種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知するように構成されている。
車両用外界認識装置2000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
車両用外界認識装置2000は、図8に示すように、画像取得部1011と、処理領域設定部1021と、共通類似度算出部1030と、第一の特有類似度算出部1031と、第二の特有類似度算出部1032と、第一の物体判定部1041と、第二の物体判定部1042と、環境推定部2060と、第一の信頼度2061と、第二の信頼度2062と、物体位置算出部2071とを有し、さらに実施の形態によって、ワイパ操作取得部2161と、物体位置取得部1111とを有する。
ワイパ操作取得部2161は、運転者による車両のワイパ操作の開始/終了の情報を取得する。この操作情報は、ワイパのON/OFF信号を車両用外界認識装置2000に直接入力することによって取得してもよいし、LAN(Local Area Network)を用いた通信を行うことによって取得してもよい。
環境推定部2060は、ワイパ操作取得部2161、第一の物体判定部1041、第二の物体判定部1042、さらに物体位置取得部1111の情報のいずれか1つ以上を用いて、第一の信頼度2061、および、第二の信頼度2062の値を変更する。処理の詳細については後述する。
第一の信頼度2061、および、第二の信頼度2062は、値が高いほど信頼度が高いことを表す数値である。これらの値は、環境推定部2060によって変更され、物体位置算出部2071にて用いられる。
物体位置算出部2071は、第一の物体判定部1041、第二の物体判定部1042、第一の信頼度2061、第二の信頼度2062を用いて物体位置を算出する。物体位置取得部1111を有する場合、物体位置は物体位置取得部1111より取得した物体位置情報を用いる。処理の詳細は後述する。
[環境推定部]
つぎに、図9,10を用いて、環境推定部2060における処理の内容について説明する。図9、10は環境推定部2060の処理の流れを示すフローチャートである。ここでは、2通りの調整方法について説明する。
第一に、図9を用いて、ワイパ操作取得部2161の情報を用いた方法について説明する。まず、ステップS91にて、ワイパ操作取得部2161からワイパのON/OFF状態を取得する。つぎに、ステップS92にて、ワイパのON/OFF状態に応じて、図9(b)のテーブル921を参照して第一の信頼度2061、第二の信頼度2062を設定する。
このように、ワイパのON/OFF状態に応じて第一の信頼度2061、第二の信頼度2062を変えることにより、例えばワイパがONのときは雨が降っていると予想されるので、第一の信頼度2061よりも第二の信頼度2062を大きく設定し(第一の信頼度2061<第二の信頼度2062)、逆にワイパがOFFのときは雨が降っていないと予想されるので、第一の信頼度2061よりも第二の信頼度2062を小さく設定する(第一の信頼度2061>第二の信頼度2062)。
第二に、図10を用いて、第一の物体判定部1041、第二の物体判定部1042を用いた方法について説明する。
まず、ステップS101にて、第一の物体判定部1041による第一の物体の過去T秒における検出回数N1をカウントする。ここでは、T=1秒とする。つぎに、ステップS102にて、第二の物体判定部1042による第2の物体の過去T秒における検出回数N2をカウントする。ここでは、T=1秒とする。つぎに、ステップS103にて、以下の条件を満たすかを判定する。ここで、THNはあらかじめ定められた値である。
(N1−N2)/(N1+N2)>THN
上記条件を満たす場合は、ステップS105へ移行し、第一の信頼度2061、および、第二の信頼度2062をそれぞれr11、r21(r11>r21)と設定する。これにより、傘をさしている歩行者の方が、傘をさしていない歩行者よりも十分に多い場合には、傘をさしている歩行者の信頼度を、傘をさしていない歩行者の信頼度よりも大きく設定される。
そして、ステップS103の条件を満たさない場合は、ステップS104へ移行し、以下の条件を満たすかを判定する。ここで、THNはあらかじめ定められた値である。
(N2−N1)/(N1+N2)>THN
上記条件を満たす場合は、ステップS106へ行き、第一の信頼度2061、および、第二の信頼度2062をそれぞれr12、r22(r12<r22)と設定する。これにより、傘をさしていない歩行者の方が、傘をさしている歩行者よりも十分に多い場合には、傘をさしていない歩行者の信頼度を、傘をさしている歩行者の信頼度よりも大きく設定される。
そして、ステップS104の条件を満たさない場合は、ステップS107へ移行し、第一の信頼度2061、および、第二の信頼度2062をそれぞれr13、r23(r13=r23)と設定する。これにより、傘をさしていない歩行者と、傘をさしている歩行者の人数がほぼ等しい場合には、傘をさしていない歩行者の信頼度と傘をさしている歩行者の信頼度が同じに設定される。このように、過去の検出回数を参照することによって、一方の検出頻度が他方に比べ高い場合、信頼度を高める処理を行う。
つぎに、物体位置算出部2071における処理の内容について説明する。
物体位置算出部2071は、判定結果格納用配列DTC1[x][y]において、「1」が入っている場所をグルーピングし、その中心位置に歩行者が存在すると判定する。グルーピングには、ラベリングなど、公知の技術を用いる。
つぎに、過去T秒の検出結果を参照し、各グループが過去に存在した回数DTをカウントする。そして、回数DTと第一の信頼度2061を乗じた値JGを算出し、値JGが所定の閾値THJG以上であれば、そこに歩行者が存在すると判定する。
グルーピングされた領域のY座標と、カメラ幾何を用いて、歩行者の身長を180cmと仮定すると、歩行者までの距離を算出することができる。また、グルーピングされた領域のX座標と、カメラ幾何を用いて、歩行者の幅を60cmと仮定すると、自車中央から歩行者がどれだけ横の位置(車幅方向)に存在しているかを算出することができる。
また、物体位置取得部1111が存在する場合は、上記の方式により算出した位置の周辺に物体情報(PXR[b],PYR[b])が存在する場合は、情報を置き換える。
もしくは、物体情報(PXR[b],PYR[b])を、カメラ幾何を用いて判定結果格納用配列DTC1[x][y]へ投影し、各グループの中心位置と投影した物体情報の配列上の距離が所定値以下である場合、物体であると判定し、物体情報(PXR[b],PYR[b])を歩行者の位置とする。判定結果格納用配列DTC2[x][y]についても同様の処理を行う。
以上説明したように、信頼度と過去の検出回数を用いることにより、第一の信頼度、もしくは第二の信頼度が高い場合は対応する物体をすぐに検出することができ、低い場合は検出まで時間を要して、しばらくの間待つこととなる。
環境推定部2060が図9に示す第一の形式の場合、ワイパのON/OFFによって傘をさしている歩行者の信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、ワイパがOFFの場合は傘をさしている歩行者が、ワイパがONの場合は傘をさしていない歩行者が、それぞれ最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
また、環境推定部2060が図10に示す第二の形式の場合、過去の判定結果の頻度によって傘をさしていない歩行者、および、傘をさしている歩行者のそれぞれの信頼度を変化させている。よって、傘をさしていない歩行者も、傘をさしている歩行者も物体判定は実行しているが、一方の検出回数が十分多くなると、検出回数が少ない方は最終結果として検出されにくくなる。したがって、誤判定を減らすことができ、歩行者の検出精度を向上させることができる。
<第三実施の形態>
つぎに、本発明の車両用外界認識装置の第三の実施の形態について、以下に図面を用いて説明する。
図11は、車両用外界認識装置3000の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態の車両用外界認識装置1000、および、第二十子の形態の車両用外界認識装置2000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
車両用外界認識装置3000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された2種類の物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から自車の車幅方向に向いている横向きの歩行者、および、自車の前後方向に向いている縦向きの歩行者を検知するように構成されている。
車両用外界認識装置3000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置3000は、図11に示すように、画像取得部1011と、処理領域設定部1021と、共通類似度算出部3030と、第一の特有類似度算出部3031と、第二の特有類似度算出部3032と、第一の物体判定部3041と、第二の物体判定部3042と、環境推定部3060と、第一の信頼度2061と、第二の信頼度2062と、物体位置算出部3071と、物体位置取得部1111とを有する。
共通類似度算出部3030は、横向きの歩行者、および、縦向きの歩行者の共通なパターンである、歩行者の頭から肩にかけての輪郭テンプレートとの類似度を算出する。共通類似度算出部3030は、歩行者の頭のテンプレートTP0を有し、画像IMGSRC[x][y]の判定領域31(SXG[g],SYG[g],EXG[g],EYG[g])とテンプレートTP0との類似度MT0を算出する。なお、処理の詳細は、テンプレートTP0が歩行者の頭から肩にかけての輪郭であること以外は上述の共通類似度算出部1030と同様であるため、割愛する。
第一の特有類似度算出部3031は、横向きの歩行者の特有のパターンである、横向きの歩行者の肩から下のテンプレートとの類似度を算出する。第一の特有類似度算出部3031は、横向きの歩行者の肩から下の輪郭テンプレートTP1を有し、画像IMGSRC[x][y]の判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とテンプレートTP1との類似度MT1を算出する。なお、処理の詳細は、テンプレートTP1が横向きの歩行者の肩から下の輪郭であること以外は上述の第一の特有類似度算出部1031と同様であるため、割愛する。
第二の特有類似度算出部3032は、縦向きの歩行者の特有のパターンである、縦向きの歩行者の肩から下の輪郭テンプレートとの類似度を算出する。第二の特有類似度算出部3032は、縦向きの歩行者の肩から下のテンプレートTP2を有し、画像IMGSRC[x][y]の判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とテンプレートTP2との類似度MT2を算出する。なお、処理の詳細は、テンプレートTP2が縦向きの歩行者の肩から下の輪郭であること以外は上述の第二の特有類似度算出部1032と同様であるため、割愛する。
第一の物体判定部3041は、共通部分のテンプレートTP0との共通類似度MT0、および、横向きの歩行者特有のテンプレートTP1との第一の特有類似度MT1を用いて、横向きの歩行者の有無を判定する。判定は、例えば閾値TH1_MTを用いて、共通類似度MT0と第一の特有類似度MT1とを加算した値が閾値TH1_MTよりも大きいという条件を満たす場合、すなわち、
(MT0+MT1)>TH1_MT
であれば存在すると判定してもよいし、共通類似度の閾値TH1_MT0と第一の特有類似度の閾値TH1_MT1を用いて、共通類似度MT0が閾値TH1_MT0よりも大きくかつ第一の特有類似度MT1が閾値TH1_MT1よりも大きいという条件を満たす場合、すなわち、
MT0>TH1_MT0、かつ、MT1>TH1_MT1
であれば物体が存在すると判定してもよい。
第二の物体判定部3042は、共通部分のテンプレートTP0との共通類似度MT0と、縦向きの歩行者特有のテンプレートTP2との第二の特有類似度MT2を用いて、縦向きの歩行者の有無を判定する。判定は、例えば閾値TH2_MTを用いて、共通類似度MT0と第二の特有類似度MT2とを加算した値が閾値TH2_MTよりも大きいという条件を満たす場合、すなわち、
(MT0+MT2)>TH2_MT
であれば存在すると判定してもよいし、共通類似度の閾値TH2_MT0と第二の特有類似度の閾値TH2_MT2を用いて、共通類似度MT0が閾値TH2_MT0よりも大きくかつ第二の特有類似度MT2が閾値TH2_MT2よりも大きいという条件を満たす場合、すなわち、
MT0>TH2_MT0、かつ、MT2>TH2_MT2
であれば物体が存在すると判定してもよい。
環境推定部3060は、物体位置取得部1111からの情報を用いて、物体位置の履歴に基づいて、第一の信頼度2061、および、第二の信頼度2062を調整する処理を行う。この処理について、図12を用いて説明する。
まず、ステップS121にて、処理領域設定部1021で選択されている処理対象となった物体の情報(相対距離PYR[b],PXR[b])を取得する。つぎに、ステップS122にて、過去の物体の位置情報の差分、および、自車速から、物体の縦方向の移動速度VY[b]、および、横方向の移動速度VX[b]を算出する。
そして、ステップS123にて、以下の条件を満たすかを判定する。ここで、Abs(X)は絶対値算出の演算であり、THVXはあらかじめ定められた所定の値である。例えば、0.5[m/s]と設定する。
Abs(VX[b])>Abs(VY[b])
かつ Abs(VX[b])>THVX
すなわち、横移動速度が縦移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップS215へ進み、第一の信頼度2061、および、第二の信頼度2062をそれぞれr11、r21(r11>r21)と設定する。これにより、横向きの歩行者の方が、縦向きの歩行者よりも十分に多い場合には、横向きの歩行者の信頼度が、縦向き歩行者の信頼度よりも大きく設定される。
そして、ステップS123の条件を満たさない場合は、ステップS124へ行き、以下の条件を満たすかを判定する。ここで、THVYはあらかじめ定められた所定の値であり、例えば、0.5[m/s]と設定する。
Abs(VY[b])>Abs(VX[b])
かつ Abs(VY[b])>THVY
すなわち、縦移動速度が横移動速度よりも大きく、かつ、絶対値が十分に大きいという条件を満たすか否かが判断される。そして、この条件を満たす場合は、ステップS126へ移行し、第一の信頼度2061、および、第二の信頼度2062をそれぞれr12、r22(r12<r22)と設定する。これにより、縦向きの歩行者の方が、横向きの歩行者よりも十分に多い場合には、縦向きの歩行者の信頼度が、横向き歩行者の信頼度よりも大きく設定される。
そして、ステップS124の条件を満たさない場合は、ステップS127へ移行し、第一の信頼度2061、および、第二の信頼度2062をそれぞれr13、r23(r13=r23)と設定する。これにより、横向きの歩行者と、縦向きの歩行者の人数に大きな差がない場合には、横向きの歩行者の信頼度と縦向きの歩行者の信頼度が同じに設定される。
以上説明したように、物体位置情報に基づいて縦向きの歩行者と横向きの歩行者の信頼度を変化させることによって、横方向に移動している物体に対する画像処理では、横向きの歩行者を判定しやすく、縦方向に移動している物体に対する画像処理では、縦向きの歩行者を判定しやすくすることができる。
なお、本実施の形態では、環境推定部3060、第一の信頼度2061、第二の信頼度2062、物体位置算出部3071を用いた場合を例に説明したが、これらを用いずに、代わりに上述の第一実施の形態における物体位置算出部1051(図1を参照)を用いてもよい。また、本実施の形態では、環境推定部3060を用いる場合を例に説明したが、代わりに上述の第二の実施形態における環境推定部2060の図10に示す第二の形式を用いることもできる。
さらに、コンピュータの処理能力が低い場合、所定の自車速から白線認識などを並列処理する場合、全てのパターンマッチ処理を実行することができないことがある。したがって、例えば、図8に記載の車両用外界認識装置の第二の実施形態、または、図11に記載の車両用外界認識装置の第三の実施形態において、第一の信頼度2061、第二の信頼度2062を参照し、信頼度が高いほうの判定部、および、判定部が参照している共通類似度算出部、特有類似度算出部の処理を優先させ、処理に余裕があるときに、残りの信頼度が低い方の物体判定部、および、判定部が参照している特有類似度算出部の処理を実行するようにしてもよい。
以上説明したように、信頼度を設けることによって、処理負荷が大きく全ての処理が実行できない場合に、信頼度に基づいて処理の優先順位を変更し、信頼度が高い物体の判定処理を優先させることができる。
<第四実施の形態>
つぎに、本発明の車両用外界認識装置の第四実施の形態について、以下に図面を用いて説明する。図13は、車両用外界認識装置4000の実施形態を表すブロック図である。なお、以下の説明では、上述の第一実施の形態〜第三実施の形態の車両用外界認識装置1000〜3000と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
車両用外界認識装置4000は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ1010で撮影した画像内から予め設定された2種類の物体を検知するためのものであり、本実施の形態では、例えば夜間にヘッドライトのロービームによって、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を検知するように構成されている。
車両用外界認識装置4000は、CPUやメモリ、I/O等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
車両用外界認識装置4000は、図13に示すように、画像取得部1011と、処理領域設定部1021と、共通類似度算出部4030と、第一の特有類似度算出部4031と、第一の物体判定部4041と、第二の物体判定部4042と、物体位置算出部1051とを有し、実施例によっては物体位置取得部1111を有する。
共通類似度算出部4030は、全身が見えている歩行者、および、下半身のみ見えている歩行者の共通なパターンである、歩行者の下半身のテンプレートTP0との類似度を算出する。共通類似度算出部4030は、歩行者の下半身のテンプレートTP0を有し、画像IMGSRC[x][y]の判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とテンプレートTP0との類似度MT0を算出する。なお、歩行者の下半身のテンプレートは図5に示すものであり、類似度MT0の算出処理は、上述の第一実施の形態における共通類似度算出部1030と同様であるため、説明は割愛する。
第一の特有類似度算出部4031は、全身が見えている歩行者の特有のパターンである、歩行者の上半身のテンプレートTP1との類似度を算出する。第一の特有類似度算出部4031は、歩行者の上半身のテンプレートTP1を有し、画像IMGSRC[x][y]の判定領域(SXG[g],SYG[g],EXG[g],EYG[g])とテンプレートTP1との類似度MT1を算出する。なお、歩行者の上半身のテンプレートTP1は、図7(a)に示すものであり、類似度MT1の算出処理は、上述の第一実施の形態における第一の特有類似度算出部1031と同様であるため、説明は割愛する。
第一の物体判定部4041は、共通部分のテンプレートTP0との共通類似度MT0と、全身が見えている歩行者特有のテンプレートTP1との第一の特有類似度MT1を用いて、全身が見えている歩行者の有無を判定する。判定は、例えば閾値TH1_MTを用いて、共通類似度MT0と第一の特有類似度MT1とを加算した値が閾値TH1_MTよりも大きいという条件を満たす場合、すなわち、
(MT0+MT1)>TH1_MT
であれば存在すると判定してもよいし、共通類似度の閾値TH1_MT0と第一の特有類似度の閾値TH1_MT1を用いて、共通類似度MT0が閾値TH1_MT0よりも大きくかつ第一の特有類似度MT1が閾値TH1_MT1よりも大きいという条件を満たす場合、すなわち、
MT0>TH1_MT0、かつ、MT1>TH1_MT1
であれば物体が存在すると判定してもよい。
第二の物体判定部3042は、共通部分のテンプレートとの共通類似度MT0を用いて、下半身のみ見えている歩行者の有無を判定する。判定は、例えば閾値TH2_MTを用いて、共通類似度MT0が閾値TH2_MTよりも大きいという条件を満たす場合、すなわち、
MT0>TH2_MT
であれば、歩行者が存在すると判定する。
なお、本実施の形態では、図13に示すように、物体位置算出部1051を用いる場合を例に説明しているが、これを用いずに、代わりに上述の第三の実施の形態における環境推定部3060、第一の信頼度2061、第二の信頼度2062、物体位置算出部3071を用いてもよい。
本実施の形態によれば、自車の前方を撮像した画像内から全身が見えている歩行者と、下半身のみ見えている歩行者の両方を、より少ない処理負荷で検知することができる。
<第五実施の形態>
つぎに、図14を用いて、プリクラッシュ・セーフティ・システムを例にとり、上述の各実施の形態の車両用外界認識装置によって判定した歩行者に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
図14は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
最初に、ステップS141において、上記いずれかの車両用外界認識装置によって検知された歩行者の位置情報を、障害物情報(PYO[b]、PXO[b]、WDO[b])として読み込む。
つぎに、ステップS142において、検知された各物体の衝突予測時間TTC[i]を、下記の式(3)を用いて演算する。ここで、相対速度VYO[b]は、物体の相対距離PYO[b]を擬似微分することによって求める。
TTC[b]=PY[b]÷VY[b] ・・・(3)
さらに、ステップS143において、各障害物に対する危険度DRECI[b]を演算する。
以下、上述のいずれかの車両用外界認識装置で検知された物体X[b]に対する危険度DRECI[b]の演算方法の例を、図15を用いて説明する。
まず、予測進路の推定方法について説明する。図15に示すように、自車位置を原点Oとすると、予測進路は原点Oを通る旋回半径Rの円弧で近似できる。ここで、旋回半径Rは、自車の操舵角α、速度Vsp、スタビリティファクタA、ホイールベースLおよびステアリングギア比Gsを用いて以下の式(4)で表される。
R=(1+AV2)×(L・Gs/α) ・・・(4)
ここで、スタビリティファクタAとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。上記式(2)からわかるように、旋回半径Rは、スタビリティファクタAを係数として、自車の速度Vspの2乗に比例して変化する。また、旋回半径Rは車速Vspおよびヨーレートγを用いて式(5)で表すことができる。
R=V/γ ・・・(5)
つぎに、物体X[b]から、旋回半径Rの円弧で近似した予測進路の中心へ垂線を引き、距離L[b]を求める。
さらに、自車幅Hから距離L[b]を引き、これが負値の場合には危険度DRECI[b]=0とし、正値の場合には以下の式(6)によって危険度DRECI[b]を演算する。
DRECI[b]= (H−L[b])/H ・・・(6)
なお、ステップS141〜S143の処理は、検知した物体数に応じてループ処理を行う構成としている。
ステップS144において、ステップS143で演算した危険度DRECI[b]に応じて式(7)の条件が成立している物体を選択し、選択された物体の中で衝突予測時間TTC[b]が最小となる物体bMinを選択する。
DRECI[b]≧ cDRECI# ・・・(7)
ここで、所定値cDRECI#は、自車に衝突するか否かを判定するための閾値である。
つぎに、ステップS145において、選択された物体kの衝突予測時間TTC[bMin]に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式(8)が成立している場合にはステップS146に進み、ブレーキ制御を実行して処理を終了する。また、式(8)が非成立の場合にはステップS147に進む。
TTC[bMin]≦cTTCBRK# ・・・(8)
ステップS147において、選択された物体bMinの衝突予測時間TTC[bMin]に応じて警報を出力する範囲であるか否かの判定を行う。式(9)が成立している場合にはステップS148に進み、警報を出力して処理を終了する。また、式(9)が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
TTC[bMin]≦cTTCALM# ・・・(9)
以上説明したように、本発明である上述のいずれかの車両用外界認識装置において歩行者と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。
なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。