JP4298699B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP4298699B2 JP4298699B2 JP2005346016A JP2005346016A JP4298699B2 JP 4298699 B2 JP4298699 B2 JP 4298699B2 JP 2005346016 A JP2005346016 A JP 2005346016A JP 2005346016 A JP2005346016 A JP 2005346016A JP 4298699 B2 JP4298699 B2 JP 4298699B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- aspect ratio
- pedestrian
- vehicle
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
この表示処理装置では、赤外線画像を2値化処理して明部が集中している領域(2値化対象物)を探索し、2値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、2値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。
さらに、請求項2に記載の本発明の車両周辺監視装置によれば、2値化対象物を含む領域内での輝度値の分布状態に対して人工構造物と歩行者との間で生じる差異を縦横比の算出に対して適切に反映させることができ、対象物の種別を判定する際の信頼度を向上させることができる。
さらに、請求項3に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項4に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
本実施の形態による車両周辺監視装置は、例えば図1に示すように、車両周辺監視装置を制御するCPU(中央演算装置)を備えた画像処理ユニット1と、遠赤外線を検出可能な2つの赤外線カメラ2R,2Lと、自車両のヨーレートを検出するヨーレートセンサ3と、自車両の走行速度(車速)を検出する車速センサ4と、運転者によるブレーキ操作の有無を検出するブレーキセンサ5と、スピーカ6と、表示装置7とを備えて構成され、例えば、画像処理ユニット1は2つの赤外線カメラ2R,2Lの撮影により得られる自車両周辺の赤外線画像と、各センサ3,4,5により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ6または表示装置7を介して警報を出力するようになっている。
なお、表示装置7は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するHUD(Head Up Display)7a等を備えて構成されている。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
以下に、画像処理ユニット1における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図3に示すステップS1において、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得する。
次に、ステップS2においては、取得した赤外線画像をA/D変換する。
次に、ステップS3においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(つまり、視差)により自車両10から対象物までの距離を算出することができる。
なお、以下のステップS4〜ステップS9の処理は、2値化処理により得た基準画像(例えば、右画像)について実行する。
次に、ステップS5においては、赤外線画像に2値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、2値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはy方向に1画素の幅を有し、x方向に適宜の画素数の長さを有するように設定されている
次に、ステップS7においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のx方向座標を含むライン同士がy方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップS8においては、抽出した対象物の重心Gと、面積Sと、外接四角形の縦横比ASPECTとを算出する。
また、ラベルAの対象物の重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と、各ランレングスデータの座標x[i]またはy[i]とを乗算して得た値(つまり、(run[i]−1)×x[i]または(run[i]−1)×y[i])を同一対象物において積算して得た値を、面積Sで除算することにより算出する。
さらに、縦横比ASPECTは、ラベルAの対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する必要がある(=run[i]−1)。また、重心Gの座標は、外接四角形の重心座標で代用してもよい。
まず、ステップS9においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出した場合、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定された場合には、対象物C、Dのラベルをそれぞれ対象物A、Bのラベルに変更する。そして、認識された各対象物の位置座標(例えば、重心等)を、時系列位置データとして適宜のメモリに格納する。
先ず、ステップS11においては、基準画像(例えば、右画像)を2値化処理して得た画像データ上で追跡される複数の対象物のうちから1つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像R1として基準画像(例えば、右画像)から抽出する。
ここで、実空間座標(X,Y,Z)は、例えば図2に示すように、自車両10の前部における赤外線カメラ2R,2Lの取り付け位置の中点の位置を原点Oとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をx方向、垂直方向をy方向として設定されている。また、座標(xc,yc)は、基準画像(例えば、右画像)上の座標(x,y)を、赤外線カメラ2Rの取付位置と、実空間の原点Oとの相対位置関係に基づいて、実空間の原点Oと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
このステップS16においては、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(つまり、所定時間ΔT前)の位置座標P(N−1)=(X(N−1),Y(N−1),Z(N−1))とを、近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))およびPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を算出する。
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔTのモニタ期間内の複数(例えば、N個)の実空間位置データから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両10と対象物との接触発生の可能性を精度良く予測することが可能となる。
この判定結果が「NO」の場合には、ステップS1へ戻り、上述したステップS1〜ステップS17の処理を繰り返す。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
そして、ステップS18においては、例えばブレーキセンサ5の出力BRに基づく自車両10の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップS18の判定結果が「NO」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTHよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップS1へ戻り、上述したステップS1〜ステップS18の処理を繰り返す。
一方、ステップS18の判定結果が「YES」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTH以下である場合、あるいは、自車両10の運転者がブレーキ操作を行っていない場合には、 一方、ステップS18の判定結果が「YES」の場合には、接触発生の可能性が高いと判断して、ステップS19に進む。
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsが維持された場合に、対象物と自車両10との間の距離が所定の距離Zv(0)以下で自車両10が停止する状態に対応する値である。
次に、ステップS20においては、表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。
この警報判定処理は、例えば図4に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両10と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図5に示すように、自車両10の進行方向(例えば、Z方向)に対してほぼ直交する方向において速度Vpで移動する対象物20が存在する場合を参照して説明する。
この判定結果が「NO」の場合には、後述するステップS37に進む。
一方、この判定結果が「YES」の場合には、ステップS32に進む。
なお、余裕時間Tsは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Tsだけ以前のタイミングで判定するための時間であって、例えば2〜5秒程度に設定される。また、所定地上高Hは、例えば自車両10の車高の2倍程度の値に設定される。
この判定結果が「YES」の場合には、後述するステップS34に進む。
一方、この判定結果が「NO」の場合には、ステップS33に進む。
この判定結果が「YES」の場合には、後述するステップS36に進む。
一方、この判定結果が「NO」の場合には、後述するステップS37に進む。
この判定結果が「NO」の場合には、ステップS35に進む。
一方、この判定結果が「YES」の場合には、ステップS37に進む。
そして、ステップS35においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップS35の判定結果が「YES」の場合には、ステップS36に進む。
一方、ステップS35の判定結果が「NO」の場合には、後述するステップS37に進む。
一方、ステップS37においては、上述したステップS31において所定の余裕時間Ts以内に自車両10と対象物とが接触する可能性がない場合(ステップS31のNO)、あるいは、ステップS33において対象物が接近判定領域内へ進入して自車両10と接触する可能性がない場合(ステップS33のNO)、あるいは、ステップS34において対象物が人工構造物であると判定された場合(ステップS34のYES)、あるいはステップS34において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合(ステップS35のNO)には、検出した対象物と自車両10との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。
例えば2値化対象物OBの外接四角形QBの左上頂点QLの座標(xb,yb)と、外接四角形の幅Wbと、外接四角形の高さHbとに対して、マスクOAの幅dxPを所定値(例えば、2pixel)とし、マスクOAの高さdyPを所定値(例えば、外接四角形の高さHbの2倍の値=2×Hb)とすれば、マスクOAの左上頂点ALの座標(xP,yP)は、(xP=xb+Wb/2−1,yP=yb−Hb)となる。
そして、縦方向(つまりy方向であって、鉛直方向下方が正方向)の各縦位置J(Jは適宜の整数)毎での横方向(つまりx方向)に沿った輝度値の平均値(横平均輝度)の縦位置Jに応じた変化(横平均輝度プロジェクション)F(J)を算出する。
そして、横平均輝度プロジェクションF(J)が略最大値となる位置(最大ピーク位置)j_enを検知する。
ここで、最大ピーク位置j_enを検知する際には、先ず、第1の判定処理として、横平均輝度プロジェクションF(J)に適宜のエッジフィルタを作用させて得たエッジフィルタ出力値eg_calが所定閾値EG_TH(例えば、10)よりも大きいか否かを判定する。
さらに、第2の判定処理として、横平均輝度プロジェクションF(J)において、隣り合う縦位置での輝度差{F(J)−F(J−1)}が所定差KDIFF_TH(例えば、−10)よりも大きいか否かを判定する。
そして、第1の判定処理の判定結果および第2の判定処理の判定結果が「YES」である場合、つまり
eg_cal>EG_TH、かつ、
{F(J)−F(J−1)}>KDIFF_TH
である場合には、例えば図9に示すように、エッジフィルタ出力値eg_calが最大となる位置を最大ピーク位置j_enとして設定する。
一方、少なくとも第1の判定処理または第2の判定処理の何れかの判定結果が「NO」である場合には、最大ピーク位置j_enが存在しないとする。
さらに、第4の判定処理として、第3の判定処理での縦位置Jに対して横平均輝度プロジェクションF(J)が所定閾値KIDO_TH(例えば、100階調)よりも小さいか否かを判定する。
そして、第3の判定処理の判定結果および第4の判定処理の判定結果が「YES」である場合、つまり
S(J)<SMIN_TH、かつ、
S(J―1)<SMIN_TH、かつ、
F(J)<KIDO_TH
である場合には、例えば図9に示すように、対応する縦位置Jを最小ピーク位置j_stとして設定する。
一方、少なくとも第3の判定処理または第4の判定処理の何れかの判定結果が「NO」である場合には、最小ピーク位置j_stが存在しないとする。
例えば図10に示すように、2値化対象物に係る相対的に高輝度の領域の縦幅c_Hおよび横幅c_Wを算出する際に、先ず、横平均輝度プロジェクションF(J)と最大ピーク位置j_enと最小ピーク位置j_stとに基づき、横平均輝度プロジェクションF(J)の平均値(平均輝度値)AVE_H(={F(j_st)+…+F(j_en)}/{(j_st)−(j_en+1)})を算出する。
そして、横平均輝度プロジェクションF(J)において輝度値が平均輝度値AVE_Hよりも大きい領域の幅の約2倍の値を縦幅c_Hとして設定する。
そして、縦平均輝度プロジェクションW(I)において輝度値が平均輝度値AVE_Hよりも大きい領域の幅の値を横幅c_Wとして設定する。
そして、縦横比(=縦幅c_H/横幅c_W)が所定上限値R_THU(例えば、2等)よりも大きいか否か、あるいは、縦横比(=縦幅c_H/横幅c_W)が所定下限値R_THL(例えば、0.5等)よりも小さいか否かを判定する。
一方、この判定結果が「NO」の場合、つまり縦横比が所定下限値R_THL(例えば、0.5等)以上かつ所定上限値R_THU(例えば、2等)以下の所定範囲内であれば、2値化対象物が縦方向に伸びる人工構造物あるいは横方向に伸びる人工構造物ではなく、例えば歩行者等であると判定して、一連の処理を終了する。
また、2値化対象物の縦横比が人体の身体的特徴として許容される所定範囲の値を超えない場合には、2値化対象物が人体(例えば、歩行者等)であると判別することができる。
すなわち、最大ピーク位置j_enと最小ピーク位置j_stとの差分に対応する実空間での区間長さ{|最大ピーク位置j_en−最小ピーク位置j_st|×画素ピッチp}が所定長さSLOPE_TH(例えば、1m)よりも長いか否かを判定する。
この判定結果が「YES」の場合、つまり
{|j_en−j_st|×p}>SLOPE_TH
である場合には、例えば縦方向における熱分布が人体の頭部付近等に比べて過剰に緩やかであると判断して、2値化対象物が人工構造物であると判定して、一連の処理を終了する。
一方、この判定結果が「NO」の場合、つまり
{|j_en−j_st|×p}≦SLOPE_TH
である場合には、例えば縦方向における熱分布が相対的に急峻であり、2値化対象物が縦方向に伸びる人工構造物ではなく、例えば歩行者等であると判定して、一連の処理を終了する。
2R,2L 赤外線カメラ(赤外線撮像手段)
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 表示装置
10 自車両
ステップS7 2値化対象物抽出手段
ステップS19 警報出力手段
ステップS34 縦横比算出手段、対象物種別判定手段
ステップS35 歩行者認識手段
Claims (4)
- 赤外線撮像手段の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、
前記画像のグレースケール画像を2値化処理して得た画像データから2値化対象物を抽出する2値化対象物抽出手段と、
前記2値化対象物抽出手段により抽出された前記2値化対象物の少なくとも一部を含む領域の縦横比を、前記領域内で縦位置毎の横方向の輝度値の平均値の縦位置に応じた変化である横平均輝度プロジェクションが、前記横平均輝度プロジェクションの平均値よりも大きい領域の幅である縦幅と、前記領域内で横位置毎の縦方向の輝度値の平均値の横位置に応じた変化である縦平均輝度プロジェクションが、前記縦平均輝度プロジェクションの平均値よりも大きい領域の幅である横幅とに基づいて算出する縦横比算出手段と、
前記縦横比算出手段により算出された前記縦横比が所定値以上である場合に前記2値化対象物が人工構造物であると判定する対象物種別判定手段と
を備えることを特徴とする車両周辺監視装置。 - 前記縦横比算出手段は前記2値化対象物抽出手段により抽出された前記2値化対象物の少なくとも一部を含む領域内で所定輝度値以上の領域の縦横比を算出することを特徴とする請求項1に記載の車両周辺監視装置。
- 前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段を備え、
該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項1または請求項2に記載の車両周辺監視装置。 - 前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段を備えることを特徴とする請求項1から請求項3の何れかひとつに記載の車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005346016A JP4298699B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347336 | 2004-11-30 | ||
JP2005346016A JP4298699B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006185433A JP2006185433A (ja) | 2006-07-13 |
JP4298699B2 true JP4298699B2 (ja) | 2009-07-22 |
Family
ID=36738464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005346016A Expired - Fee Related JP4298699B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4298699B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005056665B4 (de) | 2004-11-30 | 2011-03-17 | Honda Motor Co., Ltd. | Fahrzeugumgebungsüberwachungsvorrichtung |
ATE537662T1 (de) | 2007-04-27 | 2011-12-15 | Honda Motor Co Ltd | System, programm und verfahren zur fahrzeugsperipherieüberwachung |
WO2008139530A1 (ja) | 2007-04-27 | 2008-11-20 | Honda Motor Co., Ltd. | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 |
-
2005
- 2005-11-30 JP JP2005346016A patent/JP4298699B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006185433A (ja) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
US7561719B2 (en) | Vehicle surroundings monitoring apparatus | |
US7489805B2 (en) | Vehicle surroundings monitoring apparatus | |
US7483549B2 (en) | Vehicle surroundings monitoring apparatus | |
JP3987057B2 (ja) | 車両周辺監視装置 | |
US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4104867B2 (ja) | ナイトビジョンシステム | |
JP2005354597A (ja) | 車両周辺監視装置 | |
JP2003284057A (ja) | 車両周辺監視装置 | |
US7403639B2 (en) | Vehicle surroundings monitoring apparatus | |
US7526104B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4425852B2 (ja) | 車両周辺監視装置 | |
US7515737B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4298699B2 (ja) | 車両周辺監視装置 | |
JP5291524B2 (ja) | 車両周辺監視装置 | |
JP4283266B2 (ja) | 車両周辺監視装置 | |
JP3898157B2 (ja) | 赤外線画像認識装置 | |
US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4372746B2 (ja) | 車両周辺監視装置 | |
JP4358183B2 (ja) | 車両周辺監視装置 | |
JP2004348645A (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP4472623B2 (ja) | 車両周辺監視装置 | |
JP2003309843A (ja) | 障害物警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090415 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |