JP3961269B2 - 障害物警報装置 - Google Patents
障害物警報装置 Download PDFInfo
- Publication number
- JP3961269B2 JP3961269B2 JP2001353462A JP2001353462A JP3961269B2 JP 3961269 B2 JP3961269 B2 JP 3961269B2 JP 2001353462 A JP2001353462 A JP 2001353462A JP 2001353462 A JP2001353462 A JP 2001353462A JP 3961269 B2 JP3961269 B2 JP 3961269B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- determination area
- distance
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Description
【発明の属する技術分野】
この発明は、撮像手段により得られた画像から、車両の走行路上における障害物の存在を検出する障害物警報装置に関する。
【0002】
【従来の技術】
従来、車両や歩行者等の走行路上の障害物を運転者に通知するために、車両の前方に搭載された1つあるいは複数の赤外線カメラの画像を、運転席から目視可能な位置に表示し、運転者の前方視界を補助するものがある。運転者に表示される画像は、例えば自車両のコンソールに設置されるNAVIDisplayやフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )、更には自車両の走行状態を数字で表すメータと一体化されたメータ一体Display等の画像表示装置に表示される。
また、このように車両の周辺の環境をカメラによって撮影し、運転者に表示する周辺監視装置としては、例えば特開2001−6096号公報に示すようなものが知られている。この周辺監視装置は、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者や動物等の生体を検出して表示するものである。そのために、周辺監視装置は、2つの赤外線カメラにより得られる画像から車両周辺の対象物と自車両との距離を算出し、更に、時系列に求められる対象物の位置データから該対象物の移動ベクトルを算出している。そして、自車両の進行方向と対象物の移動ベクトルの関係から、自車両と衝突する可能性の高い対象物を抽出して表示する。
【0003】
【発明が解決しようとする課題】
上述のような従来の装置では、自車両の走行ラインに対象物の存在が有る場合には衝突する可能性が高いと判断して障害物として警報するように、自車両の左右車両側を基準とした車幅を延長した接近判定領域が設定されている。これにより、例えば車両が左側通行を採用する交通システムにおける自車両進行方向左側の接近判定領域は、車体側を基準に固定であり、その接近判定領域において警報を与える為、障害物までの距離によっては運転者の考える側方安全マージン(車両走行ラインと横方向のズレ量)との間にずれの存在する可能性があった。
具体的には、障害物までの距離が近い場合、運転者が障害物位置を認識する空間距離分解能は高いため、自車両と障害物の位置関係を正確に認識でき、自車両と障害物が衝突しない、或いは危険でない側方安全マージンを正確に判断できる。しかし、障害物までの距離が遠い場合、運転者の上記空間距離分解能が低下し、自車両と障害物の位置関係を正確に認識できない場合があり、側方安全マージンを近距離よりも大きく取る傾向があった。
【0004】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像上に設定する自車両と対象物との衝突の可能性を判断する判定領域の大きさを、車両からの距離によって変更する障害物警報装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係わる障害物警報装置は、撮像手段により得られる画像情報に基づいて、車両と対象物との衝突判定を行う警報判定領域内における障害物を警報する障害物警報装置において、前記警報判定領域は、前記撮像手段によって監視可能な領域内に設定され、且つ、前記対象物がそのまま存在し続ければ衝突の可能性が極めて高いと判断される場合に警報を行うための、前記車両の車幅方向中心部の軸の両側に所定の幅を有した接近判定領域と、該接近判定領域の横方向外側に設定され、前記対象物の所定時間での前記画像情報上での車幅方向の変化量を基に警告を行うための領域である進入判定領域とからなり、前記接近判定領域の幅を、車両からの距離が離れるほど拡張して設定する判定領域設定手段を備えたことを特徴とする。
以上の構成を備えた障害物警報装置は、判定領域設定手段により、車両から距離が離れるほど判定領域の大きさを拡張することで、車両の運転者の視覚特性に合わせた判定領域を設定することができる。
【0006】
請求項2の発明に係わる障害物警報装置は、請求項1に記載の障害物警報装置において、前記判定領域設定手段が、前記判定領域を、車両が左側通行を行う対面交通を採用する交通形式の場合は車両からの距離が離れるほど前記車両の左車体側にのみ幅を拡張することを特徴とする。
以上の構成を備えた障害物警報装置は、判定領域設定手段により、特に判定領域内に生体が存在する可能性が大きい歩道方向の判定領域の大きさを変更することができる。
請求項3の発明に係わる障害物警報装置は、請求項1に記載の障害物警報装置において、前記判定領域設定手段が、前記判定領域を、車両が右側通行を行う対面交通を採用する交通形式の場合は車両からの距離が離れるほど、前記車両の右車体側にのみ幅を拡張することを特徴とする。
【0007】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の一実施の形態の障害物警報装置の構成を示すブロック図である。なお、本実施の形態では、障害物警報装置を搭載した車両を、一例として車両が左側通行を行う対面交通を採用する交通形式において使用する場合を説明する。
図1において、符号1は、本実施の形態の障害物警報装置を制御するCPU(中央演算装置)を備えた画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと当該車両のヨーレートを検出するヨーレートセンサ3、更に、当該車両の走行速度(車速)を検出する車速センサ4とブレーキの操作を検出するためのブレーキセンサ5が接続される。これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【0008】
また、画像処理ユニット1には、音声で警報を発するためのスピーカ6と、赤外線カメラ2R、2Lにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )7a等を含む画像表示装置7が接続されている。
【0009】
また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、スピーカ6の駆動信号、HUD7a等の表示信号などを出力する出力回路を備えており、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0010】
また、図2に示すように、赤外線カメラ2R、2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対象な位置に配置されており、2つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0011】
次に、本実施の形態の動作について図面を参照して説明する。
図3及び図4は、本実施の形態の障害物警報装置の画像処理ユニット1における処理手順を示すフローチャートである。
まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS3)。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0012】
次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う(ステップS4)。
図5(a)は、赤外線カメラ2Rにより得られたグレースケール画像を示し、これに2値化処理を行うことにより、図5(b)に示すような画像を得る。なお、図5(b)において、例えばP1からP4の枠で囲った物体を、表示画面上に白色として表示される対象物(以下「高輝度領域」という)とする。
赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS5)。
【0013】
図6(a)は、これを説明するための図であり、この図では2値化により白となった領域を画素レベルでラインL1〜L8として示している。ラインL1〜L8は、いずれもy方向には1画素の幅を有しており、実際にはy方向には隙間なく並んでいるが、説明のために離間して示している。またラインL1〜L8は、x方向にはそれぞれ2画素、2画素、3画素、8画素、7画素、8画素、8画素、8画素の長さを有している。ランレングスデータは、ラインL1〜L8を各ラインの開始点(各ラインの左端の点)の座標と、開始点から終了点(各ラインの右端の点)までの長さ(画素数)とで示したものである。例えばラインL3は、(x3,y5)、(x4,y5)及び(x5,y5)の3画素からなるので、ランレングスデータとしては、(x3,y5,3)となる。
【0014】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS6)ことにより、対象物を抽出する処理を行う(ステップS7)。すなわち、ランレングスデータ化したラインL1〜L8のうち、図6(b)に示すように、y方向に重なる部分のあるラインL1〜L3を1つの対象物1とみなし、ラインL4〜L8を1つの対象物2とみなし、ランレングスデータに対象物ラベル1、2を付加する。この処理により、例えば図5(b)に示す高輝度領域が、それぞれ対象物1から4として把握されることになる。
【0015】
対象物の抽出が完了したら、次に、図6(c)に示すように、抽出した対象物の重心G、面積S及び破線で示す外接四角形の縦横比ASPECTを算出する(ステップS8)。
ここで、面積Sは、下記式(1)によりランレングスデータの長さを同一対象物について積算することにより算出する。ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,・・・N−1)とすると、
【数1】
また、対象物Aの重心Gの座標(xc、yc)は、ランレングスデータの長さを考慮した下記(2)、(3)式により算出する。
【数2】
更に、縦横比ASPECTは、図6(c)に示すDyとDxとの比Dy/Dxとして算出する。
なお、式(1)、(2)、(3)に示すように、ランレングスデータは画素数(座標数)run[i]で示されているので、実際の長さは「−1」する必要がある。また、重心Gの位置は、外接四角形の重心位置で代用してもよい。
【0016】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS9)。時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、図7(a)に示すように時刻kで対象物A、Bを抽出した場合、時刻(k+1)で抽出した対象物C、Dと、対象物A、Bとの同一性判定を行う。具体的には、以下の同一性判定条件1)〜3)を満たすときに、対象物A、Bと対象物C、Dとは同一であると判定し、対象物C、Dをそれぞれ対象物A、Bというラベルに変更することにより、時刻間追跡が行われる。
【0017】
1)時刻kにおける対象物i(=A,B)の画像上での重心位置座標を、それぞれ(xi(k),yi(k))とし、時刻(k+1)における対象物j(=C,D)の画像上での重心位置座標を、(xj(k+1),yj(k+1))としたとき、|xj(k+1)−xi(k)|<Δx|yj(k+1)−yi(k)|<Δyであること。ただし、Δx、Δyは、それぞれx方向及びy方向の画像上の移動量の許容値である。
2)時刻kにおける対象物i(=A,B)の画像上での面積をSi(k)とし、時刻(k+1)における対象物j(=C,D)の画像上での面積をSj(k+1)としたとき、Sj(k+1)/Si(k)<1±ΔSであること。ただし、ΔSは面積変化の許容値である。
3)時刻kにおける対象物i(=A,B)の外接四角形の縦横比をASPECTi(k)とし、時刻(k+1)における対象物j(=C,D)の外接四角形の縦横比をASPECTj(k+1)としたとき、ASPECTj(k+1)/ASPECTi(k)<1±ΔASPECTであること。ただし、ΔASPECTは縦横比変化の許容値である。
【0018】
例えば、図7(a)と(b)とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物Aと対象物Cとが上記同一性判定条件を満たし、対象物Bと対象物Dとが上記同一性判定条件を満たすので、対象物C、Dはそれぞれ対象物A、Bと認識される。このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお、以上説明したステップS4〜S9の処理は、2値化した基準画像(本実施形態では、右画像)について実行する。
次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することより、図8に示すように自車両10の回頭角θrを算出する(ステップS10)。
【0019】
一方、ステップS9とステップS10の処理に平行して、ステップS11〜S13では、対象物と自車両10との距離zを算出する処理を行う。この演算はステップS9、及びステップS10より長い時間を要するため、ステップS9、S10より長い周期(例えばステップS1〜S10の実行周期の3倍程度の周期)で実行される。
まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、図9(a)に示すように右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS11)。
【0020】
次に、左画像中から探索画像に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS12)。具体的には、図9(b)に示すように、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を下記式(4)により算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2a(図9(b)に破線で示す)を探索領域として設定する。
【数3】
ここで、IR(m,n)は、図10に示す探索画像R1内の座標(m,n)の位置の輝度値であり、IL(a+m−M,b+n−N)は、探索領域内の座標(a,b)を基点とした、探索画像R1と同一形状の局所領域R3内の座標(m,n)の位置の輝度値である。基点の座標(a,b)を変化させて輝度差分総和値C(a,b)が最小となる位置を求めることにより、対応画像の位置が特定される。
【0021】
ステップS12の処理により、図11に示すように探索画像R1と、この対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と、画像中心線LCTRとの距離dR(画素数)及び対応画像R4の重心位置と画像中心線LCTRとの距離dL(画素数)を求め、下記式(5)に適用して、自車両10と、対象物との距離zを算出する(ステップS13)。
【数4】
ここで、Bは基線長、赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向の距離(両赤外線カメラの光軸の間隔)、Fは赤外線カメラ2R、2Lのレンズの焦点距離、pは赤外線カメラ2R、2Lの撮像素子内の画素間隔であり、Δd(=dR+dL)が視差量である。
【0022】
ステップS10における回頭角θrの算出と、ステップS13における対象物との距離算出が完了したら、画像内の座標(x,y)及び式(5)により算出した距離zを下記式(6)に適用し、実空間座標(X,Y,Z)に変換する(ステップS14)。
ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R、2Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、垂直方向をyと定めている。
【数5】
ここで、(xc,yc)は、右画像上の座標(x,y)を、赤外線カメラ2Rの取り付け位置と、実空間原点Oとの相対位置関係に基づいて、実空間原点Oと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またfは、焦点距離Fと画素間隔pとの比である。
【0023】
また、実空間座標が求められたら、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS15)。
回頭角補正は、図8に示すように、時刻kから(k+1)までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、図12に示すようにΔxだけx方向にずれるので、これを補正する処理である。具体的には、下記式(7)に実空間座標(X,Y,Z)を適用して、補正座標(Xr,Yr,Zr)を算出する。算出した実空間位置データ(Xr,Yr,Zr)は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【数6】
【0024】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個の実空間位置データ(例えばN=10程度)、すなわち時系列データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを求める(ステップS16)。
具体的には、近似直線LMVの方向を示す方向ベクトルL=(lx,ly,lz)(|L|=1)とすると、下記式(8)で表される直線を求める。
【数7】
ここでuは、任意の値をとる媒介変数であり、Xav、Yav、及びZavは、それぞれ実空間位置データ列のX座標の平均値、Y座標の平均値、及びZ座標の平均値である。
なお、式(8)は媒介変数uを消去すれば下記式(8a)のようになる。
(X−Xav)/lx=(Y−Yav)/ly=(Z−Zav)/lz・・・(8a)
【0025】
また、例えばP(0),P(1),P(2),…,P(N−2),P(N−1)が回頭角補正後の時系列データを示す場合、近似直線LMVは、この時系列データの平均位置座標Pav=(Xav,Yav,Zav)を通り、各データ点からの距離の2乗の平均値が最小となるような直線として求められる。
ここで、各データ点の座標を示すPに付した()内の数値はその値が増加するほど過去のデータであることを示す。例えば、P(0)は最新の位置座標、P(1)は1サンプル周期前の位置座標、P(2)は2サンプル周期前の位置座標を示す。
【0026】
次いで、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N−1),Y(N−1),Z(N−1))を近似直線LMV上の位置に補正する。具体的には、前記式(8a)にZ座標Z(0)、Z(N−1)を適用することにより、すなわち下記式(9)により、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。
【数8】
【0027】
式(9)で算出された位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
また、ステップS16において、相対移動ベクトルが求められたら、次に、自車両10と検出した対象物との衝突の可能性を判定するために、赤外線カメラ2R、2Lで監視可能な領域内に警報判定領域を設定する。
【0028】
警報判定領域は、図13に示すように、例えば、赤外線カメラ2R、2Lで監視可能な領域を太い実線で示す外側の三角形の領域AR0で示し、更に領域AR0内の、Z1=Vs×Tより自車両10に近い領域AR1、AR2、AR3を、警報判定領域とする。
ここで、Tは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。従って、余裕時間Tは例えば2〜5秒程度に設定される。
また、領域AR1は、自車両10の車幅方向中心部の軸の両側に所定の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いと判断される接近判定領域である。一方、領域AR2、AR3は、接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域AR1の横方向外側の)領域であり、この領域内にある対象物については、後述する進入衝突判定を行うので、進入判定領域と呼ぶ。
なお、これらの領域は、Y方向、すなわち高さ方向の範囲を規定する所定高さHを有するものとする。なお所定高さHは、例えば自車両10の車高の2倍程度に設定される。
【0029】
具体的な警報判定領域の求め方を説明すると、まず画像処理ユニット1は、障害物距離による接近判定領域設定として、抽出対象物が一定時間内に衝突する距離を求める(ステップS17)。
次に、求められた距離がL1以上か否かを判定する(ステップS18)。
ステップS18において、求められた距離がL1以上であった場合(ステップS18のYES)、図13に示すように、接近判定領域AR1の幅Xを左車体側よりX1の距離(左車体側+X1)に設定する(ステップS19)。
また、ステップS18において、求められた距離がL1より短い場合(ステップS18のNO)、求められた距離がL2以上か否かを判定する(ステップS20)。
【0030】
ステップS20において、求められた距離がL2以上であった場合(ステップS20のYES)、図13に示すように、接近判定領域AR1の幅Xを左車体側よりX2の距離(左車体側+X2)に設定する(ステップS21)。
また、ステップS20において、求められた距離がL2より短い場合(ステップS20のNO)、図13に示すように、接近判定領域AR1の幅Xを左車体側よりX3の距離(左車体側+X3)に設定する(ステップS22)。
このように、ステップS17からステップS22の処理により、抽出対象物が一定時間内に衝突する距離に基づいて、接近判定領域AR1を自車両10側から実空間距離を用いて設定する。
【0031】
また、ステップS17からステップS22の処理により、接近判定領域AR1の設定が実行されたら、次に、検出した対象物との衝突の可能性を判定する衝突判定処理を行う(ステップS23)。
ステップS23において衝突判定処理を行った結果、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS23のNO)、ステップS1へ戻り、上述の処理を繰り返す。
また、ステップS23において衝突判定処理を行った結果、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS23のYES)、更に詳細に自車両10と検出した対象物との衝突の可能性を判定する接近判定領域内か否かの判定処理(ステップS24)と進入衝突判定処理(ステップS25)を行う。
以下、図14に示すように、自車両10の進行方向に対してほぼ90°の方向から、速度Vpで進行してくる動物20がいる場合を例に取って、衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理について詳細に説明する。
【0032】
<衝突判定処理>
まず、画像処理ユニット1は、動物20が時間ΔTの間に距離Zv(N−1)から距離Zv(0)に接近したことにより、下記式(10)を用いてZ方向の相対速度Vsを算出し、衝突判定処理を行う。衝突判定処理は、下記式(11)及び(12)が成立するとき、衝突の可能性があると判定する処理である。
Vs=(Zv(N−1)−Zv(0))/ΔT ・・・(10)
Zv(0)/Vs≦T ・・・(11)
|Yv(0)|≦H ・・・(12)
ここで、Zv(0)は最新の距離検出値(vは近似直線LMVによる補正後のデータであることを示すために付しているが、Z座標は補正前と同一の値である)であり、Zv(N−1)は、時間ΔT前の距離検出値である。
またT及びHは、それぞれ上述した余裕時間と、Y方向、すなわち高さ方向の範囲を規定する所定高さである。
【0033】
<接近判定領域内か否かの判定処理>
ここでは、対象物がステップS19、またはステップS20において設定した接近判定領域AR1内に存在するか否かを判定する。もし、対象物が接近判定領域AR1内に存在する場合、そのまま存在し続ければ自車両10との衝突の可能性がきわめて高いと判断する。
また、接近判定領域よりX座標の絶対値が大きい(接近判定領域の横方向外側の)進入判定領域AR2、またはAR3内に対象物が存在する場合、以下に示す進入衝突判定を行う。
【0034】
<進入衝突判定処理>
進入衝突判定処理は、具体的には、画像上での最新のx座標であるxc(0)(文字cは前述したように画像の中心位置を実空間原点Oに一致させる補正を行った座標であることを示すために付している)と、時間ΔT前のx座標であるxc(N−1)との差が下記式(13)を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【数9】
なお、図14に示すように、自車両10の進行方向に対してほぼ90°の方向から進行してくる動物20がいた場合、Xv(Nー1)/Zv(N−1)=Xv(0)/Zr(0)であるとき、換言すれば動物の速度Vpと相対速度Vsの比Vp/Vs=Xr(Nー1)/Zr(N−1)であるとき、自車両10から動物20を見る方位角θdは一定となり、衝突の可能性が高い。式(13)は、この可能性を自車両10の車幅αを考慮して判定するものである。
【0035】
従って、上述の接近判定領域内か否かの判定処理(ステップS24)、及び進入衝突判定処理(ステップS25)のいずれにおいても、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS24のNOに続いてステップS25のNOへ進む)、ステップS1へ戻り、上述の処理を繰り返す。
また、接近判定領域内か否かの判定処理、及び進入衝突判定処理のいずれかにより、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS24のYES、またはステップS25のYES)、ステップS26の警報出力判定処理へ進む。
【0036】
ステップS26では、以下のようにして警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS26)。
警報出力判定処理は、まずブレーキセンサ5の出力BRから自車両10の運転者がブレーキ操作を行っているか否かを判別する。
もし、自車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS26のNO)、ステップS1へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【0037】
また、加速度Gsが所定閾値GTH以下であるとき、または自車両10の運転者がブレーキ操作を行っていなければ、直ちにステップS27の処理へ進み(ステップS26のYES)、対象物と接触する可能性が高いので、スピーカ3を介して音声による警報を発する(ステップS27)とともに、画像表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像を出力し、接近してくる対象物を自車両10の運転者に対する強調映像として表示する(ステップS28)。
ここで、所定閾値GTHは、下記式(14)のように定める。これは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、距離Zv(0)以下の走行距離で自車両10が停止する条件に対応する値である。
【数10】
【0038】
なお、上述した実施の形態では、自車両の前方を監視する例を示したが、自車両の後方など、いずれの方向を監視するようにしてもよい。
また、本発明は、上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述の実施の形態では、対象物の画像を得るための撮像手段として赤外線カメラを使用したが、例えば特開平9−226490号公報に示されるように、通常の可視光線のみを検出可能なテレビカメラを使用しても良い。但し、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができるため、演算装置の演算能力が比較的低いものでも実現できる。また、街灯の少ない道路の夜間走行時には、対向車へのグレア等を考慮すると、ヘッドライトで照射されて認識可能な距離は、100[m]レンジまで認識可能な赤外線カメラを使用したナイトビジョンカメラと比較して短い。従って、長いレンジを持つナイトビジョンカメラを使用することで、夜間走行時であっても昼間走行時と同様の認識を可能にできる。
【0039】
更に、上述した実施の形態では、障害物警報装置を搭載した車両を、一例として車両が左側通行を行う対面交通を採用する交通形式において使用する場合を説明したが、障害物警報装置を搭載した車両を、車両が右側通行を行う対面交通を採用する交通形式において使用する場合は、上述の説明の車両の「左車体側」を「右車体側」、「右車体側」を「左車体側」に読み替えるものとする。
また、本実施の形態では、画像処理ユニット1が、判定領域設定手段を含んでいる。より具体的には、図4のS17〜S22が判定領域設定手段に相当する。
【0040】
以上説明したように、本実施の形態の障害物警報装置は、接近判定領域において、抽出対象物が一定時間内に衝突する距離を求め、その距離が自車両10から離れているほど、自車両10の歩道側(左側通行対面交通形式の場合は左車体側)から歩行者等の障害物が自車両10の走行車線上に進入する可能性が高いと共に、自車両10の運転者が障害物との位置関係を正確に認識できないと判断する。
そして、抽出対象物が一定時間内に衝突する距離が自車両10から離れるほど、接近判定領域AR1の幅Xを左車体側より遠くへ拡張することで、自車両10から離れた領域に存在する、ほぼ静止した状態から移動を開始する可能性が高い障害物の検出率を向上させつつ、運転者が障害物の位置関係の認識を正確に行える自車両10の近傍では、過警報を抑制できるという効果が得られる。
また、接近判定領域AR1の歩道側の幅のみを変更することで、対向車等、警報対象以外の物体に警報を発することを抑制できるという効果が得られる。
【0041】
【発明の効果】
以上の如く、請求項1に記載の障害物警報装置によれば、判定領域設定手段により、車両から距離が離れるほど判定領域の大きさを拡張することで、車両の運転者の視覚特性に合わせた判定領域を設定することができる。
従って、車両の運転者が側方安全マージンを正確に判断できる領域、すなわち車両から近い領域では判定領域の大きさを必要最低限の大きさとし、車両の運転者が側方安全マージンを正確に判断しにくい領域、すなわち車両から距離が離れた領域ほど判定領域の大きさを拡大することにより、車両近傍の領域では過警報を抑制し、車両より離れた領域では十分な警報判定を実行できるという効果が得られる。
【0042】
請求項2に記載の障害物警報装置によれば、判定領域設定手段により、特に判定領域内に生体が存在する可能性が大きい歩道方向の判定領域の大きさを変更することができる。
従って、生体が存在する可能性の大きい歩道側の警報判定を十分に行いつつ、反対側の対向車線側に存在する対向車両等、警報対象以外の物体を障害物として認識し、警報を発する動作を抑制することができるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施の形態の障害物警報装置の構成を示すブロック図である。
【図2】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図3】 同実施の形態の障害物警報装置の全体動作を示すフローチャートである。
【図4】 同実施の形態の障害物警報装置の全体動作を示すフローチャートである。
【図5】 赤外線カメラにより得られるグレースケール画像とその2値化画像を示す図である。
【図6】 ランレングスデータへの変換処理及びラベリングを示す図である。
【図7】 対象物の時刻間追跡を示す図である。
【図8】 対象物画像の回頭角補正を示す図である。
【図9】 右画像中の探索画像と、左画像に設定する探索領域を示す図である。
【図10】 探索領域を対象とした相関演算処理を示す図である。
【図11】 対象物の距離算出における対象物視差の算出方法を示す図である。
【図12】 車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図13】 車両前方の領域区分を示す図である。
【図14】 衝突が発生しやすい場合を示す図である。
【符号の説明】
1 画像処理ユニット
2R、2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 画像表示装置
10 自車両
S17〜S22 判定領域設定手段
Claims (3)
- 撮像手段により得られる画像情報に基づいて、車両と対象物との衝突判定を行う警報判定領域内における障害物を警報する障害物警報装置において、
前記警報判定領域は、前記撮像手段によって監視可能な領域内に設定され、且つ、前記対象物がそのまま存在し続ければ衝突の可能性が極めて高いと判断される場合に警報を行うための、前記車両の車幅方向中心部の軸の両側に所定の幅を有した接近判定領域と、該接近判定領域の横方向外側に設定され、前記対象物の所定時間での前記画像情報上での車幅方向の変化量を基に警告を行うための領域である進入判定領域とからなり、
前記接近判定領域の幅を、車両からの距離が離れるほど拡張して設定する判定領域設定手段を備えたことを特徴とする障害物警報装置。 - 前記判定領域設定手段が、前記判定領域を、車両が左側通行を行う対面交通を採用する交通形式の場合は車両からの距離が離れるほど前記車両の左車体側にのみ幅を拡張することを特徴とする請求項1に記載の障害物警報装置。
- 前記判定領域設定手段が、前記判定領域を、車両が右側通行を行う対面交通を採用する交通形式の場合は車両からの距離が離れるほど、前記車両の右車体側にのみ幅を拡張することを特徴とする請求項1に記載の障害物警報装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353462A JP3961269B2 (ja) | 2001-11-19 | 2001-11-19 | 障害物警報装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001353462A JP3961269B2 (ja) | 2001-11-19 | 2001-11-19 | 障害物警報装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003157498A JP2003157498A (ja) | 2003-05-30 |
JP3961269B2 true JP3961269B2 (ja) | 2007-08-22 |
Family
ID=19165475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001353462A Expired - Fee Related JP3961269B2 (ja) | 2001-11-19 | 2001-11-19 | 障害物警報装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3961269B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4823753B2 (ja) * | 2006-04-24 | 2011-11-24 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP5724905B2 (ja) * | 2012-02-23 | 2015-05-27 | トヨタ自動車株式会社 | 衝突被害軽減システム、装置制御装置、衝突被害低減方法 |
JP5990285B2 (ja) * | 2014-09-01 | 2016-09-07 | 株式会社小松製作所 | 運搬車両 |
CN106875691A (zh) * | 2017-03-15 | 2017-06-20 | 北汽福田汽车股份有限公司 | 车辆识别装置及车辆 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2910377B2 (ja) * | 1992-01-20 | 1999-06-23 | 日産自動車株式会社 | 車両用レーダ装置 |
JPH06321011A (ja) * | 1993-05-17 | 1994-11-22 | Mitsubishi Electric Corp | 周辺視野表示装置 |
JP3540005B2 (ja) * | 1994-04-22 | 2004-07-07 | 株式会社デンソー | 障害物検出装置 |
JP3157091B2 (ja) * | 1995-05-30 | 2001-04-16 | 富士通テン株式会社 | ビームの光軸調整装置 |
JPH0918863A (ja) * | 1995-06-26 | 1997-01-17 | Yazaki Corp | 車両用後側方監視装置 |
JP3336207B2 (ja) * | 1996-09-24 | 2002-10-21 | 株式会社ホンダアクセス | 車両の衝突警報システム |
JPH1139596A (ja) * | 1997-07-17 | 1999-02-12 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP4334686B2 (ja) * | 1999-07-07 | 2009-09-30 | 本田技研工業株式会社 | 車両の画像表示装置 |
JP2001076298A (ja) * | 1999-09-07 | 2001-03-23 | Mazda Motor Corp | 車両の表示装置 |
JP2001101596A (ja) * | 1999-09-27 | 2001-04-13 | Mazda Motor Corp | 車両の表示装置 |
JP4560855B2 (ja) * | 1999-09-29 | 2010-10-13 | マツダ株式会社 | 車両の表示装置 |
-
2001
- 2001-11-19 JP JP2001353462A patent/JP3961269B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2003157498A (ja) | 2003-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3739693B2 (ja) | 画像認識装置 | |
JP3764086B2 (ja) | 車両用情報提供装置 | |
JP4615139B2 (ja) | 車両の周辺監視装置 | |
JP3515926B2 (ja) | 車両の周辺監視装置 | |
JP4426535B2 (ja) | 車両の周辺監視装置 | |
US7050908B1 (en) | Lane marker projection method for a motor vehicle vision system | |
EP2993654B1 (en) | Method and system for forward collision warning | |
US7436982B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
US20060115119A1 (en) | Vehicle surroundings monitoring apparatus | |
US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2002314989A (ja) | 車両用周辺監視装置 | |
JP3916930B2 (ja) | 進入警報装置 | |
JP3919975B2 (ja) | 車両の周辺監視装置 | |
JP3961269B2 (ja) | 障害物警報装置 | |
JP3949628B2 (ja) | 車両の周辺監視装置 | |
JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP4943403B2 (ja) | 車両の周辺監視装置 | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
JP2004362265A (ja) | 赤外線画像認識装置 | |
JP5430633B2 (ja) | 車両周辺監視装置 | |
JP4871941B2 (ja) | 車両周辺監視装置 | |
JP3939580B2 (ja) | 障害物警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070516 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |