JPH08315299A

JPH08315299A - 車両の外部環境認識装置

Info

Publication number: JPH08315299A
Application number: JP7145239A
Authority: JP
Inventors: Nobuo Higaki; 信男檜垣; Shinichi Matsunaga; 慎一松永
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1995-05-19
Filing date: 1995-05-19
Publication date: 1996-11-29
Anticipated expiration: 2019-12-15
Also published as: JP3600314B2

Abstract

(57)【要約】（修正有）【構成】先行車両などの障害物について単眼視で得た
走行路画像について二値化とエッジ抽出とを別々に行っ
て得た値の論理積を求め、両輪と路面との接地線分を求
め、走行路区分線との交点を求め、レーダで得た距離情
報を用いて走行路区分線と障害物との相対位置関係を求
めるとともに、障害物と走行路区分線の間のすり抜け幅
を測定する。【効果】障害物の走行路内位置を精度良く求め、すり
抜ける、ないし停止するなどの適宜な車両制御が可能と
なる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は車両の外部環境認識装
置に関し、より具体的には自車の進行方向にある障害物
の走行路（車線）内での位置を正確に認識するようにし
たものに関する。

【０００２】

【従来の技術】単眼視カメラとレーダとを備えて前方障
害物が車線内にあるか否か判定する装置としては、例え
ば特開平７−８１６０４号公報記載のものを挙げること
ができる。この従来技術においては、カメラが得た画像
データから抽出した走行路区分線（車線区分線）などの
道路情報を基に２次元座標上に道路を再現し、その上に
レーダから得られる障害物情報を重ねることにより、障
害物が走行路内にあるか否か判定している。

【０００３】

【発明が解決しようとする課題】しかし、この従来技術
においては障害物がどの走行路（車線）内に位置するか
と言う情報が得られるのみで、障害物の走行路区分線と
の相対位置関係を正確に認識することができない。更
に、走行路区分線などの位置情報と障害物の位置情報と
言う同種類の情報を異なった検出手段で得ているため、
道路構造が予定するものと異なる場合ないしは車両の姿
勢が変動するとき、道路（走行路）を正確に再現するこ
とができず、２種のデータを照合する際に、障害物と走
行路区分線の相対位置関係の認識に誤差を生じてしまう
不都合があった。

【０００４】その結果、障害物の走行路区分線に対する
相対位置関係を正確に認識することができないのみなら
ず、場合によっては障害物が走行路内に位置するか否か
も十分に判定することができなかった。この問題は２基
のカメラを用いて複眼視（ステレオ視）することで解消
することができるが、複眼視システムは調整、画像処理
が複雑であると共に、高コストとなる。

【０００５】これに対して単眼視で得た連続画像から道
路構造および単眼視カメラを取りつけた車両のピッチ・
ロールなどの姿勢角を同時に推定して修正する手法が特
開平６−２０１８９号公報記載の技術を含めて幾つか提
案されているが、どの手法も、地図情報を予め持ってい
る、ないしは道路構造に対して道路幅が一定であるこ
と、もしくはバンクがないことなどを前提とする拘束条
件があり、適用される場所が限定される不都合があっ
た。

【０００６】先行車両などの前方障害物の走行路内位置
情報は、自動走行、中でもすり抜けを行う上で欠くこと
ができない情報の１つである。

【０００７】尚、この明細書で『走行路』とは道路上の
車線ないし走行レーンを意味する。また『走行路区分
線』とは前記走行路を区分するための、道路端をも含む
境界線を意味し、より具体的には高速道路などに地色と
は明度（ないし濃度、色彩）において異なる白色などで
表示された破線ないし実線などを意味する。

【０００８】従って、この発明の目的は上記した問題点
を解決し、単眼視で得た画像データに基づきながら、道
路構造が予定するものと異なるとき、ないしは車両姿勢
角が変化するときも、それらにほとんど影響されること
なく、障害物と走行路区分線との相対位置関係を高精度
に測定することができる車両の外部環境認識装置を提供
することにある。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、この発明に係る車両の外部環境認識装置は請求項
１項において、車両の進行方向の走行路面を含む走行路
を単眼視で撮像する撮像手段と、前記撮像手段が撮像し
た走行路画像から走行路区分線と障害物の位置について
の情報を検出する走行路区分線検出手段と、前記車両か
ら前記障害物までの距離を少なくとも含む情報を検出す
る障害物距離情報検出手段と、および前記走行路区分線
検出手段が検出した走行路区分線と障害物位置、および
前記障害物距離情報検出手段が検出した距離情報とに少
なくとも基づいて前記走行路区分線と障害物の相対位置
関係を測定する測定手段と、を備える如く構成した。

【００１０】請求項２項にあっては、前記測定手段が、
前記走行路画像の明度分布に基づいて前記走行路の二値
画像を得る二値化手段と、前記走行路画像からエッジ成
分を検出し、走行路のエッジ画像を得るエッジ検出手段
と、前記二値化手段が得た二値画像と前記エッジ検出手
段が得たエッジ画像とを比較して前記障害物が路面と接
地する部位を結ぶ線分を求め、その線分の前記走行路区
分線との交点を求め、求めた交点と前記車両からの距離
に少なくとも基づいて前記走行路区分線と障害物との相
対位置関係を算出する算出手段と、からなる如く構成し
た。

【００１１】請求項３項にあっては、前記障害物距離情
報検出手段は、前記障害物の前記車両に対する方向を検
出すると共に、前記二値化手段と前記エッジ検出手段
は、前記障害物距離情報検出手段が検出する前記障害物
の前記車両に対する方向に基づいて、前記走行路画像中
に二値化処理およびエッジ成分検出処理を行う領域を決
定する如く構成した。

【００１２】請求項４項に係る車両の外部環境認識装置
にあっては、車両の進行方向の走行路面を含む走行路を
単眼視で撮像する撮像手段と、前記撮像手段が撮像した
走行路画像から走行路区分線と障害物の位置についての
情報を検出する走行路区分線検出手段と、前記車両から
前記障害物までの距離を少なくとも含む情報を検出する
障害物距離情報検出手段と、前記走行路画像の明度分布
に基づいて前記走行路の二値画像を得る二値化手段と、
前記走行路画像からエッジ成分を検出し、走行路のエッ
ジ画像を得るエッジ検出手段と、前記二値化手段が得た
二値画像と前記エッジ検出手段が得たエッジ画像の論理
積を求め、求めた論理積に基づいて前記障害物が路面と
接地する部位を結ぶ線分を求め、その線分の前記走行路
区分線との交点を求め、求めた交点と前記車両からの距
離に少なくとも基づいて前記走行路区分線と障害物の離
間距離を含む相対位置関係を算出する算出手段と、を備
える如く構成した。

【００１３】

【作用】請求項１項に係る車両の外部環境認識装置にお
いては、車両の進行方向の走行路面を含む走行路を単眼
視で撮像し、撮像した走行路画像から走行路区分線と障
害物の位置についての情報を検出し、前記車両から前記
障害物までの距離を少なくとも含む情報を検出し、検出
した走行路区分線と障害物位置、および距離情報とに少
なくとも基づいて前記走行路区分線と障害物の相対位置
関係を測定する如く構成したので、単眼視で得た画像デ
ータに基づきながら、道路構造が予定するものと異なる
とき、ないしは車両姿勢角が変化するときも、それらに
ほとんど影響されることなく、障害物と走行路区分線と
の相対位置関係を高精度に測定することができる。

【００１４】尚、上記で障害物と走行路区分線との『相
対位置関係』とは具体的には、障害物と走行路区分線の
間で離間距離で示される。

【００１５】請求項２項にあっては、前記走行路画像の
明度分布に基づいて前記走行路の二値画像を得、前記走
行路画像からエッジ成分を検出し、走行路のエッジ画像
を得、得た二値画像とエッジ画像とを比較して前記障害
物が路面と接地する部位を結ぶ線分を求め、その線分の
前記走行路区分線との交点を求め、求めた交点と前記車
両からの距離に少なくとも基づいて前記走行路区分線と
障害物との相対位置関係を算出する如く構成したので、
前記した作用効果に加えて走行路上に障害物とは無関係
の表示などがあるときも高精度に障害物と走行路区分線
との相対位置関係を求めることができる。

【００１６】請求項３項にあっては、前記障害物の前記
車両に対する方向を検出すると共に、前記障害物の前記
車両に対する方向に基づいて、前記走行路画像中に二値
化処理およびエッジ成分検出処理を行う領域を決定する
如く構成したので、前記した作用効果に加えて、演算負
荷を低減することができる。

【００１７】請求項４項に係る車両の外部環境認識装置
にあっては、車両の進行方向の走行路面を含む走行路を
単眼視で撮像し、撮像した走行路画像から走行路区分線
と障害物の位置についての情報を検出し、前記車両から
前記障害物までの距離を含む情報を検出し、前記走行路
画像の明度分布に基づいて前記走行路の二値画像を得、
前記走行路画像からエッジ成分を検出し、走行路のエッ
ジ画像を得、得た二値画像とエッジ画像の論理積を求
め、求めた論理積に基づいて前記障害物が路面と接地す
る部位を結ぶ線分を求め、その線分の前記走行路区分線
との交点を求め、求めた交点と前記車両からの距離に少
なくとも基づいて前記走行路区分線と障害物の離間距離
を含む相対位置関係を算出する如く構成したので、単眼
視で得た画像データに基づきながら、道路構造が予定す
るものと異なるとき、ないしは車両姿勢角が変化すると
きも、それらにほとんど影響されることなく、また走行
路上に障害物とは無関係の表示があるときも、障害物と
走行路区分線との離間距離を含む相対位置関係を高精度
に測定し、必要に応じてすり抜けなどを行うことができ
る。

【００１８】

【実施例】以下、添付図面に即してこの発明の実施例を
説明する。

【００１９】図１はこの発明に係る車両の外部環境認識
装置を備えた車両を全体的に示す説明透視図であり、図
２はその外部環境認識装置の構成を機能的に示すブロッ
ク図である。

【００２０】図において符号１０は前記した撮像手段た
るＣＣＤカメラ（モノクロＴＶカメラ）を示し、図１に
示す如く、運転席上方のルームミラー取り付け位置に固
定されて車両進行方向を単眼視する。図２に示す如く、
外部環境認識装置においてＣＣＤカメラ１０が撮像した
画像データは、画像処理部１２に送られる。

【００２１】画像処理部１２は図３に示す如く、画像処
理デジタイズハードウェア１２ａ、リアルタイムエッジ
検出ハードウェア１２ｂ、ハフ変換ハードウェア１２ｃ
および画像データバスコントローラ１２ｄからなる画像
処理ハードウェア部と画像処理ＣＰＵ１２ｅおよび通信
用メモリ１２ｆなどからなる。

【００２２】画像データおよび画像処理結果は画像デー
タバスおよびＶＭＥバスを介して後述の信号処理部など
のブロックに送られる。画像処理部１２は、ＣＣＤカメ
ラ１０より得られた画像から走行路区分線もしくは道路
境界線と障害物位置を抽出する。

【００２３】具体的には、ＣＣＤカメラ１０より得られ
た画像データから走行路区分線などを抽出するために、
当該画像データについて前処理としてエッジ検出、二値
化処理を行う。次にハフ変換を用いて走行路区分線を通
例は複数本抽出する。

【００２４】ここで特開平６−１２４３４０号公報記載
で提案されるように、レーダ情報を用いてエッジ検出を
行う領域を限定することで処理を高速かつ高精度に行う
ことも可能である。また、抽出された走行路区分線内
で、鉛直エッジと水平エッジを数多く含む領域を障害物
として抽出し、その位置を障害物位置とすることも可能
である。

【００２５】図１において符号１４は前記した障害物距
離情報検出手段たるレーダユニットを示し、そのレーダ
ユニット１４は車両前方に取り付けられたミリ波レーダ
からなる２基の前方レーダからなり、反射波を通じて自
車から先行車両などの立体障害物までの距離および方向
を検出する。

【００２６】レーダユニット１４は、より具体的にはＦ
Ｍ−ＣＷ型のレーダ装置からなり、図４に示す如く、複
数本の電磁波ビームを送波し、その反射波を受信して立
体障害物の存在を検出する。検出された障害物の位置座
標（相対距離）は、ビームごとに発生する。尚、このレ
ーダユニットの詳細は、本出願人が先に提案した特願平
５−２７６３９６号に詳細に述べられているので、これ
以上の説明は省略する。

【００２７】図２においてレーダユニット１４の出力は
信号処理部１６に送られる。信号処理部１６は画像処理
部１２と同様にレーダ出力を処理するハードウェア部と
ＣＰＵなどからなり、レーダユニット１４から得られた
レーダ情報、即ち、障害物までの距離および方向（自車
からの）を初期カメラパラメータを用いて撮像面上の座
標に変換する。

【００２８】尚、このとき走行路区分線も障害物と共に
合わせて変換される。以下、この変換された座標データ
を『実平面座標データ』と呼ぶ。実平面座標データはそ
の座標に対応する距離と共に、図示しないバスを介して
走行路内位置測定部１８などに送出される。

【００２９】走行路内位置測定部１８は、画像処理部１
２で得られた走行路区分線と障害物位置、および信号処
理部１６で得られた障害物情報（距離・方向）から、障
害物の走行路内位置、詳しくは障害物と走行路区分線と
の相対位置関係を測定（認識）する。この発明に係る車
両の外部環境認識装置の特徴は主としてこの走行路内位
置測定部１８にあるが、それについては後述する。

【００３０】尚、よって得られる障害物の走行路内位置
は後段の結果出力部２０に送られ、そこで表示部２２を
介して走行路内位置が表示ないしは警報されると共に、
更に車両制御部２４に送られる。

【００３１】車両制御部２４は、図１に示すような車両
室内の中央部付近に設けられて車両の鉛直軸（ｚ軸）回
りの角加速度を検出するヨーレートセンサ３０、車両の
ドライブシャフト（図示せず）の付近に設けられ、車両
の進行速度を検出する車速センサ３２、車両のステアリ
ングシャフト３４の付近に設けられてステアリング舵角
を検出する舵角センサ３６を備える。

【００３２】更に、車両制御部２４は、また該ステアリ
ングシャフト３４に取り付けられた舵角制御モータ３
８、スロットル弁（図示せず）に取り付けられ、パルス
モータからなるスロットルアクチュエータ４０、および
ブレーキ（図示せず）に取り付けられたブレーキ圧力ア
クチュエータ（図１で図示省略）を備える。

【００３３】車両制御部２４にあっては、前記した実平
面座標データおよび車速センサ３２などの出力などを入
力して自車両の移動軌跡を推定し、舵角センサ３６の出
力などから舵角制御量を算出して舵角制御モータ３８を
駆動すると共に、スロットルアクチュエータ４０および
ブレーキ圧力アクチュエータを駆動して車速を制御し、
よって得られる障害物の走行路内位置に基づいて障害物
と走行路区分線との間をすり抜ける、ないし停止するな
どの車両制御を行う。

【００３４】続いて、図５フロー・チャートを参照して
この出願に係る車両の外部環境認識装置の動作を説明す
る。この動作はより具体的には、主として図２の走行路
内位置測定部１８が行う動作である。尚、図示のプログ
ラムは所定時間ごとに起動される。

【００３５】以下説明すると、先ずＳ１０においてＣＣ
Ｄカメラ１０が自車の進行方向を単眼視で撮像した原画
像を、前記した画像処理部１２を介して再び入力する。

【００３６】続いてＳ１２に進んで前記した信号処理部
１６を介してレーダユニット１４が検出した障害物の自
車からの方向および自車からの距離についての情報を入
力し、Ｓ１４に進んで処理領域を決定する。

【００３７】この処理領域は後述の如く、障害物、具体
的には先行車両の車輪が路面と接地する接地線を抽出す
ることで先行車両と走行路区分線との相対位置を測定す
るための処理を行う領域を意味する。ここで処理領域を
決定、換言すれば限定するのは、不要領域を排除して演
算負荷を低減するためである。

【００３８】尚、Ｓ１２で得られる障害物の方向につい
てのデータは前記した実平面座標データとして入力さ
れ、Ｓ１４では障害物方向データを撮像面上の座標に変
換し、図６に示すように処理領域を決定する。

【００３９】処理領域は、車両のピッチ・ロールなどの
姿勢変動に伴い、ＣＣＤカメラ１０の俯角などのカメラ
パラメータも変動することから、図６に示す如く、障害
物の方向、即ち、検知角度θに応じて左右方向のみを限
定し、上下方向は限定しない短冊状のウィンドウとなる
ように決定する。

【００４０】尚、この場合、レーダユニット１４の走査
方向とＣＣＤカメラ１０の撮像面の横方向が常に平行に
なるように両者を設置しておくことで、車両姿勢の変動
に関わりなく、左右方向を限定することができる。尚、
道路構造が既知であれば処理領域を上下方向について限
定することも可能であるが、そのためにはマップ情報な
どを必要とし、現実的ではない。

【００４１】また、障害物は前記の如く、抽出された走
行路区分線内で鉛直エッジと水平エッジを数多く含む領
域として抽出すれば、ガードレールなど走行路区分線の
外に位置するものを予め排除することも可能である。

【００４２】続いてＳ１６に進んで決定された処理領域
内の濃度ヒストグラムを計算し、Ｓ１８に進んでしきい
値を決定し、Ｓ２０に進んで二値化を行う。

【００４３】即ち、障害物（先行車両）の存在する処理
領域内の濃度ヒストグラムを求めると、図７に示す如
く、濃度（明度、色彩）が最も低い部分は車体下部、タ
イヤ、路面上の影であり、これらが濃度ヒストグラムの
最初の山を形成する。従って、この最初の山と２番目の
山との間の谷に相当する値をしきい値とし、道路画像を
二値化処理することで、図８に示す如く、それら濃度の
低い部位を抽出することができる。尚、ここでの二値化
は、しきい値より濃度値の低い方を１、高い方を０とす
る。

【００４４】他方、Ｓ２２において、二値化と平行して
処理領域内の垂直エッジ群を抽出する。垂直エッジの抽
出は、例えばｓｏｂｅｌなどの局所オペレータを用いて
行う。エッジ強度がある程度以上でかつ垂直である画素
を１、それ以外の画素を０とする。このとき路面表示
（図８で言えば『４０』）に含まれる垂直エッジも同時
に抽出される。

【００４５】続いて、Ｓ２４に進んで二値化画像と二値
化垂直エッジ画像の論理積を求める。この時点で路面表
示による垂直エッジは消滅し、障害物に関与するエッジ
情報のみ残る。従って、それによって後述の如く障害物
と走行路区分線との相対位置を高精度に測定することが
できる。

【００４６】続いてＳ２６に進んで残ったエッジから接
地線分、即ち、先行車両（障害物）の両輪と道路との接
地位置の間を結ぶ線の端点の抽出を行う。具体的には図
９に示す如く、処理領域を左右に２分割し、中央最上点
を基準点とし、次に残ったエッジの各点とこの基準点の
間の距離を計算し、それぞれの領域で最も長いものを接
地線分の端点とする。

【００４７】続いてＳ２８に進んで走行路内位置、即
ち、障害物と走行路区分線との相対位置を測定する。
尚、測定に際しては図１０に示す如く、撮像面上での障
害物、即ち、車両の車輪と路面との接地線分、障害物
（複数個あるときはそれぞれの）までの自車からの距離
Ｌr （レーダ情報）および走行路区分線（道路端含む）
の情報が抽出できているものとする。

【００４８】測定について以下説明すると、図１１に示
す如く、撮像面上での接地線分の中点をＰOC、左右端点
をそれぞれＰOL, ＰORとする。また接地線分の延長と左
右の走行路区分線との交点をそれぞれＰRL, ＰRRとす
る。

【００４９】障害物までの距離Ｌr が、カメラの視点Ｏ
から実際の障害物の路面との接地線分の中点ＰOC' まで
の距離であると仮定する。次に、撮像面上の点ＰOL, Ｐ
OR,ＰRL, ＰRRを、図１２に示す如く、ＰOC' を含み撮
像面と平行である平面上に射影し、それぞれＰOL',ＰO
R',ＰRL',ＰRR' とする。このＰOL',ＰOR',ＰRL',ＰRR'
が、それぞれ障害物と左右の走行路区分線までの距離
を意味する（以降この距離を『すり抜け幅』と呼ぶ）。

【００５０】次に、このすり抜け幅を定式化する。

【００５１】具体的には、３次元直交直線座標系を考
え、カメラの視点をＯ(0,0,0) 、撮像面をｚ＝-f(f：焦
点距離) とおく。撮像面上の接地線分の中点ＰOCの座標
が(x0,y0,-f)であるとき、点ＰOC' は視点Ｏと点ＰOCを
通る直線上にあり、かつ視点からの距離がＬr である点
であるから、点ＰOC' を含み撮像面に平行である平面
（射影面）は数１で表される。図１３にその射影平面を
示す。

【００５２】

【数１】

【００５３】よって、撮像面上の任意の点Ｐ(x1,y1,-f)
を射影面に射影した点は、視点Ｏ(0,0,0) と点Ｐ(x1,y
1,-f)を通る、数２で示される直線と、射影面の式（数
１）との交点Ｐ’(K1x1,K1y1,-K1f)となる。

【００５４】

【数２】

【００５５】従って、撮像面上の接地線分上の点の座標
をＰOL(xOL,yOL,-f), ＰOR(xOR,yOR,-f), ＰRL(xRL,yR
L,-f), ＰRR(xRR,yRR,-f)とすると、これらの点を射影
面に射影した点の座標はそれぞれ数３に示すようにな
る。

【００５６】

【数３】

【００５７】以上より、左右のすり抜け幅ＷTL, ＷTRは
数４で表される。

【００５８】

【数４】

【００５９】従って、走行路区分線ないしは障害物の幅
が分かれば、左右のすり抜け幅ＷTL, ＷTRを具体的な値
として求めることができる。

【００６０】尚、上記は平面上に射影した場合である
が、球面上に射影しても求めることができる。

【００６１】その場合、撮像面上の点ＰOL, ＰOR, ＰR
L, ＰRRを、図１４に示す如く、中心が視点ＯでＰOC'
を含む球面（半径Ｌr の球面) 上に射影し、それぞれＰ
OL',ＰOR',ＰRL',ＰRR' とする。

【００６２】続いて、平面上に射影する場合と同様に、
３次元直交直線座標系を考え、カメラの視点をＯ(0,0,
0) 、撮像面をｚ＝-fとおく。射影面は視点Ｏが中心で
半径Ｌr の球面であるから、数５のようになる。

【００６３】

【数５】

【００６４】よって、撮像面上の任意の点Ｐ(x1,y1,-f)
を球面に射影した点は、視点Ｏ(0,0,0) と点Ｐ(x1,y1,-
f)を通る直線の式（数２）と球面の式（数５）との、ｚ
＜０での交点Ｐ'(K2x1,K2y1,-K2f) である。ここで、K2
は数６のようにおいた。

【００６５】

【数６】

【００６６】従って、撮像面上の接地線分上の点の座標
をＰOL(xOL,yOL,-f), ＰOR(xOR,yOR,-f), ＰRL(xRL,yR
L,-f), ＰRR(xRR,yRR,-f)とすると、これらの点を射影
面に射影した点の座標は、数７に示すようになる。

【００６７】

【数７】

【００６８】以上より、左右のすり抜け幅ＷTL, ＷTRは
数８で表される。

【００６９】

【数８】

【００７０】この実施例は上記の如く構成したので、単
眼視して得た画像データに基づきながら、道路構造の違
いや車両姿勢角の変化にほとんど影響されることなく、
障害物と走行路区分線の離間距離（すり抜け幅）を高精
度に測定することができる。それによって前記した車両
制御部では障害物と走行路区分線との間をすり抜ける、
ないしはその直前で停止するなど、任意に車両運転を制
御することができる。また、必要に応じて運転者に警報
することもできる。

【００７１】また二値化画像と二値化垂直エッジ画像と
の論理積を求めるようにしたので、路面に障害物とは関
係ない、路面と明度（濃度、色彩）において異なる表示
などがあっても、接地線分を高精度に抽出することがで
き、障害物と走行路区分線の離間距離（すり抜け幅）を
高精度に測定することができる。

【００７２】また処理領域を限定するようにしたので、
演算負荷を低減することができる。これは特に外部環境
認識装置を車両搭載するマイクロコンピュータから主と
して構成するとき、演算速度を向上できると共に、メモ
リ容量を低減することができて好都合である。

【００７３】ここで、障害物について説明を敷衍する
と、障害物は走行路区分線内に位置するものに限られる
が、通例は複数本の走行路区分線が平行することから、
Ｓ１２で求める障害物の情報は、自車が走行する走行路
区分線に限られない。また連続して障害物との距離が等
しく検出される角度間は、１つの障害物とみなす。

【００７４】また前記したレーダユニット１４が図６に
示すようなθ１，θ２などのある程度の大きさを持った
角度幅として検出することができず、幅のない角度とし
か検出しないときは、検出角度が障害物の中心位置の角
度を示していると仮定し、距離情報を用いて障害物の幅
を決定する。具体的には障害物の幅は安全を考慮してト
レーラ、バスなどの大型車の幅とみなし、自車に近いも
のほど障害物の幅が大きいように決定する。

【００７５】更に、障害物が複数個検出されるときは、
処理領域を障害物ごとに決定すると共に、自車に近い障
害物から順に行う。障害物の検出角度が接している場合
や接近している場合に、遠方の障害物から処理すると、
片方の接地線分端点（後述）を手前の障害物から抽出し
てしまう恐れがあるが、手前側の障害物から処理するこ
とで、後方の障害物の処理領域を正確に決定することが
でき、誤抽出を防ぐことができる。

【００７６】尚、画像上で障害物の一部が重なって見え
ない場合、接地線分端点の一方は手前の障害物に隠れて
抽出することができず、無関係な点を接地線分端点とし
て抽出する可能性もあるが、手前の障害物の抽出端点か
ら水平、または手前の障害物の接地線分と平行、もしく
は近傍の水平エッジと平行、などに接地線分を設定し直
す。

【００７７】更に、しきい値の決定について敷衍する
と、しきい値の自動決定法の１つに大津の方法（判別分
析法）と呼ばれる手法があるが、その原理を本手法にそ
のまま用いると、濃度値の低いタイヤおよび車体の影の
部分の切り出しを必ずしも適正に行うことができない。
しかし、タイヤおよび車体の影の部分は比較的濃度値が
低いことから、処理領域の濃度ヒストグラムに対してメ
ジアン（中央値）を計算し、メジアンより濃度値の低い
範囲に対してしきい値計算を行うことで、タイヤおよび
車体影領域の抽出精度を上げることができる。

【００７８】また、垂直エッジ群抽出についてｓｏｂｅ
ｌのオペレータを使用するようにしたが、実際にはグラ
ジェントの方向を計算して垂直に近いものを抽出してい
るのではなく、実施例では水平方向のグラジェント強度
のみ計算し、この値が一定値より大きいものを抽出する
ようにした。その理由としては、タイヤの角の部分など
でグラジェントの方向は４５度となり、垂直エッジとし
て抽出できない場合が生じる恐れがあるからである。

【００７９】尚、抽出エッジ群からノイズを除去するの
は困難であるが、弛緩法を用いることで、ある程度低減
することができる。ここで弛緩法とは、画素がエッジ上
に位置する確率と位置しない確率を定義し、次に各画素
の周囲の状況を見て局所的な矛盾が少なくなるように確
率を更新し、それを全画素について繰り返した後、最終
的にエッジ確率が高いものをエッジ上に位置する画素と
判定する手法である。これを用いることにより、ノイズ
除去、正確にはそもそもノイズの抽出自体を減少するこ
とができる。

【００８０】更に、二値化データとエッジデータの論理
積の算出について敷衍すると、両データともタイヤの接
地部分を抽出する必要があるが、二値化データについて
はあらゆる場合でも確実に抽出することは困難である。

【００８１】しかしながら、車両は多くの水平エッジを
持っており、接地線分も基本的には水平エッジと平行な
筈であることから、抽出された接地線分から上もしくは
上下の領域で水平エッジ群を抽出し、抽出した水平エッ
ジと抽出した接地線分の角度を比較し、差が大きいよう
であればしきい値を設定し直すことで、接地線分抽出の
信頼性を高めることができる。

【００８２】更に、処理領域の決定について、車体のロ
ール・ピッチを検出すると共に、前回の結果から次の処
理領域を決定しても良い。

【００８３】またレーダを車両前方のみ設けたが、後方
にも設けて車両後方の障害物を認識しても良い。

【００８４】

【発明の効果】請求項１項に係る車両の外部環境認識装
置にあっては、単眼視で得た画像データに基づきなが
ら、道路構造が予定するものと異なるとき、ないしは車
両姿勢角が変化するときも、それらにほとんど影響され
ることなく、障害物と走行路区分線との相対位置関係を
高精度に測定することができる。

【００８５】請求項２項にあっては、前記した効果に加
えて走行路上に障害物とは無関係の表示などがあるとき
も高精度に障害物と走行路区分線との相対位置関係を求
めることができる。

【００８６】請求項３項にあっては、前記した効果に加
えて、演算負荷を低減することができる。

【００８７】請求項４項に係る車両の外部環境認識装置
にあっては、単眼視で得た画像データに基づきながら、
道路構造が予定するものと異なるときないしは車両姿勢
角が変化するときも、それらにほとんど影響されること
なく、また走行路上に障害物とは無関係の表示があると
きも、障害物と走行路区分線との離間距離を含む相対位
置関係を高精度に測定し、必要に応じてすり抜けなどを
行うことができる。

【図面の簡単な説明】

【図１】この発明に係る車両の外部環境認識装置を備え
た車両を全体的に示す説明透視図である。

【図２】この発明に係る車両の外部環境認識装置の詳細
を機能的に示すブロック図である。

【図３】図２の画像処理部の詳細を示すブロック図であ
る。

【図４】図１に示すレーダユニットの検出動作を示す説
明図である。

【図５】この出願に係る車両の外部環境認識装置の動作
を示すフロー・チャートである。

【図６】図５フロー・チャートの処理領域決定作業を示
す説明図である。

【図７】図５フロー・チャートで用いる濃度ヒストグラ
ムおよびしきい値決定作業を示す説明グラフ図である。

【図８】図５フロー・チャートの動作を説明する説明図
である。

【図９】図５フロー・チャートの接地線分端点抽出作業
を示す説明図である。

【図１０】図５フロー・チャートの走行路内位置測定作
業に必要な情報を示す説明図である。

【図１１】図５フロー・チャートの走行路内位置測定作
業で抽出される点群を示す説明図である。

【図１２】図５フロー・チャートの走行路内位置測定作
業を説明する説明図である。

【図１３】図５フロー・チャートの走行路内位置測定作
業で使用される射影平面を示す説明図である。

【図１４】図５フロー・チャートの走行路内位置測定作
業で使用される、球面上の射影面を示す説明図である。

【符号の説明】

１０ＣＣＤカメラ（モノクロＴＶカメラ）（撮像手
段）１２画像処理部１４レーダユニット１６信号処理部１８走行路内位置測定部２０結果出力部２２表示部２４車両制御部

Claims

【特許請求の範囲】

【請求項１】ａ．車両の進行方向の走行路面を含む走行
路を単眼視で撮像する撮像手段と、ｂ．前記撮像手段が撮像した走行路画像から走行路区分
線と障害物の位置についての情報を検出する走行路区分
線検出手段と、ｃ．前記車両から前記障害物までの距離を少なくとも含
む情報を検出する障害物距離情報検出手段と、およびｄ．前記走行路区分線検出手段が検出した走行路区分線
と障害物位置、および前記障害物距離情報検出手段が検
出した距離情報とに少なくとも基づいて前記走行路区分
線と障害物の相対位置関係を測定する測定手段と、を備
えることを特徴とする車両の外部環境認識装置。
【請求項２】前記測定手段が、ｅ．前記走行路画像の明度分布に基づいて前記走行路の
二値画像を得る二値化手段と、ｆ．前記走行路画像からエッジ成分を検出し、走行路の
エッジ画像を得るエッジ検出手段と、ｇ．前記二値化手段が得た二値画像と前記エッジ検出手
段が得たエッジ画像とを比較して前記障害物が路面と接
地する部位を結ぶ線分を求め、その線分の前記走行路区
分線との交点を求め、求めた交点と前記車両からの距離
に少なくとも基づいて前記走行路区分線と障害物との相
対位置関係を算出する算出手段と、からなることを特徴
とする請求項１項記載の車両の外部環境認識装置。
【請求項３】前記障害物距離情報検出手段は、前記障
害物の前記車両に対する方向を検出すると共に、前記二
値化手段と前記エッジ検出手段は、前記障害物距離情報
検出手段が検出する前記障害物の前記車両に対する方向
に基づいて、前記走行路画像中に二値化処理およびエッ
ジ成分検出処理を行う領域を決定することを特徴とする
請求項２項記載の車両の外部環境認識装置。
【請求項４】ａ．車両の進行方向の走行路面を含む走行
路を単眼視で撮像する撮像手段と、ｂ．前記撮像手段が撮像した走行路画像から走行路区分
線と障害物の位置についての情報を検出する走行路区分
線検出手段と、ｃ．前記車両から前記障害物までの距離を少なくとも含
む情報を検出する障害物距離情報検出手段と、ｄ．前記走行路画像の明度分布に基づいて前記走行路の
二値画像を得る二値化手段と、ｅ．前記走行路画像からエッジ成分を検出し、走行路の
エッジ画像を得るエッジ検出手段と、ｆ．前記二値化手段が得た二値画像と前記エッジ検出手
段が得たエッジ画像の論理積を求め、求めた論理積に基
づいて前記障害物が路面と接地する部位を結ぶ線分を求
め、その線分の前記走行路区分線との交点を求め、求め
た交点と前記車両からの距離に少なくとも基づいて前記
走行路区分線と障害物の離間距離を含む相対位置関係を
算出する算出手段と、を備えることを特徴とする車両の
外部環境認識装置。