JPH07244717A - 車両用走行環境認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 道路上の白線や先行車を検出する場合に、こ
れら検出対象物以外の物を誤検出することを防いで、前
記検出対象物を確実に検出すること。 【構成】 一例として、撮影手段１０で得られた画像信
号を画像処理手段１２に入力し、この画像処理手段１２
では、画像信号が走査手段によって画面の特定基準点か
ら左右方向に走査され、この走査データが積分され、こ
の積分データの変化分が検出され、変化分の大きい箇所
を白線位置検出手段によって白線位置として検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像を用いた車両用
の走行環境認識装置に関する。

【０００２】

【従来の技術】従来、ＣＣＤカメラ等により入力した画
像情報から道路上の白線を検出する装置は、種々存在す
る。図１１（ａ）（ｂ）を基に従来の白線検出の様子を
説明する。まず、ＣＣＤカメラ等の撮影手段によって図
１１（ａ）に示すような画像を得る。次にこの画像を構
成する画像信号の輝度信号を微分し固定しきい値により
二値化すると図１１（ｂ）のような画像が得られる。こ
のようにすれば、一応は白線１１０を含む領域が検出さ
れる。

【０００３】また他の白線検出装置としては、例えば特
開平３−２７３４９８号に開示されたものがある。この
公報に記載されている白線検出装置は、図示しないがビ
デオカメラ、エッジ検出手段、二値化手段、車線表示ラ
イン検出手段、走行レーン検出手段等を有している。次
にこの白線検出装置での白線検出動作を説明する。ま
ず、ビデオカメラから車両前方の道路画像が取り込まれ
る。続いて、エッジ検出手段によってこの画像中のエッ
ジを検出する。次に検出されたエッジを二値化手段で所
定のしきい値によって二値化する。次に車線表示ライン
検出手段によって直線を検出し、さらに道路構造に関す
る知識を利用することによって車線表示ラインを検出す
る。最後に前記車線表示ラインの中から自車両が走行し
ている走行レーンを走行レーン検出手段によって抽出す
る。

【０００４】また、別の白線検出装置として、特開平４
−１３４５０３号公報に開示されたものがある。この公
報に記載されている装置では、まず画像入力部から入力
された車両周辺の画像をフィルタリングし、且つ二値化
する。次に画面下方に走査開始ラインを設定し、このラ
インの中央（基準点）から左右へ走査し、各走査点で画
素値が１か０かを判定し、１ならばそのときの座標を走
行路端の座標とする。この走査を画面上端近傍まで行な
い、自車が走行している道路の白線位置を求める。この
ようにして、自車の走行方法と走行路領域が認識でき
る。

【０００５】一方、自社の前方を走る車両を把握するた
めの装置としては、例えば特開平４−１５１３４３号公
報に開示されたものがある。この公報に記載された装置
を使用した処理手順の概略を図１２のブロック図を基に
説明する。まず撮像手段で車両周辺の画像を撮影し、そ
の入力画像１２０中のエッジ構成点を抽出する（ブロッ
ク１２１）。次にこのエッジ構成点の中から横および縦
方向に連続するエッジを、予め設定された水平および鉛
直方向のエッジ構成点数との比較において抽出し（ブロ
ック１２２、１２３）、縦横２種類の連続エッジが存在
する領域から障害物の位置と外形を検出する（ブロック
１２４、１２５）。このようにして車両が検出される。
この行程での最初の入力画像を図１３（ａ）に、また縦
横エッジの抽出処理をした状態での画面を図１３（ｂ）
に示す。

【０００６】さらに一方、従来、ＣＣＤカメラ等により
入力された画像情報から自車両前方の先行車との車間距
離を測定する手法については、ステレオカメラ画像、す
なわち一対のカメラより入力された画像の視差を利用し
て距離を求める手法が一般的である。図１４は特公昭６
３−４６３６３号公報等により開示されているような従
来のステレオカメラを用いた光学式の距離検出装置の構
成図であり、この図に示すように左右２つの光学系を有
している。図において、１４１、１４２は基線長Ｌだけ
離れて配置された左右のレンズ、１４３、１４４はレン
ズ１４１、１４２の焦点距離ｆの位置に配置されたイメ
ージセンサ、１４５はイメージセンサ１４３、１４４か
ら送られる画像信号を用いて対象物１４６までの距離の
演算を行う信号処理装置である。次に対象物までの距離
検出原理を説明する。レンズ１４１、１４２を通してそ
れぞれイメージセンサ１４３、１４４上に結像した対象
物１４６の画像信号を信号処理装置１４５において順次
シフトしながら電気的に重ね合わせ、上記２つの画像信
号が最もよく一致したときのシフト量ａから三角測量の
原理により対象物１４６までの距離Ｒを、Ｒ＝ｆ×Ｌ／
ａの式によって求める。

【０００７】

【発明が解決しようとする課題】しかしながら、上述の
各従来例では次に述べる問題があった。すなわち、図１
１（ａ）（ｂ）を基に説明した従来例では、画像を単に
二値化しただけなので、画面上には白線１１０以外に道
路上の汚れ１１１やガードレール１１２、看板１１３等
も現れ、これらと白線１１０との識別は困難であった。
従って、固定しきい値による二値化をする手法では、白
線以外のノイズが残り誤った白線領域を検出する場合が
あった。

【０００８】また特開平３−２７３４９８号公報に記載
の白線位置検出装置では、直線部分を道路構造に関する
知識にも鑑みて検出するので、看板や道路上の汚れなど
を白線であると誤検出するおそれは少ないが、ガードレ
ールや道路脇の塀の影といった白線と平行な方向に直線
成分を有するノイズ成分については、これを白線である
と誤検出してしまうおそれがあった。また特開平４−１
３４５０３号公報に記載の白線検出手法でも走査領域の
画素値が１か０かによって白線検出しているので、道路
上の影や汚れ等を白線、すなわち自車の走行領域端であ
ると誤認してしまうおそれがあった。

【０００９】一方、特開平４−１５１３４３号公報に記
載の、先行車検出装置では、単にエッジの縦横成分を抽
出することを通じて、先行車かどうかを検出しているだ
けなので、標識やガードレールなどの背景と車両との分
別が困難であり、特に標識１３１などでは車両と同様、
縦横両方向の連続エッジを持つため誤検出がされ易く、
車両検出の精度が低下するという問題があった。加え
て、画像の全画面にわたる処理が必要となるため、処理
の高速化が図り難かった。さらに、特公昭６３−４６３
６３号公報等に開示の車間距離測定手法では、２台以上
のカメラが必要となっていたので、ハードウェア構成の
規模が大きくなるという問題があった。

【００１０】この発明は、上記のような問題を解決する
ことを課題としてなされたものであり、白線位置や先行
車を迅速、正確に検出でき、さらに先行車までの距離を
小規模な装置で測定できる車両用走行環境認識装置を提
供することを目的とする。

【００１１】

【課題を解決するための手段】この発明では基本的に、
請求項１または２に記載の手段によって上記白線検出の
際の課題を解決する。すなわち、請求項１に記載の発明
では、車両周辺を撮影する撮影手段と、この撮影手段に
より出力される画像信号が入力される画像処理手段とを
備え、前記画像処理手段は、入力画面に設定された特定
基準点から左右方向に画像信号を走査する走査手段と、
この走査手段によって得られた輝度に関するデータを積
分する積分手段と、この積分手段によって積分されたデ
ータの変化分を求める変化分検出手段と、この変化分検
出手段によって得られた値のうち変化分の大きい箇所を
白線位置として検出する白線位置検出手段とを有するこ
とを特徴とする車両用走行環境認識装置によって上記課
題を解決する。

【００１２】請求項２に記載の発明では、車両周辺を撮
影する撮影手段と、この撮影手段により出力される画像
信号が入力される画像処理手段とを備え、前記画像処理
手段は、入力画面に設定された特定基準点から左右方向
に画像信号を走査する第一の走査手段と、この第一の走
査手段によって得られた輝度に関するデータを積分する
第一の積分手段と、この第一の積分手段によって得られ
たデータの変化分を求める第一の変化分検出手段と、こ
の第一の変化分検出手段によって得られた値のうち変化
分の大きい箇所を基準白線位置として検出する基準白線
位置検出手段と、前記基準白線位置の上方且つ近傍のみ
にて画像信号を走査する第二の走査手段と、この第二の
走査手段によって得られた輝度に関するデータを積分す
る第二の積分手段と、この積分したデータの変化分を求
める第二の変化分検出手段と、この変化分の大きい箇所
を白線位置として検出する白線位置検出手段とを有し、
この白線位置検出手段で検出された白線位置の上方且つ
近傍のみでの前記第二の走査手段、第二の積分手段、第
二の変化分検出手段、白線位置検出手段による処理を繰
り返すことを特徴とする車両用走行環境認識装置によっ
て上記課題を解決する。

【００１３】また、請求項６に記載の発明すなわち、車
両周辺を撮影する撮影手段と、この撮影手段により出力
される画像信号が入力される画像処理手段とを備え、前
記画像処理手段は、入力画面に設定された特定基準点か
ら左右方向に画像信号を走査する走査手段と、この走査
手段によって得られた輝度に関するデータを積分する積
分手段と、この積分手段による積分データがしきい値以
上となっている領域を探索する探索手段と、この探索手
段によって得られた領域の幅が所定値以上であればこの
領域を先行車として検出する先行車検出手段とを有する
車両用走行環境認識装置によって上記課題を解決する。

【００１４】さらに、この発明の請求項７に記載の発明
すなわち、車両周辺を撮影する撮影手段と、この撮影手
段によって出力される画像信号を入力する手段とこの画
像信号中の先行車を検出する先行車検出手段とを備えた
画像処理手段と、先行車までの距離を測定する距離測定
手段とを備え、前記距離測定手段は受光レンズと、受光
素子と、前記受光レンズの取付高さ、前記受光レンズと
前記受光素子との間の距離、及び前記画像処理手段にお
ける前記先行車検出手段で検出された先行車の画面上の
高さとから先行車までの距離を測定する演算手段とを有
する車両用走行環境認識装置によって上記課題を解決す
る。

【００１５】

【作用】請求項１に記載の発明では、撮影手段によって
撮影され、画像処理手段へ入力された車両周辺の画像の
画面に設定された特定基準点から走査手段によって左右
方向に走査し、この走査によって得られた輝度に関する
データを積分手段によって積分し、さらに、積分された
データの変化分を変化分検出手段によって求め、白線位
置検出手段によって変化分の大きい箇所を白線位置とし
て検出する。

【００１６】請求項２に記載の発明では、撮影手段によ
って撮影され、画像処理手段へ入力された車両周辺の画
像を画面に設定された特定基準点から第一の走査手段に
よって左右方向に走査し、この走査によって得られた輝
度に関するデータを第一の積分手段によって積分し、さ
らに、積分されたデータの変化分を第一の変化分検出手
段によって求め、基準白線位置検出手段によって変化分
の大きい箇所を基準白線位置として検出する。次に第二
の走査手段によって前記基準白線位置の上方且つ近傍の
み、すなわち処理を行う領域を白線が出現すると思われ
る場所に限定して画像信号を走査し、走査された輝度に
関するデータを第二の第二の積分手段によって積分し、
さらに、この積分したデータの変化分を第二の変化分検
出手段によって求め、白線位置検出手段によって変化分
の大きい箇所を白線位置として検出する。そしてこの白
線位置検出手段で検出された白線位置の上方且つ近傍の
みでの前記第二の走査手段、第二の積分手段、第二の変
化分検出手段、白線位置検出手段による処理を順次繰り
返すことによって白線位置を連続的に検出する。

【００１７】請求項３に記載の発明では、基準白線位置
または白線位置について所定時間連続して検出されてい
るかどうかを判定し、所定時間連続して検出されている
と判定された位置を基準白線位置または白線位置と決定
する。請求項４に記載の発明では、複数の基準白線位置
または複数の白線位置のうち基準白線または白線の位置
として妥当な位置を妥当性判定手段によって検出する。
請求項５に記載の発明では、請求項４の場合において、
妥当な基準白線位置または妥当な白線位置が検出されな
かった場合に、補正手段によって前回検出した基準白線
位置の近傍または前回検出した白線位置の近傍を基準白
線位置または白線位置とする。

【００１８】請求項６に記載の発明では、撮影手段によ
って撮影され、画像処理手段へ入力された車両周辺の画
像の画面に設定された特定基準点から走査手段によって
左右方向に走査し、この走査によって得られた輝度に関
するデータを積分手段によって積分し、さらに、積分さ
れたデータがしきい値以上となっている領域を探索手段
によって探索し、この探索手段によって得られた領域の
幅が所定値以上であれば先行車検出手段によってこの領
域を先行車として検出する。

【００１９】請求項７に記載の発明では、撮影手段によ
って撮影され、画像処理手段へ入力された車両周辺の画
像を画像から先行車検出手段によって先行車を検出し、
この先行車までの距離を、受光レンズの取付高さと、前
記受光レンズと前記受光素子との間の距離と、前記先行
車検出手段で検出された先行車の画面上の高さとから測
定する。

【００２０】

【実施例】以下、この発明に係る車両用走行環境認識装
置の実施例を図面に基づき説明する。 実施例１ 図１には、車両用走行環境認識装置の構成をブロック図
にて簡略化して示している。図において１０は撮影手段
の一例としてのＣＣＤカメラ、１１はＣＣＤカメラ１０
で撮影された車両周辺の画像を格納する画像メモリ、１
２は画像メモリ１１から入力された画像信号に対し各種
の処理を施す画像処理手段としてのＣＰＵである。ここ
で画像メモリ１１からＣＰＵ１２へ画像信号を入力する
手段が入力手段とされる。ＣＰＵ１２には、エッジ検出
手段１３や二値化手段１４が設けられている。これらエ
ッジ検出手段１３や二値化手段１４は何れか一方だけで
もよいし、両方備わっていてもよい。またＣＰＵ１２に
は白線位置検出手段１５と先行車位置検出手段１６が含
まれている。

【００２１】白線位置検出手段１５はＣＰＵ１２に入力
された画像信号を走査する走査手段、走査された信号を
積分する積分手段、積分された輝度に関するデータの変
化分を求める変化分検出手段といった手段を含み、また
一旦検出した白線位置の時系列的安定性を検出する手
段、この手段で前記白線位置が所定の時系列的安定性を
もって検出されればその位置を白線位置であると決定す
る手段を含んでいてもよい。また前記白線位置検出手段
によって一旦検出した白線位置の妥当性を判定する手段
や、この妥当性を判定する手段で妥当でないと判定され
たら、前回の検出値を白線位置とする手段を含んでいて
もよい。

【００２２】また、先行車位置検出手段１６は、ＣＰＵ
１２に入力された画像信号を走査する走査手段、走査さ
れた信号を積分する積分手段、積分されたデータがしき
い値以上となっている領域を探索する探索手段、探索さ
れた領域の幅から先行車か否かを検出する先行車検出手
段とを有する。また先行車位置検出手段１６には、先行
車検出手段で検出された先行車までの距離を測定する距
離測定手段が含まれていてもよい。

【００２３】次に、上記車両用走行環境認識装置を用い
た白線位置検出の動作を図３のフローチャートを基に説
明する。この説明に先立ち、図２によって車両用走行環
境認識装置で車両周辺を撮影した状態を説明する。車両
運転中、前記ＣＣＤカメラ１０によって例えば車両前方
が撮影される。撮影された画像は一旦、前記画像メモリ
１１に格納され、入力手段によってＣＰＵ１２に入力さ
れる。このときの画像を図２（ａ）に示す。ＣＰＵ１２
においては、図２（ａ）のような画像を構成する画像信
号が二値化手段１４によって所定の輝度のしきい値を基
準に二値化される。この二値化された画像を図２（ｂ）
に示す。ここでは二値化のみを施しているが、エッジ検
出手段１３によるエッジ検出を行ってもよいし、エッジ
検出と二値化の両方を行ってもよい。図２（ｂ）の画像
には白線２１が映っているが、これ以外にガードレール
２２、道路上の汚れ２３、影２４の輪郭、木２５などの
コントラストのあるものが映っており、これらが白線検
出の際のノイズとなる。従って白線検出の際にはこれら
のノイズ成分を白線と間違えないようにする必要があ
る。

【００２４】次に図３のフローチャートを基に、画像処
理手段による白線検出動作を説明する。まずステップ３
０１では走査開始位置を設定する。この走査開始位置と
しては、画面の下方の中央部を特定基準点４２（図４
（ａ）参照）として設定する。この特定基準点４２は自
車両の幅方向の中間点とされる。次にステップ３０２で
は前記走査手段によって前記特定基準点４２から左右方
向に走査する。この場合、左右同時に画面の水平方向両
端まで走査する。

【００２５】次にステップ３０３で前記走査手段によっ
て図４（ａ）での走査ライン４１を走査して得た輝度に
関するデータを積分手段によって積分する。この積分は
走査方向（水平方向）に隣合うデータを積分すると共
に、同じ走査位置での或る時間内のデータを積分するこ
とによってなされる。この積分によって得られたデータ
を表示したのが図４（ｂ）である。点線４５が単に１回
走査して得たデータを表示したもの、実線４６が積分デ
ータである。この図から判るように、白線２１の存在す
る位置での積分データは大きな値を示している。また道
路上の汚れ２３を走査して得たデータは点線４５ではや
や大きな値を示しているが、このようなものは面積が小
さかったり、輝度段差が小さかったりするので、積分デ
ータである実線４６では平滑化されて値が小さくなって
いる。この積分データからだけでも、データ両端の突出
した部分を白線として認識することが一応は可能である
が、画面上方を走査していくにしたがい白線の間隔が画
面上狭くなり、且つ自車から走査位置までの距離も離れ
るので、白線の位置を走査して得た値がデータが図４
（ｂ）に示すように大きな値として現れないので、次に
述べる変化分検出を行う必要がある。すなわち、ステッ
プ３０４で、前記変化分検出手段によって積分データの
変化分を求める。具体的には積分データを微分する。こ
れによって得たデータを図４（ｃ）に示す。この図から
判るように、積分データの変化の度合が大きい箇所では
大きな値が得られる。尚、変化分とは変化率を含むが、
変化率よりも広範な概念とする。

【００２６】以上のような過程を経た後、ステップ３０
５で、前記白線位置検出手段で白線位置を検出する。白
線位置検出は前記変化分検出手段で得た変化分のデータ
を所定のしきい値（図４（ｃ）に図示）と比較し、しき
い値を越えている箇所を白線位置とする。図４（ｃ）で
は４４で示す部分が白線と認識される箇所である。この
４４の箇所は図４（ａ）の４４で示す地点に相当する。
ここでは高い方の値を示している箇所を白線としている
が、しきい値を−側にも設定しておき、この−のしきい
値を越えている箇所を白線としても差し支えない。白線
検出後はその走査ラインの上方に走査位置を更新する
（ステップ３０６）そして上記ステップ３０２乃至３０
５の動作を画面上方に向って所定間隔毎に行い、最も上
の走査ラインでの処理が終えたら再び画面下方から前記
処理を行う。ここで、画面上方に向って走査を繰り返し
ていく場合、自車両の幅方向中央の点を順次、前記特定
基準点として設定していき、この点を中心に走査する。

【００２７】実施例２ 実施例１では画面の縦方向全体について画面の水平方向
両端間の走査をしたが、これでは走査等の範囲が多くな
るので、画面全体での白線位置を検出し終えるのに時間
がかかるし、走行環境の変化に即しにくくなる。そこ
で、実施例２では画面の水平方向全部について走査する
のは最初だけとし、後は最初に検出された白線位置の上
方の近傍のみを走査していくこととしている。

【００２８】この実施例２の構成要素を説明すると、図
１に示した白線位置検出手段の具体的な中身として第一
の走査手段、第一の積分手段、第一の変化分検出手段、
基準白線位置検出手段、第二の走査手段、第二の積分手
段、第二の変化分検出手段、白線位置検出手段を含む。
ここで走査手段等を第一のものと第二のものに分けてい
るのは説明の便宜上であり実際には第一のものと第二の
ものが同じ手段であってもよいし、実際に別の手段で構
成されていてもよい。また前記基準白線位置検出手段と
白線位置検出手段についてもハード構成としては実質上
同じものであっても、違う手段であってもよい。これら
以外の構成要素は実施例１と同様である。

【００２９】次に実施例２での処理手順を図５のフロー
チャートで説明する。ステップ５０１から５０５までの
処理は基本的に実施例１の図３のステップ３０１から３
０５までの処理と同じである。ただ、これらの処理を前
記した第一の走査手段、第一の積分手段、第一の変化分
検出手段、基準白線位置検出手段で行っていることで概
念上異なる。ここで本実施例では基準白線位置とは画面
の最も下の走査ライン（図４（ａ）で４１のライン）で
検出された白線位置のことを指し、この部分のみは水平
方向全体での走査がなされる。そして、ステップ５０５
で検出された白線位置が基準白線位置となる。次にステ
ップ５０６で走査位置が設定される。この走査位置は前
記基準白線位置検出された基準白線位置の上方且つ近
傍、具体的には図４（ａ）の４３ａで示すように中央寄
りの斜め上が走査位置とされる。

【００３０】ステップ５０７では第二の走査手段によっ
て前記走査範囲４３ａを走査する。ステップ５０８では
走査された輝度に関するデータを第二の積分手段によっ
て実施例１と同様の手法により積分する。ここで積分さ
れたデータは図示しないが、普通は走査範囲の中央部分
に値の大きな部分が現れる。ステップ５０９では第二の
変化分検出手段によって前記積分データの変化分を実施
例１と同様の手法で求める。ステップ５１０では白線位
置検出手段によって前記変化分の高い箇所を白線位置と
して検出する。ここで、図４（ａ）の４３ａの場合、右
側の４３ａには間欠白線のため白線が存在しないので、
上記処理によって白線位置は検出されず、左側の４３ａ
のみで白線位置が検出される。最後にステップ５１１
で、画面上での次に走査する範囲を更新する（走査位置
を新たに設定する）。この走査位置の更新は前記走査位
置４３ａの上方且つ近傍（具体的には図４（ａ）の４３
ｂで示す部分）が次の走査位置であると設定されること
によってなされる。その後は前記ステップ５０７以降の
処理が繰り返され、画面上方へ向って順次、白線位置が
検出されていく。

【００３１】実施例３ 上記実施例１、２では、変化分検出手段でしきい値以上
を示した箇所を白線位置として検出したが、実際の走行
時における白線検出では、上記のように積分し、さらに
変化分を検出して白線位置を求めるようにしても、なお
もノイズ成分が上記変化分のしきい値を越える値となっ
て出現することがある。したがって、この場合は本当の
白線位置とノイズ成分が存在する位置という複数の白線
候補位置が検出されることになる。これでは正確な白線
位置検出は困難なので、この実施例３では、白線位置が
複数検出されても本当の白線位置が検出できるようして
い。

【００３２】このための構成要素として、実施例３で
は、基準白線位置検出手段で検出された基準白線位置ま
たは白線位置検出手段で検出された白線位置について時
系列的安定性をみる手段の一例である、所定時間連続し
て白線位置として検出されているかどうかを判定する手
段と、この手段で所定時間連続して検出されていると判
定された位置を基準白線位置または白線位置と決定する
手段とを有している。

【００３３】次に本実施例での処理手順を図６のフロー
チャートを基に説明する。図６の例では実施例１の白線
検出処理に上記手段を追加して実施する場合の流れが示
されている。ステップ６０１から６０５までの処理は実
施例１のステップ３０１乃至３０５と同様である。ステ
ップ６０６ではステップ６０５で検出された白線位置に
ついて時系列的安定性があるか否か、つまりその位置で
白線位置が所定時間連続して検出され続けているか否か
が判定される。もしステップ６０５で一応は白線位置と
検出された箇所が実はノイズ成分によるものである場
合、ノイズ成分は自車が走行していく過程で消えてしま
うことが多いので、上記所定時間内に検出されなくな
り、よって時系列的安定性がないという判定になる。こ
の場合にはステップ６０７においてその白線位置を白線
位置候補からはずす。

【００３４】一方、ステップ６０６において、前記ステ
ップ６０５で一応は白線位置と検出された箇所で所定時
間以上、その白線位置が検出され続けた場合は、その位
置に正に白線が有ると判断できるので、ステップ６０８
でその位置を白線位置であると決定する。さらにステッ
プ６０９では、その走査範囲で他に白線候補位置がない
かどうかをチェックし、もしまだ白線候補位置があれば
ステップ６０６に戻ってその位置についての時系列的安
定性をみる。ステップ６０９で、他には白線候補位置が
ないと判断されたならステップ６１０に進み、走査位置
を、前回の走査位置の上に設定（更新し）、その位置で
ステップ６０２から６０９までの処理を繰り返す。ま
た、前記実施例２に本実施例を適用する場合には、基準
白線位置検出の処理であるステップ５０５の後と、白線
位置検出の処理であるステップ５１０の後のそれぞれに
前記ステップ６０６から６０９の処理手順を追加すれば
よい。このようにすれば、真の基準白線位置と真の白線
位置が判る。

【００３５】実施例４ この実施例は上記実施例１で一応は白線位置または基準
白線位置として検出された位置が本当に白線の存在する
位置かどうかを検出するための他の実施例である。実施
例３では時間的安定性を調べることによって、ノイズ成
分かどうかを判定したが、この実施例では図１の白線検
出手段１５の中に白線（または基準白線）として妥当か
どうかを検出する妥当性判定手段を含んでいる。

【００３６】この実施例での処理の流れを説明すると、
上記実施例１のステップ３０５の後や上記実施例２のス
テップ５０５、５１０の後に妥当性判断の手順を追加す
る。そして、一旦は白線位置と判断された位置を本当に
白線位置と認識してよいかどうかを判断する。この妥当
性判断の具体的基準としては例えば、前記特定基準点か
らの水平方向の距離を基準とすることが挙げられる。こ
れは道路脇の塀の影などを白線検出手段で白線または基
準白線として認識した場合、この影の道路中央寄りの端
は通常白線がある位置に比べて相当内側または外側に現
れるので、前記特定基準点からの水平方向の距離が以前
に白線検出した地点での距離に比べて急変している場合
などに、その位置を白線として認識するのが妥当でない
と判断できる。

【００３７】複数の白線候補位置を検出した場合には、
この妥当性判断手法によって白線として最も妥当な位置
を実際の白線とすればよい。また、この実施例４におい
て、上記妥当性判定手段に加えて補正手段を具備してい
てもよい。すなわち妥当性判定手段によって妥当な基準
白線位置または妥当な白線位置が検出されなかった場合
には補正手段によって、前回検出した基準白線位置の近
傍または前回検出した白線位置の近傍を基準白線位置ま
たは白線位置とする。ここで基準白線についても今回の
検出位置が妥当でなければ前回の検出位置を基準白線と
しており、基準白線は画面の最下の走査位置でのみ走査
され、その後は白線位置を検出すべく画面上端の走査位
置まで走査し終えてから次の基準白線位置を検出するこ
ととされているので、前回と今回の基準白線検出にやや
時間差がでてくるが、実際上は前回の基準白線が妥当な
らばその位置の近傍を今回の基準白線位置としても大き
な間違いはないことが多い。尚、この実施例４の構成や
処理手法と上記実施例３のそれとを両方備えていてもよ
い。この場合、実施例３で時間的安定性がない場合に上
記と同様、前回の白線位置（基準白線位置）の近傍を白
線位置（基準白線位置）としてもよい。

【００３８】実施例５ 次にこの発明の車両の走行環境認識装置による先行車検
出について説明する。撮影手段、入力手段、画像処理手
段としては実施例１で説明し、図１に示したものとほぼ
同じ手段が採用される。この実施例では特に画像処理手
段であるＣＰＵ１２中のエッジ検出手段１３および／ま
たは二値化手段１４と先行車位置検出手段１６が使用さ
れる。先行車位置検出手段１６は、走査手段、この走査
手段で走査された輝度に関するデータ積分する積分手
段、この積分手段によって積分されたデータを基に先行
車探索する探索手段、この探索手段によって得たデータ
から先行車位置を検出する先行車検出手段といった手段
を有する。

【００３９】次に先行車検出の手順を説明する。図７
（ａ）はＣＣＤカメラ１０で撮影され、ＣＰＵ１２に入
力された状態の画像である。この画像の信号中のコント
ラストのある部分をエッジ検出手段１３で抽出したり二
値化手段１４で所定のしきい値以上の輝度の部分を抽出
したのが図７（ｂ）に示す画像である。図７（ｂ）の画
像を基に先行車を検出する。この画面には先行車７１、
看板７２、影７３等が映っている。次に図８のフローチ
ャートおよび図９（ａ）を基に画像処理手段による先行
車位置検出の処理手順を説明する。ステップ８０１で
は、走査開始位置を設定する。走査開始位置は画面下方
の中央部（自車両の水平方向中心部）の特定基準点９０
（図９（ａ）参照）である。ステップ８０２では走査手
段によって、前記特定基準点９０を中心として左右方向
へ画面の端まで走査する。

【００４０】ステップ８０３ではステップ８０２で走査
した輝度に関するデータを積分する。この積分は白線位
置検出の場合と同様、走査ラインのライン方向の個々の
データの積分と走査ラインの同一位置での時間的な積分
の両方が混合された積分である。この積分データを示し
たのが図９（ｂ）である。図中、点線９４で示したデー
タは、先行車は存在せず、道路の端の方に影が現れてい
る領域を走査した場合（例えば図９（ａ）の９２で示す
走査ラインを走査した場合）であり、点線９５で示した
データは、先行車を検出した場合（例えば図９（ａ）の
９３で示す走査ラインを走査した場合）である。

【００４１】ステップ８０４では前記積分データを基に
先行車の有無および位置を探索する。具体的には前記積
分データを所定のしきい値９６と比較し、このしきい値
９６以上の部分が先行車の候補となる。図９（ａ）の走
査ライン９２を走査して得た積分データ９４では９７で
示す部分、すなわち、影７３を走査した部分がしきい値
９６を越えており、また、走査ライン９３を走査して得
た積分データ９５では９８ａ、９８ｂ、９８ｃで示す部
分がしきい値９６を越えており、このうち９８ａ、９８
ｃは白線のデータ、９８ｂは先行車のデータである。ス
テップ８０５では前記探索手段で探索されたしきい値以
上の部分のうち先行車と推定できる位置を検出する。自
動車は所定以上の幅を有しているので予め所定幅を設定
しておき、前記しきい値以上の部分のうち所定幅を満た
している領域に先行車が存在すると推定でき、この位置
を先行車位置とする。前記所定幅は、走査ラインが画面
の上方へ移るにしたがって、自車両と先行車の間の距離
が広がることに応じて狭くしてもよい。また対向車線の
車両を先行車と検出しないようにするため、前記特定基
準点９０通る縦方向のライン（仮想の）に跨り、且つ前
記所定幅を満たしている領域のみを先行車として検出す
る方がよい。これにより、図９（ｂ）での９８ｂの領域
のみが先行車位置として検出でき、看板７２や影７３等
を先行車として誤検出せずに済む。

【００４２】次にステップ８０６では、今回走査した範
囲で、前記ステップ８０５によって先行車が検出された
かどうか判定する。先行車が検出できなかった場合には
ステップ８０７で走査位置を更新する、すなわち今回の
走査ラインの上方にて新たな特定基準点（自車両の中心
部に相当する点を特定基準点とする）を設定し、この特
定基準点から左右方向へ走査する等、ステップ８０２か
ら８０６までの動作を繰り返す。またステップ８０６で
先行車を検出したと判定された場合、この実施例ではス
テップ８０８にてその先行車までの車間距離を測定す
る。先行車を一旦検出したらその後は、その先行車が存
在すると考えられる領域のみで前記ステップ８０２から
８０６までの処理を行ってもよい。また、この実施例で
は前記積分と探索だけで充分に先行車が検出できるの
で、白線検出時のような変化分検出の行程は要しない。

【００４３】図１１は車間距離測定状態を示す図であ
り、１００は先行車、１０１は受光レンズ、１０２は受
光素子である。受光レンズ１０１や受光素子１０２は自
車両の前部などに取り付けられている。またＲは先行車
までの距離、ｈは受光レンズの取付高さ、ｆは焦点距離
である。ここで先行車検出手段で得られた先行車の画像
上の垂直方向の位置から、画像の垂直方向の下端までの
距離（画素数）をａとすると、相似の関係から、演算手
段で、Ｒ＝ｆ×ｈ／ａの式が演算されることによって、
車間距離が求められる。尚、画像の前記垂直方向の距離
としては、図９（ａ）では画面下方から９３のラインま
での距離、すなわち先行車の下端が検出された状態での
画面上の距離とする。このように先行車位置検出された
状態で先行車１００の画面上高さが判るので、１台のカ
メラ（撮影手段）のみで車間距離が測定できる。

【００４４】

【発明の効果】請求項１の発明によれば、特に、走査手
段によって得られた輝度に関するデータを積分する積分
手段と、この積分手段によって積分されたデータの変化
分を求める変化分検出手段と、この変化分検出手段によ
って得られた値のうち変化分の大きい箇所を白線位置と
して検出する白線位置検出手段とを有してなるので、一
過性のノイズ成分などは積分手段によって平滑化されて
大きな値を示さなくなることから、ノイズ成分を白線と
して誤検出するおそれが少なく、また画面上方の白線も
変化率検出手段によって確実に抽出されるので、白線位
置を確実に検出できる。

【００４５】請求項２の発明によれば、特に、入力画像
の下方に設定された特定基準点から左右方向に画像信号
を走査、積分、変化分検出を通じて得られた白線を基準
白線位置として検出し、次からは、前記基準白線位置の
上方且つ近傍のみにて第二の走査手段によって画像信号
を走査し、その走査データを積分し、変化分を求め、変
化分の大きい箇所を白線位置として検出するように構成
しているので、水平方向全体を走査するのは最初だけで
済み、次からは白線があると考えられる位置だけを走査
するだけで済むため、白線位置検出の処理が高速化でき
る。

【００４６】請求項３の発明によれば、基準白線位置ま
たは白線位置について所定時間連続して白線位置として
検出されているかどうかを判定する手段と、この手段で
所定時間連続して検出されていると判定された位置を基
準白線位置または白線位置と決定する手段とを有してな
るので、実際の走行時に白線候補として抽出されてくる
ノイズ成分を白線位置として誤検出する不具合を請求項
１の発明に対しさらに確実に無くすことができる。請求
項４の発明によれば、複数の基準白線位置または複数の
白線位置のうち基準白線または白線の位置として妥当な
位置を検出する妥当性判定手段を有するので、真の白線
位置を確実に検出できる。。

【００４７】請求項５の発明によれば、妥当性判定手段
によって妥当な基準白線位置または妥当な白線位置の近
傍が検出されなかった場合に前回検出した基準白線位置
の近傍または前回検出した白線位置を基準白線位置また
は白線位置とする補正手段を有するので、その白線位置
（または基準白線位置）検出ルーチンで白線（または基
準白線）が検出できなくても、白線検出を継続すること
ができる。請求項６の発明によれば、特に、走査手段に
よって得られた輝度に関するデータを積分する積分手段
と、この積分手段による積分データがしきい値以上とな
っている領域を前記特定基準点から左右方向に探索する
探索手段と、この探索手段によって得られた領域の幅が
所定値以上であればこの領域を先行車と推定する先行車
推定手段とを有するので、車両形状の特徴を利用して車
両を確実に検出することができる。

【００４８】請求項７に記載の発明では、特に、画像信
号中の先行車を推定する先行車推定手段とを備えた画像
処理手段と、先行車までの距離を測定する距離測定手段
とを備え、前記距離測定手段は受光レンズと、受光素子
と、演算手段とを有し、前記演算手段は前記受光レンズ
の取付高さと、前記受光レンズと前記受光素子との間の
距離と前記画像処理装置における前記先行車検出手段で
検出された先行車の画面上の高さとから先行車までの距
離を測定することとしているので、走査開始位置から先
行車検出位置までの画面上の距離が判り、この画面上の
距離から車間距離を測定するため、撮影手段が１台（単
眼カメラ）で済み、車間距離検出のためのハードウェア
構成を小規模とすることができる。

【図面の簡単な説明】

【図１】 この発明に係る車両用走行環境認識装置の基
本的な構成手段の一態様を説明するブロック図である。

【図２】 請求項１乃至５の発明による白線検出に先立
つ画像処理をした状態の画面を表す図であり、（ａ）は
画像処理装置に入力された状態の画面、（ｂ）は二値化
等した状態の画面である。

【図３】 この発明の実施例１での処理手順を説明する
フローチャートである。

【図４】 この発明の実施例１等での処理を視覚的に表
す図であり、（ａ）は白線位置検出ための走査位置等を
画面上に表した図、（ｂ）は図４（ａ）の走査ライン４
４にて走査、積分を行った結果としての走査データと積
分データを示す図、（ｃ）は図４（ｂ）の積分データを
変化分検出した結果としての変化分データとしきい値を
示す図である。

【図５】 この発明の実施例２での処理手順を説明する
フローチャートである。

【図６】 この発明の実施例３での処理手順を説明する
フローチャートである。

【図７】 この発明の実施例５での先行車検出を行うに
先立つ画像処理をした状態の画面を表す図であり、
（ａ）は画像処理装置に入力された状態の画面、（ｂ）
は二値化等した状態の画面である。

【図８】 この発明の実施例５での処理手順を説明する
フローチャートである。

【図９】 この発明の実施例５での処理を視覚的に表す
図であり、（ａ）は先行車位置検出ための走査位置等を
画面上に表した図、（ｂ）は図９（ａ）の走査ライン９
２、９３にて走査、積分を行った結果としての積分デー
タを示す図である。

【図１０】 この発明の実施例５での車間距離測定装置
の一部と車間距離測定の状態を説明する図である。

【図１１】 従来例の一般的な画像処理による画面を表
す図であり、（ａ）は画像処理装置に入力された状態の
画面、（ｂ）は二値化等した状態の画面である。

【図１２】 従来例（特開平４−１５１３４３号公報記
載のもの）での先行車検出の手法の概略を説明するブロ
ック図である。

【図１３】 上記従来例での先行車検出の様子を表す画
面を示す図であり、（ａ）は入力画像、（ｂ）は縦横方
向の連続エッジを抽出した画面を示す図である。

【図１４】 従来の障害物検出装置の一部と障害物まで
の距離測定の状態を説明する図である。

【符号の説明】

１０ ＣＣＤカメラ（撮影手段） １２ ＣＰＵ（画像処理手段） １５ 白線位置検出手段 １６ 先行車位置検出手段 １０１ 受光レンズ １０２ 受光素子

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０１Ｃ 3/06 Ｚ Ｇ０１Ｓ 11/12 Ｇ０５Ｄ 1/02 Ｋ Ｇ０８Ｇ 1/16 Ｃ 7531−3Ｈ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 車両周辺を撮影する撮影手段と、この撮
   影手段により出力される画像信号が入力される画像処理
   手段とを備え、前記画像処理手段は、入力画面に設定さ
   れた特定基準点から左右方向に画像信号を走査する走査
   手段と、この走査手段によって得られた輝度に関するデ
   ータを積分する積分手段と、この積分手段によって積分
   されたデータの変化分を求める変化分検出手段と、この
   変化分検出手段によって得られた値のうち変化分の大き
   い箇所を白線位置として検出する白線位置検出手段とを
   有することを特徴とする車両用走行環境認識装置。
2. 【請求項２】 車両周辺を撮影する撮影手段と、この撮
   影手段により出力される画像信号が入力される画像処理
   手段とを備え、前記画像処理手段は、入力画面に設定さ
   れた特定基準点から左右方向に画像信号を走査する第一
   の走査手段と、この第一の走査手段によって得られた輝
   度に関するデータを積分する第一の積分手段と、この第
   一の積分手段によって得られたデータの変化分を求める
   第一の変化分検出手段と、この第一の変化分検出手段に
   よって得られた値のうち変化分の大きい箇所を基準白線
   位置として検出する基準白線位置検出手段と、前記基準
   白線位置の上方且つ近傍のみにて画像信号を走査する第
   二の走査手段と、この第二の走査手段によって得られた
   輝度に関するデータを積分する第二の積分手段と、この
   積分したデータの変化分を求める第二の変化分検出手段
   と、この変化分の大きい箇所を白線位置として検出する
   白線位置検出手段とを有し、この白線位置検出手段で検
   出された白線位置の上方且つ近傍のみでの前記第二の走
   査手段、第二の積分手段、第二の変化分検出手段、白線
   位置検出手段による処理を繰り返すことを特徴とする車
   両用走行環境認識装置。
3. 【請求項３】 基準白線位置検出手段で検出された基準
   白線位置または白線位置検出手段で検出された白線位置
   について所定時間連続して白線位置として検出されてい
   るかどうかを判定する手段と、この手段で所定時間連続
   して検出されていると判定された位置を基準白線位置ま
   たは白線位置と決定する手段とを有する請求項１または
   ２に記載の車両用走行環境認識装置。
4. 【請求項４】 基準白線位置検出手段または白線位置検
   出手段によって検出された複数の基準白線位置または複
   数の白線位置のうち基準白線または白線の位置として妥
   当な位置を検出する妥当性判定手段を有する請求項１ま
   たは２に記載の車両用走行環境認識装置。
5. 【請求項５】 妥当性判定手段によって妥当な基準白線
   位置または妥当な白線位置が検出されなかった場合に前
   回検出した基準白線位置の近傍または前回検出した白線
   位置の近傍を基準白線位置または白線位置とする補正手
   段を有する請求項４に記載の車両用走行環境認識装置。
6. 【請求項６】 車両周辺を撮影する撮影手段と、この撮
   影手段により出力される画像信号が入力される画像処理
   手段とを備え、前記画像処理手段は、入力画面に設定さ
   れた特定基準点から左右方向に画像信号を走査する走査
   手段と、この走査手段によって得られた輝度に関するデ
   ータを積分する積分手段と、この積分手段による積分デ
   ータがしきい値以上となっている領域を探索する探索手
   段と、この探索手段によって得られた領域の幅が所定値
   以上であればこの領域を先行車ととして検出する先行車
   検出手段とを有する車両用走行環境認識装置。
7. 【請求項７】 車両周辺を撮影する撮影手段と、この
   撮影手段によって出力される画像信号を入力する手段と
   この画像信号中の先行車を検出する先行車検出手段とを
   備えた画像処理手段と、先行車までの距離を測定する距
   離測定手段とを備え、前記距離測定手段は受光レンズ
   と、受光素子と、前記受光レンズの取付高さ、前記受光
   レンズと前記受光素子との間の距離、及び前記画像処理
   装置における前記先行車検出手段で検出された先行車の
   画面上の高さによって先行車までの距離を測定する演算
   手段とを有することを特徴とする車両用走行環境認識装
   置。