JP3154671B2 - 車両用走行区分帯検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両の走行路上
の走行区分帯（白線または中央分離帯など）の位置を検
出する車両用走行区分帯検出装置に関し、特に走行中の
カメラ振動などの不安定要因によらず検出信頼性を向上
させた車両用走行区分帯検出装置に関するものである。

【０００２】

【従来の技術】従来より、一対の光学系を介して二次元
のイメージセンサ上に結像された２つの画像を比較し、
三角測量原理を用いて走行路上の対象物または車線（白
線や中央分離帯）までの距離を検出する画像認識装置は
よく知られており、たとえば特開昭６２−２２１８００
号公報および特開平５−３０３６２５号公報などに開示
されている。

【０００３】上記各公報に記載された装置においては、
いずれも、車両に搭載されたカメラにより車両前方の走
行路面を撮影し、撮影された二次元の画像信号を比較処
理することによって走行路上の車線を認識している。

【０００４】また、イメージセンサを用いた光学式の距
離検出装置は、たとえば特公昭６３−３８０８５号公報
および特公昭６３−４６３６３号公報などに開示されて
おり、これらの公報に記載された装置は、基線長だけ離
間配置された左右（または、上下）一対の光学系（ステ
レオカメラ）を備えている。

【０００５】図１０はステレオカメラを用いた従来の車
両用走行区分帯検出装置を示す構成図である。図１０に
おいて、１および２は基線長Ｌだけ離れて左右（また
は、上下）に配置されたレンズであり、車両に搭載され
た一対の光学系すなわちステレオカメラを構成してお
り、走行路面に描かれた走行区分帯を含む車両前方を撮
像する。

【０００６】３および４は各レンズ１および２の焦点距
離ｆの位置に配置された一対のイメージセンサであり、
レンズ１および２で撮像された各画像が個別に結像され
る。３０はＡＤ変換器、メモリおよびマイクロコンピュ
ータ（いずれも図示せず）などを含む信号処理装置であ
り、イメージセンサ３および４からの画像信号Ｇ１およ
びＧ２に基づいて、各イメージセンサ３および４上に結
像された画像の比較演算処理を行う。

【０００７】３１はレンズ１および２の前方の距離Ａに
位置する任意の対象物であり、レンズ１および２を含む
ステレオカメラにより撮像され、信号処理装置３０にお
いて距離Ａが検出される。信号処理装置３０は距離検出
装置として機能し、撮像画面から自動車の走行路上の走
行区分帯（白線）を検出する車両用走行区分帯検出装置
として適用される。

【０００８】次に、図１０に示した従来の車両用走行区
分帯検出装置の処理動作について説明する。信号処理装
置３０は、イメージセンサ３および４からの各画像信号
Ｇ１およびＧ２を取り込み、各画像信号Ｇ１およびＧ２
により得られた画像の一方を基準として、画素単位で左
右方向に順次シフトさせながら電気的に重ね合わせる。

【０００９】そして、各画像が最もよく一致したときの
シフト量Ｓから、対象物３１までの距離Ａを、三角測量
原理に基づく以下の（１）式により求める。

【００１０】Ａ＝ｆ・Ｌ／Ｓ …（１）

【００１１】ただし、（１）式において、ｆは各レンズ
１および２の焦点距離、Ｌは各レンズ１および２の間の
基線長であり、シフト量Ｓは、シフト画素数×画素ピッ
チにより求められる。したがって、上記（１）式は、シ
フト画素数ｎおよび画素ピッチＰを用いて、以下の
（２）式のようにも表わされる。

【００１２】Ａ＝ｆ・Ｌ／（ｎ・Ｐ） …（２）

【００１３】また、従来より、（１）式により演算され
る距離Ａの信頼性を向上させるために、たとえば特開平
４−１１３２１２号公報および特公平８−２７１８７号
公報などに参照されるように、画像内の所定個所に複数
のウインドウを設け、各ウインドウにより捕らえられた
対象物３１までの距離Ａを検出する装置も提案されてい
る。

【００１４】

【発明が解決しようとする課題】従来の車両用走行区分
帯検出装置は以上のように、イメージセンサから得られ
た二次元画像に基づいて、自車両に対する白線の相対位
置を検出しているので、走行中の車載カメラの振動によ
り画像が不安定となり、白線の位置を正確に検出するこ
とができないという問題点があった。

【００１５】この発明は上記のような問題点を解決する
ためになされたもので、光学式カメラを用いて自車両前
方の所定距離にある走行区分帯の位置を安定に検出する
ことのできる車両用走行区分帯検出装置を得ることを目
的とする。

【００１６】

【課題を解決するための手段】この発明の請求項１に係
る車両用走行区分帯検出装置は、車両に搭載された一対
の光学系と、各光学系を介して一対の画像が結像される
イメージセンサと、イメージセンサからの一対の画像信
号を比較処理する信号処理装置とを備え、信号処理装置
は、各画像のうちの一方を基準として他方を順次シフト
しながら各画像を整合させる画像整合手段と、各画像の
ずれに基づく三角測量原理を用いて車両の走行路上の対
象物までの距離を演算する距離演算手段と、走行路上の
走行区分帯のエッジを検出するエッジ検出手段と、他方
の画像内の走行区分帯のエッジを車両から所定距離に相
当する所定シフト量だけずらすシフト手段と、所定シフ
ト量だけずらした他方の画像内の走行区分帯のエッジと
一方の画像内の走行区分帯のエッジとの交点に基づい
て、走行区分帯に対する車両の相対位置を演算する相対
位置演算手段とを含むものである。

【００１７】また、この発明の請求項２に係る車両用走
行区分帯検出装置は、請求項１において、車両の車速を
検出する車速センサを備え、シフト手段は、車速の増大
に応じて所定シフト量を減少させるものである。

【００１８】また、この発明の請求項３に係る車両用走
行区分帯検出装置は、請求項１または請求項２におい
て、信号処理装置は、車両の相対位置を所定位置に調整
するための操舵制御手段を含むものである。

【００１９】

【発明の実施の形態】

実施の形態１．以下、この発明の実施の形態１を図につ
いて説明する。図１はこの発明の実施の形態１を示す構
成図であり、図１において、３０Ａは前述（図１０参
照）の信号処理装置３０に対応しており、１〜４、Ａ、
ｆおよびＬは前述と同様のものである。

【００２０】４１および４２は自車両の走行車線に沿っ
て描かれている白線（走行区分帯）であり、左側の白線
４１は走行路上に連続的に描かれた白線、右側の白線４
２は走行路上に断続して描かれた白線である。

【００２１】なお、白線４１および４２は撮像画面内で
斜めに表示されるので、前述のように、レンズ１および
２ならびにイメージセンサ３および４は、上下または左
右のいずれに配置されても検出可能であるが、ここで
は、たとえば上下に配設されているものとする。すなわ
ち、レンズ１およびイメージセンサ３は下側に配置さ
れ、レンズ２およびイメージセンサ４は上側に配置され
た場合を示している。

【００２２】また、信号処理装置３０Ａは、以下の構成
要素７〜１１を含んでいる。７および８は各イメージセ
ンサ３および４に接続されたＡＤ変換器であり、イメー
ジセンサ３および４からの画像信号Ｇ１およびＧ２をア
ナログ信号からデジタル信号に変換する。

【００２３】９および１０は各ＡＤ変換器７および８に
接続されたメモリであり、デジタル変換された一対の画
像信号Ｇ１およびＧ２に基づく画像Ｆ１およびＦ２を個
別に記憶する。１１はメモリ９および１０に接続された
マイクロコンピュータであり、ＡＤ変換器８および９、
ならびに、メモリ９および１０などを制御する。

【００２４】マイクロコンピュータ１１は、各画像信号
Ｇ１およびＧ２により構成される画像を比較演算処理し
て、後述するように、自車両から対象物または白線４１
および４２までの距離、ならびに走行路上の自車両の相
対位置などを検出する。１２はイメージセンサ３および
４に撮像されてメモリ９および１０に格納された画像を
表示する表示装置であり、マイクロコンピュータ１１に
より制御されている。

【００２５】図２は図１内のマイクロコンピュータ１１
の具体的構成を示す機能ブロック図であり、図２におい
て、９、１０、１１は前述（図１参照）と同様のもので
ある。

【００２６】Ａは自車両から走行路上の対象物（または
白線）までの距離、Ｄは走行路上の白線４１に対する自
車両の相対位置、Ｆ１およびＦ２は各画像信号Ｇ１およ
びＧ２に対応してメモリ９および１０内に格納された画
像、Ｅ１およびＥ２は各画像Ｆ１およびＦ２内の白線４
１のエッジ、Ｓは画像整合処理におけるシフト量であ
る。

【００２７】１４は各画像Ｆ１およびＦ２内の白線４１
のエッジＥ１およびＥ２を検出するエッジ検出手段、１
５は画像Ｆ２内の白線４１のエッジＥ２を車両から所定
距離に相当する所定シフト量ΔＳ（後述する）だけずら
すシフト手段である。

【００２８】１６は相対位置Ｄを演算する相対位置演算
手段であり、所定シフト量ΔＳだけずらした画像Ｆ２内
のエッジＥ２と基準側の画像Ｆ１内のエッジＥ１とを比
較し、各エッジＥ１およびＥ２の交点Ｑ（後述する）に
基づいて、白線４１に対する車両の相対位置Ｄを演算す
る。

【００２９】２０は各画像Ｆ１およびＦ２を整合させる
画像整合手段であり、各画像Ｆ１およびＦ２のうちの一
方（この場合、画像Ｆ１）を基準として他方を順次シフ
トさせ、対象物に対して画像成分が最も一致したときの
シフト量Ｓを出力する。２２はシフト量Ｓに基づいて対
象物（たとえば、白線）までの距離Ａを演算する距離演
算手段である。

【００３０】図３は走行路上の白線４１および４２を撮
像した画像Ｆ１の一例を示す説明図、図４は走行路上の
白線４１および４２を撮像した画像Ｆ２の一例を示す説
明図である。図５は各画像Ｆ１およびＦ２内の白線４１
のエッジＥ１およびＥ２を示す説明図であり、画像Ｆ１
内の白線４１の内側のエッジＥ１と、画像Ｆ２内の白線
４１の内側のエッジＥ２とを、同一画面上に重畳表示さ
せた状態を示している。

【００３１】図６は図５の状態からエッジＥ２をシフト
させて比較した状態を示す説明図であり、基準側のエッ
ジＥ１に対してエッジＥ２を所定シフト量ΔＳだけずら
せた場合の交点Ｑおよび相対位置Ｄの関係を示してい
る。

【００３２】図６において、白線４１に対する車両の相
対位置Ｄは、画面の中心線Ｃから交点Ｑまでの距離で表
わされる。図６のように、白線４１に関する一対の画像
の一方のエッジＥ２を所定シフト量ΔＳだけずらせて得
られる交点Ｑは、自車両から所定距離の白線４１上の位
置を示している。

【００３３】なお、ここでは、イメージセンサ３側の画
像信号Ｇ１に基づくメモリ９内の画像Ｆ１を基準として
いるが、各画像Ｆ１およびＦ２のうちの任意の一方を基
準とすればよい。

【００３４】次に、図１および図２に示したこの発明の
実施の形態１の動作について説明する。まず、マイクロ
コンピュータ１１による一般的な距離検出機能、すなわ
ち、画像整合手段２０および距離演算手段２２の動作に
ついて説明する。

【００３５】画像整合手段２０および距離演算手段２２
は、基準側の画像Ｆ１とシフト側の画像Ｆ２とを比較し
て、対象物（たとえば、白線）を検出するとともに、車
両から対象物までの距離Ａを求める。このとき、必要に
応じて、対象物を含む演算領域限定用のウインドウが設
定される。

【００３６】すなわち、前述の特開平４−１１３２１２
号公報および特公平８−２７１８７号公報などから周知
の演算処理を用いて、画像整合手段２０は、画像Ｆ１に
対して画像Ｆ２を１画素づつ順次シフトしながら最も整
合する画像位置を求め、距離演算手段２２は、整合時の
画像Ｆ２のシフト量Ｓから、上記（１）式から対象物ま
での距離Ａを演算する。

【００３７】次に、図７のフローチャートとともに図３
〜図６を参照しながら、図１および図２に示したこの発
明の実施の形態１による自車両位置の演算動作について
説明する。たとえば、白線４１および４２の描かれた道
路上を車両が走行すると、表示装置１２には、図３およ
び図４のように車両前方の画像Ｆ１およびＦ２が表示さ
れる。

【００３８】すなわち、下側のイメージセンサ３により
撮像された画像Ｆ１（図３）においては、各白線４１お
よび４２が水平方向につぶれた状態で表示され、上側の
イメージセンサ４により撮像された画像Ｆ２（図４）に
おいては、各白線４１および４２が垂直方向に立設した
状態で表示される。

【００３９】このように、一対のレンズ１および２を介
してイメージセンサ３および４上に撮像された車両前方
の画像信号は、信号処理装置３０Ａ内のＡＤ変換器７お
よび８を介してメモリ９および１０内に画像Ｆ１および
Ｆ２として格納された後、マイクロコンピュータ１１に
入力される。

【００４０】すなわち、図７において、まず、マイクロ
コンピュータ１１内のエッジ検出手段１４は、イメージ
センサ３の画素信号が記憶されているメモリ９から画像
Ｆ１（図３参照）を読み出し、白線４１の内側のエッジ
Ｅ１（図５参照）を抽出する（ステップＳ１０１）。こ
のとき、断続した右側の白線４２のエッジも抽出される
が、後の重ね合わせ処理に用いられないので、ここでは
図示を省略する。

【００４１】同様に、エッジ検出手段１４は、イメージ
センサ４の画素信号が記憶されているメモリ１０から画
像Ｆ２（図４参照）を読み出し、白線４１の内側のエッ
ジＥ２を抽出し（ステップＳ１０２）、図５のように、
エッジＥ１と同一画面上に表示させる。

【００４２】続いて、図６のように、基準側のエッジＥ
１に対して、画面上の下側に位置するエッジＥ２を所定
シフト量ΔＳだけ上方にシフトさせて重ね合わせる（ス
テップＳ１０３）。

【００４３】最後に、マイクロコンピュータ１１内の相
対位置演算手段１６ハ、エッジＥ１とシフト後のエッジ
Ｅ２との交点Ｑ（図６参照）を求め、画面上の中心線Ｃ
からの相対位置Ｄを演算する（ステップＳ１０４）。図
６内の相対位置Ｄは、走行路画面上の自車両の位置、す
なわち、白線４１に対する車両の相対位置を示してい
る。

【００４４】以上で図７のルーチンを終了し、再びステ
ップＳ１０１に戻って上記動作を繰り返し実行する。

【００４５】なお、所定シフト量ΔＳに対応するレンズ
１および２から交点Ｑまでの所定距離ΔＡは、所定シフ
ト量ΔＳによる画面上の画素シフト数をΔｎとすれば、
画素ピッチＰから所定シフト量ΔＳ（＝Δｎ・Ｐ）が求
まるので、前述の（１）式から求められる。

【００４６】また、所定シフト量ΔＳを常に一定に設定
して交点Ｑを求めれば、レンズ１および２から白線４１
の所定位置までの距離ΔＡは（１）式から得られるよう
に常に一定となる。

【００４７】したがって、車両の運転状況によらず、ス
テレオカメラを搭載した車両の前方走行路上の所定距離
ΔＡにある白線４１の位置を常に正確に且つ安定に検出
することができる。

【００４８】実施の形態２．なお、上記実施の形態１で
は、所定距離にある白線４１に対する自車両の相対位置
Ｄを演算するのみであったが、相対位置Ｄを一定に維持
するように自車両を追従走行させてもよい。また、自車
両の走行速度に応じて所定シフト量ΔＳを変更し、演算
および制御の応答性を向上させてもよい。

【００４９】図８は自動追従走行機能を付加させたこの
発明の実施の形態２を示す構成図であり、図８におい
て、１１Ａは前述（図１）のマイクロコンピュータ１１
に対応しており、１〜４、７〜１０、１２、４１、４
２、Ａ、ｆ、Ｌ、Ｇ１およびＧ２は前述と同様のもので
ある。

【００５０】また、図９は図８内のマイクロコンピュー
タ１１Ａの具体的構成を示す機能ブロック図であり、図
９において、１５Ａは前述（図２参照）のシフト手段１
５に対応しており、９、１０、１４、１６、２０および
２２は前述と同様のものである。

【００５１】図８および図９において、１７は自車両の
走行速度すなわち車速Ｖを検出する車速センサ、１８は
マイクロコンピュータ１１Ａ内に設けられた操舵制御手
段、１９は車両の運転席に配置されたハンドル、Ｍは操
舵制御手段１８からの操舵制御信号Ｈに応答してハンド
ル１９を自動的に操舵駆動するモータである。

【００５２】この場合、シフト手段１５Ａは、車速Ｖに
応じて所定シフト量ΔＳを変更し、車速Ｖの増大に応じ
て所定シフト量ΔＳを減少するようになっている。操舵
制御手段１８は、相対位置Ｄの変化量を常に検出してお
り、相対位置Ｄの変化量が０（相対位置Ｄが常に一定）
となるように操舵制御信号Ｈを出力して、モータＭを駆
動する。

【００５３】これにより、図６内の交点Ｑの位置が常に
一定に保持されるように、ハンドル１９が自動的に操舵
され、白線４１に追従するように自車両の進行方向が調
整され、自車両は白線４１に沿って自動走行することが
できる。

【００５４】また、シフト手段１５Ａが車速Ｖの増大に
応じて所定シフト量ΔＳを減少させるので、相対位置演
算手段１６は、自車両の高速走行時には遠距離位置にあ
る白線４１の交点Ｑを検出することになる。

【００５５】したがって、交点Ｑの演算時間やモータＭ
の駆動時間などに起因する進行方向制御の遅れ時間によ
る悪影響を実質的に回避することができる。なお、交点
Ｑの演算時間のみに注目すれば、操舵制御手段１８の有
無にかかわらず、車速Ｖに応じた所定シフト量ΔＳの変
更は、遅れ時間による悪影響を解消させる効果を奏す
る。

【００５６】実施の形態３．また、上記実施の形態１で
は、ステレオカメラを構成するレンズ１および２、なら
びにイメージセンサ３および４を、走行路の路面に対し
て垂直方向すなわち上下に配置したが、前述のように走
行路面に平行方向すなわち左右に配置してもよい。なぜ
なら、撮像画面上の白線４１は斜めに表示されるので、
画像エッジのシフト方向が左右であっても、交点検出に
対して何ら支障がないからである。

【００５７】実施の形態４．また、上記実施の形態１で
は、走行区分帯として白線４１を対象としたが、他の走
行区分帯、たとえば路肩に設置されたガードレールなど
（図示せず）を対象としてもよい。

【００５８】

【発明の効果】以上のようにこの発明の請求項１によれ
ば、車両に搭載された一対の光学系と、各光学系を介し
て一対の画像が結像されるイメージセンサと、イメージ
センサからの一対の画像信号を比較処理する信号処理装
置とを備え、信号処理装置は、各画像のうちの一方を基
準として他方を順次シフトしながら各画像を整合させる
画像整合手段と、各画像のずれに基づく三角測量原理を
用いて車両の走行路上の対象物までの距離を演算する距
離演算手段と、走行路上の走行区分帯のエッジを検出す
るエッジ検出手段と、他方の画像内の走行区分帯のエッ
ジを車両から所定距離に相当する所定シフト量だけずら
すシフト手段と、所定シフト量だけずらした他方の画像
内の走行区分帯のエッジと一方の画像内の走行区分帯の
エッジとの交点に基づいて、走行区分帯に対する車両の
相対位置を演算する相対位置演算手段とを含むようにし
たので、光学式カメラを用いて自車両前方の所定距離に
ある走行区分帯の位置を常に正確に且つ安定に検出する
ことのできる車両用走行区分帯検出装置が得られる効果
がある。

【００５９】また、この発明の請求項２によれば、請求
項１において、車両の車速を検出する車速センサを備
え、シフト手段は、車速の増大に応じて所定シフト量を
減少させるようにしたので、演算処理などの動作遅れに
よる悪影響を実質的になくした車両用走行区分帯検出装
置が得られる効果がある。

【００６０】また、この発明の請求項３によれば、請求
項１または請求項２において、信号処理装置は、車両の
相対位置を所定位置に調整するための操舵制御手段を含
むようにしたので、走行路上の白線に自動追従すること
のできる車両用走行区分帯検出装置が得られる効果があ
る。

【図面の簡単な説明】

【図１】 この発明の実施の形態１を概略的に示す構成
図である。

【図２】 図１内のマイクロコンピュータの具体的構成
を示す機能ブロック図である。

【図３】 この発明の実施の形態１による白線の画像の
基準側の表示例を示す説明図である。

【図４】 この発明の実施の形態１による白線の画像の
シフト側の表示例を示す説明図である。

【図５】 図３および図４の各画像から抽出された白線
のエッジを示す説明図である。

【図６】 図５内の一方のエッジをシフトして各エッジ
を重畳させた状態を示す説明図である。

【図７】 この発明の実施の形態１の相対位置演算手段
による交点を求めるための動作手順を示すフローチャー
トである。

【図８】 この発明の実施の形態２を概略的に示す構成
図である。

【図９】 図８内のマイクロコンピュータの具体的構成
を示す機能ブロック図である。

【図１０】 従来の車両用走行区分帯検出装置を概略的
に示す構成図である。

【符号の説明】

１、２ レンズ、３、４ イメージセンサ、９、１０
メモリ、１１、１１Ａマイクロコンピュータ、１２ 表
示装置、１４ エッジ検出手段、１５ シフト手段、１
６ 相対位置演算手段、１７ 車速センサ、１８ 操舵
制御手段、１９ ハンドル、２０ 画像整合手段、２２
距離演算手段、３０Ａ 信号処理装置、４１、４２
白線、Ａ 白線までの距離、Ｄ 相対位置、Ｅ１、Ｅ２
エッジ、Ｆ１、Ｆ２ 画像、Ｍ モータ、Ｓ シフト
量、ΔＳ 所定シフト量、Ｖ車速、Ｓ１０１ 画像Ｆ１
内の白線のエッジを検出するステップ、Ｓ１０２ 画像
Ｆ２内の白線のエッジを検出するステップ、Ｓ１０３
所定シフト量により各エッジを重ね合わせるステップ、
Ｓ１０４ 相対位置Ｄを演算するステップ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/16 G01B 11/00 G01C 15/00 G06T 1/00 280

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 車両に搭載された一対の光学系と、 前記各光学系を介して一対の画像が結像されるイメージ
   センサと、 前記イメージセンサからの一対の画像信号を比較処理す
   る信号処理装置とを備え、 前記信号処理装置は、 前記各画像のうちの一方を基準として他方を順次シフト
   しながら前記各画像を整合させる画像整合手段と、 前記各画像のずれに基づく三角測量原理を用いて前記車
   両の走行路上の対象物までの距離を演算する距離演算手
   段と、 前記走行路上の走行区分帯のエッジを検出するエッジ検
   出手段と、 前記他方の画像内の前記走行区分帯のエッジを前記車両
   から所定距離に相当する所定シフト量だけずらすシフト
   手段と、 前記所定シフト量だけずらした前記他方の画像内の前記
   走行区分帯のエッジと前記一方の画像内の前記走行区分
   帯のエッジとの交点に基づいて、前記走行区分帯に対す
   る前記車両の相対位置を演算する相対位置演算手段とを
   含むことを特徴とする車両用走行区分帯検出装置。
2. 【請求項２】 前記車両の車速を検出する車速センサを
   備え、 前記シフト手段は、前記車速の増大に応じて前記所定シ
   フト量を減少させることを特徴とする請求項１に記載の
   車両用走行区分帯検出装置。
3. 【請求項３】 前記信号処理装置は、前記車両の相対位
   置を所定位置に調整するための操舵制御手段を含むこと
   を特徴とする請求項１または請求項２に記載の車両用走
   行区分帯検出装置。