JPH10208047A

JPH10208047A - 車載用走行環境認識装置

Info

Publication number: JPH10208047A
Application number: JP9009944A
Authority: JP
Inventors: Katsunori Yamada; 勝規山田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-01-23
Filing date: 1997-01-23
Publication date: 1998-08-07
Also published as: US6053268A

Abstract

(57)【要約】【課題】自車両が横方向（左右方向）に移動した場合で
も、先行車両や道路白線等を横方向にずれなく積分でき
る車載用走行環境認識手段を提供する。【解決手段】前方走路を撮像する撮像手段（カメラ）１
と、走路に対する自車両の横位置を検出する横位置検出
手段２と、撮像手段の特徴パラメータ（レンズの焦点距
離等）と取付け位置から撮像された画像を変換する画像
変換方法を求め、横位置検出手段で求めた横位置を用い
て画像を変換する画像変換手段３と、変換された画像を
積分する積分手段４と、積分画像から特徴領域（例えば
先行車両）を抽出する特徴領域抽出手段５と、を備えた
構成。前方走路に対する自車両の横位置を算出し、走行
レーン位置との相対横位置を用いて、積分する画像同士
の横位置を変更した上で積分処理するので、自車両が左
右方向に移動しても先行車両や道路白線等を横方向にず
れなく積分できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、走行方向の先行車
両や道路白線等を検出し、自車両前方の走行環境を認識
する車載用走行環境認識手段に関する。

【０００２】

【従来の技術】従来の車載用走行環境認識手段として
は、特開平６−３６０３３号公報や特開平７−２４４７
１７号公報に記載されたものがある。

【０００３】

【発明が解決しようとする課題】上記のような従来の車
載用走行環境認識手段にあっては、入力画像座標で積分
処理を行なっているので、自車両が左右方向に移動した
場合、入力画像もそれに合わせて移動する。そのため結
果的に先行車両や道路白線等が横方向にずれて積分され
ることになり、車両や道路白線の横位置の算出に誤差が
多く含まれる。さらに車線変更等のように自車両が横方
向に移動した場合、すでに前方ではなくなった画像に対
して積分処理を加えて先行車両等の検出を行なうので、
自車両の前方に存在する車両ではない車両を先行車両と
して誤検出する場合がある、という問題点があった。

【０００４】本発明は、上記のごとき従来技術の問題を
解決するためになされたものであり、自車両が横方向
（左右方向）に移動した場合でも、先行車両や道路白線
等を横方向にずれなく積分することの出来る車載用走行
環境認識手段を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、前方走路を撮像する撮像手段と、走路に対する
自車両の横位置を検出する横位置検出手段と、撮像手段
の特徴パラメータと取付け位置の情報に基づいて撮像さ
れた画像を変換する画像変換方法を求め、上記横位置検
出手段で求めた横位置を用いて画像を変換する画像変換
手段と、上記画像変換された画像を積分する積分手段
と、上記積分手段の積分画像から特徴領域を抽出する特
徴領域抽出手段と、を備えている。上記のように、本発
明においては、前方走路に対する自車両の横位置を算出
し、走行レーン位置との相対横位置を用いて、積分する
画像同士の横位置を変更した上で積分処理を行なうよう
に構成したものである。

【０００６】また、請求項２および請求項３は、上記画
像変換手段のより詳細な構成を示すものであり、請求項
２は撮像手段の特徴パラメータと取付け位置の情報に基
づいて撮像された画像を道路平面座標に変換する方程式
を算出し、その求めた変換方程式と横位置検出手段で求
めた横位置から画像を道路平面画像に変換する構成を示
し、請求項３は撮像手段の特徴パラメータと取付け位置
の情報に基づいて各画素における横分解能を算出し、求
めた横分解能と上記横位置検出手段で求めた横位置から
横方向の実移動分だけ画像上で移動させた画像を作成す
る構成を示す。

【０００７】また、請求項４と請求項５は、横位置検出
手段のより詳細な構成を示すものであり、請求項４は、
撮像手段で撮像された画像から道路白線を検出し、その
検出された白線の位置から自車両の走路に対する横位置
を算出するもの、請求項５は道路上に設置された車両ガ
イド手段を検出（例えば後記の磁気ネイルを磁気ネイル
センサで検出）し、検出した車両ガイド手段の位置から
自車両の走路に対する横位置を算出するものである。

【０００８】また、請求項６と請求項７は、特徴領域抽
出手段の構成を示すものであり、請求項６は、特徴領域
として前方走行車両の位置を検出するもの、請求項７は
特徴領域として前方道路の形状を検出するものである。

【０００９】

【発明の効果】本発明においては、前方走路に対する自
車両の横位置を算出し、走行レーン位置との相対横位置
を用いて、積分する画像同士の横位置を変更した上で積
分処理を行なうことにより、自車両が横方向（左右方
向）に移動した場合でも、先行車両や道路白線等を横方
向にずれなく積分することができる、という効果が得ら
れる。そのため、車両や道路白線の横位置の算出時に生
じる誤差を低減することが出来、また、既に自車両の前
方に存在しなくなった車両を先行車両として誤検出する
等の問題を解決することが出来る。

【００１０】

【発明の実施の形態】以下、この発明を図面に基づいて
説明する。まず構成を説明する。図１は第１の実施の形
態の構成を示すブロック図である。図１において、１は
車両前方を撮像する撮像手段、２は走路に対する自車両
の横位置を検出する横位置検出手段、３は撮像手段１の
出力と横位置検出手段２の出力に基づき、撮像手段１の
特徴パラメータと取付け位置の情報から撮像された画像
を変換する画像変換方法を求め、横位置検出手段２で求
めた横位置を用いて画像を変換する画像変換手段、４は
画像変換手段３で画像変換された画像を積分する積分手
段、５は積分手段４で積分された積分画像から走路前方
の特徴領域を抽出する特徴領域抽出手段である。この特
徴領域抽出手段５の出力は、車間距離検出手段や衝突防
止手段等の後続機器に送られて利用される。

【００１１】図２は、図１の実施の形態をより具体化し
た構成を示すブロック図である。図２において、１１は
車両前方の画像を撮像し、電気信号に変換するカメラで
あり、撮像手段１に相当する。１２はカメラ１１で撮像
した画像から近傍の走路白線を検出し、それを横位置と
して出力する白線検出手段であり、横位置検出手段２に
相当する。１３は座標変換手段であり、カメラ１１と白
線検出手段１２の出力に基づき、カメラ１１の取付けパ
ラメータ（既知の値）から入力画像を道路平面座標に座
標変換して出力する。１４は積分手段であり、座標変換
手段１３の出力から入力画像を積分して積分画像を作成
する。

【００１２】また、特徴領域抽出手段１５は、検出領域
設定手段１６と先行車特徴抽出手段１７から形成されて
いる。この検出領域設定手段１６は白線検出手段１２の
出力に基づいて先行車両を探索する領域を設定する。そ
して先行車両特徴抽出手段１７は、積分手段１４と検出
領域設定手段１６の出力から先行車両を示す水平エッジ
を検出して、その位置を算出する。上記の構成により、
自車両の前方に存在する先行車両とその位置を検出する
ことが出来る。

【００１３】なお、上記白線検出手段１２、座標変換手
段１３、積分手段１４、特徴領域抽出手段１５の部分
は、例えば車載のコンピュータの機能として構成するこ
とが出来る。

【００１４】以下、作用を説明する。図３は図２の手段
における全体の処理を示すフローチャートである。図３
において、まず、ステップＳ１１ではカメラ１１から、
車両前方の画像を入力する。次に、ステップＳ１２で
は、入力された道路画像上の予め設定してある領域内の
道路白線を探索する。探索する領域は例えば図４に示す
車両近傍領域である。

【００１５】図４において、Ｌｌは画像中心から自車両
の走行路線の左端を示す左白線までの距離、Ｌｒは画像
中心から走行路線の右端（またはセンターライン）を示
す右白線までの距離である。そして左右の白線から、現
在の車両のレーンに対する横偏差を算出する。この横偏
差は例えば左レーンを基準として算出する。次に、予め
設定してあるｙ座標位置での左白線から画像中央までの
画素数を算出する。なお、１画素に対する長さは予め算
出することができるので、予め設定しておく。これによ
って道路座標Ｌ（ｙ座標）で、自車両が道路白線からど
れだけの位置にいるか（横偏差）を算出することができ
る。なお、上記道路白線の検出処理については後記図６
〜図１２で詳細に説明する。

【００１６】次に、ステップＳ１３では、白線があった
か否か（横偏差が算出できたか否か）の判断を行ない、
“ＹＥＳ”の場合にはステップＳ１４へ進み、“ＮＯ”
の場合にはステップＳ１１へ戻る。

【００１７】次に、ステップＳ１４では、座標変換を行
なう。すなわち、カメラの取付け位置、レンズパラメー
タ等の既知のデータに基づいて、入力画像を水平平面座
標の画像（例えば図５）に座標変換する。なお、この座
標変換処理については後記図１３および図１４で詳細に
説明する。

【００１８】ステップＳ１５では、積分処理を行なう。
この積分処理は、これまでの積分画像にステップＳ１４
で算出した座標変換画像を積分するものである。すなわ
ち、初めて検出された車両のレーン内位置を原点とし、
現在の車両の横位置を用いて、座標変換された画像を順
次積分して行く。積分の仕方は、積分画像Ｇと入力画像
Ｆから下記（数１）式に基づいて行なう。Ｇ＝Ｇ×（１−β）＋Ｆ×β …（数１）ただし、β：定数（β＜１）なお、積分処理に関しては後記図１５〜図１８で詳細に
説明する。

【００１９】次に、ステップＳ１６では、検出領域設定
を行なう。これは積分された画像上で、ステップＳ１２
で検出された白線位置を用いて、道路領域を限定するも
のであり、図５に示すように、検出された左右白線位置
を用いて、予め設定した値だけ内側（左白線は右側に、
右白線は左側に）に道路領域区分線を距離ｌ座標（ｘ方
向が距離ｌ座標、ｙ方向が幅ｈ座標）と平行に設定す
る。

【００２０】次に、ステップ１７では、特徴領域抽出、
すなわち車両の特徴探索を行なう。この車両の検出は、
ステップＳ１６で検出された道路領域区分線内の領域の
水平エッジを用いて行なう。具体的には、まず道路領域
区分線内の画像の水平エッジを算出する。そして車両特
徴の探索は距離ｌが小さいものから大きい方へ水平エッ
ジを探索する。その結果、水平方向に設定しきい値以上
のエッジが設定長さ以上連続している場合には車両領域
のエッジと判断する。そして道路領域区分線内の全画素
の探索が終了したとき、車両領域のエッジと判断された
水平エッジで最も小さいｌ座標の値（自車両から最も近
いもの）を先行車両までの距離と推定する。

【００２１】上記のように本実施の形態においては、入
力画像から前方走路に対する自車両の横位置を算出し、
走行レーン位置との相対横位置を用いて、積分する画像
同士の横位置を変更した上で積分処理を行なうように構
成したことにより、自車両が左右方向に移動した場合で
も、先行車両や道路白線等を横方向にずれなく積分する
ことができる。

【００２２】以下、上記ステップＳ１２の白線検出処
理、ステップＳ１４の座標変換処理、およびステップＳ
１５の積分処理について詳細に説明する。

【００２３】（白線検出処理）図６は白線検出処理を示
すフローチャートである。図６において、まず、ステッ
プＳ２１では、エッジ画像を作成する。これは、入力さ
れた前方走路画像全体に縦エッジ成分を抽出するＳＯＢ
ＥＬ演算子をかけて、図９に示すような縦エッジ画像を
作成するものである。なお、図９において、正エッジと
は画像が暗→明（路面から白線へ）と変化する点であ
り、負エッジとは明→暗（白線から路面へ）と変化する
点である。したがって正エッジから負エッジまでの間が
白線部分の可能性がある部分となる。

【００２４】次にステップＳ２２では、ウィンドウ位置
設定処理を行なう。これは、道路白線の画面上に現れる
場所に処理用ウィンドウを設定し、その中で道路白線の
探索を行なう。ウィンドウの位置は、初期位置として、
高速道路直線走行時に画面上に現れる道路白線付近の位
置Ｗ１（ｘ１，ｙ１）をあらかじめ記憶しておき、ウィ
ンドウ位置をＷＰ（ｘｗｐ，ｙｗｐ）とする（図１０参
照）。

【００２５】次に、ステップＳ２３では、直線検出処理
を行なう。これはステップＳ２３で設定されたウィンド
ウ位置を基準として直線検出を行なうものである。

【００２６】図７、図８は直線検出処理を示すフローチ
ャートである。なお、図７と図８はの部分で接続され
ている。以下、図７、図８に基づいて直線検出処理を説
明する。

【００２７】まず、図７のステップＳ３１では、直線先
端初期位置設定を行なう。この処理において、直線の先
端位置はウィンドウ位置ＷＰとあらかじめ設定してある
探索領域の幅ＷＬ（図１１参照）から算出される。ま
た、図１０における先端初期位置Ｓ（ｘｓ，ｙｓ）は、ｘｓ＝ｘｗｐ＋（ＷＬ／２）ｙｓ＝ｙｗｐである。

【００２８】次に、ステップＳ３２では、直線後端初期
位置設定を行なう。この処理において、検出される白線
の傾きをカメラ系の取り付け状態から予め設定してお
く。検出される白線の傾きがθ±α（図１１参照）とす
ると、ウインドウ高さｈから図１０における直線後端初
期位置Ｅ（ｘｅ，ｙｅ）は、ｘｅ＝ｘｓ−ｈ×tan（θ−α）ｙｅ＝ｙｓ−ｈである。

【００２９】次に、ステップＳ３３では、直線算出を行
なう。これはＳ（ｘｓ，ｙｓ）とＥ（ｘｅ，ｙｅ）を通
る直線ｆ(ｘ,ｙ）を算出するものである。直線ｆ(ｘ,
ｙ）は、下記（数２）式で示される。

【００３０】

【数２】

【００３１】次に、ステップＳ３４では、直線上のエッ
ジ数を計測する。これは、直線ｆ(ｘ,ｙ）が通るエッジ
画像上のエッジ点の個数を計測するものである。この
時、正エッジと負エッジの両エッジの個数を別個に計測
する。計測結果は先端位置ｘｓと後端位置ｘｅと各エッ
ジの個数とをそれぞれ記憶しておく。次に、ステップＳ
３５では、直線後端の移動を行なう。これは直線後端の
ｘ座標を移動するものである。移動はｘｅ＝ｘｅ−１、
すなわちｘが減少する方向（ｘ座標の左側へ）とする。

【００３２】次に、ステップＳ３６では、後端が下限
（ｘ座標における下限）まで移動したか否かを判断す
る。“ＮＯ”の場合、すなわち、ｘｅ≧ｘｓ−ｈ×tan（θ−α）の場合にはステップＳ３３に戻る。“ＹＥＳ”の場合、
すなわち、ｘｅ＜ｘｓ−ｈ×tan（θ−α）の場合には、ステップＳ３７に進む。

【００３３】ステップＳ３７では、直線先端の移動を行
なう。この移動は上記ステップＳ３５と同様に、ｘｓ＝
ｘｓ−１、すなわちｘが減少する方向（ｘ座標の左側
へ）とする。次に、ステップＳ３８では、先端が下限
（ｘ座標における下限）まで移動したか否かを判断す
る。“ＮＯ”の場合、すなわち、ｘｓ≧ｘｗｐ−（ＷＬ／２）の場合にはステップＳ３３に戻る。“ＹＥＳ”の場合、
すなわち、ｘｓ＜ｘｗｐ−（ＷＬ／２）の場合には、図８のステップＳ３９へ進む。

【００３４】次に、図８のステップＳ３９では、最大正
エッジ位置検索を行なう。これは記憶してある先端位置
と正エッジの個数の中から最大の正エッジ数の先端位置
を検索するものである。次に、ステップＳ４０では、検
索されたエッジ個数が所定のしきい値以上か否かを判断
する。そしてエッジの個数が予め設定してあるしきい値
以上（“ＹＥＳ”のとき）であれば直線ありと判断し、
ステップＳ４１へ進む。しきい値未満の場合（“ＮＯ”
のとき）には直線検出の処理を終了する。ステップＳ４
１では、正エッジ直線位置決定を行なう。これは正白線
位置として検索された直線先端及び後端のｘ座標を代入
するものである。

【００３５】次に、ステップＳ４２では、最大負エッジ
位置検索を行なう。これは、記憶してある先端位置と負
エッジの個数の中から最大の負エッジ数の先端位置を検
索するものである。次に、ステップＳ４３では、検索さ
れたエッジ個数が所定のしきい値以上か否かを判断す
る。そしてエッジの個数が予め設定してあるしきい値以
上（“ＹＥＳ”のとき）であれば白線ありと判断し、ス
テップＳ４４へ進む。しきい値未満の場合（“ＮＯ”の
とき）には直線検出の処理を終了する。ステップＳ４４
では、負エッジ直線位置決定を行なう。これは、負白線
位置として検索された直線先端及び後端のｘ座標を代入
するものである。以上の処理で検出領域内の直線の有無
を判断し、直線がある場合にはその画像上での直線の位
置が算出される。

【００３６】次に、前記図６の白線検出処理フローに戻
り、ステップＳ２４以後について説明する。ステップＳ
２４では、白線ありか否かを判断する。この判断におい
て、正白線位置と負白線位置が算出され、先端位置と後
端位置の差が設定しきい値以下の場合に白線ありと判断
する。そして“白線あり”の場合（“ＹＥＳ”）にはス
テップＳ２５へ進みむ。“白線なし”の場合（“Ｎ
Ｏ”）には白線検出処理を終了する。

【００３７】ステップＳ２５では、白線位置算出を行な
う。これは、検出した正白線位置（ｘｓ，ｙｓ）と負白
線位置（ｘｅ，ｙｅ）から白線直線を算出するものであ
る（図１２参照）。次に、ステップＳ２６では、ウィン
ドウ位置移動を行なう。これは、白線検出を行なうウィ
ンドウ位置ＷＰ（ｘｗｐ，ｙｗｐ）のｘ座標ｘｗｐに
（ｘｓ＋ｘｅ）／２を代入するものである。これによっ
て、白線の位置が移動しても、検出することができる。
以上で白線検出の処理を終了する。

【００３８】（座標変換処理）次に、図３のフローチャ
ートにおけるステップＳ１４の座標変換処理を詳細に説
明する。図１３および図１４は、座標変換における撮像
系の座標関係を示す図であり、図１３は垂直方向、図１
４は水平方向を示す。図１３、図１４において、使用す
るカメラ（図２のカメラ１１）のパラメータとして、焦
点距離をｆ、ｘ方向の画素数をＩＸ画素、ｙ方向の画素
数をＩＹ画素、画面サイズをｘ方向がＣＣＤＨ（ｍ）、
ｙ方向がＣＣＤＷ（ｍ）とし、また、取付けパラメータ
として、取付け高さをＨ、フ角（俯角）をθとすれば、
図１３において、中心からｄｙ画素の実空間での位置
（垂直方向）を表すパラメータ、すなわち光軸となす角
ｄθは下記（数３）で、画素位置ｄｙの相当する前方距
離ｌは下記（数４）式でそれぞれ示される。

【００３９】

【数３】

【００４０】また、図１４において、中心からｄｘ、ｄ
ｙ画素の実空間での位置（水平方向）を示すパラメー
タ、すなわち角ｄφは下記（数５）式、画素位置ｄｘの
相当する前方幅ｈは下記（数６）式でそれぞれ示され
る。

【００４１】

【数５】

【００４２】上記のようにして座標変換が行なわれる。

【００４３】（積分処理）次に、図３のフローにおける
ステップＳ１５の積分処理を詳細に説明する。

【００４４】図１５は、積分処理を示すフローチャート
である。図１５において、ステップＳ５１では、前回の
積分画像の座標変換処理を行なう。これは、前回の横偏
差と今回の横偏差の差から、車両の横移動量を算出し、
その量だけ前画像を移動方向とは逆の横方向へ並行移動
変換を行なうものである。

【００４５】例えば、図３のステップＳ１４で座標変換
された画像は、図１６（横軸は幅ｈ、縦軸は距離ｌ）に
示すように、格子の交点上に変換されている。この画像
を前記白線検出（図３のステップ１２）で算出された横
移動量ｍｈに基づいて、全データを移動方向とは逆方向
にｍｈだけ平行移動する。平行移動された画像は図１７
に示すようになる。

【００４６】次に、ステップＳ５２では、新しい積分画
像を作成する。例えば、図１８に示すように、現在の変
換画像を、前回の積分画像と重ねる。各距離ｌについて
は幅順でソートされたデータとして記憶しておく。図１
８において、横座標を幅ｈ、縦座標を距離ｌ、或るデー
タの座標位置を（ｌn,ｈn）とする。次に、現在の画像
と前回の画像とを積分する。この際、各距離について設
定幅以内にあるデータの平均値を積分画像の濃度値とす
る。上記の設定幅の決め方は、距離ｌnでの各画素間の
幅（間隔）ｄｈnから、幅ｈnでの上限値はｈn＋（ｄｈn
／２）、下限値はｈn−（ｄｈn／２）とする。以上の処
理を距離の最近傍から最遠方まで、および幅の最小値か
ら最大値まで、繰り返して行なうことにより、積分を行
なう。

【００４７】次に、図１９は、図１の実施の形態におけ
る他の具体的な構成を示すブロック図である。図１９に
おいては、画像変換手段３の内容が図２とは異なってお
り、その他は図２と同様である。すなわち図１の画像変
換手段３として、図２においては座標変換手段１３を用
いているが、図１９においては、実空間移動量を各画素
単位で計算し、画像座標上で横移動を行なう画像変換手
段１８を用いている。

【００４８】処理フローとしては、図３のステップＳ１
４、Ｓ１５の内容が変わる。変更されたステップＳ１４
では、画像上の各画素の横分解能ｄｄｙは、図１３、図
１４の座標変換式の画素位置ｄｘとｄｘ＋１で計算され
る各ｈの差から算出される。この値はｄｙが同じであれ
ば同じ値をとる。従って、各ｄｙについて一回づつ算出
しておけばよい。この値は、実空間でどれだけ移動すれ
ば、画像上で１画素移動するかを表す変数である。

【００４９】次に、変更されたステップＳ１５では、検
出された横移動量から、各ｄｙでの横移動画素数を算出
する。横移動画素をｄｐ、横移動量をｄＬ、横分解能を
ｄｄｙとすれば、ｄｐ＝ｄＬ／ｄｄｙである。なお、移動画素は整数値が望ましいため、小数
点以下四捨五入して整数にする。そして各ｄｙで、前回
の積分画像を算出した横移動画素分だけ画像を移動し、
画像を変換する。新しく変換された積分画像を、入力画
像の座標軸で積分する。以上の処理で積分画像が作成さ
れる。以後の処理は前記図２と同じである。上記の処理
により、自車両が左右方向に移動した場合でも、先行車
両や道路白線等を横方向にずれなく積分することができ
る。

【００５０】次に、図２０は、図１の実施の形態におけ
る他の具体的な構成を示すブロック図である。図２０に
おいては、図２における白線検出手段１２が磁気ネイル
センサ１９に変わった点が異なっており、その他の部分
は同じである。磁気ネイルセンサは走行路上に設置（ま
たは地下に埋設）した磁気ネイル（磁石）の磁気を検出
して走行路上の位置を検出する装置である。

【００５１】処理フローとしては、図３のステップＳ１
２の白線検出処理の内容が変わる。すなわち、変更され
たステップＳ１２では、まず磁気ネイルセンサで道路に
設置された磁気ネイルの位置を検出する。磁気ネイルセ
ンサは磁気ネイルの横位置の値を電圧で出力するので、
その値を予め用意してあるテーブルを使用して変換する
ことで、横偏差量（図４のＬｌ）を算出することが出来
る。以後の処理は前記図２と同じである。このことによ
って自車両が左右方向に移動した場合でも、先行車両や
道路白線等を横方向にずれなく積分することができる。

【００５２】なお、磁気ネイルセンサの他にも、走行路
に導線を埋設し、車載の発信器から放射した電波の反射
波を検出することにより、導線からの横位置を検出する
装置等の車両ガイド装置を用いてもよい。

【００５３】次に、図２１は、本発明の第２の実施の形
態を示すブロック図である。この実施の形態において
は、図１における特徴領域抽出手段５が遠方白線検出手
段６に変わった点が異なっている。

【００５４】処理フローとしては、図３のステップＳ１
６（検出領域設定処理）とステップＳ１７（車両特徴探
索処理）が一つの処理に変更される。すなわち、前記図
３のステップＳ１６とステップＳ１７の代わりに、ステ
ップＳ１２の白線検出処理と同様の処理ステップを設
け、検出範囲を遠方（画面の上方）まで設定し、ステッ
プＳ１５で積分処理を行なった結果について再び白線検
出処理を行なうことにより、前方の道路形状を検出する
ことができる。以後の処理は図２と同じである。上記の
ように、横移動分を補正して積分処理した後の画像に再
び白線検出処理を行なって遠方の白線を検出することに
より、積分画像からでも、遠方での走路形状を正確に検
出することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図。

【図２】第１の実施の形態における具体的構成の第１例
を示すブロック図。

【図３】第１の実施の形態における演算処理を示すフロ
ーチャート。

【図４】道路白線を探索する車両近傍領域を示す図。

【図５】座標変換処理における水平平面座標の画像の一
例を示す図。

【図６】白線検出処理を示すフローチャート。

【図７】直線検出処理を示すフローチャートの一部。

【図８】直線検出処理を示すフローチャートの他の一
部。

【図９】白線検出処理における縦エッジ画像を示す図。

【図１０】ウィンドウ位置設定処理における画像を示す
図。

【図１１】直線後端初期位置設定における画像を示す
図。

【図１２】白線位置検出処理における画像を示す図。

【図１３】座標変換における撮像系の座標関係を示す図
であり、垂直方向を示す図。

【図１４】座標変換における撮像系の座標関係を示す図
であり、水平方向を示す図。

【図１５】積分処理を示すフローチャート。

【図１６】座標変換された画像を示す図。

【図１７】平行移動された画像を示す図。

【図１８】現在の変換画像と前回の積分画像とが重ねら
れた新しい積分画像を示す図。

【図１９】第１の実施の形態における具体的構成の第２
例を示すブロック図。

【図２０】第１の実施の形態における具体的構成の第３
例を示すブロック図。

【図２１】本発明の第２の実施の形態を示すブロック
図。

【符号の説明】

１…撮像手段２…横位置検出手段３…画像変換手段４…積分手段５…特徴領域抽出手段６…遠方白線検出手
段１１…カメラ１２…白線検出手段１３…座標変換手段１４…積分手段１５…特徴領域抽出手段１６…検出領域設定
手段１７…先行車特徴抽出手段１８…画像変換手段１９…磁気ネイルセンサ

【手続補正書】

【提出日】平成９年１２月２５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３２

【補正方法】変更

【補正内容】

【００３２】次に、ステップＳ３６では、後端が下限
（ｘ座標における下限）まで移動したか否かを判断す
る。“ＮＯ”の場合、すなわち、ｘｅ≧ｘｓ−ｈ×tan（θ＋α）の場合にはステップＳ３３に戻る。“ＹＥＳ”の場合、
すなわち、ｘｅ＜ｘｓ−ｈ×tan（θ＋α）の場合には、ステップＳ３７に進む。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】ステップＳ２５では、白線位置算出を行な
う。これは、検出した正白線位置（ｘｐｓ，ｙｓ）と負
白線位置（ｘｎｓ，ｙｓ）から白線直線を算出するもの
である（図１２参照）。なお、図１２において、正エッ
ジ側直線の先端位置の座標を（ｘｐｓ，ｙｓ）、後端位
置の座標を（ｘｐｅ，ｙｅ）とし、負エッジ側直線の先
端位置の座標を（ｘｎｓ，ｙｓ）、後端位置の座標を
（ｘｎｅ，ｙｅ）としている。次に、ステップＳ２６で
は、ウィンドウ位置移動を行なう。これは、白線検出を
行なうウィンドウ位置ＷＰ（ｘｗｐ，ｙｗｐ）のｘ座標
ｘｗｐに（ｘｓ＋ｘｅ）／２を代入するものである。こ
れによって、白線の位置が移動しても、検出することが
できる。以上で白線検出の処理を終了する。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正内容】

【００３８】（座標変換処理）次に、図３のフローチャ
ートにおけるステップＳ１４の座標変換処理を詳細に説
明する。図１３および図１４は、座標変換における撮像
系の座標関係を示す図であり、図１３は垂直方向、図１
４は水平方向を示す。図１３、図１４において、使用す
るカメラ（図２のカメラ１１）のパラメータとして、焦
点距離をｆ、ｘ方向の画素数をＩＸ画素、ｙ方向の画素
数をＩＹ画素、画面サイズをｘ方向がＣＣＤＷ（ｍ）、
ｙ方向がＣＣＤＨ（ｍ）とし、また、取付けパラメータ
として、取付け高さをＨ、フ角（俯角）をθとすれば、
図１３において、中心からｄｙ画素の実空間での位置
（垂直方向）を表すパラメータ、すなわち光軸となす角
ｄθは下記（数３）で、画素位置ｄｙの相当する前方距
離ｌは下記（数４）式でそれぞれ示される。

Claims

【特許請求の範囲】

【請求項１】前方走路を撮像する撮像手段と、走路に対する自車両の横位置を検出する横位置検出手段
と、撮像手段の特徴パラメータと取付け位置の情報に基づい
て、撮像された画像を変換する画像変換方法を求め、上
記横位置検出手段で求めた横位置を用いて画像を変換す
る画像変換手段と、上記画像変換された画像を積分する積分手段と、上記積分手段の積分画像から特徴領域を抽出する特徴領
域抽出手段と、を備えたことを特徴とする車載用走行環
境認識手段。
【請求項２】上記画像変換手段は、上記撮像手段の特徴
パラメータと取付け位置の情報に基づいて、撮像された
画像を道路平面座標に変換する方程式を算出し、その求
めた変換方程式と上記横位置検出手段で求めた横位置か
ら画像を道路平面画像に変換することを特徴とする請求
項１に記載の車載用走行環境認識手段。
【請求項３】上記画像変換手段は、上記撮像手段の特徴
パラメータと取付け位置の情報に基づいて、各画素にお
ける横分解能を算出し、求めた横分解能と上記横位置検
出手段で求めた横位置から横方向の実移動分だけ画像上
で移動させた画像を作成することを特徴とする請求項１
に記載の車載用走行環境認識手段。
【請求項４】上記横位置検出手段は、上記撮像手段で撮
像された画像から道路白線を検出し、その検出された白
線の位置から自車両の走路に対する横位置を算出するこ
とを特徴とする請求項１に記載の車載用走行環境認識手
段。
【請求項５】上記横位置検出手段は、道路上に設置され
た車両ガイド手段を検出し、検出した車両ガイド手段の
位置から自車両の走路に対する横位置を算出することを
特徴とする請求項１に記載の車載用走行環境認識手段。
【請求項６】上記特徴領域抽出手段は、上記積分手段の
積分画像から前方走行車両位置を検出することを特徴と
する請求項１に記載の車載用走行環境認識手段。
【請求項７】上記特徴領域抽出手段は、上記積分手段の
積分画像から前方道路形状を検出することを特徴とする
請求項１に記載の車載用走行環境認識手段。