JP3288566B2 - 走行レーン認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は車両に搭載して、撮像し
て得た画像を処理することによってレーン形状やレーン
に対する位置姿勢を認識する走行レーン認識装置に関す
る。

【０００２】

【従来の技術】従来より、車両に搭載されて、走行レー
ンを認識する走行レーン認識装置が知られている。この
走行レーン認識装置は、自律走行移動車において操舵制
御を行う自動走行制御装置、走行状態をチェックして警
告を発するドライバー警報装置、ドライバーによる操舵
など運転操作の補助を行うドライバー支援装置等に利用
される。

【０００３】この走行レーンの検出には、電磁誘導方式
や、画像処理方式等があり、電磁誘導方式では、道路に
電波発信するケーブルを埋設しておき、車両に設けられ
たコイルに誘起される電流を検出して、走行レーンを検
出する。従って、電磁誘導方式では、道路にケーブルを
敷設しなければならないという問題がある。一方、白線
検出方式では、テレビカメラで得た画像情報を処理し
て、白線を検出する。従って、現存する道路における走
行レーンの検出にも適用できるという効果がある。しか
し、画像情報には、白線以外の情報もたくさん含まれて
おり、いかに正確に白線を認識するかが重要な課題にな
る。

【０００４】従来の走行レーン認識装置としては、Ｈｏ
ｕｇｈ変換を使用して、レーン境界を検出するものがあ
る。この装置においては、車載カメラから道路画像を入
力し、輪郭線抽出した後、Ｈｏｕｇｈ変換によって直線
を検出する。そして、車両がレーン中央をレーンに沿っ
て走行していることを仮定して適切な直線をレーン境界
として認識する。

【０００５】また、特開平４−３６８７８号では、ウイ
ンドウを設定するものが示されている。この走行路検出
装置においては、車載カメラから道路画像を入力して、
レーンマークや道路端を直線式として検出するが、この
際に前回の演算時における直線式の近傍に予め設定した
固定パラメータで大きさの定まるウインドウを設定して
おく。そして、このウインドウの中でエッジ点の座標を
計測し、それらのエッジ点を直線近似し、直線式を求
め、さらにノイズに対するロバスト性を向上させるため
直線式に時間フィルタリングを加える。

【０００６】

【発明が解決しようとする課題】しかし、上記従来装置
では、基本的に道路周辺に構造物（建物、ガードレー
ル）や他車両等のノイズが少ないことを仮定している。
この仮定は主に高速道路に当てはまる。しかし、一般路
では周辺構造物（ガードレール、建物）や路面マーク
（横断歩道）等の紛らわしい線が多い。さらに、高速道
路に比べて一般路の方が道路のカーブもきつい（道路曲
率が大きい）。従って、十分正確な白線検出（走行レー
ン認識）が行えないという問題点があった。

【０００７】すなわち、上述したＨｏｕｇｈ変換を利用
する方法では、基本的に直線しか扱えないため、カーブ
のきつい一般路への適用は難しい。また、一般路の画像
ではレーン境界に近接した線分が多いため、その選択が
困難であるという問題点があった。

【０００８】また、特開平４ー３６８７８号に記載の方
法においても、一般路の画像ではウインドウ内にレーン
境界に近接した線分が多いため、その選択が困難であ
る。レーン境界とそれに近接したノイズ線分を誤認する
ことにより、レーンの計測精度が劣化するという問題点
があった。

【０００９】本発明は上記の問題点を解決することを課
題としてなされたものであり、周辺構造物や路面マーク
等の紛らわしい線が多く、道路のカーブがきつい場合で
も、精度良く走行レーンの検出ができる装置を提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。

【００１１】図１は、請求項１の発明の構成を示すブロ
ック図である。まず、図１において、画像入力手段１
は、道路画像を撮像するものであり、例えば車載ＴＶカ
メラである。また、前処理手段２は、画像入力手段１か
らの信号を入力して、画像上のエッジ線分を抽出するも
のである。エッジ線分は、画像上のモノクロ濃淡値の明
暗の境界線（濃淡値の勾配の稜線）であり、レーン境界
の候補となる線分で、直線または曲線である。次に、曲
線照合手段３は、後記するレーン形状計算手段４で前の
演算時に計算されたレーン形状パラメータと、その分散
に基づいて、画像上のレーン境界位置と角度の範囲を推
定する。そして、前処理手段２で抽出されたエッジ線分
から、前記推定範囲に含まれるエッジ線分をレーン境界
候補として選択する。最後に、レーン形状計算手段４
は、曲線照合手段３で選択したエッジ線分からレーンを
特定するレーン形状パラメータと、その分散を計算す
る。

【００１２】請求項１の発明においては、エッジ線分の
観測に基づく、レーン形状パラメータおよびその分散の
算出を繰り返し、これが次回の曲線照合に利用される。
従って、レーン形状計算手段４が、この計算を繰り返す
ことにより、レーン形状パラメータの分散が適切な値へ
収束する。曲線照合手段３は、レーン形状パラメータの
分散に基づいて画像上のエッジ線分の推定範囲を設定し
ているため、推定範囲の幅を適切に狭められる。これに
より、紛らわしいエッジ線分との誤認を防ぎ、精度が向
上できる。

【００１３】図２は、請求項２の発明の構成を示すブロ
ック図である。まず、図２において、画像入力手段１
は、道路画像を撮像するものであり、例えば車載ＴＶカ
メラである。また、前処理手段２は、画像入力手段１か
らの信号を入力して、画像上のエッジ線分を抽出するも
のである。次に、白線選択手段５は、前処理手段２で抽
出されたエッジ線分から、レーン境界の候補となる白線
のエッジ線分対（白線の左右エッジを構成するエッジ
対）を選択して第１曲線照合手段３へ出力する。さら
に、白線選択手段５は、前処理手段２で抽出されたエッ
ジ線分から、白線のエッジ線分対を差し引いたエッジ線
分を第２曲線照合手段６へ出力する。次に、第１曲線照
合手段３は、後記するレーン形状計算手段４で前の演算
時に計算されたレーン形状パラメータとその分散に基づ
いて、白線選択手段５から出力された白線のエッジ線分
からレーン境界候補のエッジ線分を選択する。次に、第
２曲線照合手段６は、後記するレーン形状計算手段４で
前の演算時に計算されたレーン形状パラメータとその分
散に基づいて、白線選択手段５から出力された非白線の
エッジ線分からレーン境界候補のエッジ線分を選択す
る。次に、レーン境界選択手段７は、第１曲線照合手段
３と第２曲線照合手段６から入力されたレーン境界候補
のエッジ線分から、白線の特徴と長さの属性などに基づ
いてレーン境界の可能性の大きいエッジ線分を選択す
る。最後に、レーン形状計算手段４はレーン境界選択手
段７で選択したエッジ線分からレーン形状パラメータと
その分散を計算する。

【００１４】請求項２の発明においては、一般的にレー
ン境界が白線であるという情報を利用して、白線選択手
段５と第１曲線照合手段３とレーン境界選択手段７によ
り白線のエッジ線分を優先的に処理することにより、紛
らわしいエッジ線分との誤認を防ぎ、精度が向上できる
効果がある。

【００１５】図３は、請求項３の発明の構成を示すブロ
ック図である。まず、図３において、画像入力手段１
は、道路画像を撮像するものであり、例えば車載ＴＶカ
メラである。また、前処理手段２は、画像入力手段１か
らの信号を入力して、画像上のエッジ線分を抽出するも
のである。次に、白線選択手段５は、前処理手段２で抽
出されたエッジ線分から、レーン境界の候補となる白線
のエッジ線分対を選択し記憶する。白線エッジ線分と非
白線エッジ線分とはともに近傍曲線照合手段２１と遠方
曲線照合手段２３へ出力される。次に、近傍曲線照合手
段２１は、前回の演算時に近傍レーン形状計算手段２２
および遠方レーン形状計算手段２４においてそれぞれ更
新された車両近傍および遠方のレーン形状パラメータと
その分散に基づいて、車両近傍のレーン境界候補のエッ
ジ線分を選択し、近傍レーン形状計算手段２２へ出力す
る。次に、近傍レーン形状計算手段２２は、近傍曲線照
合手段２１で選択したレーン境界候補のエッジ線分から
車両近傍のレーン形状に関わるレーン形状パラメータと
その分散を更新する。

【００１６】次に、遠方曲線照合手段２３は、前記した
近傍レーン形状計算手段２２で更新されたレーン形状パ
ラメータとその分散に基づいて、遠方のレーン境界候補
のエッジ線分を選択し直し、遠方レーン形状計算手段２
４へ出力する。次に、遠方レーン形状計算手段２４は遠
方曲線照合手段２３で選択したレーン境界候補のエッジ
線分から遠方のレーン形状に関わるレーン形状パラメー
タとその分散を更新する。

【００１７】請求項３の発明においては、一般的に道路
画像上では遠方より車両近傍の方がレーン境界と他の構
造物（ガードレール、車両）との誤認が少なく、精度が
高いという性質を利用して、近傍曲線照合手段２１と近
傍レーン形状計算手段２２により車両近傍のレーン境界
から車両近傍に関わるレーン形状を先に処理する。これ
により、遠方曲線照合手段２３において遠方のレーン境
界の探索範囲をより狭めることが可能となり、紛らわし
いエッジ線分との誤認を防ぎ、精度が向上できる効果が
ある。

【００１８】これを図４（Ａ），（Ｂ）に基づいて説明
する。図４（Ａ）に示すように、近傍曲線照合手段２１
では、前回の演算時に推定されたレーン形状パラメータ
と分散からレーン境界候補の探索範囲を設定するため、
遠方によく似た白線エッジａ）、ｂ）が存在した場合
に、どちらかを選択することができない。しかし、車両
近傍のエッジ線分を観測することにより近傍レーン形状
計算手段２２でレーン形状パラメータとその分散を更新
すれば、よりその分散の値を小さくすることができ、レ
ーン境界の探索範囲を狭めることができる。よって、エ
ッジ線分ａ）を遠方のレーン境界候補として選択するこ
とができ、エッジ線分ｂ）との誤認を防ぐことができ
る。

【００１９】さらに、上述の説明では、近傍と遠方の２
つの範囲を設定し、まず近傍の範囲で、レーン形状パラ
メータと分散を算出し、その次に近傍算出結果に基づい
て遠方のレーン形状パラメータと分散を算出した。しか
し、範囲を２種類でなく、多数（例えば、１０）にし、
順次遠方の範囲の演算を行えば、さらに誤認の少ない走
行レーン認識を行うことができる。

【００２０】

【発明の実施の形態】

［第１実施形態］図５は、本発明の一実施形態のブロッ
ク図である。図５において、画像入力８は車載ＴＶカメ
ラであり、道路画像を撮像して信号に変換する。また、
前処理９と、白線選択１０と、曲線照合１１、１２とレ
ーン境界選択１３とレーン形状計算１４は、例えばマイ
クロコンピュータで構成され、車載ＴＶカメラ８からの
信号を入力して画像処理を行ない、走行路（走行レー
ン）を検出する。出力結果は図示していない外部装置へ
送られ、ドライバー支援装置やドライバー警報装置や自
律走行移動車の制御等へ適用される。各処理部の説明を
以下に述べる。なお、本実施形態では、車載ＴＶカメラ
８は車体の中心軸とカメラの中心軸が一致するように、
水平に前向きで取り付けるものとする。

【００２１】「前処理」前処理９は、車載ＴＶカメラ８
によって得られた実画像（濃淡画像）からエッジ線分を
画像処理によって抽出する。エッジは画像中の濃淡値が
急激に変化する部分である。エッジ抽出には幾つかの方
法があるが、本実施形態では以下のステップで実施す
る。

【００２２】Ｓ１．濃淡画像取り込み まず、カメラにより取り込んだ濃淡画像をＡ／Ｄ変換に
より計算機に取り込む。１画面の画像情報がマトリクス
状に配列された画素毎デジタル値として取り込まれる。

【００２３】Ｓ２．Ｓｏｂｅｌフィルタ 取り込んだ濃淡画像にＳｏｂｅｌフィルタを適用し、濃
淡勾配の方向と大きさを演算する。

【００２４】Ｓ３．稜線抽出処理 濃淡勾配の大きさの嶺の部分（極大点のならび）を抽出
する。

【００２５】Ｓ４．線分追跡処理 画像上の稜線を追跡し、エッジ線分（点列）のリストと
して表現する。

【００２６】このようにして、エッジ線分がリストとし
て得られる。ここで、このエッジ線分は以下の情報を持
つ。これらの情報は後の処理で利用される。

【００２７】 ・エッジ線分の始点終点の撮像面上の座標値 ・エッジ線分を構成する点の数 ・濃淡勾配の大きさと方向 ・エッジ線分を構成する点の撮像面上の座標値 「白線選択」白線選択は、前処理により抽出したエッジ
線分から、白線の両端に対応するエッジ線分対を選択す
る。この白線選択の処理手順は以下の通りである。

【００２８】Ｓ１．短い線および水平線の除去 まず、エッジ線分リストから以下の線分を除去する。

【００２９】（短いエッジ線分）白線はある程度の長さ
を有しており、エッジ線分を構成する点の数が設定閾値
以下の短いエッジ線分は、白線の両端に対応する線分で
ないと考えられるからである。

【００３０】（水平線）水平線は、始点と終点のＹ’座
標値（座標系については後述）が等しいエッジ線分であ
る。水平線は道路周囲の建物や先行車両を構成する線で
ある可能性が高いからである。ただし、道路が曲がって
いる場合、遠方のレーン境界は水平に近くなる。このレ
ーン境界を除去しないように始点と終点のＹ’座標値に
差があるエッジ線分は除去しない。

【００３１】Ｓ２．白線の特徴による選択 次に、エッジ線分リストから白線の特徴を有するエッジ
線分対を選択する。このエッジ線分対とは、エッジ線分
の濃淡勾配の方向が互いに反対で、画像上のエッジ線分
の傾きが平行で、エッジ線分間の距離が白線幅（通常
０．１５ｍ）程度である条件を満たすエッジ線分であ
る。

【００３２】Ｓ３．リストの作成 以上のＳ１−Ｓ２の処理により、前処理から入力された
エッジ線分リストから白線のエッジ線分リストと非白線
のエッジ線分リストを作成する。

【００３３】「曲線照合」曲線照合では、白線選択から
入力された白線または非白線のエッジ線分リストからレ
ーン境界の候補のエッジ線分を選択する。

【００３４】前回のレーン形状計算の計算結果からレー
ン形状パラメータとその分散が既知であるか、その推定
値が得られていることを仮定する。このレーン形状パラ
メータとその分散から推定されるレーン境界位置の範囲
を撮像面上に投影する（後述する式（８）参照）。そし
て、図６に示すように、レーン境界位置の推定範囲内に
あるエッジ線分をレーン境界候補として選択する。この
ように、エッジ線分を予め設定した間隔で区切り、その
節となる点ａ、点ｂ、…がレーン境界位置の推定範囲内
にあれば、そのエッジ線分をレーン境界候補とする。こ
の方法によれば、図６に示す曲線であっても容易に判定
することができる。また、画像上に十分な長さのレーン
境界エッジ線分を観測するか、または長時間にわたって
レーン境界エッジ線分を観測するならば、前記の分散は
小さくなり、レーン境界位置の推定範囲は十分に狭める
ことができる。

【００３５】「座標系とレーン形状の表現」座標系とレ
ーン形状の表現について説明する。以下の計算のため、
次の２つの座標系を設定する。

【００３６】（座標系１ 車体座標系）自車周辺の路面
が局所的に平面上にあると仮定する。このとき、車載カ
メラの位置を平面上に投影した点を原点として、レーン
境界接線方向をＸ軸、その横方向をＹ軸、鉛直方向をＺ
軸にとったＸＹＺ直交座標系を設定する。以後、これを
車体座標系と呼ぶ。

【００３７】（座標系２ 撮像面上の座標系）撮像面の
中央を原点にとり、縦方向をＹ’座標軸、横方向をＸ’
座標軸とした直交座標系を設定する。Ｘ’座標軸は撮像
面から焦点位置へ向かって左側を正にとり、Ｙ’座標軸
は上を正にとる。以後、これを撮像面上の座標系と呼
ぶ。

【００３８】次に、レーン形状のパラメータを以下に示
す。

【００３９】 ｅ ：車両とレーン中心との位置偏差［ｍ］ ωｒ：レーン幅［ｍ］ θ ：ヨー角（カメラ中心軸からレーン境界接線方向へ
の角度）［ｒａｄ］ φ ：画像の縦揺れ（カメラ中心軸から走行平面に平行
な方向への角度［ｒａｄ］ ａ２：レーン形状を３次関数で表現した場合の２次のパ
ラメータ。道路曲率に対応する項 ａ３：レーン形状を３次関数で表現した場合の３次のパ
ラメータ。２次曲率に対応する項。

【００４０】以上のレーン形状パラメータで表現したレ
ーン境界の撮像面上の座標系に対する投影を考える。こ
のとき、車載カメラは車体の中心軸と一致するように設
定すると仮定する。図７にレーン境界の撮像面上のＸ’
座標値を示す。これにより、Ｘ’軸状の値ｘ’は、次の
式（１）のように表される。

【００４１】

【数１】 ただし、±の符号は正の場合は右レーン境界、負の場合
は左レーン境界を示す。

【００４２】図８にレーン境界の撮像面上のＹ’座標値
を示す。これによりＹ’軸上の値ｙ’は、次の式（２）
のように表される。

【００４３】

【数２】 このとき、ｈはカメラ高さ、ｆはＴＶカメラの焦点距離
である。

【００４４】「レーン境界形状パラメータとの照合」レ
ーン境界推定位置からエッジ線分までの距離の標準偏差
σｍを求め、この値に基づいて照合を行う。すなわち、
図９に示すように、白線選択から入力された白線または
非白線のエッジ線分リストの中のエッジ線分から、レー
ン境界推定位置からの距離ασｍ以内のエッジ線分を選
択し、レーン境界の候補とする。ただし、αは１〜３程
度の値である。

【００４５】ここで、車体座標系のＸ座標値がｘc の場
合、撮像面上のレーン境界の推定位置は式（３）と式
（４）で計算される。

【００４６】

【数３】

【数４】 車体座標系のＸ座標値がｘc の場合の撮像面上のレーン
境界の推定接線角度ωｍは式（５）で計算される。

【００４７】

【数５】 ただし、±の符号は左レーン境界の接線角度を計算する
場合は負、右レーン境界の接線角度を計算する場合は正
である。

【００４８】次に、車体座標系のＸ座標値がｘｃの場合
の撮像面上のレーン境界の推定範囲のσｍの計算式を以
下に示す。σｍは点（ｘ´ｃ，ｙ´ｃ）から観測される
レーン境界エッジ線分までの距離の標準偏差を示す。こ
の距離は接線角度ωｍに垂直な方向へとる。

【００４９】レーン形状のパラメータの標準偏差（分散
値の平方根）と式（３）より、式（６）が得られる。こ
の式より、Ｘ’座標方向の観測されるレーン境界エッジ
線分とレーン形状との間の距離の標準偏差σｘ’が計算
できる。

【００５０】

【数６】 また、レーン形状のパラメータの標準偏差を式（４）へ
代入することにより、式（７）が得られる。この式よ
り、Ｙ´座標方向の観測されるレーン境界エッジ線分と
レーン形状との間の距離の標準偏差σｙ’が計算でき
る。

【００５１】

【数７】 そして、σｘ’と、σｙ’の接線角度ωｍに垂直な成分
を加算することにより、式（８）でσｍが計算できる。

【００５２】

【数８】 ただし、 ｆ ： 焦点距離 σｍ ： レーン形状と観測されるレーン境界エッジ線
分との間の距離の標準偏差 σφ ： φの標準偏差 σa3 ： ａ３の標準偏差 σa2 ： ａ２の標準偏差 σｅ ： ｅの標準偏差 σθ ： θの標準偏差 σω ： ωの標準偏差 σox' ： 撮像面上のＸ’座標軸方向の観測誤差の標準
偏差 σoy' ： 撮像面上のＹ’座標軸方向の観測誤差の標準
偏差 各標準偏差は、各パラメータの誤差分散の平方根から求
める。誤差分散はレーン形状パラメータをカルマンフィ
ルタで更新する時に得られる推定誤差の共分散行列の対
角要素を使用する。

【００５３】ただし、レーン境界位置の観測データが少
なくレーン形状パラメータの分散値が大の場合、図１０
に示すように撮像面上に投影した左右レーン境界位置の
推定範囲が重なる。この重なった範囲内の線分は左右の
レーン境界のどちらであるか判定困難である（図１０の
線分ｂ）。判定を誤って観測データとして採用した場
合、レーン形状の推定誤差が増大する。よって、左右レ
ーン境界の推定範囲が重なった部分のエッジ線分はレー
ン境界候補としない。

【００５４】次に、候補エッジ線分の中で、式（５）で
推定したレーン境界との角度の差が予め設定した閾値を
越えるものを候補エッジ線分から外す（図１０の線分
ａ）。 「レーン境界選択」次に、曲線照合により得られた白線
または非白線のレーン境界の候補のエッジ線分がレーン
境界選択へ入力される。レーン形状パラメータの分散が
十分小さくなっていない場合、レーン境界に平行な近傍
のエッジ線分も同時に選択することがある。この例とし
て、車の通った轍や縁石の線が挙げられる。このように
複数のレーン境界候補が撮像面上の同じ場所で照合する
場合、以下の２つの仮定により、図１１に示すように、
レーン境界の可能性の大きいエッジ線分を選択する。な
お、同じ場所で照合するエッジ線分候補が１つの場合
は、それを選択する。

【００５５】（１）白線を構成するエッジ線分はレーン
境界である可能性が高い。このとき、白線を構成するエ
ッジ線分とは濃淡勾配の方向が互いに逆向きの平行なエ
ッジ線分対である。

【００５６】（２）連続していて長いエッジ線分は路側
縁石等のレーン境界エッジ線分である可能性が高い。

【００５７】「レーン形状計算」 （位置偏差、ヨー角、道路幅、縦揺れ）まず、レーン境
界候補のエッジ線分リストから左右のレーン境界候補の
エッジ線分で、始点または終点の撮像面上の座標系で
Ｙ’座標値が予め設定した値以上のエッジ線分を選択す
る。選択したエッジ線分からレーン幅Ｗと画像の縦揺れ
φとヨー角θと位置偏差ｅを計算する。

【００５８】選択した左レーン境界に対応するエッジ線
分に撮像面上の座標系で直線を適合し、式（９）の左側
エッジについての各パラメータａｌ、ｂｌを求める。直
線適合の計算はエッジ線分を構成する点の位置座標値に
最小自乗法を適用して、ａｌ、ｂｌを求める。ただし、
最小自乗法の計算に使用する点のデータは撮像面上の座
標系でＹ’の大きい方（車体座標系のＸ座標値の小さい
方）から設定した数以上は使用しない。

【００５９】

【数９】 同様に、選択した右レーン境界に対応するエッジ線分か
ら、式（１０）のパラメータａｒ、ｂｒを求める。

【００６０】

【数１０】 最後に、パラメータａｌとｂｌとａｒとｂｒを式（１
１）へ代入して、ωｒとφとθとｅの観測値を求める。

【００６１】

【数１１】 ただし、左レーン境界に対応するエッジ線分しかない場
合は、前回のレーン形状パラメータによるφとωｒの推
定値を採用し、式（１２）からθとｅを求める。

【００６２】

【数１２】 また、右レーン境界に対応するエッジ線分しか得られな
かった場合も、レーン形状パラメータによるφとωｒの
推定値を採用し、式（１３）からθとｅを求める。

【００６３】

【数１３】 （レーン境界が観測できる場合）このようにして、レー
ン境界が観測できた場合には、次にヨー角θと位置偏差
ｅとレーン幅ωｒと画像の縦揺れφの観測値により、こ
れらパラメータをカルマンフィルタの手法で更新する。
カルマンフィルタは、システムが線形で、システムノイ
ズおよび観測ノイズが白色雑音で、そのノイズの振幅分
布が正規分布である場合に、状態量を最小２乗規範で推
定する。さらに、カルマンフィルタの計算の過程から状
態量の誤差分散が求められる。この誤差分散を前記曲線
照合で利用している。

【００６４】システムのダイナミクスと観測過程が決ま
れば、既知のカルマンフィルタの計算方法を適用するこ
とができる。よって、以下ではシステムのダイナミクス
と観測過程の式を示す。

【００６５】位置偏差とヨー角とレーン幅と縦揺れは３
つの線形システムに分割される。以下では各システムの
内容を示す。

【００６６】一番目は、ヨー角θと位置偏差ｅを要素と
する状態変数ベクトルの線形システムである。この状態
変数ベクトルｐ１を式（１４）に示す。

【００６７】

【数１４】 ｐ１を更新するダイナミクスを式（１５）に示す。他の
ダイナミクスと区別するため、数字の１を添字として付
加した。

【００６８】

【数１５】 この場合の行列Ａ１の各要素を式（１６）に示す。

【００６９】

【数１６】 このとき、Ｔは観測周期、Ｖは車速である。

【００７０】行列Ｂ１の対角要素はカルマンフィルタの
更新周期当たりのヨー角と位置偏差の変動分の標準偏差
を設定する。ｐ１の観測過程を式（１７）に示す。他の
観測過程との区別のために数字の１を添字で付加する。

【００７１】

【数１７】 行列Ｃ１の内容を式（１８）に示す。

【００７２】

【数１８】 カメラの画素分解能より、ヨー角と位置偏差に付加され
る観測ノイズのω１の分散が設定できる。

【００７３】２番目のシステムは、道路幅ωｒを要素と
する状態変数ベクトルの線形システムである。この状態
変数ベクトルｐ２を式（１９）に示す。

【００７４】

【数１９】 ｐ２を更新するダイナミクスを式（２０）に示す。他の
ダイナミクスとの区別のために数字の２を添字で付加す
る。

【００７５】

【数２０】 この場合の行列Ａ２の各要素を式（２１）に示す。

【００７６】

【数２１】 本例では、レーン幅ωｒの変動の標準偏差を行列Ｂ２に
設定する。行列Ｄ２の要素を式（２２）に示す。

【００７７】

【数２２】 ｐ２の観測過程を式（２３）に示す。他の観測過程との
区別のために数字の２を添字で付加する。

【００７８】

【数２３】 行列Ｃ２の内容を式（２４）に示す。

【００７９】

【数２４】 カメラの画素分解能より、レーン幅の観測値に付加され
る観測ノイズのｗ２の分散が設定できる。

【００８０】３番目のシステムは画面の縦揺φを要素と
する状態変数ベクトルの線形システムである。この場合
の状態ベクトルｐ３を式（２５）に示す。

【００８１】

【数２５】 ｐ３を更新するダイナミクスを式（２６）に示す。他の
ダイナミクスとの区別のために数字の３を添字で付加す
る。

【００８２】

【数２６】 このとき、行列Ａ３を式（２７）に示す。

【００８３】

【数２７】 行列Ｂ３の要素はカルマンフィルタの更新周期当たりの
画面の縦揺れの変動分の標準偏差を設定する。

【００８４】ｐ３の観測過程を式（２８）に示す。他の
観測過程との区別のために数字の３を添字で付加する。

【００８５】

【数２８】 行列Ｃ３の内容を式（２９）に示す。

【００８６】

【数２９】 カメラの画素分解能より、画面の縦揺れに付加される観
測ノイズのω３の分散が設定できる。

【００８７】（レーン境界エッジ線分が観測できない場
合）レーン境界エッジ線分が観測できず、ヨー角θと位
置偏差ｅとレーン幅ωｒと画像の縦揺れφの観測値が観
測できない場合、観測値無しでカルマンフィルタの手法
で更新する。この場合、線形システムは行列Ａ１とＡ２
とＡ３とＤ２の設定が前述と異なる。他の行列の設定は
同じである。

【００８８】車両は道路中心を道路に沿って走行すると
仮定し、ヨー角θと位置偏差ｅを０へ収束させる項η１
とη２をダイナミクスへ付加する。この場合の行列Ａ１
の各要素を式（３０）に示す。

【００８９】

【数３０】 レーン幅はほぼ一定値であると仮定し、レーン幅ωｒを
収束させる項η３をダイナミクスへ付加する。この場合
の行列Ａ２の各要素を式（３１）に示す。

【００９０】

【数３１】 また、行列Ｄ２の内容を式（３２）に示す。

【００９１】

【数３２】 このとき、ωｓは予め設定したレーン幅の値である。一
般に、高速道路ではωｓ＝３．５［ｍ］、一般道路では
ωｓ＝３．０［ｍ］と設定すれば良い。

【００９２】画面の縦揺れもほぼ一定であると仮定し、
レーン幅φを収束させる項η４をダイナミクスへ付加す
る。この場合の行列Ａ３の各要素を式（３３）に示す。

【００９３】

【数３３】 「道路曲率」レーン境界候補のエッジ線分から、撮像面
上の座標系でＹ’座標値が設定値以下の点を設定数だけ
サンプルする。サンプルした点の撮像面上の座標系Ｘ’
Ｙ’座標値を観測値としてレーン形状パラメータａ３と
ａ２をカルマンフィルタの手法で更新する。

【００９４】カルマンフィルタの計算のために必要な線
形システムのダイナミクスと観測過程を以下に示す。

【００９５】ａ３とａ２を要素とする状態変数ベクトル
の線形システムを考える。この場合の状態ベクトルｐ４
を式（３４）に示す。

【００９６】

【数３４】 ｐ４を更新するダイナミクスを式（３５）に示す。他の
ダイナミクスとの区別のために数字の４を添字で付加す
る。

【００９７】

【数３５】 行列Ａ４の各要素を式（３６）に示す。

【００９８】

【数３６】 行列Ｂ４の対角要素はカルマンフィルタの更新周期当た
りのａ３とａ２の変動分の標準偏差を設定する。

【００９９】ｐ４の観測過程を式（３７）に示す。他の
観測過程との区別のために数字の４を添字で付加する。

【０１００】

【数３７】 行列Ｃ４の内容を式（３８）に示す。

【０１０１】

【数３８】 このとき、次数ｍはサンプルした点の数である。また、
ｓｉはサンプルした点の車体座標上のＸ座標値で、式
（３９）で計算する。

【０１０２】

【数３９】 この場合、ｙ’はサンプル点の撮像面上のＹ’座標値で
ある。画像の縦揺れφはレーン形状パラメータの推定値
を使用する。

【０１０３】観測値ベクトルｙ４を式（４０）に示す。
その値はパラメータθとωｒに依存する量をサンプル点
のＸ’座標値から差し引いた量である。

【０１０４】

【数４０】 このとき、ｘ’はサンプル点の撮像面上のＸ’座標値で
ある。±の符号は正の場合が右レーン境界、負の場合が
左レーン境界である。

【０１０５】実画像による検討から、ω4,i の値を設定
する。

【０１０６】「遠方レーン境界が観測できない場合の道
路曲率の計算」遠方レーン境界が観測できない場合、観
測値無しでカルマンフィルタの手法で更新する。この場
合、線形システムは行列Ａ４の設定が前述と異なる。他
の行列の設定は同じである。

【０１０７】一般路では曲線路が連続せず、曲線路から
直線路へつながることを仮定して、道路曲率を表すａ３
とａ２を減衰させる項η５とη６をダイナミクスへ付加
する。この場合の行列Ａ４の各要素を式（４１）に示
す。

【０１０８】

【数４１】 ［第２実施形態］図１２は、本発明の第２実施形態の一
実施形態のブロック図である。図において、画像入力
（車載ＴＶカメラ）３１は、道路画像を撮像して信号に
変換する。また、前処理３２と白線選択３３と近傍曲線
照合３４と近傍レーン形状計算３５と遠方曲線照合３６
と遠方レーン形状計算３７とは、例えばマイクロコンピ
ュータで構成され、車載ＴＶカメラ３１からの信号を入
力して画像処理を行ない、走行レーンを検出する。出力
結果は図示していない外部装置へ送られ、ドライバー支
援装置やドライバー警報装置や自律走行移動車の制御等
へ適用される。各処理部の説明を以下に述べる。

【０１０９】また、車載カメラ３１は車体の中心軸とカ
メラの中心軸が一致するように、水平に前向きで取り付
けるものとして、以下の実施形態を記述する。

【０１１０】座標系とレーン形状の数式表現は第１実施
形態と同じである。

【０１１１】「前処理」前処理部分は上述の第１実施形
態と同じである。

【０１１２】「白線選択」白線選択は、上述の第１実施
形態と同じであるが、得られた白線のエッジ線分リスト
と非白線のエッジ線分リストは、近傍曲線照合３４およ
び遠方曲線照合３６の両方へと出力される。

【０１１３】「近傍曲線照合」近傍曲線照合では、白線
抽出から入力された白線と非白線のエッジ線分リストか
ら車両近傍の左右レーン境界候補のエッジ線分を選択す
る。前回の演算時の計算結果からレーン形状パラメータ
とその分散の推定値が得られていることを仮定する。

【０１１４】先ず、車両近傍のエッジ線分を探索すれば
良いので、始点または終点の撮像面上のＹ’座標値が予
め設定した値以上となるエッジ線分を選択する。

【０１１５】次に、この後は、第１実施形態と同様に、
レーン形状パラメータとその分散から推定されるレーン
境界位置の範囲を撮像面上に投影する（式（８）参
照）。そして、その範囲内にあるエッジ線分をレーン境
界候補として絞り込む（図６参照）。図６に示すように
エッジ線分を予め設定した間隔で区切り、その節となる
点ａ、点ｂ、… がレーン境界位置の推定範囲内にあれ
ば、そのエッジ線分をレーン境界候補とする。

【０１１６】このため、撮像面上のレーン境界の推定位
置は式（３）と式（４）で計算する。レーン境界の推定
接線角度は式（５）で計算する。さらに、画像上のレー
ン境界推定位置（ｘ’ｃ，ｙ’ｃ）から観測されるレー
ン境界までの距離の標準偏差σｍは式（６）と式（７）
と式（８）とから計算される。

【０１１７】白線抽出から入力された白線または非白線
のエッジ線分リストの中のエッジ線分上の点ａ、点ｂ、
…が、距離ασｍ以内にあり、推定接線角度とエッジ線
分上の点における接線角度との差が予め設定した閾値以
下となるエッジ線分を選択し、左右レーン境界の候補と
する。（この場合、αは１〜３程度の値である。）ただ
し、ασｍの値が予め設定した閾値より大きくなる箇所
からはエッジ線分を選択しない。

【０１１８】次に、左右のレーン境界候補のエッジ線分
を白線、非白線の順に、そして、各々をエッジ線分を構
成する点数の多い順に整列させる。

【０１１９】最後に、以下の処理により、一対の左右レ
ーン境界候補のエッジ線分へ絞り込む。整列させた左レ
ーン境界候補のエッジ線分から順に予め設定した数だけ
取り出し、撮像面上の座標系で直線を適合し、式（９）
の各パラメータａｌ、ｂｌを求める。直線適合の計算は
線分を構成する点の位置座標値に最小自乗法を適用し
て、ａｌ、ｂｌを求める。ただし、最小自乗法の計算に
使用する点のデータは撮像面上の座標系でＹ’の大きい
方（車体座標系のＸ座標値の小さい方）から設定した数
以上は使用しない。

【０１２０】同様に、整列させた右道路端候補のエッジ
線分から順に予め設定した数だけ取り出し、式（１０）
のパラメータａｒ、ｂｒを求める。

【０１２１】次に、予め設定した数だけ選択した左右レ
ーン境界候補のエッジ線分の全ての組合せの各パラメー
タａｌ、ｂｌ、ａｒ、ｂｒから道路幅ωｒと画像の縦揺
れφとヨー角θと位置偏差ｅとを計算し、さらにその推
定値からの重み付きユークリッド距離ｄを計算する。重
み付きユークリッド距離ｄが最小となり、予め設定した
閾値より小さくなるエッジ線分の組合せから求められる
ωｒとφとθとｅを観測値として採用する。

【０１２２】左右レーン境界候補のエッジ線分の組合せ
からωｒとφとθとｅを計算する式を式（４２）に示
す。

【０１２３】

【数４２】 この場合、ａ３とａ２は前回の演算時に推定されたレー
ン形状パラメータを使用する。また、ｘc はエッジ線分
の車体座標系Ｘ座標値であるが、前回の演算時に推定さ
れたレーン形状パラメータφとエッジ線分の撮像面上座
標系Ｙ’座標値ｙ’から式（４３）より計算する。

【０１２４】

【数４３】 左右レーン境界候補のエッジ線分の組合せから重み付き
ユークリッド距離ｄを計算する場合の式を式（４４）、
式（４５）に示す。このとき、ｃωは重みである。

【０１２５】

【数４４】 ただし、 ｃω：距離にかかる重み付け ｌｌ：左側のエッジ線分に含まれる点の数に関する重み
付け。点の数に対応して大となるように設定 ｌｒ：右側のエッジ線分に含まれる点の数に関する重み
付け。点の数に対応して大となるように設定 ｃｌ：左側のエッジ線分の特徴に関する重み付け。非白
線より白線の場合の方が大となるように設定 ｃｒ：右側のエッジ線分の特徴に関する重み付け。非白
線より白線の場合の方が大となるように設定。

【０１２６】

【数４５】 左レーン境界候補のエッジ線分のみからθとｅを計算す
る場合の式を式（４６）に示す。このとき、φとωｒは
前回の演算時の推定値を採用する。

【０１２７】

【数４６】 左レーン境界候補のエッジ線分のみから重み付きユーク
リッド距離ｄを計算する場合の式を式（４７）、式（４
８）に示す。

【０１２８】

【数４７】

【数４８】 右レーン境界候補のエッジ線分のみからθとｅを計算す
る場合の式を式（４９）に示す。このとき、φとωｒは
前回の演算時の推定値を採用する。

【０１２９】

【数４９】 左レーン境界候補のエッジ線分のみから重み付きユーク
リッド距離ｄを計算する場合の式を式（５０）、式（５
１）に示す。

【０１３０】

【数５０】

【数５１】 「近傍レーン形状計算」近傍曲線照合３４で得た観測値
により、車両近傍レーン形状に関わるパラメータ、ヨー
角θと位置偏差ｅとレーン幅ωｒと画像の縦揺れφの現
時刻の推定値とその誤差分散をカルマンフィルタの手法
で更新する。

【０１３１】システムのダイナミクスと観測過程が決ま
れば、既知のカルマンフィルタの計算方法を適用するこ
とができる。これについては、第１実施形態におけるレ
ーン形状計算と同一である。

【０１３２】「遠方曲線照合」遠方曲線照合３６では、
白線抽出から入力された白線または非白線のエッジ線分
リストから、現在の道路画像に基づいて近傍レーン形状
計算３５により更新されたレーン形状パラメータとその
分散によりレーン境界の候補のエッジ線分を選択し直
す。現在の道路画像に基づいてレーン形状パラメータと
その分散が更新されているため、近傍曲線照合３４に比
べてよりレーン境界候補の探索範囲が限定される。

【０１３３】まず、車両近傍のエッジ線分を探索する必
要がないため、始点または終点の撮像面上のＹ’座標値
が予め設定した値以下となるエッジ線分を選択する。こ
の後の曲線照合の手法は、近傍曲線照合３４と同様であ
る。

【０１３４】すなわち、次に、上述の場合と同様に、レ
ーン形状パラメータとその分散から推定されるレーン境
界位置から範囲内のエッジ線分を選択した後白線を抽出
し、左右のレーン境界候補のエッジ線分を白線、非白線
の順、かつ各々のエッジ線分を構成する点数の多い順に
整列させる。

【０１３５】「遠方レーン形状計算」遠方曲線照合３６
で選択されたレーン境界候補のエッジ線分を構成する点
から、撮像面上の座標系のＹ’座標値が設定値以下とな
る点を予め設定された数だけサンプルする。サンプルし
た点の撮像面上の座標系のＸ’Ｙ’座標値を観測値とし
てレーン形状パラメータａ３とａ２の現時刻の推定値と
その誤差分散をカルマンフィルタの手法で更新する。遠
方レーン形状計算３７で更新されたａ３とａ２と、近傍
レーン形状計算３５で更新されたパラメータ、ヨー角θ
と位置偏差ｅとレーン幅ωｒと画像の縦揺れφの現時刻
の推定値とその誤差分散が出力として、ここでは示さな
いが外部装置への出力となる。

【０１３６】さらに、カルマンフィルタの手法により、
次の時刻の道路形状パラメータａ３とａ２とヨー角θと
位置偏差ｅとレーン幅ωｒと画像の縦揺れφの推定値と
その誤差分散が予測されて、近傍曲線照合３４へ出力さ
れる。

【０１３７】以下では、カルマンフィルタの計算のため
に必要な線形システムのダイナミクスと観測過程を以下
に示す。

【０１３８】ａ３とａ２を要素とする状態変数ベクトル
の線形システムを考える。この場合の状態ベクトルｐ４
を式（５２）に示す。

【０１３９】

【数５２】 ｐ４を更新するダイナミクスを式（５３）に示す。他の
ダイナミクスとの区別のために数字の４を添字で付加す
る。

【０１４０】

【数５３】 行列Ａ４の各要素を式（５４）に示す。

【０１４１】

【数５４】 このとき、η７は道路曲率変化を表すａ３を減衰させる
項である。

【０１４２】行列Ｂ４の対角要素はカルマンフィルタの
更新周期当たりのａ３とａ２の変動分の標準偏差を設定
する。

【０１４３】ｐ４の観測過程を式（５５）に示す。他の
観測過程との区別のために数字の４を添字で付加する。

【０１４４】

【数５５】 行列Ｃ４の内容を式（５６）に示す。

【０１４５】

【数５６】 このとき、次数ｍはサンプルした点の数である。また、
ｓｉはサンプルした点の車体座標上のＸ座標値で、式
（５７）で計算する。

【０１４６】

【数５７】 この場合、ｙ’はサンプル点の撮像面上のＹ’座標値で
ある。φはレーン形状パラメータの推定値を使用する。

【０１４７】観測値ベクトルｙ４を式（５８）に示す。
その値はパラメータθとｅとωｒに依存する量をサンプ
ル点のＸ’座標値から差し引いた量である。

【０１４８】

【数５８】 このとき、ｘ’はサンプル点の撮像面上のＸ’座標値で
ある。±の符号は正の場合が右レーン境界、負の場合が
左レーン境界である。

【０１４９】実画像による検討から、ω4,i の値を設定
する。

【０１５０】［第３実施形態］ 「全体構成」上述の第２実施形態では、道路画像を大き
く近傍と遠方に分割し、近傍の道路画像を優先的に処理
することにより誤認を防いでいた。道路画像をより細分
化して、自車近傍から遠方へ向けて順に処理していくこ
とにより、さらに誤認を減らすことが可能である。この
考えに基づく第３実施形態を以下に示す。

【０１５１】図１３は、本発明の第３実施形態のブロッ
ク図である。図１３において、車載ＴＶカメラ４１は、
道路画像を撮像して信号に変換する。前処理４２と、曲
線照合４３、４５、４７と、レーン形状計算４４、４
６、４８は、例えばマイクロコンピュータで構成され、
車載カメラ４１からの信号を入力して画像処理を行い、
走行レーンを検出する。

【０１５２】ここで、曲線照合４３、４５、４７は、そ
れぞれがほぼ同等の処理を実行するため、単一の曲線照
合により、繰り返し処理を実施してもよい。同様に、レ
ーン形状計算４４、４６、４８も、単一のレーン形状計
算により繰り返し処理を実施してもよい。また、図中の
点線部分は図示していないが、曲線照合４５とレーン形
状計測４６と同等のブロックが複数個並んでいる。出力
結果は図示していないが外部装置へ送られ、ドライバー
支援装置やドライバー警報装置や自律走行移動車の制御
等へ適用される。

【０１５３】各処理部の説明を以下に述べる。なお、本
実施形態では、車載ＴＶカメラ４１は車体の中心面上
に、水平に前向きで取り付けるものとする。

【０１５４】「座標系」以下の説明のため、座標系とし
て、道路座標系と車体座標系と撮像面上の座標系の３つ
の直交座標系を定義する。

【０１５５】撮像面上の座標系（ｘ，ｙ）はカメラの撮
像面中心を原点に設定する。縦方向をｘ軸に、横方向を
ｙ軸にとる。

【０１５６】道路座標系（Ｘ，Ｙ，Ｚ）はレーンの形状
を表すためのものである。図に示すように、車載カメラ
のレンズ中心位置を基準にレーン中央の路面上に原点を
設定する。レーン境界の接線方向をＺ軸、路面に垂直な
方向をＸ軸、右方向にＹ軸をとり、カメラのレンズ中心
位置がＺ＝０となるように設定する。

【０１５７】車体座標系（Ｘ´，Ｙ´，Ｚ´）はカメラ
レンズ中心を原点として、レンズ主軸方向にＺ´軸を、
撮像面上のｘ軸に平行にＸ´軸をとり、撮像面上のｙ軸
に平行にＹ´軸をとる。

【０１５８】なお、本実施形態では、自車位置姿勢は車
載されたカメラ位置姿勢と一致するものとする。以上の
座標系を図１４に示す。

【０１５９】次に、自車位置姿勢を表現するパラメータ
として、レーンに対するカメラ高さｈ、位置偏差е、ヨ
ー角θ、ピッチ角φ、ロール角ψを設定する。道路座標
系と車体座標系との関係は以上のパラメータにより決ま
る。車体座標系は、道路座標系を（ｈ，е，０）だけ並
進した後、θ、φ、ψの順に回転させた座標系である。
θはＹＺ平面に射影したＺ´軸とＺ軸との間の角度、φ
はＺ´とＹＺ平面との間の角度、ψはＺ´軸回りの回転
角である。

【０１６０】このような座標系では、道路座標系上の点
（Ｘ，Ｙ，Ｚ）は、式（７４）〜式（７６）により車体
座標系上の点（Ｘ´，Ｙ´，Ｚ´）へ変換される。

【０１６１】

【数５９】 このとき、上記Ｒij（i,j ＝１〜３）は、それぞれ式
（７７）〜式（８５）で表現される。

【０１６２】

【数６０】 また、車体座標系上で表された３次元空間上の点（Ｘ
´，Ｙ´，Ｚ´）の撮像面上の座標系（ｘ，ｙ，ｚ）へ
の変換は、以下の投影変換で表現される。ただし、この
式におけるＦx とＦy は、ＴＶカメラの焦点距離に関す
る係数である。

【０１６３】

【数６１】 「道路モデル」道路の構造は、道路構造令によって、平
面曲線と縦断曲線として規格化されている。平面曲線は
円弧と、直線と、これらを滑らかに接続するためのクロ
ソイド曲線で表される緩和曲線と、から構成される。ま
た、縦断曲線は直線と放物線により構成される。

【０１６４】本実施形態では、平面曲線の平面曲線の曲
率半径が１００ｍ以上の道路を想定する。ただし、バン
クに相当する片勾配は無視できると仮定する。この場
合、制動停止距離程度のレーン形状は、その平面曲線は
３次、縦断曲線は２次の多項式で十分表現できる。

【０１６５】以上より、レーン形状を次式で表現する。
ここで、Ｚc はレーンの中心線のＺ座標値である。

【０１６６】

【数６２】 このとき、 Ｚc ：レーン中心線のＺ座標値、 ξ ：レーン中心線の接線角度、 ｃv ：縦断曲線の曲率、 ｃ0 ：平面曲線の曲率、 ｃ1 ：平面曲線の曲率変化率、 Ｗ ：レーン幅の１／２、 κ ：観測するレーン境界によって決まる定数。左レー
ン境界の場合は−１、右レーンの境界の場合は１であ
る。

【０１６７】なお、ＸをＺ座標の２次式としたため、路
面勾配変化は、平面から２次曲線まで対応可能になって
いる。また、Ｙ及びＺの式には、レーン幅の１／２であ
る変数Ｗを入れてあり、レーン幅を考慮できるようにな
っている。

【０１６８】このとき、平面曲線の接線角度ξは、次式
で計算できる。

【０１６９】

【数６３】 「全体の処理の流れ」本実施形態の特徴は、入力された
１枚の道路画像に対して、モデルとの照合とパラメータ
推定を繰り返して実施する点である。この手順の概要を
以下に示す。なお、ここではレーン境界が左右に２つの
観測する場合で説明したが、レーン境界を３つ以上観測
する場合でも同様の手順で処理できる。

【０１７０】Ｓ１．画像入力４１により、道路画像を入
力する。

【０１７１】Ｓ２．前処理４２により、エッジ等の画像
特徴を抽出する。

【０１７２】Ｓ３．曲線照合４３にて、前回の道路画像
に基づいて更新したモデルのパラメータの推定値とその
共分散行列から、現在のパラメータの推定値とその共分
散行列の推定値を計算する。そして、得られた現在のパ
ラメータの推定値とその共分散行列に基づいて、Ｚc,i
に対応するレーン境界の撮像面上の予測位置（ｘp ，ｙ
p ）と照合範囲を計算する（このとき、κ＝１）。この
照合範囲内からレーン境界候補の座標値（ｘ，ｙ）を検
出し、その位置を観測する。

【０１７３】Ｓ４．レーン形状計算４４にて、レーン境
界候補についての観測結果から、パラメータの推定値と
その共分散行列を更新する。

【０１７４】Ｓ５．Ｓ３と同様に、曲線照合４５にて、
Ｚc,i に対応する隣のレーン境界候補を観測する（この
とき、κ＝−１）。

【０１７５】Ｓ６．Ｓ４と同様に、レーン形状計算４６
にて、レーン境界候補の観測結果から、パラメータの推
定値とその共分散行列を更新する。

【０１７６】Ｓ７．３〜６と同様に、Ｚc,i+1 （Ｚc,i+
1 ＞Ｚc,i ）に対応するレーン境界候補を観測し、パラ
メータの推定値と、その共分散行列の更新を繰り返す。
すなわち、図１５に示すように、車両の近傍から遠い方
に向けてモデルとの照合を順次行う。

【０１７７】Ｓ８．Ｓ１へ戻る。

【０１７８】「パラメータ更新の考え方」以下では、パ
ラメータ更新の考え方を示す。本実施形態では、前記し
た自車位置姿勢パラメータと、レーン形状パラメータ
と、車両の走行状況のパラメータと、を要素として含む
１２次元状態ベクトルｐを設定し、この最ゆう推定量を
カルマンフィルタで計算する。カルマンフィルタとは、
観測値から状態ベクトルｐkの最ゆう推定量ｐ＾を求め
るフィルタである。

【０１７９】

【数６４】 また、ここでは車速Ｖは状態ベクトルの１要素と想定し
ているが、車輪の回転数に基づいて設定しても良い。ま
た、計算コスト削減のためにＷ（レーン幅の１／２）と
ｈ（カメラ高さ）を一定値と設定してもよい。さらに、
車両の走行状態が急変しないものと仮定して、▲θ▼
（ヨーレイト）とβ（滑り角）の推定をやめて計算コス
トを削減してもよい。

【０１８０】図１７に示すように、撮像面上の座標系
で、道路モデルから予測されたレーン境界上の点（ｘp
，ｙp ）における接線１を考える。このとき、接線１
から、点（ｘp ，ｙp ）近傍のレーン境界候補の観測位
置（ｘ，ｙ）までの距離ｄ（観測位置から接線１への垂
線の長さ）は、次式で計算される。

【０１８１】 ｄ＝−（ｘ−ｘp ）ｃｏｓω＋（ｙ−ｙp ）ｓｉｎω （９３） このとき、現在のパラメータのまわりで線形化して、距
離ｄを観測値とするカルマンフィルタを構成する。これ
により、ｄを観測値として、パラメータ推定値とその誤
差共分散を更新する式が得られる。

【０１８２】このとき、接線１の傾きωは次式で計算で
きる。

【０１８３】

【数６５】 ここで、曲線照合４３、１５、１７と、レーン形状計算
４４、４６、４８の構成を図１６に示す。このように、
曲線照合４３において、現在のパラメータの推定値を計
算する（ｂ）とともに、その共分散行列の推定値を計算
する（ａ）。次に、推定パラメータより（ｘp ，ｙp ）
を推定し（ｄ）、その近傍から共分散に基づいてレーン
境界の観測位置（ｘ，ｙ）を検出する（ｃ）。

【０１８４】そして、距離ｄを計算する（ｅ）。そし
て、レーン形状計算４４、４６、４８が、得られた値に
よって、カルマンフィルタによるフィルタリングを行
い、パラメータ及び共分散行列を更新する（ｆ）。そし
て、更新された値に基づいて、次の計算を行う。このよ
うにして、近傍から遠方に向けて順次処理が行われる。

【０１８５】（カルマンフィルタの計算）次に、カルマ
ン・フィルターの構成を説明する。ここで、状態ベクト
ルｐのダイナミクスは次式で表現されるものとする。

【０１８６】 ｐk+1 ＝ｆk （ｐk ）＋ｕk （９８） このとき、 ｋ：更新回数、 ｐk ：状態ベクトル、 ｕk ：システムに付加されるノイズのベクトル、 ｆk ：ダイナミクスを表現する関数。

【０１８７】また、観測値ｄと状態ベクトルｐの関係は
次式で表現されるものとする。

【０１８８】 ｄk ＝ｈk （ｐk ）＋ｖk （９９） このとき、 ｖk ：観測ノイズ項のベクトル、 ｈk ：観測過程を表現する関数。

【０１８９】さらに、ｕk とｖk は平均値０のガウス確
率ベクトルで、共分散行列が式（１００）と（１０１）
で表現されると仮定する。

【０１９０】以下では、関数ｆとｈは非線形であるた
め、状態推定値ｐk/k 、ｐk/k-1 で線形化して、線形カ
ルマンフィルタを適用する。なお、このようなフィルタ
は、線形カルマンフィルタと区別して、拡張カルマンフ
ィルタと呼ばれる。

【０１９１】

【数６６】 式（９８）と（９９）で表現されるシステムに対する拡
張カルマンフィルタによる状態ベクトルｐの最ゆう推定
量ｐ＾（ｐハット）とその推定誤差共分散行列ｐの更新
は、式（１０２）〜（１０８）で表される（参考文献：
片山徹著、応用カルマンフィルタ、朝倉書店刊 （１９
８３））。

【０１９２】ここで、ｐ＾の初期値ｐ＾0/-1は自車がレ
ーン中央を走行していると仮定して設定する。また、Ｐ
の初期値Ｐ0/-1はレーン境界が検出できるように大きめ
の値を設定しておく。

【０１９３】

【数６７】 （行列Ｈの計算）次に、上述の計算に利用される行列Ｈ
の計算式を示す。まず、式（１０３）より、Ｈk は、次
のように表せる。

【０１９４】

【数６８】 また、式（９３）を偏微分することにより、次式が得ら
れる。

【０１９５】

【数６９】 そして、式（１０９）と式（１１０）と、式（１１１）
より、次式が得られる。

【０１９６】

【数７０】 そして、行列Ｈの各要素は、式（８６）と式（８７）を
状態ベクトルｐの各要素で偏微分した値を式（１１２）
へ代入することにより求めることができる。

【０１９７】以下に、Ｈの各要素の計算式を示す。Ｈは
１行１２列の行列であり、添字は行と列の番号を示す。

【０１９８】

【数７１】

【数７２】 （関数ｆと行列Ｆの計算）次に、システムのダイナミク
ス（ある画像から次の画像へと移る場合のダイナミク
ス）を示す関数ｆを状態ベクトルｐの各要素で偏微分し
た行列Ｆ（式（１０４）参照）の計算を示す。

【０１９９】同時刻の画像上のレーン境界を連続的に観
測して、拡張カルマンフィルタにより状態ベクトルｐ更
新する場合は時間変化はないので、次式のようにｐの更
新はなく、Ｆは単位行列となる。

【０２００】 ｐk+1 ＝ｐk （１２３） また、観測値の時刻が更新されて新しい画像が入力され
た場合、状態ベクトルｐのダイナミクスは自車の走行に
よる自車位置姿勢の変化と道路の曲率変化によって生じ
る。ダイナミクスの設定にはいろいろな考え方がある
が、本実施形態では比較的簡単な式で表現した。θとе
のダイナミクスを式（１２４）〜（１２５）で表現す
る。

【０２０１】

【数７３】 ｃ0 のダイナミクスはｃ0 とｃ1 の関係により、式（１
２６）で表現する。

【０２０２】 ｃ0 k+1 ＝ｃ1 k Ｖk Ｔｃｏｓ（βk ＋θk ）＋ｃ0 K （１２６） ただし、θとеとｃ0 以外のパラメータのダイナミクス
は無視できると仮定し、式（１２３）で表現する。

【０２０３】以上の式を状態ベクトルｐの要素で偏微分
することにより、行列Ｆの各要素が計算できる。

【０２０４】

【数７４】 また、上記以外の行列Ｆの要素は次式で表される。

【０２０５】

【数７５】 （共分散行列）共分散行列Ｑは状態ベクトルｐの各要素
の変動分を予め見積って、適当な量を設定する。ただ
し、同時刻の画像上のレーン境界を連続的に観測して、
拡張カルマンフィルタに状態ベクトルｐ更新する場合
は、時間変化はない。このため、この場合にはＱは、零
行列となる。また、観測ノイズの誤差共分散行列Ｒは画
素分解能に基づいて設定する。

【０２０６】「前処理」本実施形態では前処理４３でエ
ッジ線分抽出を実施する。そこで、これについて説明す
る。エッジとは画像中の濃淡値が急激に変化する部分で
ある。エッジ抽出は以下のステップで実施する。

【０２０７】Ｓ１．濃淡画像取り込み カメラにより取り込んだ濃淡画像をＡ／Ｄ変換により計
算機に取り込む処理。１画面の画像情報がマトリックス
状に配列された画素毎デジタル値として取り込まれる。

【０２０８】Ｓ２．Ｓｏｂｅｌフィルタ 取り込んだ濃淡画像にＳｏｂｅｌフィルタを適用し、濃
淡勾配の方向と大きさを演算する。

【０２０９】Ｓ３．稜線抽出処理 濃淡勾配の大きさの嶺の部分（極大値の並び）を抽出す
る処理。

【０２１０】Ｓ４．線分追跡処理 画像上の稜線を追跡し、エッジ線分のリスト（点列）と
して表現する。

【０２１１】このエッジ線分は最低以下の情報を持つも
のとする。これらの情報は後の処理で利用される。

【０２１２】 ・エッジ線分の始点終点の撮像面上の座標値 ・濃淡勾配の角度 ・エッジ線分を構成する点の撮像面上の座標値 本実施形態では、車載ＴＶカメラ４１によって得られた
道路画像全体を一括してエッジ抽出を実施しているが、
高速化のために曲線照合４３、４５、４７で設定された
照合範囲近傍のみを局所的に前処理してもよい。

【０２１３】この場合は、エッジ線分抽出以外に相関演
算によるパターンマッチング等を利用してもよい。この
ような変形例のブロック図を図１８に示す。このよう
に、各曲線照合４３、４５、４７の前段にそれぞれ前処
理４２、４９、５０が挿入配置される。

【０２１４】「曲線照合」曲線照合４３、４５、４７の
処理を以下に示す。

【０２１５】曲線照合４３、４５、４７は、モデルから
予測されたレーン境界位置（ｘp ，ｙp ）を中心とし
て、後述する照合範囲内からレーン境界の候補の位置座
標（ｘ，ｙ）を求める。このとき、観測値ｄは式（９
３）より求められる。このときｐ＾は式（１０２）で更
新しておく。

【０２１６】また、照合範囲は距離ｄの標準偏差の推定
値として求められる。即ち、図１７に示すように、接線
１より距離σ（ｄk ）〜３σ（ｄk ）の範囲内を照合範
囲と設定する。

【０２１７】距離ｄの標準偏差の推定値σ（ｄk ）はパ
ラメータの誤差共分散行列Ｐの撮像面上への投影の平方
根と考えられるため、式（１４２）と式（１４３）で計
算できる。このときＰは式（１０５）で更新しておく。

【０２１８】

【数７６】 そして、レーン境界候補となるエッジ線分は以下の手順
で選択する。

【０２１９】Ｓ１．前処理４２のエッジ線分情報によ
り、照合範囲内のエッジ線分座標値（ｘ，ｙ）を得る。

【０２２０】Ｓ２．前処理４２のエッジ線分情報によ
り、撮像面上の座標上のエッジ線分の濃淡勾配の角度と
接線１に直交する角度とを比較し、その差が予め設定し
た値より大きい場合は除外する。

【０２２１】Ｓ３．前処理のエッジ線分情報により、撮
像面上の座標上のエッジ線分の始点終点間の長さを求
め、それが予め設定した値より小さい場合は除外する。

【０２２２】Ｓ４．レーン境界候補となるエッジ線分が
複数残っている場合は、各エッジ線分の座標値（ｘ，
ｙ）を式（９３）に代入して距離ｄを求め、その大きさ
が最小の値を距離の観測値として採用する。

【０２２３】「レーン形状計算」レーン形状計算は、観
測した距離ｄにより、ｐ＾k/k とＰk/k を式（１０６）
〜（１０８）により更新する。

【０２２４】ただし、曲線照合によりレーン境界が探索
できなかった場合、式（１４４）と式（１４５）に示す
ように、ｐ＾k/k とＰk/k を更新する。この場合、誤差
共分散Ｐは減少しない。

【０２２５】

【数７７】 このようにして、レーン形状計算におけるパラメータの
更新が行われる。

【０２２６】以上のように、第３実施形態によれば、道
路画像を車両の近傍から遠方に向けて細かく分け、近傍
から順次遠方に向けて処理を行う。従って、道路形状認
識おける誤認をより効率的に防止することができる。

【０２２７】

【発明の効果】以上に説明した如く、本発明において
は、前処理によってエッジ線分を抽出した後、前の演算
時のレーン形状パラメータとその分散値に基づいて画像
上に曲線の帯状の探索領域を設定し、その領域内のエッ
ジ線分をレーン境界候補として選択し、その選択エッジ
線分によりレーン形状パラメータとその分散を更新す
る。そこで、レーン形状パラメータの分散に基づいて、
探索領域の幅を適切に狭めることができ、紛らわしいエ
ッジ線分との誤認を防ぎ、精度が向上できる効果があ
る。さらに、曲線の帯状の探索領域を設定することによ
り、高速道路に比べてカーブの急な一般路での曲線エッ
ジ線分の照合が容易になるという効果がある。また、白
線を選択する機能を有する装置においては、一般的にレ
ーン境界が白線であるという情報を利用して、紛らわし
いエッジ線分との誤認を防ぎ、精度が向上できる効果が
ある。

【０２２８】また、一般的に道路画像上では遠方より車
両近傍の方がレーン境界と他の構造物（ガードレール、
車両）との誤認が少ないという性質を利用して、近傍曲
線照合手段と近傍レーン形状計算手段により車両近傍の
レーン境界から車両近傍に関わるレーン形状を優先的に
処理することにより、遠方曲線照合手段と遠方レーン形
状計算手段において遠方のレーン境界と紛らわしいエッ
ジ線分との誤認を防ぎ、精度が向上できる効果がある。

【０２２９】さらに、近傍、遠方の２種類ではなく、道
路画像を近郷から遠方にかけてより細分化して、自車近
傍から遠方に向けて順次処理を実施することにより、さ
らに誤認を減らすことができる。

【図面の簡単な説明】

【図１】 本発明の請求項１の構成を示すブロック図で
ある。

【図２】 本発明の請求項２の構成を示すブロック図で
ある。

【図３】 本発明の請求項３の構成を示すブロック図で
ある。

【図４】 近傍曲線照合と遠方曲線照合のレーン境界の
探索範囲の例を示す図である。

【図５】 第１実施形態の構成を示すブロック図であ
る。

【図６】 レーン境界の推定範囲を示す説明図である。

【図７】 車体座標系と撮像面上のＸ’座標を示す説明
図である。

【図８】 車体座標系と撮像面上のＹ’座標を示す説明
図である。

【図９】 撮像面上のレーン境界位置座標（ｘ’ｃ，
ｙ’ｃ）、道路端の接線角度ωｍ、観測される線分まで
の距離の標準偏差σｍを示す説明図である。

【図１０】 レーン形状パラメータの分散が大きい場合
に生じる照合の不具合を示す説明図である。

【図１１】 レーン境界の推定範囲内でレーン境界候補
のエッジ線分が重なった場合を示す説明図である。

【図１２】 第２実施形態の構成を示すブロック図であ
る。

【図１３】 第３実施形態の構成を示すブロック図であ
る。

【図１４】 座標系の説明図である。

【図１５】 モデルと照合する範囲とその順序を示す説
明図である。

【図１６】 曲線照合と、レーン形状計算の動作を示す
説明図である。

【図１７】 接線１と観測位置との距離を示す説明図で
ある。

【図１８】 照合範囲の説明図である。

【図１９】 前処理を各々行う変形例のブロック図であ
る。

【符号の説明】

１ 画像入力手段、２ 前処理手段、３ 曲線照合手
段、４ レーン形状計算手段。

フロントページの続き (72)発明者 里中 久志 愛知県豊田市トヨタ町１番地 トヨタ自 動車株式会社内 (56)参考文献 特開 平４−36878（ＪＰ，Ａ) 特開 平５−164569（ＪＰ，Ａ) 特開 平４−293109（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01C 7/04 B60R 21/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 道路画像を撮像する画像入力手段と、 得られた画像における濃淡の勾配の大きさと方向の少な
   くとも一方に基づいて、曲線を含むエッジ線分を抽出す
   る前処理手段と、 前回の演算時におけるレーン形状パラメータとその分散
   に基づいてレーン境界の範囲を推定すると共に、推定さ
   れた範囲に基づいて抽出されたエッジ線分の中からレー
   ン境界候補を選択する曲線照合手段と、 そのレーン境界候補からレーン形状を特定するレーン形
   状パラメータと、その分散を計算するレーン形状計算手
   段と、 を備えたことを特徴とする走行レーン認識装置。
2. 【請求項２】 道路画像を撮像する画像入力手段と、 得られた画像における濃淡の勾配の大きさと方向の少な
   くとも一方に基づいて、曲線を含むエッジ線分を抽出す
   る前処理手段と、 抽出されたエッジ線分の中から、その濃淡変化が白線に
   対応するエッジ線分対である白線エッジ線分を選択する
   白線選択手段と、 前回の演算時におけるレーン形状パラメータとその分散
   に基づいてレーン境界の範囲を推定すると共に、推定さ
   れた範囲に基づいて選択された白線エッジ線分の中から
   レーン境界候補を選択する第１曲線照合手段と、 前回の演算時におけるレーン形状パラメータとその分散
   に基づいてレーン境界の範囲を推定すると共に、推定さ
   れた範囲に基づいて白線以外のエッジ線分の中からレー
   ン境界候補を選択する第２曲線照合手段と、 第１および第２曲線照合手段において得られたレーン境
   界候補の中で位置的に競合するものについてより確から
   しいものを選択するレーン境界選択手段と、 選択されたレーン境界候補からレーン形状を特定するレ
   ーン形状パラメータと、その分散を計算するレーン形状
   計算手段と、 を備えたことを特徴とする走行レーン認識装置。
3. 【請求項３】 道路画像を撮像する画像入力手段と、 得られた画像における濃淡の勾配の大きさと方向の少な
   くとも一方に基づいて、曲線を含むエッジ線分を抽出す
   る前処理手段と、 前回の演算時に得られたレーン形状パラメータとその分
   散に基づいて、車両近傍のレーン境界の範囲を推定する
   と共に、推定された範囲に基づいて抽出されたエッジ線
   分の中から車両近傍のレーン境界候補を選択する近傍曲
   線照合手段と、 得られた車両近傍のレーン境界候補から車両近傍のレー
   ン形状を特定するレーン形状パラメータと、その分散を
   計算する近傍レーン形状計算手段と、 近傍レーン形状計算手段で得られたレーン形状パラメー
   タとその分散に基づいて、遠方におけるレーン境界の範
   囲を推定すると共に、推定された範囲に基づいて抽出さ
   れたエッジ線分の中から遠方のレーン境界候補を選択す
   る遠方曲線照合手段と、 得られた遠方のレーン境界候補から遠方のレーン形状を
   特定するレーン形状パラメータと、その分散を計算する
   遠方レーン形状計算手段と、 を備えたことを特徴とする走行レーン認識装置。