WO2005111937A1

WO2005111937A1 - 車両用走行区分線認識装置

Info

Publication number: WO2005111937A1
Application number: PCT/JP2005/008937
Authority: WO
Inventors: Tetsuo Ikeda; Kiyozumi Unoura; Sachio Kobayashi
Original assignee: Honda Motor Co., Ltd.
Priority date: 2004-05-19
Filing date: 2005-05-17
Publication date: 2005-11-24
Also published as: EP1760662A4; CN1954343A; US7421095B2; JP2005332104A; JP3898709B2; EP1760662A1; US20070198146A1; CN1954343B

Abstract

　カメラで撮影された撮影画像中の路面上の少なくとも白線などの破線状の走行区分線を認識可能な区分線認識手段と、異なる時刻に撮影された複数の撮影画像を合成して撮影画像中の走行区分線の長さを延長する画像合成手段（Ｓ１０からＳ１６）とを備える車両用走行区分線認識装置において、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階、具体的にはエッジ検出前の段階で（Ｓ１２）で撮影画像を合成する。これにより、撮影画像を合成するとき、遠方の走行区分線に対応する点列が欠落することがなく、走行区分線を精度良く正確に認識できる。

Description

明細書

車両用走行区分線認識装置

技術分野

[0001] この発明は、車両用走行区分線認識装置に関する。

背景技術

[0002] 車両が走行する路面（走行路）には、走行区分線として白線、黄線、キャッツアイなど種々の道路標示が表示あるいは設置されているが、従来、白線などの走行区分線を認識するには、特許文献 1に記載されるように、 CCDカメラおよび画像処理 ECU などの撮影手段で撮影された画像に微分および二値ィ匕処理などを行ってエッジを検出し、検出されたエッジ点列（白線候補点列）につ、て Hough (ハフ）変換を行って近似する直線成分を求めることで認識して、る。

[0003] また、路面に表示された白線自体が物理的にかすれたり、欠けたりした場合、あるいは夜間走行時などに撮影画像のコントラストが低下して撮影画像中の白線が不鮮明になった場合などは、白線を正確に認識することができないことから、特許文献 2 に記載されるように、撮影画像にウィンドウを設定し、ウィンドウ内の白線候補点の密度などから白線のかすれ度合を判定し、かすれていると判定されるとき、現在の白線画像カゝら抽出された白線候補点列に一定時間前の撮影画像カゝら抽出された白線候補点列を重ね合わせ、重ね合わせた白線候補点列を近似する直線を求めて白線と認識する技術が提案されてヽる。

特許文献 1：特公平 6 -42261号公報

特許文献 2：特開 2001— 236506号公報

発明の開示

発明が解決しょうとする課題

[0004] このように、特許文献 2記載の技術にあっては現在の白線画像から抽出された白線候補点列に一定時間前の撮影画像カゝら抽出された白線候補点列を合成 (重ね合わせる）して白線候補点列を延長し、延長した白線候補点列を近似する直線を求めて白線と認識することで欠落部分あるいは不鮮明な部分を補っているが、その重ね合わせをエッジ検出後のエッジ画像で行ってヽることから、走行区分線 (白線)の認識精度の点で必ずしも満足できるものではな力つた。

[0005] 即ち、撮影画像において遠方の走行区分線は、近距離のそれに比して画像上の大きさが小さいため、エッジとして検出されない場合が生じ得る。その結果、合成された画像力も遠方の走行区分線に対応する点列が欠落して延長されることがないため、認識精度の点で十分ではな力つた。

[0006] 従って、この発明の目的は上記した不都合を解消することにあり、撮影画像を合成するとき、合成された画像から遠方の走行区分線に対応する点列が欠落することがなぐよつて走行区分線を精度良く正確に認識できるようにした車両用走行区分線認識装置を提供することにある。

課題を解決するための手段

[0007] この発明は、上記した課題を解決するために、後述する請求項 1に記載する如ぐ車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記撮影画像中の少なくとも前記走行区分線の形状に変化を与えない処理段階で前記撮影画像を合成する如く構成した。

[0008] また、この発明は、後述する請求項 2に記載する如ぐ車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中のエツジを検出し、検出したエッジに対してハフ変換を行うことで前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記エッジ検出前に前記撮影画像を合成する如く構成した。発明の効果

[0009] 請求項 1に係る車両用走行区分線認識装置においては、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階で撮影画像を合成する如く構成したので、遠方の走行区分線も的確に検出することができ、よって走行区分線を見掛け上、延長することができ、認識精度を向上させることができる。

[0010] また、走行区分線にかすれ、欠けが生じている場合や工事などによっては長さが短い場合があるが、そのような場合にも走行区分線を精度良く認識することができ、また、通常路面に描かれている点線 (破線)状の走行区分線をそのまま認識するよりも、走行区分線の長さが延長されることにより、走行区分線の方向をより高精度に認識することができ、結果として更に精度良く走行区分線を認識することが可能となる。

[0011] 請求項 2に係る車両用走行区分線認識装置においては、走行区分線の認識処理におけるエッジ検出前に撮影画像を合成する如く構成したので、同様に遠方の走行区分線も的確に検出することができ、よって走行区分線を見掛け上、延長することができ、認識精度を向上させることができる。

[0012] 尚、上記した請求項に記載した「車両の進行方向」とは前進走行時の前方のみでなぐ前進走行時に後方の路面を含む領域を撮影する撮影手段を設け、前記撮影手段が撮影した撮影画像カゝら後方の走行区分線を認識するものでも良い。このように「車両の進行方向」とは車両前後方向を示すものであることはいうまでもない。図面の簡単な説明

[0013] [図 1]この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。

[図 2]図 1に示す制御 ECUの動作を入出力力も示すブロック図である。

[図 3]図 1および図 2に示す装置の動作を示すフロー ·チャートである。

[図 4]図 3のエッジ検出処理で得られるエッジ画像の説明図である。

[図 5]図 3の Hough (ノ、フ）変換処理により得られる白線などの走行区分線に相当する直線成分である、ガイドラインの説明図である。

[図 6]図 3の車線候補検出処理で得られる車線候補（白線候補点列)の説明図である [図 7]図 3の車線位置推定処理で得られる自車の走行する車線の推定位置を示す説明図である。

[図 8]図 3のフレーム合成処理を示すサブ'ルーチン'フロ一'チャートである。

[図 9]図 8の過去フレーム選択処理で基準となる現在時刻（今回処理周期） tに入力された撮影画像を示す説明図である。

[図 10]図 8の過去フレーム選択処理で現在時刻（今回処理周期） tに入力された撮影画像に合成されるべき時刻（前回以前の処理周期） t に入力された撮影画像を示す説明図である。

圆 11]図 8の垂直ライン補正処理で補正された画像を示す説明図である。

[図 12]図 8の合成処理で得られる合成画像を示す説明図である。

[図 13]図 8の過去フレームの明るさ検知処理で検知されるべき撮影領域の所定の領域 (路面)を示す説明図である。

[図 14]図 8の過去フレームの明るさ検知処理を示す説明図である。

[図 15]図 8の明るさ補正処理のサブ ·ルーチン 'フ口一 ·チャートである。

[図 16]図 15の処理で使用される、路面の明るさに対するシャツタ速度および絞りの特性を示す説明グラフである。

[図 17]同様に、図 15の処理で使用される、シャツタ速度および絞りに対するアンプゲイン (増幅率)の特性を示す説明グラフである。

圆 18]図 8の水平画素補正を説明する、カメラにより撮影 (露光した）時刻 t 力も時

-2 刻 t を経て時刻 tに至るまでの車両の走行区分線 (車線）に対する位置、姿勢 (角

- 1 0

度)の変化を示す説明図である。

[図 19]図 8の水平画素補正処理のサブ'ルーチン 'フ口一'チャートである。

[図 20]図 8の垂直ライン補正処理のサブ'ルーチン 'フ口一'チャートである。

[図 21]図 19の処理のサブ ·ルーチン 'フ口一'チャートである。

[図 22]図 21の処理を示す説明図である。

圆 23]同様に、図 21の処理を示す説明図である。

[図 24]図 19の処理のサブ ·ルーチン 'フロ一'チャートである。 [図 25]図 24の処理を示す説明図である。

[図 26]同様に、図 24の処理を示す説明図である。

[図 27]図 8の位置補正の処理を加えた画像合成の画像イメージを示す説明図である

[図 28]図 8の位置補正の処理を加えない場合の画像合成の画像イメージを示す説明図である。

[図 29]図 8の合成処理でエッジ検出処理を行う前に合成した場合の画像を示す説明図である。

[図 30]従来技術で、エッジ検出処理を行った後に合成した場合の画像を示す説明図である。

[図 31]エッジ検出処理、ハフ（Hough)変換に代わる、ノターンマッチング手法を説明する説明図である。

[図 32]図 31のパターンマッチングにおけるパターン例を示す説明図である。

発明を実施するための最良の形態

[0014] 以下、添付図面に即してこの発明に係る車両用走行区分線認識装置を実施するための最良の形態について説明する。

実施例 1

[0015] 図 1は、この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。

[0016] 同図において符合 10は、車両 12の進行方向に向けて車室 12aの内部に取り付けられた CCDあるいは C— MOSなどの撮像素子を備えたカメラを示し、カメラ 10は車両 12の進行方向の路面を含む領域を撮影 (撮像)する。カメラ 10の筐体 1 Oaには画像処理 ECU (Electronic Control Unit。電子制御ユニット）が収納される。画像処理 E CUは、カメラ 10から出力される、車両前方の走行車線 (レーン）の情報を示す撮像（画像)信号を入力して後述する画像処理を行う、ハードウェア化された画像処理 IC ( Integrated Circuit)を備える。カメラ 10と画像処理 ECU力前記した撮影手段に相当する。

[0017] 尚、この実施例において、「走行区分線」は、車両通行帯（車線あるいはレーン)を区画する、走行路 (道路）の路面にペイントによって表示された、実線状のあるいは破線状の白線あるいは黄線、さらには路面に間隔をおいて設置されたキャッツアイなどの道路標示を意味する。また、その走行区分線で区画される車両通行帯を「車線」あるいは「レーン」という。

[0018] 車両 12の車室 12aの運転席に設けられたステアリングホイール 16は、ラックアンドピ-オン型のステアリングギヤを介してラック軸 20に接続され、ラック軸 20はタイロッド 22を介して駆動輪 24に連結される。ラック軸 20には電動モータ 26を含む電動パヮ一ステアリング機構（EPS。 Electric Power Steering) 30が配置され、電動モータ 26の回転によってラック軸 20を往復動させる。

[0019] 駆動輪 24と従動輪（図示せず)の付近にはそれぞれ車輪速センサ 32 (2個のみ図示）が設けられ、所定角度あたりの回転、即ち、車両 12の走行速度（車速）に応じた信号を出力する。車両 12の中央部（後車軸近傍）にはョーレートセンサ 34が配置され、車両 12の重心位置における鉛直軸 (重力軸)まわりのョーレート（回転角速度）に応じた信号を出力する。また、ステアリングホイール 16の付近には舵角センサ 36が設けられ、運転者によって操作されたステアリングホイール 16の回転量、即ち、舵角に応じた信号を出力する。

[0020] 車両 12の適宜位置には、同様にマイクロコンピュータを備える制御 ECU (

Electronic Control Unit) 40が設けられる。制御 ECU40は画像処理 ECUおよび前述した各センサの出力を入力し、走行車線に沿って走行するレーンキープアシスト制御あるいは走行車線からの不用意な逸脱を防止する車線逸脱防止制御などに必要な操舵力を演算し、指令値に換算して出力する。制御 ECU40は、 EPS30の動作を制御する EPSECU42に接続される。 EPSECU42も同様にマイクロコンピュータを備え、制御用 ECU40とデータの送受を行い、制御用 ECU40から出力された指令値に基づ、て電動モータ 26を駆動する。

[0021] 図 2は、図 1に示す制御 ECU40の動作を入出力力示すブロック図である。

[0022] 図示の如ぐ制御 ECU40は、カメラ 10と前記した画像処理 ECU (符合 44で示す）力もなる撮像手段の出力およびョーレートセンサ 34などの出力を入力し、レーンキープアシスト制御などの指令値を通信によって EPSECU42に出力し、電動モータ 26 を駆動させる。また、図 1では省略した力車室 12aの運転席近傍にはメータおよびスィッチ（SW)が配置され、制御 ECU40の制御内容はそのメータに表示される。また、運転者による制御の指示はスィッチを介してメータに表示されると共に、制御 EC U40に入力される。

[0023] 図 3は、図 1および図 2に示す装置の動作を示すフロ一 ·チャートである。図示のプログラムは、画像処理 ECU44および制御 ECU40において所定の時間間隔、例えば 33msecごとに実行される。

[0024] 以下説明すると、ステップ S10 (以下、ステップ略す）において、カメラ 10の撮像素子力も撮像信号が出力される。カメラ 10の撮像素子は、縦 nライン X横 m画素力もなる撮影領域を備える。カメラ 10は、工場の製造ラインなどにおいて進行方向の走行路を含む所定の方向にその光軸が調整される。

[0025] 次いで S 12においてフレーム合成、即ち、撮像素子から出力された画像信号を入力して合成する。具体的には、今回の処理周期で入力された撮像信号と、過去の処理周期で入力されて画像処理 ECU44のメモリに記憶されている撮像信号、換言すれば、現在の画像 (フレーム）と過去の画像とを合成する。尚、この実施例の特徴的な点はこのフレーム合成にあるので、後で詳述する。 S 12から S 16までは、画像処理 ECU44内のハードウェア化された画像処理 ICが実行する処理である。

[0026] 次いで S14において周知の微分処理およびそれに続く二値ィ匕処理を含むエッジ検出処理を行い、入力画像から図 4に示すようなエッジ画像を生成し、次いで S16において同じく周知の Hough (ノ、フ）変換により、白線などの走行区分線に相当する直線成分 (図 5に実線で示す)を判別する。

[0027] 次いで、 S18において、図 6に示す如ぐ前記直線成分に沿う複数のエッジ点（エツジ点列。同図に黒丸で示す)を、車線候補（白線候補点列)として検出する。

[0028] 次、で S20にお、て車線候補として複数の候補が存在する場合 (例えば図 6に示すように 3本の点列 a, b, cが存在する場合）、自車 (車両 12)と各車線候補との位置関係から、複数の車線候補の中のいずれの候補が自車 (車両 12)の走行している車線を表しているか判別し、図 7に示す如ぐ自車の走行する車線の位置を推定する。

[0029] 次いで S 22において車両制御を実行する。即ち、推定された車線位置に基づき、前述したようなレーンキープアシスト制御や車線逸脱防止制御などの車両制御の指令値を EPSECU42に出力し、電動モータ 26の駆動を制御する。尚、 S12力 S16 までの処理は画像処置 ECU44内の前述したハードウェア化された画像処理 ICで、 S18および S20の処理は画像処理 ECU44で、 S22以降の処理は制御 ECU40で実行される。

[0030] 図 8は、図 3の S12のフレーム合成 (現時点の取得画像 (撮像信号）と過去の時点で取得されて記憶されてヽた画像 (撮像信号）とのフレーム合成）の処理を示すサブ' ノレ一チン'フロ^ ~ ·チャートである。

[0031] この実施例において特徴的な点は図 8に示すフレーム合成の種々の処理にあるが、最初に同図を参照して概説すると、 S100において、検出された車速によって合成すべき過去フレームを選択する。

[0032] 即ち、現在時刻 (今回処理周期) tに入力された撮影画像（図 9に示す）に合成すベき画像を、前回以前の処理周期ごとに入力されて画像処理 ECU44のメモリに記憶されていた複数の撮影画像の中から選択する。具体的には、車速に応じ、図 10に示すような時刻 t で撮影されて記憶されていた撮影画像を選択する。ここで、 nは離散系のサンプル時刻を意味し、 t は、 n回前に撮影されて入力された撮影画像、即ち、過去の異なる時点に撮影されて記憶された画像を意味する。

[0033] 続いて S102において選択された過去フレームの明るさ補正を行う。即ち、現時点で入力された撮影画像と S100で車速に応じて選択された過去の時点での撮影画像は、撮影時点が異なることから、撮影対象 (路面)の明るさが影の影響などで異なる場合があり、一方の画像の路面部分の明るさが他方の画像の白線などの走行区分線のそれよりも明るいような状態で合成を行うと、合成画像で白線が路面に埋もれてしまう恐れがあることから、それを防止するため、現時点と過去の時点での画像の明るさを一致させるように過去の時点での撮影画像の明るさを現時点での撮影画像の明るさに合わせる処理を行う。尚、その詳細は後述する。

[0034] S104において合成開始位置を設定する。即ち、車両 12の姿勢が積載などの要因によって初期状態 (カメラ 10の光軸調整時)と異なる場合、言い換えれば、静的なピツチング方向の姿勢変化が生じている場合などがあり得る。この姿勢変化によりカメラ 10の撮影領域が上下に変動するため、画像を合成する際にこの変動分を考慮すベく合成開始 (基準)位置を学習して補正する (設定する)。この処理は、走行区分線を認識する場合には路面より上方の領域は通常不要であることから、現時点と過去の時点での地平線位置を合わせることで行う。

[0035] 次いで S 106において水平画素補正を行う。即ち、車線に対する車両 12の姿勢や角度が現時点と過去の時点とで異なる場合があり、そのため撮影時点によって得られる画像がその位置あるいは角度分だけずれる場合が生じ得る。その場合、当然のことながら、そのままの状態で画像を合成すると、走行区分線の水平方向の位置あるいは角度方向がずれてしまう。それを防止するため、現在と過去の時点との車両姿勢の変化に応じた量だけ、過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う。尚、その詳細も後述する。

[0036] 次いで S 108において垂直ライン補正を行う。即ち、現時点と過去の時点における車両 12のピッチング状態が異なることが考えられるため、両時点間の動的なピッチ角変動を画像力得られる地平線位置の変化から求め、画像における垂直 (上下)方向の位置を補正し、図 11に示すような補正された画像を得る。これについても後述する。尚、 S 104で補正したのはピッチングの静的なずれであるのに対し、 S108で補正するのはその動的なずれである。

[0037] 次いで S 110に進み、現時点と補正された過去の時点での撮影画像を合成し、図 1 2に示すように、白線などの走行区分線が、図 9から図 11との対比から明らかなように、両時点の各々の画像上における長さよりも、見掛け上、延長された画像を得る。これで、図 8に示すフレーム合成処理を終了する。

[0038] 以下、この実施例において特徴的な点を順次説明すると、最初に特徴的な点は図 8の S 100で述べたように車速（走行速度）によって合成されるべき過去フレームを選択するようにしたことである。

[0039] 以下それについて説明すると、特許文献 2記載の従来技術においては、現時点の画像に合成されるべき過去の時点の画像は一定時間前の画像である。しかしながら、車速 (走行速度）に応じて車両 12の移動距離が異なり、当然カメラ 10の (撮像素子の）撮影領域も同様に車両 12の進行方向に移動することから、画像上の走行区分線の位置も車両 12の進行につれて移動し、換言すれば、車速が高いほど、撮影される走行区分線の位置も大きく移動することとなる。従って、どの程度の時間間隔をおいて過去の画像を選択して現時点の画像と合成するかによって合成画像における走行区分線の延長される量および割合が異なることとなる。

[0040] ところで、走行区分線としては、白線部分 (彩色部分）とその間のブランク (ァスファルトなどの無彩色部分）とが周期的に繰り返される破線状のものが知られている。この走行区分線の白線部分は耐久性の面でかすれたり、部分的に欠けたりしている場合があり、また工事などの理由で臨時、応急的に白線部分が短く描かれている場合もある。

[0041] また、当然ではあるが、画像認識により走行区分線を認識するということは走行路（自車線)を認識することであり、走行区分線の白線部分の長さが長ヽほど走行区分線の方向を精度良く認識できる訳であるから、前記の白線部分のかすれ、欠けの有無を問わず、白線部分が、見掛け上、延長されるように合成することが好ましい。その点に鑑み、この実施例においては、車速 (走行速度）によって決定される時間間隔をおいて過去に撮影された画像 (過去フレーム）の中から該当する画像を選択するようにした。尚、これは、白線に限るものではなぐ黄線でも同様である。

[0042] 発明者達が実験的に知り得たところでは、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さ（占める割合)が 30%程度以上であれば、走行区分線を精度良く認識して自車の走行路を的確に認識することが可能であった。前述したように、車速に応じて延長される白線部分の長さが変わることから、認識された走行区分線のデータを用いる冒頭に述べたレーンキープアシスト制御や車線逸脱防止制御などの車両制御の制御車速の範囲に応じて撮像周期で何フレーム前を使用すれば良!、かが決定されることとなる。

[0043] 具体的には、撮像周期が 33. 3msecであるので、例えば車速（走行速度）が 60km Zh以上の場合であれば、必要な白線部分の延長量を確保するには、 3フレーム前の画像を用いれば良い。やや白線部分の延長量が不足する力 2フレーム前の画像でも車速が 90kmZh以上であれば良ぐ 60〜90kmZhの車速範囲でも白線部分の延長される量は減少するが、延長される長さが lm以上あり、合計長さに占める白線部分の割合も約 30%に増加するので、走行区分線を精度良く認識して自車の走行路を的確に認識することができる。

[0044] そこで、検出された車速 (走行速度）に応じて決定される時間間隔に相当する周期に撮影された少なくとも 1つの撮影画像を、任意 (現時点）の撮影画像と合成されるべき撮影画像として選択するようにした。尚、車速がある値、例えば 105kmZh、 110k mZhとでヒステリシスを持たせた形で、 2フレーム前、 3フレーム前と合成に使用する画像を切替えるようにしても良ぐあるいは車速が 60kmZh以上であれば、 3フレーム前の画像を使用すれば、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さが 30%以上となるので、 3フレーム前の画像のみを使用するようにしても良い。

[0045] このように、この実施例にぉ、ては、撮影画像の内の任意の撮影画像 (具体的には現時点の画像、より具体的には現在の走行区分線認識処理周期において撮影された画像)の撮影時刻を基準としてその任意の撮影画像に対して検出された車速 (走行速度）に応じて決定される時間間隔をおいて過去に撮影された少なくとも 1つの撮影画像 (より具体的には検出された車速 (走行速度）に応じて決定される時間間隔に相当する周期に撮影された少なくとも 1つの撮影画像)を、その任意の撮影画像と合成されるべき撮影画像として選択するようにしたので、車速の高低に関わらず、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができ、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することがでさる。

[0046] また、検出される走行速度が低いほど、より長い時間間隔をおいて過去に撮影された少なくとも 1つの撮影画像を選択するように構成した。即ち、車速が低くなるほど、車両 12の移動距離が短くなることから、車速が低い場合、合成後の画像において走行区分線の長さの延長量もしくは延長割合が不足しな、ように、より過去の時点で撮影 (入力）されて記憶されていた画像を選択するようにした。他方、車速が高くなるほど、車両 12の移動距離が長くなるので、現時点に近い過去の時点に撮影 (入力）されて記憶されて、た画像を選択することになる。

[0047] また、走行区分線の白線部分 (彩色部分)とブランク (無彩色部分)の合計長さに対する彩色部分の長さが 30%以上となるように、時間間隔をおいて過去に撮影された少なくとも 1つの撮影画像を選択するようにしたので、走行区分線にかすれ、欠けが生じている場合や工事などで長さが短い場合であっても、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。

[0048] また、合成の基準となる画像が現在の走行区分線認識処理周期において撮影された画像であるようにしたので、最新の情報に基づいて画像を合成することができる。また、検出された走行速度に応じて決定される前記時間間隔に相当する周期に撮影された少なくとも 1つの撮影画像を選択するようにしたので、同様に最新の情報に基づ V、て画像を合成することができる。

[0049] この実施例において第 2に特徴的な点は、図 8の S102で述べたように、過去フレームの明るさ補正を行うようにしたことである。

[0050] それについて説明すると、通常、走行区分線の白線部分を精度良く認識するためには、図 13に示すように、カメラ 10による撮影領域の所定の領域 (路面。図 13中の斜線部）の明るさを検知し、検知した明るさに基づいて白線部分が明瞭に検出できるようにシャツタ速度や絞りを調整すると共に、さらに必要に応じて撮像信号の出力ァンプゲイン (増幅率)などの種々の撮影条件を調整して!/、る。

[0051] 尚、この明細書において「明るさ」とは、明度、輝度、濃度、および検出された画像上の明るさに応じて調整されるシャツタ速度、絞りあるいは映像信号の出力アンプゲインなどの撮影条件などを全て含む意味で使用する。

[0052] 通常の走行状態においては路面の明るさは建物などの影があったり、路面が濡れていたり、強い日差しが差していたり、様々な環境の変化の影響により時々刻々変化する。その明るさの違いによらず白線部分を明瞭に検出するため、先のような撮影条件の調整を行って、る訳である。

[0053] ここで、撮影した時点の路面の明るさが異なる場合に現時点と過去の時点との画像を合成することを考える。同一の画像では白線部分がそれ以外の路面 (アスファルト、コンクリート)よりも明るいため、合成するとき、画像上の同一点（同一箇所）において明る、方を白線部分とみなして選択することで合成を行って、る。 [0054] 先に述べたように、検出した明るさに基づいて撮影画像間で明るさが一定となるようにシャツタ速度などを調整しているが、実際に路面に明暗の変化が生じた場合、ハンチングの防止などの理由によりシャツタ速度、絞り、アンプゲインは一気に変更させず、徐々に変更するようにしているため、撮影画像間で明るさが一定とはならず、多少異なることとなり、一方の撮影画像の路面 (アスファルト部分)よりも別の撮影画像の白線部分の方が暗くなつてしまう場合が生じる。

[0055] 図 14は、この実施例における画像の明るさ補正の処理を示す説明図である。尚、同図の右端に a, b, cを付して示す 3種のグラフは、同図の左側の画像での白線部分と路面 (アスファルト)の破線で示された箇所の明るさを簡略的に示した図である。同図 aの上部の注記は、パルス状の波形において突出部が白線部分で、その両側は路面であることを示す。従って、同図 aは、左側の画像 A, Bにおいて Aの白線部分より、 Bの路面の方が明るいことを示す。

[0056] 図 14の Aは過去の時点で撮影されて記憶されている画像であり、 Bは現時点で撮影取得された画像である。画像の明るさは右端のグラフ aに示すように、 Aの画像の白線部分（図中点線部）よりも Bの画像の路面の方が明るくなつている。後述するように、この実施例においては、図 14の A'に示すように、現時点と過去の時点との車両の位置の変化に応じた画像の位置補正を行う。

[0057] この時点では画像の明るさは Aと A，では変化がなぐこの段階で図 14に「補正無」と注記しつつ破線で示すように、両方の画像を合成すると、右端のグラフ aに示す如ぐ画像 Aの白線部分よりも画像 Bの路面 (アスファルト）の方が明るいために画像 Bの路面部分が選択されることとなり、図 14の C'の画像のように画像 A (Α' )の白線部分がなくなった画像となるという不具合が生じてしまう。

[0058] その点に鑑み、この実施例にぉヽては、撮影された撮影画像の明るさを、撮影領域の路面の所定領域（図 13の斜線部）の明るさなどカも検知すると共に、複数の撮影画像の内の 1つの画像を基準として複数の撮影画像において明るさが一致するように補正する。この場合、実際に明るさを検出しても良ぐあるいは簡易的に検出しても良い。具体的には過去の時点と現時点とで撮影した際の撮影条件力両画像の明るさの比を求め、これを用いて両画像の明るさを一致させることで、前記の不具合を解消するようにした。尚、比に代え、明るさの差を用いて合成される撮影画像の明るさを一致させることも可能である。

[0059] 図 15は、図 8の S102の明るさ補正処理のサブ'ルーチン'フロ一'チャートである。

[0060] 以下説明すると、先ず S200, S202において、撮影時の撮影条件であるカメラ 10 のシャツタ速度 SO, Sl、絞り値 10, II、画像信号の増幅率を示すアンプゲイン GO, Glからなる撮影条件を記憶する。シャツタ速度は、検知された撮影画像の明るさ、具体的には撮影手段の撮影領域の内、路面の所定領域 (図 13の斜線部)の明るさを、その部位の画素の濃度などカも検知し、図 16に示す特性に従って設定 (決定)してカメラ 10の撮像素子 (画素）の感度を調整して行う。

[0061] 尚、周知の如ぐ図 16に示すように絞り値を調整することによつても、取り込む光量が変化するので、画像の明るさを調整することができる。また、シャツタ速度と絞りの少なくともいずれかで調整された画像濃度は、周囲環境が暗くて依然調整が不足する場合、アンプゲインによってさらに n倍して明るさを調整することも可能である。その意味で、 S200, S202においては、シャツタ速度に加え、絞り値とアンプゲインも記憶する。

[0062] 次いで S 204において、記憶した各撮影条件に基づいて図示の式により現時点と過去の時点との画像の明るさの比を算出し、 S206において算出された明るさ比を過去の時点の画像の明るさに乗じることにより、過去の時点の画像の明るさを現時点の画像の明るさに一致させる補正を行う。

[0063] より具体的には、シャツタ速度と絞り値の少なくともいずれかに基づいて複数の撮影画像の明るさの比を検知すると共に、複数の撮影画像のそれぞれの撮影時点におけるシャツタ速度と絞り値の内の少なくとも 1つの比および差の少なくともいずれか、詳しくはその両方の比に基づいて明るさを補正するようにした。また、増幅率に基づいても複数の撮影画像の明るさの比を検知するようにした。

[0064] 尚、明るさは、図 13の斜線部に示す路面の所定領域の明るさを、その部位の画素の濃度から検知すると共に、それによつて、設定される複数の撮影画像のそれぞれの撮影時点におけるシャツタ速度と絞り値の内の少なくとも比に基づいて検知された明るさを補正する。 [0065] この結果、図 8の SI 10の処理において、明るさを補正された過去の時点の画像と現時点の画像とが合成される。尚、 S110の処理においては、通常、白線などの走行区分線は周囲のアスファルトなどの路面よりも明るいため、合成においては合成される複数の画像の内、複数の箇所の同一箇所 (任意の箇所）を構成する画素の内、明るさにおいて明るい方、即ち、画素単位で明るい方を選択して合成する。

[0066] この処理により明るさを補正すると、図 14の右端のグラフ bに示すように、過去の時点の画像（図 14の画像 A"の点線部）と現時点の画像（図 14の画像 Bの点線部）の路面の明るさが一致することとなる。この結果、両画像を合成すると、図 14の Cのように路面に白線部分が埋もれることがなぐ白線部分が適切に延長された画像を得ることができる。

[0067] 以上のように、この実施例は、撮影手段によって撮影された撮影画像の明るさを検知し、複数の撮影画像の内の 1つの画像を基準として複数の撮影画像において明るさが一致するように補正すると共に、明るさが補正された後、複数の画像を合成するように構成したので、両画像の明るさを一致させる結果、過去の時点と現時点との一方の画像の路面に他方の画像の白線部分が埋もれてしまうことがなぐ良好に白線部分を延長することが可能となる。よって、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することができる。

[0068] また、合成の基準となる画像が現在の走行区分線認識処理周期の画像であるようにしたので、最新の情報に基づいて明るさを一致させつつ、画像を合成することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。また、路面の所定領域の明るさを検知することで、明るさの検知を共通の尺度で行うことができて走行区分線の認識精度を向上させることができる

[0069] また、複数の撮影画像のそれぞれの撮影時点におけるシャツタ速度と絞り値の内の少なくとも 1つの比および差の少なくともいずれか、さらにはアンプゲイン (増幅率）に基づ、て明るさを検知あるいは補正するようにしたので、明るさの検知ゃ補正が容易となる。複数の画像における同一位置の明るさが一致するように補正するので、一層精度良く明るさをネ ΐ正することができる。 [0070] また、複数の画像の同一箇所を構成する画素の内、明るさにおいて明るい方を選択することにより、複数の撮影画像を合成するように構成したので、合成された画像力も走行区分線を一層精度良く認識することができ、よって自車の走行路を一層的確に認識することができる。

[0071] この実施例において第 3に特徴的な点は図 8の S106および S108で述べたように水平画素補正と垂直ライン補正を行うようにしたことである。

[0072] それについて説明すると、走行区分線に対する車両 12の姿勢 (角度)や走行区分線との水平方向の距離が現時点と過去の時点とでは異なる場合があり、そのため撮影される画像も両時点で水平方向や走行区分線に対する車両 12の角度方向にずれ、当然のことながらそのままの状態で画像を合成すると、走行区分線の水平方向の位置や角度がずれた状態となってしまう。

[0073] これを防止するために現在と過去の時点との車両姿勢の変化に応じた量だけ過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う必要があり、また、現時点と過去の時点における車両 12のピッチング状態が異なることも考えられるため、両時点間のピッチ角変動を画像から得られる地平線位置の変化など力も求め、画像における垂直方向の位置を補正する必要もある。

[0074] その点、特許文献 2記載の従来技術においては、車両のョーレート変化量、即ち、車両の回転 (旋回）運動の有無を検出し、回転運動があればその量に応じた補正を画像に加えているのみで、水平方向の位置の補正が行われず、よって合成画像において走行区分線が適切に延長されない不都合があった。また、特許文献 2記載の技術にあっては、ピッチング変化に対しては考慮していない不都合もあった。

[0075] 図 18はカメラ 10により撮影した、即ち露光した時刻 t から時刻 t を経て時刻 tに

-2 -1 0 至るまでの車両 12の走行区分線 (車線）に対する位置、姿勢 (角度)の変化を示す説明図である。ここで露光時刻 tが現時点であり、時刻 t が過去を、時刻 t は時刻 t

0 -1 -2 0 と t で撮影された画像を合成する際の基準として使用する画像を撮影した時刻であり、時刻 t よりさらに過去の時点の時刻である。

[0076] この実施例においては、図 18の車両 12の左右に位置する走行区分線（車線）を認識し、その中央を基準点とし、それら点の連続である点列とその間を結ぶ線分（図 18 の短破線)を、例えばレーンキープ制御の場合、車両が走行すべきラインとして検出して使用する。尚、図 18の走行区分線は過去の時点の時刻 t で撮影して得られた

-2

ものであるから、点列も時刻 t における点列である。露光時刻 t , t での車両位置

-2 0 - 1

における前記点列と車両位置との距離 (走行区分線と車両 12との間の距離)を L , L

0

、点列を結ぶ線分と車両 12の向きとのなす角度（走行区分線に対する車両 12の前後方向角度）を 0 , Θ

0 1としている。

[0077] 過去の時点である露光時刻 t に撮影して記憶された画像を現時点、即ち、露光時刻 tで撮影された画像に合成するため、露光時刻 t で取得された走行区分線 (車

0 -2

線)、点列及び線分を基準として前記の距離 L , L、角度 0 , Θ を求め、 Lとし、

0 1 0 1 0 1

Θ と 0 との差を各々求め、時刻 tと t との間での走行区分線に対する車両 12の相

0 1 0 - 1

対位置や角度の変化に伴う撮影画像の変化を補正した上で両時刻の画像を合成するよつにした。

[0078] 図 19は、図 8の S106の水平画素補正処理のサブ'ルーチン'フロ一'チャートである。

[0079] 同図は、露光時刻 tと t との横方向の位置の偏差 (現在時刻 tに対する過去（時

0 -1 0

刻 t_ )の横方向車両移動量） A および走行区分線もしくはその中間の基準ラインに対する角度 (現在時刻 tに対する過去（時刻 t )の角度変化量） Δ Θを求め、それ

0 -1

ら力画像上での水平方向の画素位置の補正量を求める処理フローである。

[0080] 詳細は後述する力 S300において A L、 Δ Θを求め、 S302においてそれら A L、

Δ Θ力も画像平面上における合成する際の画素の位置の補正量を求め、合成前のハードウェア処理として行われるカメラ座標系（u, V)と実平面の座標系（X, Y)との対応付けを行う。この S302の処理については詳細を後述する。

[0081] 図 20は、図 8の S108の垂直ライン補正処理のサブ'ルーチン 'フ口一'チャートである。

[0082] 先ず S400において露光時刻 tと t とのピッチ方向の変化量 Δ 0 pitを求め、 S40

0 -1

2においてその値に基づいて画像面上での垂直合成ライン位置の補正量を求め、合成前のハードウェア処理として行われるカメラ座標系（U, V)と実平面の座標系（X, Y)との対応付けを行う。 [0083] 図 21は図 19の S300の処理のサブ ·ルーチン 'フ口一'チャートであり、図 22および図 23はその説明図である。

[0084] 図 21から図 23を参照して説明する。図 22において、軌跡推定の座標軸は、過去のある時刻における車両の進行方向中心軸（車両中心軸）を X軸として設定された座標軸である。この座標系において露光時刻 t における車両位置を基準として露光

-2

時刻 t での車両の位置の横方向の変化量を求めるため、時刻 t での車両（中心）

- 1 -2

位置を原点 (X, y) = (0, 0)、車両中心軸方向を X軸とする検出結果座標系 X, yを考える。

[0085] 車輪速センサ 32、ョーレートセンサ 34の出力から求めた露光時刻 tと t との間の

0 -1 車両の推定軌跡を用いて露光時刻 t の車両 12の位置、向きを時刻 t を基準とし

- 1 -2

た y座標系上に変換する。このとき、検出結果座標系 x、 y上での露光時刻 t での車両 12の位置の座標は、（X, y)である。図 21の S500の（1)で、露光時刻 t_での車両の位置の座標（X, y)を求める。

[0086] また、 S500の（2)では、図 22に示すように、座標（x, y)の真横、座標 x上であって露光時刻 t で求めた点列 1, P , P の内、露光時刻 t で車両が位置する点列 P

-2 k k+ 1 - 1 k

, Ρ とを結ぶ直線上の点 (X, y )と先の座標 (X, y)との間の距離 L を y — yにより k+1 p -1 求める。

[0087] 同様に S500の（3)で、露光時刻 t を基準として露光時刻 tにおける車両位置と

-2 0

点列間を結ぶ直線との間の距離 Lを求める。尚、図 22においては簡略ィ匕のため露

0

光時刻 tでの車両位置、点列 P などは省略した。

0 k+2

[0088] そして S500の（4)で、 L L から露光時刻 tと t との横方向位置の偏差 A Lを

0 - 1 0 -1

求める。当然の事ながら、両露光時刻での車両位置によって A Lには正負が生じる。

[0089] 続いて、露光時刻 tと t との間の基準ライン、即ち点列およびそれらを結ぶ直線に

0 -1

対する車両の角度の変化量 Δ Θを求める。

[0090] 先ず、図 21の S502の（1)で、図 23のように露光時刻 t 、時刻 tでの軌跡推定値

-1 0

の差力も図 22で示した軌跡推定座標系における角度差を求めることができる。即ち、軌跡推定座標における露光時刻 tでの軌跡推定値を 0 、露光時刻 t での軌跡推

0 0 -1

定値を 0 とすると角度差は 0 - Θ で求められる。 [0091] さらに、露光時刻 t で求められ露光時刻 tと t の両時刻で車両が位置する点列

-2 0 - 1

P , P , P 間を結ぶ直線が異なり、それらの直線が一直線でなければ、図 23のよ i i + 1 i + 2

うにそれら直線のなす角度 Θ Rを求める必要がある。当然、直線が一直線であるか、両時刻での車両位置が同一直線の範囲内であれば角度差 Θ =0である。

R

[0092] 図 21の S502の（2)で、露光時刻 t で撮影して検出された点列を用い、露光時刻

- 2

t 、 tにおいて車両が位置する直線の角度差 Θ を求める。そして S502の（3)で角

- 1 0 R

度の変化量 Δ 0を Δ 0 = 0 — 0 — Θ で求める。

0 - 1 R

[0093] 図 24は図 19の S302の処理を示すサブ ·ルーチン 'フ口一 ·チャートであり、図 25 および図 26はその説明図である。

[0094] 先に図 21および図 22で求めた基準ラインに対する位置の変化量 A L、角度の変化量 Δ Θを基に、時刻 t と tとの車両の関係を簡略ィ匕して示したものが図 25である

- 1 0

。実平面座標系での車両の進行方向における距離、即ち、 Xと、ある Xでの横方向の距離 Yとの関係は A L, Δ 0から

y=x-tan A Θ + A L

となる。

[0095] この式から図 24の S600では距離 X= 5m、 X= 30mにおける実平面上での水平方向の合成時に要する補正距離 Y5m、 Y30mを求める。ここで 5m、 30mは一例であり、カメラの撮像領域の広さ等力適宜設定することが可能である。

[0096] 次!、で S602にお!/、て実平面上での距離 X= 5m、 X= 30mに対応する画像面上でのライン位置 V5m、 V30mを求める。図 26に画像面の座標系を示す。実平面での距離方向の X軸に対応するの力軸であり、鉛直方向上方を原点とし、横もしくは水平方向の Y軸に対応するのが U軸となっている。このライン位置 V5m、 V30mは図 8 の S 104で説明したピッチ方向の変動を学習した補正値を考慮した上で求められている。

[0097] 次!、で S604にお!/、て S600で求めた補正距離 Y5m、 Y30mに対応する画像面上の横方向の画素位置 U5m、 U30mを求める。

[0098] 次いで S606において求められた画像面上の座標（U5m, V5m)と（U30m, V30 m)の 2点を通る直線を求める。そしてこの実施例では、画像面上の V軸上の 6点 χθ, xl, · ··, x6がこの直線上となるように、異なる時刻の画像を合成するときの合成位置設定を行う。即ち、時刻 t と tにおける実平面上の基準ラインに対する位置、角度の

- 1 0

変化を補正するべぐ実平面上での時刻 t の車両の位置および角度を示す直線（基準として X軸と一致している）を図 25に示した時刻 tの位置および角度を示す直線

0

と一致させることとなる。尚、この合成位置設定は前述のハードウェア化された画像処理 IC内で処理されるので、高速処理が可能となって!/、る。

[0099] 図 27および図 28は、この実施例の位置補正の処理を加えた画像合成の画像ィメージと、位置補正をカ卩えな、場合の画像合成の画像イメージを示す図である。

[0100] 図 27のように走行区分線に対する車両の横方向位置、角度の補正を加えると、同図の画像 Cのように走行区分線が延長された形となるのに対し、補正を加えない場合には図 28のように過去および現在の時点で撮影された走行区分線がずれた形で合成され、走行区分線が延長されていないことが分力る。

[0101] この実施例は、複数の撮影画像における走行区分線に対する車両 12の前後方向角度 Θおよび走行区分線と車両 12との間の距離 Lを求め、複数の撮影画像間での角度および距離のそれぞれの差（Δ Θ , A L)を検知し、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、複数の画像を合成するようにしたので、合成画像において、走行区分線を見掛け上、確実に延長することができる。

[0102] また、複数の撮影画像の撮影時点 t と tの車両 12のピッチ角を検出して撮影画

- 1 0

像間のピッチ角の差（Δ Θ pit)を検知し、検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、走行区分線を見掛け上、一層確実に延長することができる。

[0103] 尚、上記に代え、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成するようにしても良い。即ち、上記のように画像自体を移動させる代わりに、合成位置 (重ね合わせ位置)を調整して合成しても良、。

[0104] 図 27を参照して説明すると、過去取得画像 Aと現在取得画像 Bのいずれか一方の画像自体を前述した両時刻間での横方向位置と角度の変化分ずらして他方の画像に重ね合わせて合成すれば、前述の補正と同様の結果が得られることになる。即ち、横方向位置の補正について考えれば、図 27の画像 Aの p点に横方向位置の補正量だけ p点から横方向にずれた画像 Bの q点が重なるようにすれば良、。図 27では両時刻間の角度の変化はほとんどないが、角度変化がある場合には角度変化量に応じて画像を回転させた上で合成すれば良い。さらにピッチ角の差がある場合にも、図 27の上下方向に差に応じた量だけ一方の画像をずらして合成すれば良、。このようにすることで、前記の画像を補正するものと同様の効果を得ることができる。

[0105] この実施例において第 4に特徴的な点は、図 8の S110の合成処理において、エツジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたことである。

[0106] それについて説明すると、図 29はエッジ検出処理を行う前において、換言すれば原画像の段階で現時点と過去の時点との画像を合成した場合の画像を、図 30は特許文献 2記載の従来技術のようにエッジ検出処理を行った後の、所謂、エッジ画像の状態で現時点と過去の時点との合成を行った場合の画像を示している。

[0107] 図 30の従来技術の処理では、その画像 A, Bのように画像上で自車から遠方の走行区分線の長さが短い、即ち、画像上での大きさが小さいため、現時点と過去の時点の画像を別々にエッジ検出処理した場合、エッジとして認識されず、結果として図 30の画像 a, bのように、エッジ画像上の遠方においては破線で囲んで示すように何もない状態となってしまう。

[0108] 続、て車両姿勢変化に基づく位置補正処理を行、、図 30の画像 a'に示す位置補正画像を得、続いて現時点と過去の時点とのエッジ画像を合成しても、図 30の画像 Dの破線で囲んだ領域のように原画像に見られる遠方の走行区分線に対応するエツジはないものとなる。

[0109] これに対し、図 29に示すように、過去の時点の画像（図 29の画像 A)を車両姿勢変化に基づく位置補正（図 29の画像 A' )および画像の明るさ補正（図 29の画像 A")を行、、エッジ検出処理を行う前の原画像の段階で現時点と過去の時点の画像を合成すると、各々の原画像上では短い遠方の走行区分線が図 29の画像 Cのように延長されて長くなり、その後にエッジ検出処理を行っても、図 29の画像 Dに実線で囲んだようにエッジとして検出されることとなる。

[0110] このように、この実施例においては、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階で、より具体的にはエツジ検出前に前記撮影画像を合成する如く構成したので、即ち、エッジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたので、遠方の走行区分線も的確に検出することができ、よって走行区分線を見掛け上、延長することができ、認識精度を向上させることができる。

[0111] 尚、エッジ検出処理前としたが、撮影した原画像上の走行区分線の形状、外形が残っている状態であれば良ぐ先に述べたように、通常、エッジ検出処理は微分処理、二値化処理、エッジ検出から構成されることから、エッジ検出処理前、つまり、微分処理前でなくても二値化処理前で合成すれば本発明の効果は得られる。

[0112] 尚、この発明を、エッジ検出処理、ハフ（Hough)変換による走行区分線認識を例に説明したが、この発明はそれに限られるものではなぐ他の手法、例えば、図 31に示す、あるいは特開平 8— 297728号公報に記載されるようなパターンマッチングを用いる手法に対しても走行区分線部分が延長されることにより、より精度良くパターンマツチングが可能となり有効である。図 32にそのパターン例を示す。

[0113] 即ち、走行区分線が車載のカメラにより撮影された画像における形状のパターンを図 32に示すような複数のテンプレートとして予め設定しておき、これを撮影画像に図 31の中央の図のように順に当てはめていき、画像とテンプレートとの一致度を求め、図 31の下図のように一致度の分布力も最も一致度が高い点がなすラインを走行区分線とするなどの手法が知られており、このようなパターンマッチングにおいても本発明により走行区分線が延長され、走行区分線の認識精度をより向上させることができる

[0114] また、この実施例においては、 S 100の処理において、合成されるべき画像の数は 2枚とした力必要に応じてそれ以上の複数枚としても良い。さらに、この実施例においては周期的に撮影される画像の内から車速に応じて選択するようにしたが、撮影手段を 2個以上設けるなどして、共通する同一の周期で撮影されていない画像の内から車速に応じて選択するようにしても良、。 [0115] また、 S108の補正において、画像力も得られる地平線の変化に代え、車両 12の適宜位置にピッチ角センサを配置してその出力力も動的なずれを求めて補正しても良い。

[0116] また、カメラ 10は車両前方の路面を含む領域を撮影するように構成した力車両 12 が前進走行してヽるときの車両後方の路面を含む領域を撮影する撮影手段 (カメラ）を設けるように構成し、その撮影手段が撮影した撮影画像カゝら車両後方の走行区分線を認識するものでも良いことはいうまでもない。従って、この明細書で「車両の進行方向」とは、車両の前後方向を示す意味で使用する。

[0117] この実施例は上記の如ぐ車両 12の進行方向の路面を含む領域を撮影する撮影手段 (カメラ 10、画像処理 ECU44)と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段（画像処理 ECU44, S12から S16)と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段 (画像処理 ECU44, S12)とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記撮影画像中の少なくとも前記走行区分線の形状に変化を与えな Vヽ処理段階 (S 12)で前記撮影画像を合成する如く構成した。

[0118] また、車両 12の進行方向の路面を含む領域を撮影する撮影手段 (カメラ 10、画像処理 ECU44)と、前記撮影手段によって撮影された撮影画像中のエッジを検出し、検出したエッジに対してハフ変換を行うことで前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段 (画像処理 ECU44, S12から S16)と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段 (画像処理 ECU44, S12)とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記エッジ検出（S14)前に前記撮影画像を合成する如く構成した。

産業上の利用可能性

[0119] この発明によれば、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階で撮影画像を合成する如く構成したので、遠方の走行区分線も的確に検出でき、よって走行区分線を見掛け上、延長でき、認識精度を向上させられる車両用走行区分線認識装置を提供できる。また、走行区分線にかすれ、欠けが生じて、る場合や工事などによっては長さが短、場合があるが、そのような場合にも走行区分線を精度良く認識でき、また、通常路面に描かれている点線 (破線)状の走行区分線をそのまま認識するよりも、走行区分線の長さが延長されることにより、走行区分線の方向をより高精度に認識でき、結果として更に精度良く走行区分線を認識できる車両用走行区分線認識装置を提供できる。

Claims

請求の範囲

[1] 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記撮影画像中の少なくとも前記走行区分線の形状に変化を与えない処理段階で前記撮影画像を合成することを特徴とする車両用走行区分線認識装置。

[2] 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中のエッジを検出し、検出したエッジに対してハフ変換を行うことで前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段は、前記区分線認識手段による前記走行区分線の認識処理における前記エッジ検出前に前記撮影画像を合成することを特徴とする車両用走行区分線認識装置。