JP3660308B2 - 車両の走行区分線認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラにより撮影して得た画像から道路上の走行区分線を認識する車両の走行区分線認識装置に関する。
【０００２】
【従来の技術】
従来、例えば特開平１１−１６７６３６号公報に開示された車両用ライン検出装置のように、車両前方および車両側方の道路を撮影する車載カメラから得られた画像を画像処理することによって、道路上のライン（走行区分線：白線）を検出して、車両の操舵角等の制御に利用する車両用ライン検出装置が知られている。
また、例えば特開平１１−１７５７０２号公報に開示された車両用ライン検出装置のように、車載カメラを露出量の異なる２系統に分割して、撮影状況（例えば、晴天時や雲天時での撮影、トンネル内での撮影等）に応じて、これらの２系統から得られる画像のうち、何れか一方の画像を選択して道路上のライン（走行区分線：白線）を検出する車両用ライン検出装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術に係る車両用ライン検出装置においては、車載カメラによって撮影して得た画像内において道路上のラインを検出しているだけであるから、車載カメラの撮影可能範囲を超える領域では道路上のラインを認識することができず、特に、車両の現在位置近傍における道路上のラインとの相対的な位置関係を精度良く把握することができず、車両の操舵角等を適切に制御することができなくなる虞がある。
しかも、画像内における道路上のラインの抽出が困難な場合には、車両の走行状態に応じて警報を出力する警報装置や、車両の操舵制御装置等の動作を一時停止する必要があるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、道路上の走行区分線（白線）の検出精度を向上させることが可能な車両の走行区分線認識装置を提供することを目的としている。
【０００４】
【課題を解決するための手段】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両の走行区分線認識装置は、車両に設けられ車両前方の所定領域（例えば、後述する実施の形態における撮影領域Ａ）を撮影する前方撮影カメラ（例えば、後述する実施の形態における前方カメラ２６）と、該前方撮影カメラの撮影画像内の走行区分線を認識する前方区分線認識手段（例えば、後述する実施の形態における白線抽出部４１ａ）と、前記車両の運転状態を検知する運転状態検知手段（例えば、後述する実施の形態におけるヨーレートセンサ２１、車速センサ２２）と、前記運転状態検知手段にて検知した前記運転状態を記憶する記憶手段（例えば、後述する実施の形態における慣性航法データ記憶部４６）と、前記記憶手段にて記憶した前記運転状態および前記前方区分線認識手段にて認識した前方区分線（例えば、後述する実施の形態における前方データＦ）に基づいて前記所定領域の後方の走行区分線（例えば、後述する実施の形態における慣性航法データＫ）を推定する区分線推定手段（例えば、後述する実施の形態における近似曲線算出部４７）と、車両に設けられ車両後方の所定領域（例えば、後述する実施の形態における撮影領域Ｂ）を撮影する後方撮影カメラ（例えば、後述する実施の形態における後方カメラ２７）と、該後方撮影カメラの撮影画像内の走行区分線を認識する後方区分線認識手段（例えば、後述する実施の形態における白線抽出部４１ｂ）と、該後方区分線認識手段にて認識した後方区分線（例えば、後述する実施の形態における後方データＲ）と、前記区分線推定手段にて推定した前記走行区分線とに基づいて走行区分線を推定する第２の区分線推定手段（例えば、後述する実施の形態における近似曲線算出部４７が兼ねる）とを備えることを特徴としている。
【０００５】
上記構成の車両の走行区分線認識装置によれば、運転状態検知手段にて検知した車両の運転状態と、前方区分線認識手段にて認識した車両前方の前方区分線とに基づいて、この前方区分線よりも後方の走行区分線、つまり前方撮影カメラの撮影可能範囲外であって車両の現在位置近傍における走行区分線を推定することができる。すなわち、例えば車両のヨーレートや速度等の変化に関する情報に基づいて車両の走行軌跡の情報を算出することができ、この走行軌跡の情報から前方区分線よりも後方の走行区分線を逆算することができる。
これにより、特に、車両の現在位置近傍における走行区分線と車両との相対的な位置関係を精度良く把握することができる。
【０００７】
上記構成の車両の走行区分線認識装置によれば、例えば、前方区分線認識手段にて認識した前方区分線のデータと、区分線推定手段にて推定した走行区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を精度良く算出することができる。
【０００９】
上記構成の車両の走行区分線認識装置によれば、例えば、後方区分線認識手段にて認識した後方区分線のデータと、区分線推定手段にて推定した走行区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を精度良く算出することができる。
【００１１】
上記構成の車両の走行区分線認識装置によれば、例えば、前方区分線認識手段にて認識した前方区分線のデータと、後方区分線認識手段にて認識した後方区分線のデータと、区分線推定手段にて推定した走行区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を、より一層、精度良く算出することができる。
【００１２】
さらに、請求項２に記載の本発明の車両の走行区分線認識装置では、前記区分線推定手段は前記後方撮影カメラが撮影する前記所定領域より前方の走行区分線を推定することを特徴としている。
【００１３】
上記構成の車両の走行区分線認識装置によれば、運転状態検知手段にて検知し、記憶手段に記憶した過去の車両の運転状態と、後方区分線認識手段にて認識した車両後方の後方区分線とに基づいて、この後方区分線よりも前方の走行区分線を推定することができる。
すなわち、後方撮影カメラの撮影可能範囲外であって車両の現在位置近傍における走行区分線を推定したり、さらに、この推定した走行区分線と、後方区分線とに基づいて、例えば前方撮影カメラによる前方区分線に相当する位置での走行区分線を推定することができる。
これにより、例えば前方撮影カメラや前方区分線認識手段による前方区分線の認識が困難な場合であっても、車両前方の走行区分線を推定することができる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態に係る車両の走行区分線認識装置について添付図面を参照しながら説明する。図１は本発明の一実施形態に係る車両の走行区分線認識装置４０を備えた車両用操舵システム１０の機能ブロック図であり、図２は本発明の一実施形態に係る車両の走行区分線認識装置４０の機能ブロック図であり、図３は前方カメラ２６の撮影領域Ａおよび後方カメラ２７の撮影領域Ｂと、各カメラ２６，２７の視野角外の領域Ｃとを示す図であり、図４は車両の位置と慣性航法データとの位置関係を示す図であり、図５は前方データＦおよび後方データＲおよび慣性航法データＫを合成して示す図であり、図６は前方データＦおよび後方データＲおよび慣性航法データＫに対する近似曲線Ｌを示す図である。
【００１５】
図１および図２に示すように、車両用操舵システム１０は、ＥＣＵ（電子制御ユニット）１１と、車両状態センシング部１２と、車両スイッチ部１３と、撮影部１４と、出力部１５と、ＥＰＳ１６とを備えて構成されている。
車両状態センシング部１２は、例えば、ヨーレートセンサ２１と、車速センサ２２と、舵角センサ２３とを備えて構成されている。
ヨーレートセンサ２１は、車両重心の鉛直（重力）軸回りのヨーレート（回転角速度）を検出する。
車速センサ２２は、例えば、車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり車両の速度を検出する。
舵角センサ２３は、例えばステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。
【００１６】
車両スイッチ部１３は、例えば、ターンシグナルＳＷ２４と、メインＳＷ２５とを備えて構成されている。
ターンシグナルＳＷ２４は、ターンシグナルのＯＮ／ＯＦＦを通知する信号を出力する。
メインＳＷ２５は、例えば後述するＬＫＡＳ制御装置３１等の作動／停止を通知する信号を出力する。
【００１７】
撮影部１４は、例えば、前方カメラ２６と、後方カメラ２７とを備えて構成されている。
前方カメラ２６および後方カメラ２７は、例えば、ＣＭＯＳ等のＣＣＤカメラであって、前方カメラ２６は車両のフロントウィンドウの内側にルームミラーと一体に設けられており、車両前方の所定領域における走行区分線を撮影する。
また、後方カメラ２７は、例えば車両のリアウィンドウの内側に設けられており、車両後方の所定領域における走行区分線を撮影する。
【００１８】
出力部１５は、例えば、作動表示部２８と、逸脱警報部２９とを備えて構成されている。
作動表示部２８は、ＥＣＵ１１における各種制御、例えば後述するＬＫＡＳ制御装置３１等の作動状態を表示する。
逸脱警報部２９は、例えば所定の走行領域から車両が逸脱したことを通知する警報信号を、音声や表示等により出力する。
【００１９】
ＥＣＵ１１は、走行区分線認識処理装置３０と、ＬＫＡＳ（lane keeping assistance system）制御装置３１と、ＥＰＳ（electric power steering system）制御装置３２とを備えて構成されており、車両状態センシング部１２から出力される各検出信号と、車両スイッチ部１３から出力される各スイッチ信号と、撮影部１４から出力される画像信号とが入力されており、出力部１５に各種の表示や警報等からなる出力信号を出力すると共に、ＥＰＳ１６に駆動信号（例えば、制御電流等）を出力する。
ＬＫＡＳ制御装置３１は、後述する走行区分線認識処理装置３０にて認識された走行区分線の情報に基づいて、車両が所定の走行領域内を走行するように操舵トルクをアシストするアシストトルクを算出すると共に、車両が所定の走行領域内から逸脱した場合には警報を出力するように指示する。
ＥＰＳ制御装置３２は、ＬＫＡＳ制御装置３１にて算出されたアシストトルクを、モータ（図示略）を備えたＥＰＳ１６に発生させるための電流指令値を生成してモータの駆動回路（図示略）に入力する。これにより、モータの駆動回路は電流指令値に応じた制御電流をモータに供給する。
【００２０】
本発明の一実施形態に係る車両の走行区分線認識装置４０は、図２に示すように、前方カメラ２６と、後方カメラ２７と、ヨーレートセンサ２１と、車速センサ２２と、走行区分線認識処理装置３０とを備えて構成されている。
走行区分線認識処理装置３０は、白線抽出部４１ａ，４１ｂと、座標変換部４２ａ，４２ｂと、データ記憶部４３と、慣性航法部４４と、慣性航法座標変換部４５と、慣性航法データ記憶部４６と、近似曲線算出部４７とを備えて構成されている。
【００２１】
各白線抽出部４１ａ，４１ｂは、前方カメラ２６および後方カメラ２７にて撮影して得た画像データに対して二値化処理を行い、画像データを構成する画素の明暗に応じたエッジ抽出により白線（走行区分線）の輪郭点列を抽出する。そして、Ｈｏｕｇｈ変換により輪郭点列を直線で認識して白線候補（走行区分線のデータ）を検出する。
各座標系変換部４２ａ，４２ｂは、各白線抽出部４１ａ，４１ｂにて抽出した走行区分線のデータを、カメラ座標系でのデータから平面座標系でのデータに変換する。これらの、座標系変換後の各走行区分線のデータ（前方データＦおよび後方データＲ）は、後述する近似曲線算出部４７に入力されると共に、座標系変換後のデータは、さらに座標系変換部４２ａ，４２ｂからデータ記憶部４３に格納される。
【００２２】
慣性航法部４４は、ヨーレートセンサ２１にて検出した車両の角速度および車速センサ２２にて検出した車両の速度に基づいて、所定の単位処理時間毎における車両の移動距離および移動方向および車両向きの各変化を算出する。
慣性航法座標変換部４５は、慣性航法部４４にて算出した車両の移動距離および移動方向および車両向きの各変化に基づいて、例えば図３に示すように、前方カメラ２６の撮影領域Ａおよび後方カメラ２７の撮影領域Ｂの領域外、つまり各カメラ２６，２７の視野角外であって車両近傍の領域Ｃにおける走行区分線を算出し、慣性航法データＫとして慣性航法データ記憶部４６に格納する。
【００２３】
すなわち慣性航法座標変換部４５は、後述するように、データ記憶部４３に記憶した車両前方の走行区分線のデータ（前方データＦ）と、過去に慣性航法座標変換部４５にて算出し、慣性航法データ記憶部４６に格納した慣性航法データＫとを読み込み、前方データＦの一部（例えば、図４に示す２本の走行区分線の各々に対応し、車両に対して最も手前側に位置するデータａ１，ｂ１）と、慣性航法データＫ（例えば、図４に示すデータａ２，…，ａｎおよびｂ２，…，ｂｎ）とを、慣性航法部４４にて算出した車両の移動距離および移動方向および車両向きの各変化に基づいて合成して、領域Ｃにおける走行区分線のデータを推定する。そして、この推定により得られた走行区分線のデータを、新たな慣性航法データＫとして慣性航法データ記憶部４６に記憶する。
このとき、後述するように、過去に算出した慣性航法データＫに対して車両の相対位置は変位しているため、慣性航法部４４にて算出した車両の移動距離および移動方向および車両向きの各変化に対する情報に基づいて、この車両位置の変位を考慮した座標変換を行う。
【００２４】
近似曲線算出部４７は、例えば図５に示すように、前方カメラ２６に対する座標系変換後の走行区分線の前方データＦと、後方カメラ２７に対する座標系変換後の走行区分線の後方データＲと、慣性航法データ記憶部４６に記憶した慣性航法データＫとを同一座標上に合成し、例えば図６に示すように、合成されたデータに対して最小二乗法等を適用して近似曲線Ｌを算出する。
【００２５】
本実施の形態による車両の走行区分線認識装置４０は上記構成を備えており、次に、この車両の走行区分線認識装置４０の動作について添付図面を参照しながら説明する。
図７は車両の走行区分線認識装置４０の動作を示すフローチャートである。
【００２６】
先ず、図７に示すステップＳ０１において、車両の走行区分線認識装置４０は、ヨーレートセンサ２１にて検出した車両の角速度および車速センサ２２にて検出した車両の速度の各検出信号と、前方カメラ２６および後方カメラ２７により撮影して得た各画像データとを受信する。
次に、ステップＳ０２において、受信した各画像データに対して画像処理を行い、車両前方の撮影領域Ａおよび車両後方の撮影領域Ｂにおける各走行区分線（白線）を抽出する。
次に、ステップＳ０３において、抽出した各走行区分線のデータに対して、３次元のカメラ座標系から２次元の平面座標系への座標変換を行う。
次に、ステップＳ０４において、車両前方の撮影領域Ａに対して抽出した走行区分線のデータをデータ記憶部４３に記憶する。
【００２７】
次に、ステップＳ０５においては、ヨーレートセンサ２１にて検出した車両の角速度（ヨーレートデータ）および車速センサ２２にて検出した車両の速度（車速データ）に基づいて、所定の単位処理時間毎における車両の移動距離および移動方向および車両向きの各変化を算出する。
次に、ステップＳ０６においては、ステップＳ０３にて座標変換を行った後の車両前方の撮影領域Ａにおける走行区分線のデータ（例えば、車両に対して最も手前の位置でのデータａ１，ｂ１）と、慣性航法データ記憶部４６に記憶した過去の慣性航法データ（例えば、前回の処理において算出したデータａ２，…，ａｎおよびｂ２，…，ｂｎ）とを合成する。この合成によって得られるデータは、例えば図４に示すように、前回の一連の処理における車両の位置座標Ｐｆを原点とし、かつ、前回の処理における車両向きＱｆをＹ軸とした座標上のデータとなる。
【００２８】
そして、ステップＳ０７においては、ステップＳ０６での合成によって得られたデータの各座標値から、慣性航法部４４にて算出した車両の移動距離および移動方向の各変化に基づく座標上の変位量を減算する。これにより、例えば図５に示すように、車両の現在位置座標Ｐｎが座標上の原点となるような座標変換が行われる。
次に、ステップＳ０８においては、ステップＳ０７での座標変換によって得られたデータの各座標値に対して、慣性航法部４４にて算出した車両向きの変化に基づく座標上の回転角θによって回転変換を行う。これにより、例えば図５に示すように、現在の車両向きＱｎがＹ軸となるような座標変換が行われる。
【００２９】
そして、ステップＳ０９においては、ステップＳ０７での座標変換によって得られたデータを慣性航法データＫとして慣性航法データ記憶部４６に記憶する。次に、ステップＳ１０においては、例えば図６に示すように、ステップＳ０３にて座標系変換後の車両前方の走行区分線のデータ（前方データＦ）と、車両後方の走行区分線のデータ（後方データＲ）と、ステップＳ０９にて記憶した慣性航法データＫとを同一座標上に合成する。そして、例えば図６に示すように、合成されたデータに対して最小二乗法等を適用して近似曲線Ｌを算出して、一連の処理を終了する。
【００３０】
上述したように、本実施の形態による車両の走行区分線認識装置４０によれば、前方カメラ２６および後方カメラ２７により撮影して得られる車両前方および車両後方の各走行区分線のデータ（前方データＦおよび後方データＲ）と、車両の運転状態に基づいて推定した車両の現在位置近傍における走行区分線のデータ（慣性航法データＫ）とを合成して得た合成データに対して近似曲線を算出して、この近似曲線を走行区分線として設定するため、走行区分線の認識処理における精度を向上させることができる。
【００３１】
なお、本実施の形態においては、慣性航法座標変換部４５は、データ記憶部４３に記憶した車両前方の走行区分線のデータのうち、車両に対して最も手前の位置でのデータａ１，ｂ１と、過去の慣性航法データａ２，…，ａｎおよびｂ２，…，ｂｎとを合成するとしたが、これに限定されず、例えば車両前方の走行区分線のデータのうち、車両近傍の一部のデータあるいは全てのデータと、過去の慣性航法データａ２，…，ａｎおよびｂ２，…，ｂｎとを合成しても良い。
さらには、データ記憶部４３に記憶した車両後方の走行区分線のデータ（後方データＲ）を用い、慣性航法座標変換部４５において、後方データＲの一部または全てのデータと、慣性航法データＫ（例えば、図５に示すデータａ２，…，ａｎおよびｂ２，…，ｂｎ）とを、慣性航法部４４にて算出した車両の移動距離および移動方向および車両向きの各変化に基づいて合成して、領域Ｃにおける走行区分線のデータを推定しても良い。
【００３２】
また、本実施の形態において、近似曲線算出部４７は、前方データＦと後方データＲと、慣性航法データＫとを合成して得た合成データに対して近似曲線Ｌを算出するとしたが、これに限定されず、例えば慣性航法データＫのみから近似曲線Ｌを算出しても良いし、前方データＦと慣性航法データＫとを合成して得た合成データ、あるいは、後方データＲと慣性航法データＫとを合成して得た合成データから近似曲線Ｌを算出しても良い。
【００３３】
【発明の効果】
以上説明したように、請求項１に記載の本発明の車両の走行区分線認識装置によれば、前方撮影カメラにより得られた前方区分線よりも後方の走行区分線を推定することで、前方撮影カメラの撮影可能範囲外であって車両の現在位置近傍においても、走行区分線と車両との相対的な位置関係を精度良く把握することができる。
さらに、車両の現在位置近傍において推定した走行区分線のデータと、前方区分線認識手段にて認識した前方区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を精度良く算出することができる。
【００３４】
さらに、車両の現在位置近傍において推定した走行区分線のデータと、後方区分線認識手段にて認識した後方区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を精度良く算出することができる。
さらに、車両の現在位置近傍において推定した走行区分線のデータと、前方区分線認識手段にて認識した前方区分線のデータと、後方区分線認識手段にて認識した後方区分線のデータとを合成して得た合成データに対して、最小二乗法等を適用して近似曲線を算出することで、走行区分線を、より一層、精度良く算出することができる。
さらに、請求項２に記載の本発明の車両の走行区分線認識装置によれば、例えば前方撮影カメラや前方区分線認識手段による前方区分線の認識が困難な場合であっても、車両前方の走行区分線を推定することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係る車両の走行区分線認識装置を備えた車両用操舵システムの機能ブロック図である。
【図２】 本発明の一実施形態に係る車両の走行区分線認識装置の機能ブロック図である。
【図３】 前方カメラの撮影領域Ａおよび後方カメラの撮影領域Ｂと、各カメラの視野角外の領域Ｃとを示す図である。
【図４】 車両の位置と慣性航法データとの位置関係を示す図である。
【図５】 前方データＦおよび後方データＲおよび慣性航法データＫを合成して示す図である。
【図６】 前方データＦおよび後方データＲおよび慣性航法データＫに対する近似曲線Ｌを示す図である。
【図７】 車両の走行区分線認識装置の動作を示すフローチャートである。
【符号の説明】
２１ ヨーレートセンサ（運転状態検知手段）
２２ 車速センサ（運転状態検知手段）
２６ 前方カメラ（前方撮影カメラ）
２７ 後方カメラ（後方撮影カメラ）
４０ 車両の走行区分線認識装置
４１ａ 白線抽出部（前方区分線認識手段）
４１ｂ 白線抽出部（後方区分線認識手段）
４６ 慣性航法データ記憶部（記憶手段）
４７ 近似曲線算出部（区分線推定手段、第２の区分線推定手段）

Claims (2)

1. 車両に設けられ車両前方の所定領域を撮影する前方撮影カメラと、
   該前方撮影カメラの撮影画像内の走行区分線を認識する前方区分線認識手段と、
   前記車両の運転状態を検知する運転状態検知手段と、
   前記運転状態検知手段にて検知した前記運転状態を記憶する記憶手段と、
   前記記憶手段にて記憶した前記運転状態および前記前方区分線認識手段にて認識した前方区分線に基づいて前記所定領域の後方の走行区分線を推定する区分線推定手段と、
   車両に設けられ車両後方の所定領域を撮影する後方撮影カメラと、該後方撮影カメラの撮影画像内の走行区分線を認識する後方区分線認識手段と、
   該後方区分線認識手段にて認識した後方区分線と、前記区分線推定手段にて推定した前記走行区分線とに基づいて走行区分線を推定する第２の区分線推定手段と
   を備えることを特徴とする車両の走行区分線認識装置。
2. 前記区分線推定手段は前記後方撮影カメラが撮影する前記所定領域より前方の走行区分線を推定することを特徴とする請求項１に記載の車両の走行区分線認識装置。

Images