JP5469148B2 - 車両の制御装置 - Google Patents

Description

本発明は、カメラの撮像画像から認識される道路状況に基づいて、車両の走行状態を制御する車両の制御装置に関する。

従来より、車両に搭載されたカメラにより車両の前方道路を撮像し、撮像画像から抽出した横断歩道の画像部分と、障害物（歩行者等）が存在しない横断歩道の画像パターン（基準パターン）との差から、横断歩道上の障害物を検出するようにした障害物検出装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された障害物検出装置では、撮像画像から認識した横断歩道の画像部分を基準パターンに合わせるように、撮像画像の位置方向を変換処理している。そして、この変換処理により、車両の右左折時等であって、横断歩道の画像部分の位置方向と基準パターンの位置方向が合わない場合においても、横断歩道上の障害物が検出できるようにしている。

特開２０１１−７０４７３号公報

車両に搭載したカメラの撮像画像から、車両が走行中の道路に敷設された横断歩道の情報を取得したときに、この情報を上記特許文献１に記載された障害物検出装置のように、横断歩道上の障害物の検出に用いる場合の他に、車両の走行状態の制御にも活用することが考えられる。

そこで、本発明は、横断歩道の検出情報を利用して、車両の走行状態を制御することができる車両の制御装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラによる該車両が走行中の道路の撮像画像から、該道路に敷設された横断歩道の画像部分を検出する横断歩道検出部と、
前記撮像画像における前記車両の進行方向に対応する方向に対する前記横断歩道の画像部分の傾きに基づいて、前記道路の延伸方向に対する前記車両の傾きを検出する車両傾度検出部と、
前記車両傾度検出部により検出された傾きを減少させるための傾度減少処理を実行する傾度減少処理部とを備えたことを特徴とする（第１発明）。

第１発明において、一般に、横断歩道は道路の延伸方向と直交して敷設されていると想定される。そのため、前記車両傾度検出部は、前記撮像画像における前記車両の進行方向に対応する方向に対する前記横断歩道の画像部分の傾きに基づいて、前記道路の延伸方向に対する前記車両の傾きを検出することができる。そして、前記傾度減少処理部により、前記道路の延伸方向に対する前記車両の傾きを減少させることによって、前記車両が前記道路に沿って走行するように、前記車両の走行状態を制御することができる。

また、第１発明において、前記横断歩道検出部は、前記撮像画像から複数の白線画像部分が抽出され、各白線画像部分の平行度が第１所定範囲内であって、各白線画像部分の幅の均一度が第２所定範囲内であるときに、該複数の白線画像部分が横断歩道の画像部分であると判定することを特徴とする（第２発明）。

第２発明によれば、前記横断歩道検出部は、横断歩道の一般的な特徴である複数の同一幅の白線が平行に引かれた構成を有していることを条件として、横断歩道の画像部分を検出することができる。

また、第１発明又は第２発明において、前記横断歩道検出部は、前記撮像画像を前記車両の上方を視点として射影変換した上方視画像を用いて、横断歩道の画像部分を検出することを特徴とする（第３発明）。

第３発明によれば、前記上方視画像を用いることにより、前記上方視画像に含まれる画像部分について、平行度及び幅の均一性等の横断歩道の特徴の有無を容易に判断して、横断歩道の画像部分を検出することができる。

また、第１発明から第３発明のうちのいずれかにおいて、前記撮像画像に基づいて、前記道路に敷設された車線区分線を検出する車線区分線検出部を備え、
該車線区分線検出部は、前記横断歩道検出部により横断歩道の画像部分が検出されたときに、前記撮像画像から、該横断歩道の画像部分を除外して車線区分線の画像部分を探索することによって、前記道路の車線区分線を検出することを特徴とする（第４発明）。

第４発明によれば、前記車線区分線検出部は、車線区分線が横断歩道により分断されているときに、横断歩道の白線を車線区分線と誤検出することを防止することができる。

また、第１発明から第４発明のいずれかにおいて、前記傾度減少処理部は、前記傾度減少処理として、前記道路の延伸方向に対する前記車両の傾きが減少するように、前記車両の操舵装置の操舵角を調整する処理を行うことを特徴とする（第５発明）。

第５発明によれば、前記傾度減少処理部により、前記車両の操舵装置の操舵角を調整して前記道路の延伸方向に対する前記車両の傾きを減少させることによって、前記車両を前記道路に沿って走行させることができる。

また、第１発明から第５発明のいずれかにおいて、前記車両は、車幅方向の異なる位置に配置された一対の車輪を有し、前記傾度減少処理部は、前記傾度減少処理として、前記道路の延伸方向に対する前記車両の傾きが減少するように、前記一対の車輪間に回転速度差を生じさせる処理を行うことを特徴とする（第６発明）。

第６発明によれば、前記傾度減少処理部により、前記車両の前記一対の車輪間に回転速度差を生じさせて、前記道路の延伸方向に対する前記車両の傾きを減少させることによって、前記車両を前記道路に沿って走行させることができる。

車両の制御装置の使用態様の説明図。 車両の制御装置の構成図。 道路に敷設された横断歩道と車両との位置関係の説明図。 車両の制御装置の作動フローチャート。 横断歩道の検出処理の説明図。 道路の延伸方向に対する車両の傾きの説明図。 道路と車両が平行であるときの上方視画像の説明図。 道路に対して車両が傾いているときの上方視画像の説明図。

本発明の車両の制御装置の実施形態について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両の制御装置１０（以下、制御装置１０という）は、車両１（自車両）に搭載して使用される。制御装置１０は、車両１に搭載されたカメラ２０の撮像画像から車両１の前方道路の状況を認識して、車両１の走行状態を制御する。

カメラ２０は、車両１の前方をフロントウィンドウ越しに撮像するように、光軸を車両１の前後方向に合わせて車内に取り付けられており、カメラ２０の取付部を原点として、車両１の左右方向（車幅方向）をＸ軸、上下方向（鉛直方向）をＹ軸、前後方向（進行方向）をＺ軸とした実空間座標系が定義されている。

また、車両１には、スピーカ４１及び表示器４２が備えられており、制御装置１０は、車両１の制御状況等を、スピーカ４１からの音声出力と表示器４２への表示により、運転者に報知する。

次に、図２を参照して、車両１には、速度センサ２１、加速度センサ２２、ヨーレートセンサ２３、操舵装置３０、及び制動装置３１が備えられている。速度センサ２１は車両１の速度の検出信号を出力し、加速度センサ２２は車両１の加速度の検出信号を出力し、ヨーレートセンサ２３は車両１のヨーレートの検出信号を出力する。

制御装置１０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、カメラ２０の映像信号及び各センサ２１，２２，２３の検出信号が入力される。制御装置１０は、これらの入力によって、車両１の走行状態を認識する。

また、制御装置１０は、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、撮像画像取得部１１、横断歩道検出部１２、車両傾度検出部１３、及び傾度減少処理部１４として機能し、操舵装置３０と制動装置３１の一方又は両方を作動させて、車両の走行状態を制御する。

次に、図３を参照して、制御装置１０は、車両１が走行している道路５０をカメラ２０により撮像し、この撮像画像に基づいて、道路５０に敷設された横断歩道６０と、車線区分線（レーンマーク）７２，７３，７４，…を検出する。そして、検出された横断歩道６０と車線区分線７２，７３，７４の情報に応じて、車両１の走行状態を制御する処理を行う。

以下、図４に示したフローチャートに従って、制御装置１０による車両１の走行状態の制御処理について説明する。制御装置１０は、所定の制御サイクル毎に図４のフローチャートによる処理を実行して、車両１の走行状態を制御する。

図４のＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２０から出力される映像信号をデジタル信号に変換し、カメラ２０の撮像画像（グレースケール画像）として画像メモリに保持する。

続くＳＴＥＰ２〜ＳＴＥＰ４は、横断歩道検出部１２による処理である。横断歩道検出部１２は、ＳＴＥＰ２で、カメラ２０の撮像画像を２値化してエッジ抽出処理を行い、ＳＴＥＰ３で、さらに射影変換を行う。

ここで、図５は、ＳＴＥＰ２〜ＳＴＥＰ３の処理を行ったときの画像例を示したものであり、上から順に、カメラ２０の撮像画像（原画像）Ｉｍ１、撮像画像Ｉｍ１を所定の２値化閾値により２値化した２値画像に対して、エッジ抽出処理を行ったエッジ抽出画像Ｉｍ２、及びＩｍ２を車両１の上方を視点として射影変換した上方視画像Ｉｍ３を示している。上方視画像Ｉｍ３では、車両１の上方から見た座標系（垂直軸ｚの方向が、車両１の前後方向に相当する）での横断歩道の複数の白線のエッジ線８１，８２，８３，８４が抽出されている。

続くＳＴＥＰ４で、横断歩道検出部１２は、上方視画像に横断歩道の画像部分が含まれているか否かを判定する（横断歩道判定）。図５の上方視画像Ｉｍ３の例では、複数の白線のエッジ線８１，８２，８３，８４について、平行度が第１所定範囲内であり、且つ、幅の均一度が第２所定範囲内であるときに、横断歩道検出部１２は、エッジ線８１，８２，８３，８４が横断歩道の画像部分であると判定する。

そして、横断歩道検出部１２により横断歩道の画像部分が検出されたときは、次のＳＴＥＰ５からＳＴＥＰ６に進む。一方、横断歩道検出部１２により横断歩道が検出されなかったときには、ＳＴＥＰ５からＳＴＥＰ２０に分岐し、制御装置１０は、横断歩道の画像部分のエリアを考慮せずに、撮像画像から車線区分線を探索してＳＴＥＰ１０に進む。

ＳＴＥＰ６は車両傾度検出部１３による処理である。車両傾度検出部１３は、図６（ａ）に示したように、上方視画像Ｉｍ４における横断歩道の白線の画像部分８２について、ｚ軸に対する傾きθを算出する。ここで、ｚ軸は車両１の前後方向に対応し、横断歩道の白線の画像部分８２の長辺の方向は、横断歩道が敷設された道路の延伸方向に対応する。

そのため、図６（ｂ）に示したように、図６（ａ）における傾きθは、実空間における道路５０の延伸方向Ｅに対する車両１の傾きに等しくなる。そこで、車両傾度検出部１３は、図６（ａ）に示したｚ軸に対する白線の画像部分８２の傾きθを、道路の延伸方向に対する車両１の傾きとして検出する。

次のＳＴＥＰ７〜ＳＴＥＰ８及びＳＴＥＰ３０は、車線区分線の検出処理であり、制御装置１０は、ＳＴＥＰ７で、道路と車両１が平行になっているか否かを判断する。なお、ＳＴＥＰ７での平行の判断は、道路と車両１の厳密な平行度を判断するものではなく、道路の延伸方向に対する車両１の傾きが所定角度以下であるときに、道路と車両１は平行であると判断する。なお、ＳＴＥＰ２０,ＳＴＥＰ７〜８,ＳＴＥＰ３０により、車線区分線を検出する構成が、本発明の車線区分線検出部に相当する。

ここで、図７は、道路と車両１が平行になっているときの上方視画像の例を示しており、車線区分線の画像部分７２ａ，７３ａが、横断歩道の画像部分８０ａにより分断されている。図７の場合に、横断歩道の画像部分８０ａを含む画像範囲から、車線区分線の画像部分を探索すると、横断歩道の画像部分の白線が車線区分線であると誤認識される可能性がある。そして、このような誤認識がなされると、図７の７５ａに示したように、車線区分線の方向が誤って検出されてしまう。

そこで、ＳＴＥＰ７で、道路と車両が平行な場合は、ＳＴＥＰ３０に分岐し、制御装置１０は、横断歩道の画像部分８０ａを含むエリアＡＲ１（横断歩道エリア）を除いて、車線区分線を探索する。その際、制御装置１０は、横断歩道の画像部分８０ａの手前の車線区分線７２ａに続く車線区分線７３ａを、横断歩道の画像部分８０ａの先に設定した探索エリアＡＲＳ内で探索して、ＳＴＥＰ１０に進む。これにより、横断歩道の画像部分８０ａを車線区分線と誤認識することを防止しつつ、車線区分線の画像部分７３ａを効率良く探索することができる。

一方、ＳＴＥＰ７で、道路と車両が平行でなかったときにはＳＴＥＰ８に進む。ここで、図８は、道路と車両１が平行でないときの上方視画像の例を示しており、車線区分線の画像部分７２ｂ，７３ｂが、横断歩道の画像部分８０ｂにより分断されている。

図８の場合にも、横断歩道の画像部分８０ｂを含む画像範囲から、車線区分線の画像部分を探索すると、図７の場合と同様に、横断歩道の画像部分８０ｂの白線が車線区分線と誤認識される可能性がある。そして、このような誤認識がなされると、図８の７５ｂに示したように、車線区分線の方向が誤って検出されてしまう。

そこで、制御装置１０は、横断歩道の画像部分８０ｂを含むエリアＡＲ２（横断歩道エリア）を除いて、車線区分線を探索する。その際、制御装置１０は、横断歩道の先が予想できないため、図７のＡＲＳのような探索エリアを設定せずに、車線区分線の画像部分を探索する。

続くＳＴＥＰ９は、傾度減少処理部１４による処理である。傾度減少処理部１４は、傾度減少処理として、道路の延伸方向に対する車両１の傾きθ（図６（ｂ）参照）を減少させる方向に、操舵装置３０（図２参照）を作動させる処理を行う。

なお、制動装置３１（図２参照）により、前輪間又は後輪間に回転速度差を生じさせることによって、道路の延伸方向に対する車両１の傾きθを減少させるようにしてもよい。この場合、２個の前輪及び後輪は、本発明の車幅方向の異なる位置に配置された一対の車輪に相当する。或いは、操舵装置３０と制動装置３１を共に作動させて、道路の延伸方向に対する車両１の傾きθを減少させるようにしてもよい。

次のＳＴＥＰ１０で、制御装置１０は、上記ＳＴＥＰ８又はＳＴＥＰ３０で探索した車線区分線に沿って、車両１が走行するように、操舵装置３０を作動させる処理（レーンキープアシスト処理）を行い、ＳＴＥＰ１１に進んで１制御サイクルの処理を終了する。

なお、本実施の形態では、本発明の車両傾度減少処理として、操舵装置３０又は制動装置３１を作動させて、道路の延伸方向に対する車両１の傾きθを減少させる処理を行ったが、表示器４２への表示又はスピーカ４１からの警報によって、車両の延伸方向に対して車両１が傾いていることを運転者に認識させ、これにより運転者に傾きθを減少させる操作（ステアリング（図示しない）の操作等）を促すようにしてもよい。

また、本実施の形態において、制御装置１０は、図４のＳＴＥＰ８及びＳＴＥＰ３０で、車線区分線を検出し、ＳＴＥＰ１０でレーンキープアシスト処理を行ったが、車線区分線の検出とレーンキープアシスト処理を行わず、ＳＴＥＰ９の傾度減少処理のみを行う場合にも、本発明の効果を得ることができる。

また、本実施形態では、本発明の車両の制御装置を４輪車両に搭載した例を示したが、道路の延伸方向に対する車両の傾きを操舵装置により減少させるときには、１個以上の車輪を有する車両であれば、本発明の適用が可能である。また、道路の延伸方向に対する車両の傾きを制動装置により減少させるときには、車幅方向の異なる位置に配置された少なくとも一対の車輪を有する車両であれば、本発明の適用が可能である。

１…車両、１０…車両の制御装置、１１…撮像画像取得部、１２…横断歩道検出部、１３…車両傾度検出部、１４…傾度減少処理部、２０…カメラ、３０…操舵装置、３１…制動装置。

Claims (6)

1. 車両に搭載されたカメラによる該車両が走行中の道路の撮像画像から、該道路に敷設された横断歩道の画像部分を検出する横断歩道検出部と、
   前記撮像画像における前記車両の進行方向に対応する方向に対する前記横断歩道の画像部分の傾きに基づいて、前記道路の延伸方向に対する前記車両の傾きを検出する車両傾度検出部と、
   前記車両傾度検出部により検出された傾きを減少させるための傾度減少処理を実行する傾度減少処理部と
   を備えたことを特徴とする車両の制御装置。
2. 請求項１に記載の車両の制御装置において、
   前記横断歩道検出部は、前記撮像画像から複数の白線画像部分が抽出され、各白線画像部分の平行度が第１所定範囲内であって、各白線画像部分の幅の均一度が第２所定範囲内であるときに、該複数の白線画像部分が横断歩道の画像部分であると判定することを特徴とする車両の制御装置。
3. 請求項１又は請求項２に記載の車両の制御装置において、
   前記横断歩道検出部は、前記撮像画像を前記車両の上方を視点として射影変換した上方視画像を用いて、横断歩道の画像部分を検出することを特徴とする車両の制御装置。
4. 請求項１から請求項３のうちのいずれか１項に記載の車両の制御装置において、
   前記撮像画像に基づいて、前記道路に敷設された車線区分線を検出する車線区分線検出部を備え、
   該車線区分線検出部は、前記横断歩道検出部により横断歩道の画像部分が検出されたときに、前記撮像画像から、該横断歩道の画像部分を除外して車線区分線の画像部分を探索することによって、前記道路の車線区分線を検出することを特徴とする車両の制御装置。
5. 請求項１から請求項４のうちいずれか１項に記載の車両の制御装置において、
   前記傾度減少処理部は、前記傾度減少処理として、前記道路の延伸方向に対する前記車両の傾きが減少するように、前記車両の操舵装置の操舵角を調整する処理を行うことを特徴とする車両の制御装置。
6. 請求項１から請求項５のうちのいずれか１項に記載の車両の制御装置において、
   前記車両は、車幅方向の異なる位置に配置された一対の車輪を有し、
   前記傾度減少処理部は、前記傾度減少処理として、前記道路の延伸方向に対する前記車両の傾きが減少するように、前記一対の車輪間に回転速度差を生じさせる処理を行うことを特徴とする車両の制御装置。