JP6336010B2 - 路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法 - Google Patents

Description

この発明は、例えば車両等の移動体に設けられた撮像部により撮像した画像を用いて、移動体が移動する路面上の境界線である区画線の形状を認識する路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法に関する。

従来の路上区画線認識装置は、移動体に搭載されたカメラ等の撮像部により、移動体が移動する路面上の区画線の形状を認識する。また、従来の運転支援装置は、路上区画線認識装置の認識結果に基づいて、ドライバが行うハンドル操作を支援したり、車両が区画線から逸脱する可能性が高い場合に、ドライバに警告したりする。

そのため、運転支援装置では、路上区画線認識装置による移動体が移動する路面上の区画線の形状の認識精度が重要になる。以下、ハンドル操作の支援を、ＬＫＡ（Ｌａｎｅ ｋｅｅｐ Ａｓｓｉｓｔ）制御と称することがあり、ドライバへの警告を、ＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）制御と称することがある。

そこで、移動体の前方を撮像する撮像部で取得された画像について、移動体に近い路面上が写された画像領域では、直線近似によって区画線の形状を認識するとともに、移動体から遠い路面上が写された画像領域では、曲線近似によって区画線の形状を認識することで、区画線の形状の認識精度を向上させる技術が提案されている（例えば、特許文献１参照）。

特開２０１４−２６３９６号公報

しかしながら、特許文献１に記載された従来技術では、移動体の前方に搭載された撮像部が、移動体から所定の距離に相当する画像を撮像することから、撮像した画像において、移動体の近傍部分の解像度があまり高くないという問題がある。

また、撮像された画像において、最も移動体に近い位置となる画像下端の位置でも、実際の位置は移動体の数ｍ先となる。そのため、移動体の先端付近の区画線と移動体とのオフセット距離や傾きについて、認識誤差が生じるという問題もある。

さらに、移動体のフロントガラスの汚れ、悪天候、逆光等の環境において、移動体の前方に搭載された撮像部で撮像した画像を用いて、区画線の形状を認識した場合には、フロントガラスの汚れや環境の影響によって、形状認識制度が低下するという問題もある。

この発明は、上記のような課題を解決するためになされたものであり、移動体が移動する路面上の区画線の形状を高精度に認識することができる路上区画線認識装置を得ることを目的とする。

この発明に係る路上区画線認識装置は、移動体が移動する路面上の区画線の形状を認識する路上区画線認識装置であって、移動体の前方を撮像する前方撮像部と、前方撮像部が撮像した画像から、路面上の区画線の形状を前方区画線形状として検出するとともに、前方区画線形状の信頼度を第１信頼度として算出する前方区画線検出部と、移動体の周辺を撮像する周辺撮像部と、周辺撮像部が撮像した画像から、路面上の区画線の形状を周辺区画線形状として検出するとともに、周辺区画線形状の信頼度を第２信頼度として算出する周辺区画線検出部と、前方区画線形状と周辺区画線形状とを、第１信頼度および第２信頼度に基づいて選択または組み合わせることで、移動体が移動する路面上の区画線の形状を判定する区画線形状判定部と、を備え、区画線形状判定部は、路面上の区画線の形状を判定するにあたって、移動体と区画線とのオフセット距離および区画線の傾き成分については、前方区画線形状に対して周辺区画線形状が反映されやすいようにし、区画線の曲線成分については、前方区画線形状に対して周辺区画線形状が反映されにくいようにするものである。

この発明に係る路上区画線認識装置によれば、前方撮像部は、移動体の前方を撮像し、前方区画線検出部は、前方撮像部が撮像した画像から、路面上の区画線の形状を前方区画線形状として検出するとともに、前方区画線形状の信頼度を第１信頼度として算出し、周辺撮像部は、移動体の周辺を撮像し、周辺区画線検出部は、周辺撮像部が撮像した画像から、路面上の区画線の形状を周辺区画線形状として検出するとともに、周辺区画線形状の信頼度を第２信頼度として算出し、区画線形状判定部は、前方区画線形状と周辺区画線形状とを、第１信頼度および第２信頼度に基づいて選択または組み合わせることで、移動体が移動する路面上の区画線の形状を判定する。
そのため、移動体が移動する路面上の区画線の形状を高精度に認識することができる。

この発明の実施の形態１に係る路上区画線認識装置が適用された運転支援装置を示すブロック図である。 この発明の実施の形態１に係る路上区画線認識装置が適用された運転支援装置の動作を示すフローチャートである。 この発明の実施の形態２に係る路上区画線認識装置が適用された運転支援装置を示すブロック図である。 この発明の実施の形態２に係る路上区画線認識装置が適用された運転支援装置の動作を示すフローチャートである。

以下、この発明に係る路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法の好適な実施の形態につき図面を用いて説明するが、各図において同一、または相当する部分については、同一符号を付して説明する。

なお、この発明は、例えば車両等に設けられ、自車の運転を支援する運転支援装置および運転支援方法に適している。また、以下の実施の形態では、運転支援装置が車両に設けられた場合を例に挙げて説明する。

実施の形態１．
図１は、この発明の実施の形態１に係る路上区画線認識装置が適用された運転支援装置を示すブロック図である。図１において、この運転支援装置は、前方検知カメラ部１、周辺検知カメラ部２、前方走行車線検出部３、周辺走行車線検出部４、自車走行車線判定部５、車両状況通知部６、ハンドル操舵制御部７、車線逸脱判定部８、ハンドル制御部９、音声出力部１０を備えている。

なお、前方走行車線検出部３、周辺走行車線検出部４、自車走行車線判定部５、ハンドル操舵制御部７および車線逸脱判定部８は、演算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、これらのブロックは、図示しない記憶部にソフトウェアとして記憶されている。

前方検知カメラ部１は、車内に取り付けられた単眼または複数の光学カメラを用いて、車両が移動する車両前方の画像を取得し、前方走行車線検出部３に通知する。

周辺検知カメラ部２は、車外に取り付けられたフロントカメラ、バックカメラ、サイドカメラ、サイドミラー用カメラ等の１つまたは複数台の光学カメラを用いて、車両周辺の画像を取得し、周辺走行車線検出部４に通知する。

前方走行車線検出部３は、前方検知カメラ部１から取り込んだ車両前方の画像に対して画像認識を行い、自車が走行している左右の区画線を自車前方車線形状（前方区画線形状）として検出するとともに、検出区画線結果の信頼度を前方車線検出信頼度（第１信頼度）として算出する。ここで、区画線の具体的な検出方法の一例として、横方向のソーベルフィルタ処理を行い、エッジの特徴点から区画線を検出し、検出した区画線の形状を算出する。

また、検出区画線結果の信頼度の算出方法の一例として、検出に用いたエッジ特徴点数や区画線形状の妥当性、左右の区画線形状の妥当性、過去に検出した区画線との妥当性等から、信頼度を０〜１０の１１段階で決定する。信頼度は、０が最も低く、検出結果の確からしさが低く、１０が最も高く、検出結果が確からしいことを表している。

なお、この実施の形態１に記載した信頼度の算出方法および表現方法は、一例であるため、検出結果の確からしさを表す指標であれば、信頼度はこれに限定されない。前方走行車線検出部３は、算出した自車前方車線形状および前方車線検出信頼度を、自車走行車線判定部５に通知する。

周辺走行車線検出部４は、周辺検知カメラ部２から取り込んだ車両周辺の画像に対して画像認識を行い、自車が走行している左右の区画線を自車周辺車線形状（周辺区画線形状）として検出するとともに、検出区画線結果の信頼度を周辺車線検出信頼度（第２信頼度）として算出する。

ここで、区画線の具体的な検出方法の一例として、左右のサイドカメラやサイドミラー用カメラでは、車両の外側方向のソーベルフィルタ処理を行い、フロントカメラやバックカメラでは、横方向のソーベルフィルタ処理を行い、各カメラ画像からエッジの特徴点を抽出する。また、各カメラ画像から抽出したエッジの特徴点から区画線を検出し、検出した区画線の形状を算出する。

また、区画線の形状を算出する際は、サイドカメラ画像のエッジ特徴量から自車と区画線とのオフセット距離および区画線の傾きを求め、区画線の曲線成分については、フロントカメラ画像のエッジ特徴量から求める。

また、検出区画線結果の信頼度の算出方法の一例として、検出に用いたエッジ特徴点数や区画線形状の妥当性、左右の区画線形状の妥当性、過去に検出した区画線との妥当性等から、信頼度を０〜１０の１１段階で決定する。信頼度は、０が最も低く、検出結果の確からしさが低く、１０が最も高く、検出結果が確からしいことを表している。

なお、この実施の形態１に記載した信頼度の算出方法および表現方法は、一例であるため、検出結果の確からしさを表す指標であれば、信頼度はこれに限定されない。周辺走行車線検出部４は、算出した自車周辺車線形状および周辺車線検出信頼度を、自車走行車線判定部５に通知する。

自車走行車線判定部５は、前方走行車線検出部３で算出した前方車線検出信頼度と周辺走行車線検出部４で算出した周辺車線検出信頼度とから、前方走行車線検出部３で算出した自車前方車線形状と、周辺走行車線検出部４で算出した自車周辺車線形状とを組み合わせて、自車走行車線の区画線形状を判定する。

ここで、区画線形状を判定する際に、周辺検知カメラ部２は、自車周辺を撮像の対象としており、自車と区画線とのオフセット距離および区画線の傾きについて、正確に算出することができる。そのため、自車と区画線とのオフセット距離および区画線の傾きについては、周辺車線検出信頼度に重みを付けて、すなわちオフセット距離および区画線の傾きの周辺車線検出信頼度の重み値を大きくし、信頼度を高め、自車周辺車線形状が反映されやすいようにする。

一方、区画線の曲線成分については、周辺検知カメラ部２は、精度が低いため、周辺車線検出信頼度の重みを軽くし、すなわち曲線成分の周辺車線検出信頼度の重み値を小さくし、自車周辺車線形状が反映されにくいようにする。

なお、自車走行車線の区画線形状判定の具体例として、自車と区画線とのオフセット距離および区画線の傾き成分の自車前方車線形状の反映割合を、自車前方車線形状反映割合＝前方車線検出信頼度／（前方車線検出信頼度＋周辺車線検出信頼度×オフセット距離と区画線の傾きの周辺車線検出信頼度の重み値）とする。

また、自車と区画線とのオフセット距離および区画線の傾き成分の自車周辺車線形状の反映割合を、自車周辺車線形状反映割合＝（周辺車線検出信頼度×オフセット距離と区画線の傾きの周辺車線検出信頼度の重み値）／（前方車線検出信頼度＋周辺車線検出信頼度×オフセット距離と区画線の傾きの周辺車線検出信頼度の重み値）とする。

また、区画線の曲線成分の自車前方車線形状の反映割合を、自車前方車線形状反映割合＝前方車線検出信頼度／（前方車線検出信頼度＋周辺車線検出信頼度×曲線成分の周辺車線検出信頼度の重み値）とする。

また、区画線の曲線成分の自車周辺車線形状の反映割合を、自車周辺車線形状反映割合＝（周辺車線検出信頼度×曲線成分の周辺車線検出信頼度の重み値）／（前方車線検出信頼度＋周辺車線検出信頼度×曲線成分の周辺車線検出信頼度の重み値）とする。

ここで、前方車線検出信頼度が１１段階の４、周辺車線検出信頼度が１１段階の８、自車と区画線とのオフセット距離および区画線の傾きの周辺車線検出信頼度の重み値を２、区画線の曲線成分の周辺車線検出信頼度の重み値を０．２５とした場合を想定する。

このとき、自車と区画線とのオフセット距離および区画線の傾き成分の自車前方車線形状の反映割合は０．２、自車と区画線とのオフセット距離および区画線の傾き成分の自車周辺車線形状の反映割合は０．８、区画線の曲線成分の自車前方車線形状の反映割合は０．６７、区画線の曲線成分の自車周辺車線形状の反映割合は０．３３となる。

自車走行車線判定部５は、算出した反映割合に応じて、自車前方車線形状と自車周辺車線形状とを組み合わせて、自車走行車線の区画線形状を判定する。なお、自車前方車線形状および自車周辺車線形状のどちらか一方のみを選択する場合は、選択する形状の反映割合を１、選択しない形状の反映割合を０にすることで、選択可能となる。

また、この実施の形態１に記載した区画線形状判定方法は、一例であるため、前方車線検出信頼度および周辺車線検出信頼度から、自車前方車線形状と自車周辺車線形状とを組み合わせて、区画線形状を判定する方法は、これに限定されない。自車走行車線判定部５は、算出した自車車線形状を、ハンドル操舵制御部７および車線逸脱判定部８に通知する。

車両状況通知部６は、車速信号、ハンドル操舵角信号、ウインカ信号、バック信号等のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）信号を取得し、ハンドル操舵制御部７および車線逸脱判定部８に通知する。

ハンドル操舵制御部７は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、左右の区画線の間の走行すべきエリアを自車両が安全に走行できるように、ハンドル操舵力を決定する。ハンドル操舵制御部７は、決定したハンドル操舵力をハンドル制御部９に通知する。

車線逸脱判定部８は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、自車が左右の区画線の間の走行すべきエリアから逸脱しそうであると判断した場合や、逸脱すると判断した場合に、警告音の出力を音声出力部１０に通知する。

ハンドル制御部９は、ハンドル操舵制御部７から指定されたハンドル操舵力になるようにハンドルの制御を行う。音声出力部１０は、車線逸脱判定部８から警告音出力の通知があると、スピーカから警告音を出力する。

続いて、図２のフローチャートを参照しながら、この発明の実施の形態１に係る路上区画線認識装置が適用された運転支援装置の動作について説明する。

まず、車両の電源をＯＮにすると（ステップＳ１−１）、車両前方カメラ画像、車両周辺カメラ画像、車両状況が取得される。

具体的には、車両前方カメラ画像は、単眼または複数の光学カメラで構成された前方検知カメラ部１で取得され（ステップＳ１−２）、前方走行車線検出部３に通知される。

また、車両周辺カメラ画像は、車外に取り付けられたフロントカメラ、バックカメラ、サイドカメラ、サイドミラー用カメラ等の１つまたは複数台の光学カメラで構成された周辺検知カメラ部２で取得され（ステップＳ１−３）、周辺走行車線検出部４に通知される。

また、車両状況は、車両から車速信号、ハンドル操舵角信号、ウインカ信号、バック信号が車両状況通知部６で取り込まれ、走行速度、進行方向、ウインカのＯＮ／ＯＦＦ等の車両の状況が判定される（ステップＳ１−４）。また、判定された車両状況は、ハンドル操舵制御部７および車線逸脱判定部８に通知される。

続いて、前方走行車線検出部３は、前方検知カメラ部１から取り込んだ車両前方の画像に対して画像認識を行い、自車が走行している左右の区画線を自車前方車線形状として検出するとともに、検出区画線結果の信頼度を前方車線検出信頼度として算出する（ステップＳ１−５）。算出された自車前方車線形状および前方車線検出信頼度は、自車走行車線判定部５に通知される。

次に、周辺走行車線検出部４は、周辺検知カメラ部２から取り込んだ車両周辺の画像に対して画像認識を行い、自車が走行している左右の区画線を自車周辺車線形状として検出するとともに、検出区画線結果の信頼度を周辺車線検出信頼度として算出する（ステップＳ１−６）。算出された自車周辺車線形状および周辺車線検出信頼度は、自車走行車線判定部５に通知される。

自車走行車線判定部５は、前方走行車線検出部３で算出した前方車線検出信頼度と周辺走行車線検出部４で算出した周辺車線検出信頼度とから、前方走行車線検出部３で算出した自車前方車線形状と、周辺走行車線検出部４で算出した自車周辺車線形状とを組み合わせて、自車走行車線の区画線形状を特定する（ステップＳ１−７）。特定された自車車線形状は、ハンドル操舵制御部７および車線逸脱判定部８に通知される。

ハンドル操舵制御部７は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、左右の区画線の間の走行すべきエリアを自車両が安全に走行できるように、ハンドル操舵力を決定する（ステップＳ１−８）。決定されたハンドル操舵力は、ハンドル制御部９に通知される。

車線逸脱判定部８は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、自車が左右の区画線の間の走行すべきエリアから逸脱しそうであるか否かの車線逸脱判定を行う（ステップＳ１−９）。車線逸脱判定結果は、音声出力部１０に通知される。

ハンドル制御部９は、ハンドル操舵制御部７から指定されたハンドル操舵力になるようにハンドルの制御を行う（ステップＳ１−１０）。

音声出力部１０は、車線逸脱判定部８から警告音出力の通知の判定を行い（ステップＳ１−１１）、通知があった場合のみ、スピーカから警告音を出力する（ステップＳ１−１２）。

上述したステップＳ１−１０のＬＫＡ制御処理と、ステップＳ１−１２のＬＤＷ制御処理の後は、車両の電源がＯＦＦとなったか否かが判定され（ステップＳ１−１３）、車両の電源がＯＮのままなら、再びステップＳ１−２に戻り、ステップＳ１−２からの処理を車両の電源がＯＦＦとなるまで繰り返す。また、車両の電源がＯＦＦとなると、全処理が終了される。

このように、周辺検知カメラ部２が自車周辺を撮像の対象としているため、自車と区画線とのオフセット距離や自車と区画線との傾きを正確に算出することができる。そのため、前方検知カメラ部１と周辺検知カメラ部２とで撮像した画像から、それぞれ自車の走行車線形状を検出し、前方検知カメラ画像と周辺検知カメラ画像とから検出した走行車線形状を組み合わせることで、自車の走行車線形状を精度良く検出することができ、正確なＬＫＡ制御やＬＤＷ制御を実行することができる。

以上のように、実施の形態１によれば、前方撮像部は、移動体の前方を撮像し、前方区画線検出部は、前方撮像部が撮像した画像から、路面上の区画線の形状を前方区画線形状として検出するとともに、前方区画線形状の信頼度を第１信頼度として算出し、周辺撮像部は、移動体の周辺を撮像し、周辺区画線検出部は、周辺撮像部が撮像した画像から、路面上の区画線の形状を周辺区画線形状として検出するとともに、周辺区画線形状の信頼度を第２信頼度として算出し、区画線形状判定部は、前方区画線形状と周辺区画線形状とを、第１信頼度および第２信頼度に基づいて選択または組み合わせることで、移動体が移動する路面上の区画線の形状を判定する。
これにより、検知対象の距離およびカメラの画角が互いに異なる前方検知カメラ部１と周辺検知カメラ部２とで撮像した画像から、それぞれ自車の走行車線を検出し、前方検知カメラ画像と周辺検知カメラ画像とから検出した走行車線を組み合わせることで、自車の走行車線形状を精度良く検出することができる。
すなわち、移動体が移動する路面上の区画線の形状を高精度に認識することができる。

また、区画線形状判定部は、第１信頼度および第２信頼度に基づいて、前方区画線形状と周辺区画線形状との重みを変動させて、移動体が移動する路面上の区画線の形状を判定する。
これにより、自車前方車線と自車周辺車線との検知の信頼度の高い区画線形状が反映されやすいように、自車走行車線の区画線形状を算出することで、自車の走行車線形状を精度良く検出することができる。

また、区画線形状判定部は、前方区画線形状および周辺区画線形状に基づいて、移動体と区画線とのオフセット距離、および移動体と区画線との傾きを算出する。
これにより、周辺検知カメラ部２は、自車周辺を撮像の対象としているため、自車と区画線とのオフセット距離や自車と区画線との傾きを正確に算出することができるため、自車と区画線とのオフセット距離および自車と区画線との傾きを自車前方車線と自車周辺車線とに基づいて算出することで、自車の走行車線形状を精度良く検出することができる。

また、区画線形状判定部は、移動体の左側面または左ミラー、もしくは移動体の右側面または右ミラーに設けられた周辺撮像部が撮像した画像により算出された、移動体と区画線とのオフセット距離、および移動体と区画線との傾きの信頼度を高くして、重みを重くする。
これにより、左右のサイドカメラは、自車のタイヤ位置と区画線とを撮像することができるため、自車と区画線とのオフセット距離や自車と区画線との傾きを正確に算出することができるため、左右のサイドカメラ画像から算出した自車と区画線とのオフセット距離および傾き情報の信頼度を高くすることで、自車の走行車線形状を精度良く検出することができる。

また、区画線形状判定部で判定された、移動体が移動する路面上の区画線の形状に従って、移動体を移動させる操舵支援部と、区画線形状判定部で判定された、移動体が移動する路面上の区画線の形状に対して、移動体が逸脱することが予想される場合に、移動体のユーザに警告する逸脱警告部とをさらに備えている。
これにより、精度良く自車走行車線を検出した上で、ＬＫＡ制御やＬＤＷ制御の性能を高めることができる。

実施の形態２．
図３は、この発明の実施の形態２に係る路上区画線認識装置が適用された運転支援装置を示すブロック図である。図３において、この運転支援装置は、図１に示した運転支援装置に加えて、ナビゲーション装置部１１および太陽光入射角判断部１２を備えている。なお、その他の構成は、上述した実施の形態１と同様なので、説明を省略する。

前方検知カメラ部１は、車内に取り付けられた単眼または複数の光学カメラを用いて、車両が移動する車両前方の画像を取得し、前方走行車線検出部３および太陽光入射角判断部１２に通知する。

周辺検知カメラ部２は、車外に取り付けられたフロントカメラ、バックカメラ、サイドカメラ、サイドミラー用カメラ等の１つまたは複数台の光学カメラを用いて、車両周辺の画像を取得し、周辺走行車線検出部４および太陽光入射角判断部１２に通知する。

車両状況通知部６は、車速信号、ハンドル操舵角信号、ウインカ信号、バック信号等のＣＡＮ信号を取得し、ハンドル操舵制御部７、車線逸脱判定部８および太陽光入射角判断部１２に通知する。

ナビゲーション装置部１１は、ＧＰＳレシーバで取得した経度緯度情報と地図データベースの地図情報とから現在位置情報を算出する。ナビゲーション装置部１１は、算出した現在位置情報とＧＰＳレシーバで取得した時刻情報とを太陽光入射角判断部１２に通知する。

太陽光入射角判断部１２は、前方検知カメラ部１から取り込んだ車両前方の画像に対して画像認識を行い、画像上の太陽の有無を検出する。太陽光入射角判断部１２は、太陽が検出された場合に、画像上の検出位置から前方カメラに対する太陽光の入射角を算出する。

また、太陽光入射角判断部１２は、周辺検知カメラ部２から取り込んだ車両周辺の画像に対して画像認識を行い、自車の影の方向と長さとを検出する。ここで、カメラと自車との位置関係は既知のため、太陽光入射角判断部１２は、検出した自車の影の方向と長さとから、太陽の位置を推定し、前方カメラに対する太陽光の入射角を算出する。

さらに、太陽光入射角判断部１２は、ナビゲーション装置部１１から取得した現在位置情報および時刻情報と、車両状況通知部６から通知されたＣＡＮ情報とから、太陽の位置と車両の位置と車両の向きとを算出する。また、太陽光入射角判断部１２は、算出した太陽の位置と車両の位置と車両の向きとから、前方カメラに対する太陽光の入射角を算出する。

このように、太陽光入射角判断部１２は、画像上の太陽の位置から算出した太陽光の入射角と、自車の影の方向と長さとから算出した太陽光の入射角と、ナビゲーション情報を利用して算出した太陽光の入射角とを組み合わせて、前方カメラに対する太陽光の入射角を精度良く算出する。

なお、この実施の形態２では、３つの方法で算出した太陽光の入射角を組み合わせて、利用しているが、１つの方法のみから前方カメラに対する太陽光の入射角を算出してもよいし、３つの方法から２つの方法を組み合わせて、前方カメラに対する太陽光の入射角を算出してもよい。算出された太陽光の入射角は、自車走行車線判定部５に通知される。

自車走行車線判定部５は、前方走行車線検出部３で算出した前方車線検出信頼度と周辺走行車線検出部４で算出した周辺車線検出信頼度と、太陽光入射角判断部１２で算出した太陽光の入射角とから、前方走行車線検出部３で算出した自車前方車線形状と、周辺走行車線検出部４で算出した自車周辺車線形状とを組み合わせて、自車走行車線の区画線形状を判定する。

ここで、区画線形状を判定する際に、太陽光の入射角から、前方カメラにとって、逆光で、撮像した画像全体が白く光ったようになり、区画線の特徴量が出にくく、検知精度が低下すると考えられる場合は、前方車線検出信頼度の重みを軽くし、自車前方車線形状が反映されにくいようにする。

具体的には、上述した実施の形態１で示した、自車と区画線とのオフセット距離および区画線の傾き成分の自車前方車線形状の反映割合と、区画線の曲線成分の自車前方車線形状の反映割合とに、前方車線検出信頼度の太陽入射角重み値、すなわち前方車線検出信頼度の重みを軽くする値を掛け合わせる。

また、上述した実施の形態１で示した、自車と区画線とのオフセット距離および区画線の傾き成分の自車周辺車線形状の反映割合と、区画線の曲線成分の自車周辺車線形状の反映割合をそれぞれ、１から上記で前方車線検出信頼度の太陽入射角重み値を反映させた自車と区画線とのオフセット距離および区画線の傾き成分の自車前方車線形状の反映割合を引いた値と、１から上記で前方車線検出信頼度の太陽入射角重み値を反映させた区画線の曲線成分の自車前方車線形状の反映割合を引いた値とする。これにより、自車前方車線形状の重みを軽くし、区画線形状を判定する。

なお、この実施の形態２に記載した区画線形状判定方法は、一例であるため、太陽光の入射角から、前方カメラにとって、検知精度が低下すると考えられる場合に、前方車線検出信頼度の重みを軽くし、自車前方車線形状が反映されにくいように区画線形状を判定する方法は、これに限定されない。自車走行車線判定部５は、算出した自車車線形状は、ハンドル操舵制御部７および車線逸脱判定部８に通知する。

続いて、図４のフローチャートを参照しながら、この発明の実施の形態２に係る路上区画線認識装置が適用された運転支援装置の動作について説明する。この実施の形態２では、上述した実施の形態１にステップＳ２−５〜ステップＳ２−６、ステップＳ２−９〜ステップＳ２−１５が追加され、上述した実施の形態１のステップＳ１−７〜ステップＳ１−１３が、ステップＳ２−１６〜ステップＳ２−２２に変更されている。したがって、ステップＳ２−５〜ステップＳ２−６とステップＳ２−９〜ステップＳ２−１５の動作の流れ以外は、上述した実施の形態１のものと同一である。

まず、車両の電源をＯＮにすると（ステップＳ２−１）、車両前方カメラ画像、車両周辺カメラ画像、車両状況、現在位置情報、時刻情報が取得される。

具体的には、車両前方カメラ画像は、単眼または複数の光学カメラで構成された前方検知カメラ部１で取得され（ステップＳ２−２）、前方走行車線検出部３および太陽光入射角判断部１２に通知される。

また、車両周辺カメラ画像は、車外に取り付けられたフロントカメラ、バックカメラ、サイドカメラ、サイドミラー用カメラ等の１つまたは複数台の光学カメラで構成された周辺検知カメラ部２で取得され（ステップＳ２−３）、周辺走行車線検出部４および太陽光入射角判断部１２に通知される。

また、車両状況は、車両から車速信号、ハンドル操舵角信号、ウインカ信号、バック信号が車両状況通知部６で取り込まれ、走行速度、進行方向、ウインカのＯＮ／ＯＦＦ等の車両の状況が判定される（ステップＳ２−４）。また、判定された車両状況は、ハンドル操舵制御部７、車線逸脱判定部８および太陽光入射角判断部１２に通知される。

また、現在位置情報は、ナビゲーション装置部１１のＧＰＳレシーバで経度緯度情報が取得され、経度緯度情報と地図データベースの地図情報とから現在位置情報が算出される（ステップＳ２−５）。また、算出された現在位置情報は、太陽光入射角判断部１２に通知される。

また、現在時刻情報は、ナビゲーション装置部１１のＧＰＳレシーバで時刻情報が取得され、太陽光入射角判断部１２に通知される（ステップＳ２−６）。

続いて、前方走行車線検出部３は、前方検知カメラ部１から取り込んだ車両前方の画像に対して画像認識を行い、自車が走行している左右の区画線を自車前方車線形状として検出するとともに、検出区画線結果の信頼度を前方車線検出信頼度として算出する（ステップＳ２−７）。算出された自車前方車線形状および前方車線検出信頼度は、自車走行車線判定部５に通知される。

次に、周辺走行車線検出部４は、周辺検知カメラ部２から取り込んだ車両周辺の画像に対して画像認識を行い、自車が走行している左右の区画線を自車周辺車線形状として検出するとともに、検出区画線結果の信頼度を周辺車線検出信頼度として算出する（ステップＳ２−８）。算出された自車周辺車線形状および周辺車線検出信頼度は、自車走行車線判定部５に通知される。

続いて、太陽光入射角判断部１２は、前方検知カメラ部１から取り込んだ車両前方の画像に対して画像認識を行い、画像上の太陽の有無を判定する（ステップＳ２−９）。太陽が検出された場合に、画像上の検出位置から前方カメラに対する太陽光の入射角を算出する（ステップＳ２−１０）。

また、太陽光入射角判断部１２は、周辺検知カメラ部２から取り込んだ車両周辺の画像に対して画像認識を行い、自車の影の方向と長さとを検出する。また、太陽光入射角判断部１２は、検出した自車の影の方向と長さとから、太陽の位置を推定し、前方カメラに対する太陽光の入射角を算出する（ステップＳ２−１１）。

さらに、太陽光入射角判断部１２は、ナビゲーション装置部１１から取得した現在位置情報および時刻情報と、車両状況通知部６から通知されたＣＡＮ情報とから、太陽の位置と車両の位置と車両の向きとを算出する（ステップＳ２−１２）。また、太陽光入射角判断部１２は、算出した太陽の位置と車両の位置と車両の向きとから、前方カメラに対する太陽光の入射角を算出する。

次に、太陽光入射角判断部１２は、画像上の太陽の位置から算出した太陽光の入射角と、自車の影の方向と長さとから算出した太陽光の入射角と、ナビゲーション情報を利用して算出した太陽光の入射角とを組み合わせて、前方カメラに対する太陽光の入射角を算出する（ステップＳ２−１３）。算出された太陽光の入射角は、自車走行車線判定部５に通知される。

続いて、自車走行車線判定部５は、太陽光入射角判断部１２から通知された前方カメラに対する太陽光の入射角が、自車前方車線形状の検知精度に悪影響があるか否かを判断する（ステップＳ２−１４）。

また、自車走行車線判定部５は、検知精度が低下すると判断した場合には、前方走行車線検出部３で算出した前方車線検出信頼度と周辺走行車線検出部４で算出した周辺車線検出信頼度とから、前方走行車線検出部３で算出した自車前方車線形状と、周辺走行車線検出部４で算出した自車周辺車線形状とを組み合わせ、自車走行車線の区画線形状を特定する際に、前方車線検出信頼度の重みを軽くした上で（ステップＳ２−１５）、自車走行車線の区画線形状を特定する（ステップＳ２−１６）。

次に、自車走行車線判定部５は、検知精度が低下しないと判断した場合には、前方走行車線検出部３で算出した前方車線検出信頼度と周辺走行車線検出部４で算出した周辺車線検出信頼度とから、前方走行車線検出部３で算出した自車前方車線形状と、周辺走行車線検出部４で算出した自車周辺車線形状とを組み合わせて、自車走行車線の区画線形状を特定する（ステップＳ２−１６）。特定された自車車線形状は、ハンドル操舵制御部７および車線逸脱判定部８に通知される。

ハンドル操舵制御部７は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、左右の区画線の間の走行すべきエリアを自車両が安全に走行できるように、ハンドル操舵力を決定する（ステップＳ２−１７）。決定されたハンドル操舵力は、ハンドル制御部９に通知される。

車線逸脱判定部８は、自車走行車線判定部５から取得した自車車線形状と、車両状況通知部６から取得したＣＡＮ情報とに基づいて、自車が左右の区画線の間の走行すべきエリアから逸脱しそうであるか否かの車線逸脱判定を行う（ステップＳ２−１８）。車線逸脱判定結果は、音声出力部１０に通知される。

ハンドル制御部９は、ハンドル操舵制御部７から指定されたハンドル操舵力になるようにハンドルの制御を行う（ステップＳ２−１９）。

音声出力部１０は、車線逸脱判定部８から警告音出力の通知の判定を行い（ステップＳ２−２０）、通知があった場合のみ、スピーカから警告音を出力する（ステップＳ２−２１）。

上述したステップＳ２−１９のＬＫＡ制御処理と、ステップＳ２−２１のＬＤＷ制御処理の後は、車両の電源がＯＦＦとなったか否かが判定され（ステップＳ２−２２）、車両の電源がＯＮのままなら、再びステップＳ２−２に戻り、ステップＳ２−２からの処理を車両の電源がＯＦＦとなるまで繰り返す。また、車両の電源がＯＦＦとなると、全処理が終了される。

このように、太陽光入射角判断部１２が前方検知カメラ部１に対する太陽の入射角を算出し、逆光等で前方検知カメラ部１の検知精度に影響が生じる場合に、周辺検知カメラ画像から検出した走行車線形状を利用することで、自車の走行車線形状を精度良く検出することができ、正確なＬＫＡ制御やＬＤＷ制御を実行することができる。

以上のように、実施の形態２によれば、前方撮像部に対する太陽光の入射角を検出する太陽光入射角判断部をさらに備え、区画線形状判定部は、前方区画線形状と周辺区画線形状とを、第１信頼度、第２信頼度および入射角に基づいて選択または組み合わせることで、移動体が移動する路面上の区画線の形状を判定する。
これにより、検知対象の距離およびカメラの画角が互いに異なる前方検知カメラ部１と周辺検知カメラ部２とで撮像した画像から、それぞれ自車の走行車線を検出し、前方検知カメラ画像と周辺検知カメラ画像とから検出した走行車線を組み合わせることで、前方カメラとって逆光の場合であっても、自車の走行車線形状を精度良く検出することができる。

また、区画線形状判定部は、入射角に基づいて前方区画線形状と周辺区画線形状との重みを変動させて、移動体が移動する路面上の区画線の形状を判定する。
これにより、前方カメラとって逆光の場合に、撮像した画像全体が白く光ったようになり、区画線の検知精度が低下するため、周辺カメラから算出した自車走行車線の重みを高くすることで、自車の走行車線形状を精度良く検出することができる。

また、太陽光入射角判断部は、前方撮像部が撮像した画像における太陽の位置を検知し、検知した位置から太陽光の入射角を算出する。
これにより、逆光の際に、自車前方車線の信頼度を低くするためには、逆光かどうかを判断することが必要であり、画像上の太陽の位置から太陽の入射角を算出し、前方カメラにとって、逆光かどうかを判断することができる。

また、太陽光入射角判断部は、周辺撮像部が撮像した画像における移動体の影の方向および長さに基づいて、太陽光の入射角を算出する。
これにより、撮像した画像上の自車の影の方向と長さとから、太陽の入射角を算出することができ、前方カメラにとって、逆光かどうかを判断することができる。

また、太陽光入射角判断部は、カーナビの地図情報と、ＧＰＳの位置情報および時刻情報と、車両のＣＡＮ情報とから、太陽光の入射角を算出する。
これにより、カーナビの位置情報から自車の位置情報を取得し、ＧＰＳの時刻情報から太陽の位置情報を取得し、車両のＣＡＮ情報からと自車の走行方向情報を取得し、自車の位置情報と走行方向情報と太陽の位置情報とから太陽の入射角を算出することができ、前方カメラにとって、逆光かどうかを判断することができる。

また、区画線形状判定部で判定された、移動体が移動する路面上の区画線の形状に従って、移動体を移動させる操舵支援部と、区画線形状判定部で判定された、移動体が移動する路面上の区画線の形状に対して、移動体が逸脱することが予想される場合に、移動体のユーザに警告する逸脱警告部とをさらに備えている。
これにより、精度良く自車走行車線を検出した上で、ＬＫＡ制御やＬＤＷ制御の性能を高めることができる。

１ 前方検知カメラ部（前方撮像部）、２ 周辺検知カメラ部（周辺撮像部）、３ 前方走行車線検出部（前方区画線検出部）、４ 周辺走行車線検出部（周辺区画線検出部）、５ 自車走行車線判定部（区画線形状判定部）、６ 車両状況通知部、７ ハンドル操舵制御部（操舵支援部）、８ 車線逸脱判定部（逸脱警告部）、９ ハンドル制御部、１０ 音声出力部、１１ ナビゲーション装置部、１２ 太陽光入射角判断部。

Claims (26)

1. 移動体が移動する路面上の区画線の形状を認識する路上区画線認識装置であって、
   前記移動体の前方を撮像する前方撮像部と、
   前記前方撮像部が撮像した画像から、路面上の区画線の形状を前方区画線形状として検出するとともに、前記前方区画線形状の信頼度を第１信頼度として算出する前方区画線検出部と、
   前記移動体の周辺を撮像する周辺撮像部と、
   前記周辺撮像部が撮像した画像から、路面上の区画線の形状を周辺区画線形状として検出するとともに、前記周辺区画線形状の信頼度を第２信頼度として算出する周辺区画線検出部と、
   前記前方区画線形状と前記周辺区画線形状とを、前記第１信頼度および前記第２信頼度に基づいて選択または組み合わせることで、前記移動体が移動する路面上の区画線の形状を判定する区画線形状判定部と、
   を備え、
   前記区画線形状判定部は、前記路面上の区画線の形状を判定するにあたって、
   前記移動体と前記区画線とのオフセット距離および区画線の傾き成分については、前記前方区画線形状に対して前記周辺区画線形状が反映されやすいようにし、
   前記区画線の曲線成分については、前記前方区画線形状に対して前記周辺区画線形状が反映されにくいようにする
   路上区画線認識装置。
2. 前記区画線形状判定部は、前記第１信頼度および前記第２信頼度に基づいて、前記前方区画線形状と前記周辺区画線形状との選択または組み合わせる重みを変動させて、前記移動体が移動する路面上の区画線の形状を判定する
   請求項１に記載の路上区画線認識装置。
3. 前記区画線形状判定部は、前記前方区画線形状および前記周辺区画線形状に基づいて、前記移動体と前記区画線とのオフセット距離、および前記移動体と前記区画線との傾きを算出する
   請求項１または請求項２に記載の路上区画線認識装置。
4. 前記区画線形状判定部は、前記移動体の左側面または前記移動体の右側面に設けられた前記周辺撮像部が撮像した画像により算出された、前記移動体と前記区画線とのオフセット距離、および前記移動体と前記区画線との傾きの信頼度を高くして、選択または組み合わせる重みを重くする
   請求項３に記載の路上区画線認識装置。
5. 前記前方撮像部に対する太陽光の入射角を検出する太陽光入射角判断部をさらに備え、
   前記区画線形状判定部は、前記前方区画線形状と前記周辺区画線形状とを、前記第１信頼度、前記第２信頼度および前記入射角に基づいて選択または組み合わせることで、前記移動体が移動する路面上の区画線の形状を判定する
   請求項１に記載の路上区画線認識装置。
6. 前記区画線形状判定部は、前記入射角に基づいて前記前方区画線形状と前記周辺区画線形状との選択または組み合わせる重みを変動させて、前記移動体が移動する路面上の区画線の形状を判定する
   請求項５に記載の路上区画線認識装置。
7. 前記太陽光入射角判断部は、前記前方撮像部が撮像した画像における太陽の位置を検知し、検知した位置から太陽光の入射角を算出する
   請求項５に記載の路上区画線認識装置。
8. 前記太陽光入射角判断部は、前記周辺撮像部が撮像した画像における前記移動体の影の方向および長さに基づいて、太陽光の入射角を算出する
   請求項５に記載の路上区画線認識装置。
9. 前記太陽光入射角判断部は、カーナビの地図情報と、ＧＰＳの位置情報および時刻情報と、車両のＣＡＮ情報とから、太陽光の入射角を算出する
   請求項５に記載の路上区画線認識装置。
10. 前記区画線形状判定部は、前記第１信頼度があらかじめ設定された値よりも低い場合に、前記周辺区画線形状から、前記移動体が移動する路面上の区画線の形状を判定する
    請求項１から請求項９までのいずれか１項に記載の路上区画線認識装置。
11. 移動体が移動する路面上の区画線の形状を認識する路上区画線認識方法であって、
    前記移動体の前方を撮像する前方撮像ステップと、
    前記前方撮像ステップで撮像された画像から、路面上の区画線の形状を前方区画線形状として検出するとともに、前記前方区画線形状の信頼度を第１信頼度として算出する前方区画線検出ステップと、
    前記移動体の周辺を撮像する周辺撮像ステップと、
    前記周辺撮像ステップで撮像された画像から、路面上の区画線の形状を周辺区画線形状として検出するとともに、前記周辺区画線形状の信頼度を第２信頼度として算出する周辺区画線検出ステップと、
    前記前方区画線形状と前記周辺区画線形状とを、前記第１信頼度および前記第２信頼度に基づいて選択または組み合わせることで、前記移動体が移動する路面上の区画線の形状を判定する区画線形状判定ステップと、
    を備え、
    前記区画線形状判定ステップでは、前記路面上の区画線の形状を判定するにあたって、
    前記移動体と前記区画線とのオフセット距離および区画線の傾き成分については、前記前方区画線形状に対して前記周辺区画線形状が反映されやすいようにし、
    前記区画線の曲線成分については、前記前方区画線形状に対して前記周辺区画線形状が反映されにくいようにする
    路上区画線認識方法。
12. 前記区画線形状判定ステップでは、前記第１信頼度および前記第２信頼度に基づいて、前記前方区画線形状と前記周辺区画線形状との選択または組み合わせる重みを変動させて、前記移動体が移動する路面上の区画線の形状を判定する
    請求項１１に記載の路上区画線認識方法。
13. 前記区画線形状判定ステップでは、前記前方区画線形状および前記周辺区画線形状に基づいて、前記移動体と前記区画線とのオフセット距離、および前記移動体と前記区画線との傾きを算出する
    請求項１１または請求項１２に記載の路上区画線認識方法。
14. 前記区画線形状判定ステップでは、前記移動体の左側面または前記移動体の右側面に設けられた前記周辺撮像ステップでの周辺撮像部が撮像した画像により算出された、前記移動体と前記区画線とのオフセット距離、および前記移動体と前記区画線との傾きの信頼度を高くして、選択または組み合わせる重みを重くする
    請求項１３に記載の路上区画線認識方法。
15. 前記前方撮像ステップでの前方撮像部に対する太陽光の入射角を検出する太陽光入射角判断ステップをさらに備え、
    前記区画線形状判定ステップでは、前記前方区画線形状と前記周辺区画線形状とを、前記第１信頼度、前記第２信頼度および前記入射角に基づいて選択または組み合わせることで、前記移動体が移動する路面上の区画線の形状を判定する
    請求項１１に記載の路上区画線認識方法。
16. 前記区画線形状判定ステップでは、前記入射角に基づいて前記前方区画線形状と前記周辺区画線形状との重みを変動させて、前記移動体が移動する路面上の区画線の形状を判定する
    請求項１５に記載の路上区画線認識方法。
17. 前記太陽光入射角判断ステップでは、前記前方撮像ステップでの前方撮像部が撮像した画像における太陽の位置を検知し、検知した位置から太陽光の入射角を算出する
    請求項１５に記載の路上区画線認識方法。
18. 前記太陽光入射角判断ステップでは、前記周辺撮像ステップでの周辺撮像部が撮像した画像における前記移動体の影の方向および長さに基づいて、太陽光の入射角を算出する
    請求項１５に記載の路上区画線認識方法。
19. 前記太陽光入射角判断ステップでは、カーナビの地図情報と、ＧＰＳの位置情報および時刻情報と、車両のＣＡＮ情報とから、太陽光の入射角を算出する
    請求項１５に記載の路上区画線認識方法。
20. 前記区画線形状判定ステップでは、前記第１信頼度があらかじめ設定された値よりも低い場合に、前記周辺区画線形状から、前記移動体が移動する路面上の区画線の形状を判定する
    請求項１１から請求項１９までのいずれか１項に記載の路上区画線認識方法。
21. 請求項１から請求項１０までのいずれか１項に記載の路上区画線認識装置と、
    前記区画線形状判定部で判定された、前記移動体が移動する路面上の区画線の形状に従って、前記移動体を移動させる操舵支援部を備えた
    運転支援装置。
22. 前記区画線形状判定部で判定された、前記移動体が移動する路面上の区画線の形状に対して、前記移動体が逸脱することが予想される場合に、前記移動体のユーザに警告する逸脱警告部をさらに備えた
    請求項２１に記載の運転支援装置。
23. 請求項１から請求項１０までのいずれか１項に記載の路上区画線認識装置と、
    前記区画線形状判定部で判定された、前記移動体が移動する路面上の区画線の形状に対して、前記移動体が逸脱することが予想される場合に、前記移動体のユーザに警告する逸脱警告部を備えた
    運転支援装置。
24. 請求項１１から請求項２０までのいずれか１項に記載の路上区画線認識方法と、
    前記区画線形状判定ステップで判定された、前記移動体が移動する路面上の区画線の形状に従って、前記移動体を移動させる操舵支援ステップを備えた
    運転支援方法。
25. 前記区画線形状判定ステップで判定された、前記移動体が移動する路面上の区画線の形状に対して、前記移動体が逸脱することが予想される場合に、前記移動体のユーザに警告する逸脱警告ステップをさらに備えた
    請求項２４に記載の運転支援方法。
26. 請求項１１から請求項２０までのいずれか１項に記載の路上区画線認識方法と、
    前記区画線形状判定ステップで判定された、前記移動体が移動する路面上の区画線の形状に対して、前記移動体が逸脱することが予想される場合に、前記移動体のユーザに警告する逸脱警告ステップを備えた
    運転支援方法。

Images