JP4185077B2 - 車両、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理システム、当該画像処理システムが搭載された車両、画像処理方法、及び画像処理プログラムに関する。

レーンマークには、白線のほか、黄線が用いられる場合もあるため、色カメラ等の撮像手段により撮像された色画像を用いて、白線や黄線等のレーンマークを認識する技術手法が提案されている（例えば、特許文献１）。
特許第３３３３４６８号公報

しかし、道路周辺の建造物等によって図３に示されているようにレーンマークＭ及びその他の路面部分に影Ｓがさしたり、車両のヘッドライトにより路面の一部が照らされていたり等、路面への光の照射状態が部分的に異なっている場合、当該部分における路面画像の色の特徴量が変化する。このため、黄線等、白色以外のレーンマークの認識精度が低下する場合があった。

そこで、本発明は、路面への光の照射状態が部分的に異なっている場合でも、路面画像においてレーンマークを高精度で認識し得る画像処理システム及び画像処理方法、当該画像処理システムが搭載された車両、及び当該画像処理機能をコンピュータに付与する画像処理プログラムを提供することを解決課題とする。

前記課題を解決するための本発明の車両は、撮像手段と、撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、画像処理システムによる画像処理結果に基づいて車両の走行を制御する車両走行制御システムとが搭載され、画像処理システムが、路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理手段と、第１処理手段によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理手段と、第２処理手段により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理手段と、第１処理手段によってエリアが設定されるたび、第２処理手段による第１画素の色成分の補正及び第３処理手段による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理手段とを備えている。

路面画像における設定エリアを包含する路面部分にさす影（暗さ）や光（明るさ）の影響により、路面の実際の色が、第１画素の色成分に十分に反映されず、第１画素における注目色に応じた特徴量が小さく抑制されてしまうことがある。従って、第１画素の色成分が注目色に応じた特徴量にそのまま反映された場合、第１画素における特徴量に基づく当該注目色のレーンマークの認識精度が低下するおそれがある。

本発明の車両によれば、第１画素とともにエリアに包含される第２画素の色成分も路面部分における影又は光の影響を受けている蓋然性が高いことに鑑みて、画像処理システムにより、路面画像において設定されたエリアに包含される第１画素の色成分が第２画素の色成分を基準として補正される。これにより、路面にさす影や光の影響が低減され、第１画素に相当する路面部分の実際の色が、第１画素の色成分、ひいては特徴量に十分に反映され得る。

また、エリアが逐次移動させられながら設定されるが、エリアに包含される複数の画素のうち、その移動方向先端部分の画素が第１画素とされ、その他の画素が第２画素とされている。このため、エリア先端部分に相当する路面部分の色が、前回に設定されたエリア先端部分に相当する路面部分の色と異なる状態になったとき、第１画素に相当する路面部分の色と、一部又は全部の第２画素に相当する路面部分の色とが異なる状態になる。このため、前記のように第１画素の色成分が、第２画素の対応する色成分を基準として補正されることにより、第１画素に相当する路面部分の実際の色が、この第１画素の色成分、ひいては注目色に応じた特徴量に顕著に反映され得る。

そして、第４処理手段により、路面画像の各画素Ｐijの特徴量Ｑijに基づき、路面画像においてレーンマークＭ及びそのエッジＥが認識される。

以上により、路面への光の照射状態が部分的に異なっている場合でも、画像処理システムによって路面画像において注目色のレーンマークが高精度で認識され得る。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制御され得る。

また、本発明の車両は、第１処理手段が、路面画像において移動方向に一列に連続して並んでいる形状のエリア、又は移動方向前方に一列に連続して並んでいる部分を有するエリアを設定することを特徴とする。

本発明の車両によれば、今回設定されたエリアの第１画素に相当する路面部分の色が、前回に設定されたエリアの第１画素に相当する路面部分の色と異なる状態となったとき、レーンマークが一定幅を有していることに鑑みて、今回設定されたエリアにおいて、第１画素に相当する路面部分の色と、一部又は全部の第２画素に相当する路面部分の色とが異なる状態となり得る。これにより、第１画素に相当する路面部分の実際の色が、この第１画素の色成分、ひいては注目色に応じた特徴量に顕著に反映され得る。

従って、路面への光の照射状態が部分的に異なっている場合でも、画像処理システムによって路面画像において注目色のレーンマークが高精度で認識され得る。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制御され得る。

さらに、本発明の車両は、第１処理手段が、路面画像の位置に応じて、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする。

本発明の車両によれば、今回設定されたエリアの第１画素に相当する路面部分の色が、前回に設定されたエリアの第１画素に相当する路面部分の色と異なる状態となったとき、今回設定されたエリアにおいて、第１画素に相当する路面部分の色と、第２画素の全部又は大半に相当する路面部分の色とが異なる状態となるように、エリアのサイズ及び形状のうち一方又は両方が調節され得る。これにより、第１画素に相当する路面部分の実際の色が、この第１画素の色成分、ひいては注目色に応じた特徴量に顕著に反映され得る。従って、路面への光の照射状態が部分的に異なっている場合でも、画像処理システムによって路面画像において注目色のレーンマークが高精度で認識され得る。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制御され得る。

また、本発明の車両は、第１処理手段が、第２処理手段による第１画素の色成分の補正結果、第３処理手段による第１画素の特徴量の算出結果、第４処理手段によるレーンマークの認識結果、及び車両の走行状態のうち一部又は全部に基づき、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする。

エリアに包含される第２画素が過少である場合、レーンマークの剥げ等により局所的に本来の注目色とは別の色となっている路面部分の色しか第２画素の色成分に反映されないおそれがある。このため、今回設定されたエリアにおいて、第２画素の色成分を基準とした第１画素の色成分の補正量が過大となる可能性がある。そして、レーンマークのかすれ部分がこのレーンマークのエッジであると認識される等、第１画素の注目色に応じた特徴量に基づくレーンマークの認識精度が低下する可能性がある。

一方、エリアに包含される第２画素が過多である場合、当該エリアに相当する路面部分に併存する複数の色が第２画素の色成分に反映される。このため、今回設定されたエリアにおいて、第２画素の色成分を基準とした第１画素の色成分の補正量が不十分となる可能性がある。そして、レーンマークのエッジがレーンマークのエッジではないと認識される等、第１画素の注目色に応じた特徴量に基づくレーンマークの認識精度が低下する可能性がある。

さらに、路面画像においてレーンマークがどの位置にあると認識されるかは、前回のレーンマークの認識結果に依存する。例えば、車両の走行状態が安定しているにもかかわらず、路面画像において前回認識されたレーンマークの位置に鑑みて著しく妥当性（連続性）を欠く位置ではレーンマークが認識される可能性は低く、また、妥当性に欠ける認識結果に基づいて車両の走行が制御されるべきではない。

また、路面画像においてレーンマークがどの位置にあると認識されるかは、車両の走行状態にも依存する。例えば、車両が左にカーブしながら走行しているとき、路面画像においてレーンマークは道路のカーブの程度に応じた位置で認識されるものと予測される。

本発明の車両によれば、これらの事情に鑑みて、第１画素の色成分の補正結果、第１画素の注目色に応じた特徴量の算出結果、第４処理手段によるレーンマークの認識結果、及び車両の走行状態のうち一部又は全部に基づき、エリアがそのサイズ及び形状のうち一方又は両方が調節された上で再設定又は新規設定される。これにより、レーンマークの認識精度が低下するようなエリア設定を回避し、レーンマークの認識精度を向上させることができる。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制御され得る。

さらに、本発明の車両は、第２処理手段が、第１画素の色成分を、第２画素の輝度値を基準とする第２画素の色成分を基準として補正し、第３処理手段が、第１画素の輝度値を基準とする第１画素の該補正後の色成分に基づき、注目色に応じた第１画素の特徴量を算出することを特徴とする。

第１画素の明るさと第２画素の明るさとが相違するため、前記のように第１画素の色成分が、これに対応する第２画素の色成分を基準として補正された場合、注目色に応じた第１画素の特徴量が過大又は過少となる可能性がある。例えば、第１画素が明るい路面部分に相当する一方、第２画素が暗い路面部分に相当する状態になったとき、第１画素の特徴量が過大となり、第１画素が路面部分ではなく、注目色のレーンマーク部分に相当すると誤認識される可能性がある。また、第１画素が暗いレーンマーク部分に相当する一方、第２画素が明るいレーンマーク部分に相当する状態になったとき、第１画素の特徴量が過少となり、第１画素がレーンマーク部分ではなく、路面部分に相当すると誤認識される可能性がある。

本発明の車両によれば、このような事情に鑑みて、第１画素の色成分が、第２画素の「輝度値（明るさを表す指数）」を基準とし、且つ、この第１画素の色成分に対応する第２画素の色成分を基準として補正される。また、第１画素の特徴量が、第１画素の輝度値を基準とする、第１画素の当該補正後の色成分に基づいて算出される。これにより、前記のように第１及び第２画素の明るさの違いによる、第１画素の特徴量に対する影響が軽減又は解消され、さらに第１画素の特徴量に基づくレーンマークの認識精度の低下が抑制され得る。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行がより適切に制御され得る。

前記課題を解決するための本発明の画像処理システムは、車両に搭載されている撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理手段と、第１処理手段によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理手段と、第２処理手段により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理手段と、第１処理手段によってエリアが設定されるたび、第２処理手段による第１画素の色信号の補正及び第３処理手段による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理手段とを備えている。

本発明の画像処理システムによれば、路面への光の照射状態が部分的に異なっている場合でも、路面画像においてレーンマークが高精度で認識され得る。

また、本発明の画像処理システムは、第１処理手段が、路面画像において移動方向に一列に連続して並んでいる形状のエリア、又は移動方向前方に一列に連続して並んでいる部分を有するエリアを設定することを特徴とする。

さらに、本発明の画像処理システムは、第１処理手段が、路面画像の位置に応じて、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする。

また、本発明の画像処理システムは、第１処理手段が、第２処理手段による第１画素の色成分の補正結果、第３処理手段による第１画素の特徴量の算出結果、第４処理手段によるレーンマークの認識結果、及び車両の走行状態のうち一部又は全部に基づき、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする。

さらに、本発明の画像処理システムは、第２処理手段が、第１画素の色成分を、第２画素の輝度値を基準とする第２画素の色成分を基準として補正し、第３処理手段が、第１画素の輝度値を基準とする該補正後の第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出することを特徴とする。

前記課題を解決するための本発明の画像処理方法は、車両に搭載されている撮像手段により撮像された路面画像において、複数の画素を包含するエリアを逐次移動させながら設定する第１処理ステップと、第１処理ステップにおいてエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理ステップと、第２処理ステップにおいて補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理ステップと、第１処理ステップによってエリアが設定されるたび、第２処理ステップによる第１画素の色信号の補正及び第３処理ステップによる第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理ステップとを含んでいる。

本発明の画像処理方法によれば、路面への光の照射状態が部分的に異なっている場合でも、路面画像において注目色のレーンマークが高精度で認識され得る。

前記課題を解決するための本発明の画像処理プログラムは、車両に搭載されている撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理機能と、第１処理機能によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理機能と、第２処理機能により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理機能と、第１処理機能によってエリアが設定されるたび、第２処理機能による第１画素の色信号の補正及び第３処理機能による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理機能とをコンピュータに付与する。

本発明のプログラムによれば、路面への光の照射状態が部分的に異なっている場合でも、路面画像において注目色のレーンマークを高精度で認識し得る機能が、コンピュータに付与される。

本発明の車両、画像処理システム、画像処理方法、及び画像処理プログラムの実施形態について図面を用いて説明する。

図１は本発明の一実施形態における画像処理システム及びこれが搭載された車両の構成説明図であり、図２は本発明の一実施形態における画像処理方法の説明図であり、図３は路面画像の例示図であり、図４は第１処理によって設定されるエリアの例示図であり、図５は第４処理（レーンマーク認識処理）の説明図であり、図６はエリアに包含される複数の画素の例示図であり、図７は画像処理により認識されたレーンマークの例示図であり、図８は第１処理によって設定されるエリアの他の例示図である。

図１に示されている車両１０には、電子制御ユニット（コンピュータ）１１と、車両１０の前方のカラー路面画像を撮像するカメラ（撮像手段）１２とが搭載されている。

電子制御ユニット１１は、車両１０に搭載されているハードウェアとして、ソフトウェアとしての本発明の「画像処理プログラム」とともに画像処理システム１００を構成している。また、電子制御ユニット１１は、画像処理システム１００の画像処理結果に基づいて車両１０の横位置を含む走行状態を制御する「車両走行状態制御システム」を構成している。画像処理システム１００は、記憶手段１０２と、第１処理手段１１０と、第２処理手段１２０と、第３処理手段１３０と、第４処理手段１４０とを備えている。第１処理手段１１０、第２処理手段１２０、第３処理手段１３０、及び第４処理手段１４０のそれぞれは、ＣＰＵ、ＲＯＭ、ＲＡＭ、その他通信回路等のハードウェアと、当該ハードウェアを書く処理手段として機能させるための本発明の「画像処理プログラム」の部分とにより構成されている。第１処理手段１１０、第２処理手段１２０、第３処理手段１３０、及び第４処理手段１４０は、それぞれ別個独立のハードウェアによって構成されていてもよく、共通のハードウェアによって構成されていてもよい。

記憶手段１０２は、第１処理手段１１０によるエリアの設定方法、第２処理手段１２０による第１画素の色成分の補正方法、第３処理手段１３０による第１画素の注目色に応じた特徴量の算出方法、第４処理手段１４０による特徴量に基づく注目色のレーンマークの認識方法等を記憶する。

第１処理手段１１０は、路面画像において複数の画素を包含するエリアを逐次移動させながら設定する。

第２処理手段１２０は、第１処理手段１１０によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される「第１画素」の色成分を、該複数の画素のうち第１画素以外の「第２画素」の色成分を基準として補正する。

第３処理手段１３０は、第２処理手段１２０により補正された第１画素の色成分に基づき、注目色に応じた第１画素の「特徴量」を算出する。

第４処理手段１４０は、第１処理手段１１０によってエリアが設定されるたび、第２処理手段１２０による第１画素の色成分の補正及び第３処理手段１３０による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において注目色のレーンマークを認識する。

前記構成の車両１０に搭載されている画像処理システムに１００より実行される画像処理方法について図２〜図８を用いて説明する。

まず、第１処理手段１１０が、カメラ１２によって撮像されたｍ×ｎ個の画素からなる、図３に示されているような路面画像において、下色の行番号を表す指数ｉ（ｉ＝０，１，２，・・，ｍ−１）を「０」に設定し（図２／Ｓ１０１）、且つ、左色の列番号を表す指数ｊ（ｊ＝０，１，２，・・，ｎ−１）を「４」に設定する（図２／Ｓ１０２）。図３に示されている路面画像では、車両１０の走行レーンの左右のレーンマークＭのうち、左側のレーンマークＭ及びその周辺の路面部分に影Ｓがさしている。

この上で、第１処理手段１１０が「第１処理」を実行する（図２／Ｓ１１０）。具体的には、図４に示されているように、路面画像における横並びの複数の画素を包含し、且つ、当該複数の画素のうち右端の画素Ｐijの位置によって識別される、１行×４列のサイズ及び形状を有するエリアＡijを設定する。なお、列番号を表す指数が「２」に設定された場合、１行×２列のサイズ及び形状を有するエリアＡi2が設定されてもよく、列番号を表す指数が「３」に設定された場合、１行×３列のサイズ及び形状を有するエリアＡi3が設定されてもよい。

次に、第２処理手段１２０が「第２処理」を実行する（図２／Ｓ１２０）。具体的には、第１処理手段１１０により設定されたエリアＡijに含まれている複数の画素Ｐis（ｓ＝ｊ−３，ｊ−２，ｊ−１，ｊ）のうち、右端部分（エリアＡijの移動方向先端部分）にある第１画素Ｐijの色信号Ｉij＝（Ｒij，Ｇij，Ｂij）が、当該複数の画素のうち第１画素Ｐij以外の第２画素Ｐik（ｋ＜ｊ）の色信号Ｉikを基準として補正されることにより、第１画素Ｐijの補正色信号Ｉ’ijが得られる。具体的には、次式（１）に従って第２画素Ｐikのそれぞれの輝度値Ｖikが決定され、次式（２）に従って補正係数の行列Ｗが決定され、且つ、次式（３）に従って第１画素Ｐijの補正色信号Ｉ’ijが決定される（「ｄｉａｇ」は対角行列を表し、「ｔ」は転置を表す）。

Ｖik＝［α，β，γ］・^ｔ（Ｒik，Ｇik，Ｂik）
＝αＲik＋βＧik＋γＢik
（α＞０，β＞０，γ＞０，α＋β＋γ＝１） ・・（１）

Ｗ＝ｄｉａｇ［ΣkＶik／ΣkＲik，ΣkＶik／ΣkＧik，ΣkＶik／ΣkＢik］
≡ｄｉａｇ［Ｖ／Ｒ，Ｖ／Ｂ，Ｖ／Ｇ］ ・・（２）

^ｔＩ’ij＝Ｗ・^ｔＩij
＝ｄｉａｇ［Ｖ／Ｒ，Ｖ／Ｂ，Ｖ／Ｇ］・^ｔ（Ｒij，Ｇij，Ｂij）
＝^ｔ［（Ｖ／Ｒ）Ｒij，（Ｖ／Ｇ）Ｇij，（Ｖ／Ｂ）Ｂij］ ・・（３）

次に、第３処理手段１３０が「第３処理」を実行する（図２／Ｓ１３０）。具体的には、第２処理手段１２０によって補正された第１画素Ｐijの色信号Ｉ’ijに基づき、注目色に応じた第１画素Ｐijの特徴量Ｑijが算出される。例えば、注目色が「黄色」、すなわち、Ｒ値がＢ値よりも大きくなる色である場合、第１画素Ｐijの色信号Ｉijに基づき、次式（４）に従って第１画素Ｐijの輝度値Ｖijが算出され、且つ、第１画素Ｐijの補正色信号Ｉ’ijと、必要に応じて第１画素Ｐijの輝度値Ｖijとに基づき、次式（５ａ）（５ｂ）又は（５ｃ）に従って第１画素Ｐijの特徴量Ｑijが算出される。

Ｖij＝［α，β，γ］・^ｔ（Ｒij，Ｇij，Ｂij）
＝αＲij＋βＧij＋γＢij
（α＞０，β＞０，γ＞０，α＋β＋γ＝１） ・・（４）

Ｑij＝（１／Ｖij，０，１／Ｖij）・Ｉ’ij
＝（Ｖ／Ｖij）｛（Ｒij／Ｒ）＋（Ｂij／Ｂ）｝ ・・（５ａ）

Ｑij＝（１／Ｖij，０，−１／Ｖij）・Ｉ’ij
＝（Ｖ／Ｖij）｛（Ｒij／Ｒ）−（Ｂij／Ｂ）｝ ・・（５ｂ）

Ｑij＝（Ｒij／Ｒ）／（Ｂij／Ｂ） ・・（５ｃ）

式（５ａ）に従って算出される特徴量Ｑijは第１画素Ｐijの補正色信号Ｉ’ijのＲ成分及びＧ成分の和が、第１画素Ｐijの輝度値Ｖijで除された（規格化された）ものである。また、式（５ｂ）に従って算出される特徴量Ｑijは第１画素Ｐijの補正色信号Ｉ’ijのＲ成分及びＧ成分の差が、第１画素Ｐijの輝度値Ｖijで除されたものである。さらに、式（５ｃ）に従って算出される特徴量Ｑijは第１画素Ｐijの補正色信号Ｉ’ijのＧ成分に対するＲ成分の比率である。

第１画素Ｐijの特徴量Ｑijが算出された後、第１処理手段１１０によって列番号を表す指数ｊが「１」だけ増やされ（図２／Ｓ１０３）、当該指数ｊが路面画像の横画素数ｍ以上であるか否かが判定される（図２／Ｓ１０４）。なお、当該指数ｊの増加数は、後述の路面画像におけるレーンマーク認識処理に支障をきたさない程度の「２」以上の数であってもよい。

そして、当該指数ｊが路面画像の横画素数ｍ未満であると判定された場合（図２／Ｓ１０４・・ＮＯ）、第１ないし第３処理が実行される（図２／Ｓ１１０〜Ｓ１３０）。列番号を表す指数ｊが「１」ずつ増やされるたびに新たにエリアＡijが設定されるので、エリアＡijは右方向に１画素ずつ移動していきながら更新設定されることとなる。また、エリアＡijに包含される複数の画素のうち右端部分に包含される第１画素Ｐijは、エリアＡijの移動方向（図４矢印方向）、すなわち右方向についての先端部分に包含される画素である。

一方、当該指数ｊが路面画像の横画素数ｍ以上であると判定された場合（図２／Ｓ１０４・・ＹＥＳ）、第１処理手段１１０により、行番号を表す指数ｉが「１」だけ増やされ（図２／Ｓ１０５）、当該指数ｉが路面画像の縦画素数ｎ以上であるか否かが判定される（図２／Ｓ１０６）。なお、当該指数ｉの増加数は、後述の路面画像におけるレーンマーク認識処理に支障をきたさない程度の「２」以上の数であってもよい。

そして、行番号を表す指数ｉが路面画像の縦画素数ｎ未満であると判定された場合（図２／Ｓ１０６・・ＮＯ）、第１処理手段１１０により列番号を表す指数ｊが「４」に再び設定された上で（図２／Ｓ１０２）、第１ないし第３処理が実行される（図２／Ｓ１１０〜Ｓ１３０）。また、当該指数ｉが一又は複数の所定値を超えている場合、サイズが小さいエリアＡijが設定されてもよい。これにより、路面画像の上に行くほど、例えば図４に示されているエリアＡijの幅が小さく設定される。

一方、当該指数ｉが路面画像の縦画素数ｎ以上であると判定された場合（図２／Ｓ１０６・・ＹＥＳ）、第４処理手段１４０が「第４処理」を実行する（図２／Ｓ１４０）。具体的には、路面画像における各画素Ｐijの特徴量Ｑijに基づき、路面画像におけるレーンマークが認識される。

例えば、図３に示されている路面画像において、図５（ａ）に示されているように、左から順に画素Ｐij1＝（Ｘj1，Ｙi）が左側のレーンマークＭの左端に相当し、画素Ｐij2＝（Ｘj2，Ｙi）が左側のレーンマークＭの右端に相当し、画素Ｐij3＝（Ｘj3，Ｙi）が路面にさしている影Ｓの端に相当し、画素Ｐij4＝（Ｘj4，Ｙi）が右側のレーンマークＭの左端に相当し、且つ、画素Ｐij5＝（Ｘj5，Ｙi）が右側のレーンマークＭの右端に相当する場合を考える。

この場合、一列に並んでいる複数の画素Ｐij（ｊ＝０，１，２，・・，ｍ−１）の注目色に応じた特徴量Ｑijは、路面画像のＸ座標の増加に伴って図５（ｂ）に示されているように変化する。

具体的には、特徴量Ｑijは、Ｘ＝Ｘj1及びＸj4においてそれぞれ大きく増加する。すなわち、エリアＡijが前回よりも右に移動して更新設定されることで、図６（ａ）に示されているように、第１画素ＰijがレーンマークＭの左端部分に相当する一方、第２画素Ｐik（ｋ＝ｊ1−３，ｊ1−２，ｊ1−１）がこのレーンマークＭの左側の路面部分に相当する状態となったとき、第１画素Ｐijの注目色に応じた特徴量Ｑijが大きく増加する。これは、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの各色成分の総和Ｒ，Ｇ，Ｂを基準として補正されることで、道路にさす影Ｓ又は光の影響が軽減又は解消され、且つ、第１画素Ｐijには注目色（レーンマークＭの色）が含まれる一方、第２画素Ｐikには注目色とは別の色（路面の色）が含まれているという相違が強調されるからである。

例えば、レーンマークＭが黄色である一方、路面が灰色である場合、レーンマークＭに相当する画素のＲ成分はＢ成分より大きくなる一方、路面に相当する画素のＲ成分及びＢ成分の差は小さい。しかし、レーンマークＭに影Ｓがさしている場合（図３参照）、レーンマークＭに相当する画素のＲ成分が小さくなる。しかるに、路面にも同様に影がさしている場合、路面に相当する画素のＲ成分も小さくなる。従って、レーンマークＭに相当する画素のＲ成分が、路面に相当する画素のＲ成分を基準として補正されることで、レーンマークＭに相当する画素のＲ成分が影Ｓの影響により低減した分が補償され得る（式（１）〜（３）参照）。これにより、レーンマークＭに相当する画素Ｐijの特徴量Ｑijが、影の影響が軽減又は排除された形で算出され得る（式（４）（５ａ）〜（５ｃ）参照）。

また、一度大きく増加した特徴量Ｑijは徐々に減少する。すなわち、エリアＡijが前回よりも右に移動して更新設定されることで、図６（ｂ）又は図６（ｃ）に示されているように、第１画素ＰijがレーンマークＭの部分に相当する一方、第２画素Ｐikの一部又は全部がこのレーンマークＭの部分に相当する状態となったとき、第１画素Ｐijの注目色に応じた特徴量Ｑijが徐々に減少する。これは、第１画素Ｐijの各色成分が、第２画素Ｐikの各色成分の総和を基準として補正されることで、第１画素ＰijにはレーンマークＭの色が含まれる一方、第２画素Ｐikには路面の色が含まれているという相違が徐々に薄れるからである。

さらに、特徴量ＱijはＸ＝Ｘj2及びＸj5においてそれぞれ大きく減少する。すなわち、エリアＡijが前回よりも右に移動して更新設定されることで、図６（ｄ）に示されているように、第１画素ＰijがレーンマークＭの右側の路面部分に相当する一方、第２画素ＰikがこのレーンマークＭの部分に相当する状態となったとき、第１画素Ｐijの注目色に応じた特徴量Ｑijが大きく減少する。これは、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの各色成分の総和Ｒ，Ｇ，Ｂを基準として補正されることで、道路にさす影Ｓ又は光の影響が軽減又は解消され、且つ、第１画素Ｐijには注目色とは別の色（路面の色）が含まれる一方、第２画素Ｐikには注目色（レーンマークＭの色）が含まれているという相違が強調されるからである。

例えば、レーンマークＭが黄色である一方、路面が灰色である場合、レーンマークＭに相当する画素のＲ成分はＢ成分より大きくなる一方、路面に相当する画素のＲ成分及びＢ成分の差は小さい。しかし、レーンマークＭに光がさしている場合、レーンマークＭに相当する画素のＢ成分が大きくなる。しかるに、路面にも同様に光がさしている場合、路面に相当する画素のＢ成分が大きくなる。従って、レーンマークＭに相当する画素のＢ成分が、路面に相当する画素のＢ成分を基準として補正されることで、レーンマークＭに相当する画素のＢ成分が光の影響により増加した分が補償され得る（式（１）〜（３）参照）。これにより、レーンマークＭに相当する画素Ｐijの特徴量Ｑijが、光の影響が軽減又は排除された形で算出され得る（式（４）（５ａ）〜（５ｃ）参照）。

また、一度大きく減少した特徴量Ｑijは徐々に増加する。すなわち、エリアＡijが前回よりも右に移動して更新設定されることで、図６（ｅ）又は図６（ｆ）に示されているように、第１画素ＰijがレーンマークＭの右側の路面部分に相当する一方、第２画素Ｐikの一部又は全部がこの路面部分に相当する状態となったとき、第１画素Ｐijの注目色に応じた特徴量Ｑijが徐々に減少する。これは、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの色成分の総和Ｒ，Ｇ，Ｂを基準として補正されることで、第１画素Ｐijに路面の色が含まれる一方、第２画素Ｐikには注目色（レーンマークＭの色）が含まれているという相違が徐々に薄れるからである。

さらに、特徴量Ｑijは、Ｘ＝Ｘj3の前後でほぼ一定に維持される。すなわち、エリアＡijが前回よりも右に移動して更新設定されることで、第１画素Ｐijが明るい路面部分に相当する一方、第２画素Ｐikが路面の暗い（影Ｓがさしている）路面部分に相当する状態となったとき、第１画素Ｐijの注目色に応じた特徴量Ｑijがほぼ一定に維持される。これは、第１画素Ｐijの各色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの輝度値の総和Ｑを基準とする第２画素Ｐikの各色成分の総和Ｒ，Ｇ，Ｂを基準として補正され、且つ、第１画素Ｐijの輝度値Ｖijを基準とする当該補正後の色成分Ｒij’，Ｇij’，Ｂij’に基づいて第１画素Ｐijの特徴量Ｑijが算出されるからである。すなわち、第１画素Ｐijの各色成分Ｒij，Ｇij，Ｂijが、輝度値の総和に対する色成分の総和の比Ｒ／Ｖ，Ｇ／Ｖ，Ｂ／Ｖを基準として補正され、且つ、第１画素Ｐijの輝度値Ｖijに対する当該補正後の色成分の比Ｒij’／Ｖij，Ｇij’／Ｖij，Ｂij’／Ｖijに基づいて第１画素Ｐijの特徴量Ｑijが算出されるからである。そして、これにより、道路にさす影Ｓ又は光の影響が軽減又は解消され、且つ、第１画素Ｐij及び第２画素Ｐikにはともに注目色とは別の色（路面の色）が含まれるということが顕在化されるからである。

第４処理手段１４０は、図５（ｂ）に示されているように、路面画像の各画素Ｐijにおける特徴量Ｑijの、左側の極大値及び右側の極小値により挟まれた部分をレーンマークＭであると認識する。すなわち、図７に示されているように、特徴量Ｑijが極大値を示す点（図中白点）及び特徴量Ｑijが極小値を示す点（図中黒点）。また、第４処理手段１４０は、レーンマークＭの左右のエッジのうち、走行レーン中央寄りのエッジをレーンマークＭのエッジＥ（図中太線）として認識する。

そして、電子制御ユニット１１が、画像処理システム１００による画像処理結果、すなわち、レーンマークＭのエッジＥの認識結果に基づき、車両１０の走行を制御する。

前記画像処理方法を実行する画像処理システム１００によれば、路面画像において設定されたエリアＡijに包含される第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの輝度値の総和Ｖ（＝ΣkＶik）を基準とする第２画素Ｐikの色成分の総和Ｒ（＝ΣkＲik），Ｇ（＝ΣkＧik），Ｂ（＝ΣkＢik）を基準として補正される。すなわち、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの輝度値の総和Ｖに対する色成分の総和Ｒ，Ｇ，Ｂの比Ｒ／Ｖ，Ｇ／Ｖ，Ｂ／Ｖを基準として補正される（図２／Ｓ１２０、式（１）〜（３））。また、第１画素Ｐijの輝度値Ｖijを基準とする第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijに基づき、第１画素Ｐijの特徴量Ｑijが算出される。すなわち、第１画素Ｐijの輝度値に対する色成分の比Ｒij／Ｖij，Ｇij／Ｖij，Ｂij／Ｖij（図２／Ｓ１３０、式（５ａ）（５ｂ）参照）。これにより、路面にさす影や光の影響が低減され、第１画素Ｐijに相当する路面部分の実際の色が、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂij、ひいては特徴量Ｑijに十分に反映され得る。

また、エリアＡijが逐次移動させられながら設定されるが（図２／Ｓ１０３，Ｓ１１０）、エリアＡijに包含される複数の画素のうち、その移動方向先端部分の画素が第１画素Ｐijとされ、その他の画素が第２画素Ｐik（ｋ＜ｊ）とされている（図４参照）。このため、エリアＡijの先端部分に相当する路面部分の色が、前回に設定されたエリアＡijの先端部分に相当する路面部分の色と異なる状態になったとき、図６（ａ）又は図６（ｄ）に示されているように、第１画素Ｐijに相当する路面部分の色と、一部又は全部の第２画素Ｐikに相当する路面部分の色とが異なる状態になる。このため、前記のように第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが、第２画素Ｐikの色成分の総和Ｒ，Ｇ，Ｂを基準として補正されることにより、第１画素Ｐijに相当する路面部分の実際の色が、この第１画素Ｐijの色成分Ｒij，Ｇij，Ｂij、ひいては注目色に応じた特徴量Ｑijに顕著に反映され得る（図５（ｂ）参照）。

さらに、第１画素Ｐijの輝度値Ｖijと、第２画素Ｐikの輝度値Ｖikの総和Ｖとが考慮されて第１画素Ｐijの特徴量Ｑijが算出される（図２／Ｓ１３０、式（１）（４）参照）。これにより、第１画素Ｐij及び第２画素Ｐikの色ではなく明るさの違いにより第１画素Ｐijの特徴量Ｑijが過大又は過少となる事態が回避され得る。例えば、図５（ａ）に示されている影Ｓがさして暗い路面部分と、影Ｓから外れて明るい路面部分との境界位置Ｘj3において、第１画素Ｐij及び第２画素Ｐikの明るさの違いにより、第１画素Ｐijの特徴量Ｑij（特に式（５ａ）に従って算出される特徴量Ｑij）が大きく変動し、この第１画素ＰijがレーンマークＭのエッジＥに相当すると誤判定される事態が回避され得る。

以上により、路面への光の照射状態が部分的に異なっている場合でも、画像処理システム１００によって路面画像において注目色のレーンマークＭ及びそのエッジＥが高精度で認識され得る。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークＭ及びそのエッジＥの実際の位置に鑑みて車両１０の走行が適切に制御され得る。

さらに、本発明の車両は、第１処理手段１１０は、路面画像の位置に応じて、サイズ、形状、又はサイズ及び形状を調節しながらエリアＡijを設定可能である。具体的には、前記のように、路面画像の上に行くほど、例えば図４に示されているエリアＡijの幅が小さく設定される。

今回設定されたエリアＡijの第１画素Ｐijに相当する路面部分の色が、前回に設定されたエリアの第１画素ｐij-1に相当する路面部分の色と異なる状態となったとき（例えば、図６（ｃ）に示されている状態から図６（ｄ）に示されている状態となったとき）、今回設定されたエリアＡijにおいて、第１画素Ｐijに相当する路面部分の色と、全部又は大半の第２画素Ｐikに相当する路面部分の色とが異なる状態となるように、エリアＡijのサイズ及び形状のうち一方又は両方が調節され得る。これにより、第１画素Ｐijに相当する路面部分の実際の色が、この第１画素Ｐijの色成分、ひいては注目色に応じた特徴量Ｑijに顕著に反映され得る。従って、路面への光の照射状態が部分的に異なっている場合でも、画像処理システム１００によって路面画像において注目色のレーンマークが高精度で認識され得る（図７参照）。そして、画像処理システム１００による当該画像処理結果に基づき、レーンマークＭ及びそのエッジＥの実際の位置に鑑みて車両１０の走行が適切に制御され得る。

なお、前記実施形態では各画素の色信号がＲＧＢ成分により表現されたが、他の実施形態として各画素の色信号がＣＭＹ成分、ＹＩＱ成分等、ＲＧＢ表色系とは異なる表色系により表現されてもよい。

前記実施形態では図４に示されているように、１行×４列（複数列）というサイズ及び形状のエリアＡijが設定されたが、他の実施形態として次に列挙するようなさまざまなサイズ及び形状を有するエリアＡijが設定されてもよい。すなわち、図８（ａ）に示されているように、右端部分（移動方向先端部分）の第１画素Ｐijと、第１画素Ｐijの左側（移動方向後方）にある画素Ｐij-1，Ｐij-2及びＰi+1j-2とを包含する等、移動方向前方に延びた部分を有するエリアＡijが設定されてもよい。また、図８（ｂ）に示されているように右端部分の第１画素Ｐijと、第１画素Ｐijの左側にある画素Ｐij-2，Ｐij-3及びＰij-4とを包含するような、離反した複数の画素を包含するエリアＡijが設定されてもよい。

前記実施形態ではエリアＡijが各行の右に逐次移動するように更新設定されたが、他の実施形態として図８（ｃ）に示されているようにエリアＡijが各行の左に逐次移動するように更新設定されてもよく、また、エリアＡijがある行では右に逐次移動する一方、他の行では左に逐次移動するように更新設定されてもよい。路面画像においてエリアＡijが左に逐次移動するように更新設定される場合、エリアＡijに包含される複数の画素のうち、左端の画素が第１画素Ｐij、第１画素Ｐijより右側の画素が第２画素Ｐik（ｋ＞ｊ）として第２処理（図２／Ｓ１２０）等が実行される。

また、前記実施形態では横に延びたエリアＡijが横に逐次移動するように更新設定されたが、他の実施形態として図８（ｄ）又は図８（ｅ）に示されているように縦に延びた（又は進行方向前方に縦に伸びた部分を有する）エリアＡijが各行の上、下、又は上若しくは下に逐次移動するように更新設定されてもよい。路面画像において縦に延びたエリアＡijが上下に逐次移動するように更新設定される場合、エリアＡijに包含される複数の画素のうち、上端又は下端の画素が第１画素Ｐij、第１画素Ｐijより下側又は上側の画素が第２画素Ｐik（ｋ＞ｊ）として第２処理（図２／Ｓ１２０）等が実行される。

さらに他の実施形態として、エリアＡijが横に２画素分ずつ移動し、且つ、縦に１画素分ずつ移動するように、すなわち、エリアＡijが路面画像において斜め方向に移動するように更新設定されてもよい。

ところで、エリアＡijに包含される第２画素Ｐikが過少である場合、レーンマークＭの剥げ等により局所的に本来の注目色とは別の色となっている路面部分の色しか第２画素Ｐikの色成分Ｒik，Ｂik，Ｇikに反映されないおそれがある。このため、今回設定されたエリアＡijにおいて、第２画素Ｐikの色成分Ｒik，Ｂik，Ｇikを基準とした第１画素Ｐijの色成分Ｒij，Ｂij，Ｇijの補正量が過大となる可能性がある。そして、レーンマークＭのかすれがこのレーンマークＭのエッジＥであると認識される等、第１画素Ｐijの注目色に応じた特徴量Ｑijに基づくレーンマークＭの認識精度が低下する可能性がある。

一方、エリアＡijに包含される第２画素Ｐikが過多である場合、当該エリアＡijに相当する路面部分に併存する複数の色が第２画素Ｐijの色成分の総和Ｒ＝ΣkＲik，Ｂ＝ΣkＢik，Ｇ＝ΣkＧikに反映されるおそれがある。このため、今回設定されたエリアＡijにおいて、第２画素Ｐikの色成分Ｒik，Ｂik，Ｇikを基準とした、第１画素Ｐijの色成分Ｒij，Ｂij，Ｇijの補正量が不十分となる可能性がある。そして、レーンマークＭのエッジＥが真のエッジＥではないと認識される等、第１画素Ｐijの注目色に応じた特徴量Ｑijに基づくレーンマークＭの認識精度が低下する可能性がある。

さらに、路面画像においてレーンマークがどの位置にあると認識されるかは、前回のレーンマークＭ（及びそのエッジＥ）の認識結果に依存する。例えば、車両１０の走行状態が安定しているにもかかわらず、路面画像において前回認識されたレーンマークＭの位置に鑑みて著しく妥当性（例えば、連続性）を欠く位置ではレーンマークＭが認識される可能性が低く、また、妥当性に欠ける認識結果に基づいて車両１０の走行が制御されるべきではない。

また、路面画像においてレーンマークがどの位置にあると認識されるかは、車両１０の走行状態にも依存する。例えば、車両１０が左にカーブしながら走行しているとき、路面画像においてレーンマークは道路のカーブの程度に応じた位置に認識されるものと予測される。

そこで、第１画素Ｐijの色成分の補正結果（図２／Ｓ１２０）、及び第１画素Ｐijの注目色に応じた特徴量Ｑijの算出結果（図２／Ｓ１３０）、レーンマークＭの認識結果（図２／Ｓ１４０）、及び車両１０に搭載された速度センサやヨーレートセンサ（図示略）によって測定される車両１０の速度やヨーレート等の走行状態のうち一部又は全部に基づき、エリアＡijがそのサイズ及び形状のうち一方又は両方が調節された上で再設定又は新規設定されてもよい。

当該実施形態の画像処理システム１００によれば、前記事情に鑑みて、レーンマークＭの認識精度が低下するようなエリアＡijの設定を回避し、レーンマークＭの認識精度を向上させることができる。そして、当該画像処理結果に基づき、レーンマークの実際の位置に鑑みて車両１０の走行が適切に制御され得る。

本発明の一実施形態における車両及びこれに搭載されている画像処理システムの構成説明図 本発明の一実施形態における画像処理方法の説明図 路面画像の例示図 第１処理によって設定されるエリアの例示図 第４処理（レーンマーク認識処理）の説明図 エリアに包含される複数の画素の例示図 画像処理により認識されたレーンマークの例示図 第１処理によって設定されるエリアの他の例示図

符号の説明

１０‥車両、１１‥電子制御ユニット、１２‥カメラ、１００‥画像処理システム、１０２‥記憶手段、１１０‥第１処理手段、１２０‥第２処理手段、１３０‥第３処理手段、１４０‥第４処理手段

Claims (12)

1. 撮像手段と、
   撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理システムと、
   画像処理システムによる画像処理結果に基づいて車両の走行を制御する車両走行制御システムとが搭載され、
   画像処理システムが、
   路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理手段と、
   第１処理手段によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理手段と、
   第２処理手段により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理手段と、
   第１処理手段によってエリアが設定されるたび、第２処理手段による第１画素の色成分の補正及び第３処理手段による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理手段とを備えている車両。
2. 第１処理手段が、路面画像において移動方向に一列に連続して並んでいる形状のエリア、又は移動方向前方に一列に連続して並んでいる部分を有するエリアを設定することを特徴とする請求項１記載の車両。
3. 第１処理手段が、路面画像の位置に応じて、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする請求項１又は２記載の車両。
4. 第１処理手段が、第２処理手段による第１画素の色成分の補正結果、第３処理手段による第１画素の特徴量の算出結果、第４処理手段によるレーンマークの認識結果、及び車両の走行状態のうち一部又は全部に基づき、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする請求項１、２又は３記載の車両。
5. 第２処理手段が、第１画素の色成分を、第２画素の輝度値を基準とする第２画素の色成分を基準として補正し、
   第３処理手段が、第１画素の輝度値を基準とする第１画素の該補正後の色成分に基づき、注目色に応じた第１画素の特徴量を算出することを特徴とする請求項１、２、３又は４記載の車両。
6. 車両に搭載されている撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理手段と、
   第１処理手段によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理手段と、
   第２処理手段により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理手段と、
   第１処理手段によってエリアが設定されるたび、第２処理手段による第１画素の色信号の補正及び第３処理手段による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理手段とを備えている画像処理システム。
7. 第１処理手段が、路面画像において移動方向に一列に連続して並んでいる形状のエリア、又は移動方向前方に一列に連続して並んでいる部分を有するエリアを設定することを特徴とする請求項６記載の画像処理システム。
8. 第１処理手段が、路面画像の位置に応じて、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする請求項６又は７記載の画像処理システム。
9. 第１処理手段が、第２処理手段による第１画素の色成分の補正結果、第３処理手段による第１画素の特徴量の算出結果、第４処理手段によるレーンマークの認識結果、及び車両の走行状態のうち一部又は全部に基づき、サイズ、形状、又はサイズ及び形状を調節しながらエリアを設定可能であることを特徴とする請求項６、７又は８記載の画像処理システム。
10. 第２処理手段が、第１画素の色成分を、第２画素の輝度値を基準とする第２画素の色成分を基準として補正し、
    第３処理手段が、第１画素の輝度値を基準とする第１画素の該補正後の色成分に基づき、注目色に応じた第１画素の特徴量を算出することを特徴とする請求項６、７、８又は９記載の画像処理システム。
11. 車両に搭載されている撮像手段により撮像された路面画像において、複数の画素を包含するエリアを逐次移動させながら設定する第１処理ステップと、
    第１処理ステップにおいてエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理ステップと、第２処理ステップにおいて補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理ステップと、
    第１処理ステップによってエリアが設定されるたび、第２処理ステップによる第１画素の色信号の補正及び第３処理ステップによる第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理ステップとを含んでいる画像処理方法。
12. 車両に搭載されている撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第１処理機能と、
    第１処理機能によりエリアに包含される複数の画素のうちエリアの移動方向先端部分に包含される第１画素の色成分を、該複数の画素のうち第１画素以外の第２画素の色成分を基準として補正する第２処理機能と、
    第２処理機能により補正された第１画素の色成分に基づき、注目色に応じた第１画素の特徴量を算出する第３処理機能と、
    第１処理機能によってエリアが設定されるたび、第２処理機能による第１画素の色信号の補正及び第３処理機能による第１画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像において該注目色のレーンマークを認識する第４処理機能とをコンピュータに付与する画像処理プログラム。

Images