JP4876277B2 - 車両用画像処理装置、車両、及び車両用画像処理プログラム - Google Patents

Description

本発明は、撮像手段を介して取得した車両の周辺の画像を処理する装置、車両、及びその装置の処理をコンピュータに実行させるためのプログラムに関する。

従来、撮像手段により車両の周辺を撮像した画像を処理して、車両が走行する道路上の白線等のレーンマークや、車両の周辺に存在する歩行者や他車両等の対象物を認識する技術が知られている（例えば、特許文献１を参照）。この技術により、レーンマークや対象物の認識結果に応じて、運転者への情報提示や車両の走行制御を行うことが可能となる。

特許文献１の車両用環境認識装置では、処理周期毎に、車両に搭載されたカメラにより撮像された車両前方の画像を入力し、該画像内に処理対象のウィンドウを設定し、ウィンドウの下端部分の色を路面領域（道路内の白線以外の領域）に相当する基準色とし、該基準色と色が近似する（色の類似度が所定値より大きい）領域を路面領域として、路面領域と非路面領域（白線や道路外の領域）とを分離する。そして、前記装置は、分離した路面領域の左右の境界から得られた直線を白線のエッジ部分として白線の検出を行う。このとき、ウィンドウは、前回の処理周期で検出された２本の白線の位置、又は道路幅や走行レーン幅等の所定の道路情報に基づいた固定値を用いて、画像内に１つ設定される。
特開平７−２００９９７号公報

しかしながら、路面上には、例えば、路面の補修跡や局所的な影が存在する場合がある。そして、補修跡は周囲の路面とは局所的に色が相違することが多い。また、局所的な影の部分も、散乱光によってのみ照射され色味が加わって、周囲の路面と色が乖離してしまう。このため、特許文献１の装置では、ウィンドウ内で局所的な補修跡や影に相当する部分が、基準色から乖離して非路面領域として分離されてしまい、その境界に応じて白線を検出するため、誤検出の可能性がある。そして、これは色ではなく輝度についても同様である。

また、路面の色は、例えば、経時変化等により路面領域内で分布が生じてしまう場合や、国によっては元々一定に作られず路面領域内で分布を有する場合がある。このため、路面領域内に、周囲と色が相違する広範囲の部分領域があることが想定される。このような部分領域がある場合、特許文献１の装置のように、ウィンドウの下端部分の色を路面の基準色として路面領域と非路面領域とを分離することは難しい。すなわち、路面領域内で色が一定でない場合、基準色及び基準色と色が近似する条件を適切に設定することが難しく、設定が緩いとレーンマークまで路面領域に含まれてしまう一方、設定が厳しいとこの部分領域が非路面領域として分離されてしまう。そして、このように路面領域と非路面領域との境界が誤って得られてしまうと、この誤って得られた境界に応じて白線や先行車両を検出するため、誤検出の可能性がある。そして、これは色ではなく輝度についても同様である。

本発明は、かかる背景に鑑みてなされたものであり、車両の周辺を撮像した画像を、路面上の輝度や色の変動の影響を低減するように処理して、該画像から車両が走行している道路上のレーンマークを精度良く検出可能な車両用画像処理装置、車両、及び車両用画像処理プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の車両用画像処理装置は、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第１発明）。

第１発明の車両用画像処理装置によれば、カーネル設定手段によりカーネルのサイズを設定し、平滑化手段により、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、平滑化用のカーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。これにより、画像内の画素値の変化の幅が狭まって、低コントラストの画像が得られる。

このとき、カーネル設定手段により所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるように設定されたサイズのカーネルを用いて道路の画像を平滑化することで、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれることとなる。よって、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分やレーンマークの画像部分を構成する画素の画素値は、周囲の路面の画像部分を構成する画素の画素値と近い画素値となる。また、路面の画像部分については、路面領域内に周囲と画素値が相違する広範囲の部分領域がある場合も含めて、路面の画像部分及び部分領域のサイズは、レーンマークの画像部分に比べて大きいと想定されるため、路面の画像部分及び部分領域の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に路面の画像部分及び部分領域が多く含まれることとなる。よって、路面の画像部分及び部分領域については平滑化の影響が小さく、平滑化された後の画像でも、平滑化される前の画像における画素値が保持される。

このため、変化度合算出手段により、平滑化手段により平滑化された後の画像に対する、取得された画像の各画素の画素値の変化度合を算出すると、変化度合は、路面の画像部分より画素値が大きいレーンマークの画像部分では正の大きい値となり、路面の画像部分より画素値が小さい局所的な補修跡や影の画像部分では小さい値（負の値も含む）となる。また、路面の画像部分は、周囲と画素値が相違する広範囲の部分領域も含めて、平滑化前後で画素値の変化が小さく、変化度合は小さい値（負の値も含む）となる。そこで、画素値置換手段により、取得された画像の、変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する。なお、一定値は、例えば、レーンマークの画像部分の画素値が取り得る値より十分小さい値（例えば０）である。これにより、周囲と画素値が相違する部分領域も含めた路面の画像部分や、局所的な補修跡や影の画像部分の画素の画素値は、一定値に置換され、レーンマークの画像部分の画素の画素値のみがそのまま保持されることとなる。よって、画素値置換手段により画素値が置換された後の画像では、レーンマークの画像部分のみが残るので、レーンマーク検出手段により、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。

また、第１発明の車両用画像処理装置において、前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することが好ましい（第２発明）。

第２発明の車両用画像処理装置によれば、実空間における道路の所定領域の車両からの距離が遠いほど、画像上で該所定領域の画像部分のサイズは小さくなる。よって、道路の所定領域の車両からの距離が遠いほど、画像上の該所定領域の画像部分に対して設定されるカーネルのサイズが小さくなるように、該カーネルのサイズを設定することで、画像上の各位置で、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に、周囲の路面の画像部分が多く含まれるようにすることができる。

また、第１又は第２発明の車両用画像処理装置において、前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することが好ましい（第３発明）。

第３発明の車両用画像処理装置によれば、車両が走行している道路上の白線や黄線等のレーンマークの形状は線状である。よって、平滑化用のカーネルを長方形又は台形に設定することで、レーンマークの画像部分の形状に合致するように平滑化用のカーネルを配置することができる。

また、第３発明の車両用画像処理装置において、前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することが好ましい（第４発明）。

第４発明の車両用画像処理装置によれば、車両が走行している道路上のレーンマークは、画像上で車両の進行方向に対応する画像上の方向にある消失点に向かうように撮像されると想定される。よって、車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、カーネルの向きを設定することで、レーンマークの画像部分の向きに合致するように平滑化用のカーネルを設定することができる。

また、第１〜第４発明のうちいずれかの車両用画像処理装置において、前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることが好ましい（第５発明）。

第５発明の車両用画像処理装置によれば、取得された画像から平滑化された後の画像を減算して得られる各画素の画素値の差、又は取得された画像を平滑化された後の画像で除算して得られる各画素の画素値の比は、画素値の変化度合を示す値であるので、これらの差又比を用いて、画素値置換手段により画像の画素値の置換を適切に行うことができる。

また、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることが好ましい（第６発明）。

第６発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度が相違すると想定されるので、輝度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。

或いは、第１〜第５発明のうちいずれかの車両用画像処理装置において、前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることが好ましい（第７発明）。

第７発明の車両用画像処理装置によれば、明るい白色や黄色のレーンマークの画像部分と、暗いグレーやブラウンの路面の画像部分と、さらに暗い局所的な補修跡や影の画像部分とでは、輝度や彩度が相違することとなるので、輝度又は彩度を画素値とする画像について、局所的な補修跡や影の画像部分は除去され、レーンマークの画像部分はそのまま残るように、画素値を置換することで、この置換された後の画像からレーンマークの画像部分を精度良く検出することができる。

また、第１〜第７発明のうちいずれかの車両用画像処理装置において、前記画素値置換手段により置換された後の画像の、画素値が前記一定値でない画素からなる領域を、前記車両が走行している道路上のレーンマークの画像部分として検出するレーンマーク検出手段を備えることが好ましい（第８発明）。

第８発明の車両用画像処理装置によれば、置換された後の画像では、レーンマーク以外の画像部分の画素値は一定値に置換されているので、レーンマーク検出手段により、この置換された後の画像の、画素値が一定値でない画素からなる領域を、レーンマークの画像部分として検出できる。よって、レーンマーク検出手段により、エッジ抽出処理等をさらに行うことなく、車両が走行している道路上のレーンマークを容易に検出することができる。

次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする（第９発明）。

第９発明の車両によれば、第１発明の車両用画像処理装置に関して説明したように、カーネル設定手段により、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるようにカーネルのサイズを設定し、取得された画像を、この設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化することにより、平滑化される前の画像に対して、平滑化された後の画像では、路面上の局所的な補修跡や影の画像部分や、レーンマークの画像部分の画素値と、その周囲の路面の画像部分の画素値と近い値となる。また、路面の画像部分については、路面の画像部分内の周囲と画素値が相違する広範囲の部分領域も含めて、平滑化された後の画像でも、平滑化される前の画像における画素値が保持される。したがって、画素値置換手段により画素値が置換された後の画像では、周囲と画素値が相違する部分領域も含めた路面の画像部分や、局所的な補修跡や影の画像部分の画素の画素値は、一定値に置換され、レーンマークの画像部分のみが残るので、この置換された後の画像を用いてレーンマークを検出することで、レーンマークを精度良く検出することが可能となる。

次に、本発明の車両用画像処理プログラムは、車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする（第１０発明）。

第１０発明の車両用画像処理プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を、図１〜図７を参照して説明する。図１を参照して、本発明の実施形態である車両用画像処理装置１０は自車両１（本発明の車両）に搭載して使用され、自車両１の前方を撮像するカメラ２により撮像される画像から、自車両１の走行している道路上のレーンマークを検出するものである。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。

また、車両用画像処理装置１０により検出されたレーンマークの位置データは、車両１のＥＣＵ（Electronic Control Unit）２０に出力される。ＥＣＵ２０は、レーンマークの位置データに基いて、自車両１が走行している道路の車線を認識し、自車両１が車線から逸脱する可能性を判定する車線逸脱判定処理と、自車両１が車線から逸脱する可能性がある状況となったときに、注意喚起出力（図示しないスピーカからの音声出力等による）を行なう注意喚起出力処理と、自車両１の車線からの逸脱が回避されるように、自車両１のブレーキやステアリングをアシスト駆動する車線逸脱回避制御処理とを実行する。

次に、図２を参照して、車両用画像処理装置１０は、その機能として、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６とを備えている。

画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。そして、画像取得手段１１は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から画素の輝度Ｙを算出し、この輝度Ｙを画素値とする輝度画像を取得する。これと共に、画像取得手段１１は、取得されたカラー画像の画素のカラー成分（Ｒ，Ｇ，Ｂ）から画素の彩度Ｓを算出し、この彩度Ｓを画素値とする彩度画像を取得する。

カーネル設定手段１２は、カメラ２を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定する。平滑化用のカーネルの設定の詳細については後述する。

平滑化手段１３は、カメラ２を介して取得された輝度画像及び彩度画像を、それぞれ、カーネル設定手段１２により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する。平滑化手段１３による平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用のカーネルを配置し、カーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。

変化度合算出手段は１４は、輝度画像を用いて、平滑化手段１３により平滑化された後の輝度画像に対する、カメラ２を介して取得された輝度画像の各画素の画素値の変化度合を算出する。これと共に、変化度合算出手段は１４は、彩度画像を用いて、平滑化手段１３により平滑化された後の彩度画像に対する、カメラ２を介して取得された彩度画像の各画素の画素値の変化度合を算出する。具体的には、変化度合算出手段は１４は、変化度合として、取得された輝度画像（彩度画像）から平滑化された後の輝度画像（彩度画像）を減算して得られる各画素の画素値の差を用いる。

画素値置換手段１５は、カメラ２を介して取得された輝度画像の、変化度合算出手段１４により輝度画像を用いて算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する。これと共に、画素値置換手段１５は、カメラ２を介して取得された彩度画像の、変化度合算出手段１４により彩度画像を用いて算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値（例えば０）に置換する。

レーンマーク検出手段１６は、画素値置換手段１５により置換された後の輝度画像及び彩度画像から、自車両１が走行している道路上のレーンマークを検出する。具体的には、レーンマーク検出手段１６は、置換された後の輝度画像及び彩度画像の、画素値が一定値でない画素からなる領域を、自車両１が走行している道路上のレーンマークの画像部分として検出する。このとき、レーンマーク検出手段１６は、置換された後の輝度画像の、画素値が一定値でない画素で構成される点列データから、ハフ変換等により直線成分をレーンマーク候補として抽出する。これと共に、レーンマーク検出手段１６は、置換された後の彩度画像の、画素値が一定値でない画素で構成される点列データから、ハフ変換等により直線成分をレーンマーク候補として抽出する。そして、レーンマーク検出手段１６は、これらの抽出されたレーンマーク候補のうちから画像上の位置等に基づいて自車両１が走行している道路の車線を規定するレーンマークを検出する。

車両用画像処理装置１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。車両用画像処理装置１０は、該コンピュータに本発明の車両認識用プログラムを実行させることによって、該コンピュータが、画像取得手段１１と、カーネル設定手段１２と、平滑化手段１３と、変化度合算出手段１４と、画素値置換手段１５と、レーンマーク検出手段１６として機能する。

次に、車両用画像処理装置１０の作動（車両用画像処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両用画像処理装置１０の制御周期毎に繰り返し実行される。

図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２を介してカラー画像を取得する。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図４に、ある制御周期の時刻においてカメラ２を介して取得されるカラー画像Ｉ₁を例示する。カラー画像Ｉ₁は、図４に例示するような、m×n個の画素からなる画像である。カラー画像Ｉ₁の各画素Ｐ₁は、カラー成分としてＲ値，Ｇ値，Ｂ値を有するものであり、Ｐ₁（i，j）＝（Ｒ_ij，Ｇ_ij，Ｂ_ij）で表される。ただし、i，jは、各画素の座標であり、0≦i＜m，0≦j＜nとなる整数である。

図４の例では、自車両１が矢印方向に走行しており、自車両１が走行している道路の車線の左側を規定するレーンマークが実線の黄線Ａ１であり、右側を規定するレーンマークが破線の白線Ａ２である場合を示す。このとき、自車両１が走行している道路の車線の路面上には、周囲より暗い線状の補修跡（黒線）Ｂ１と、局所的な凹凸や汚れによる黒点群Ｂ２がある。また、路面領域内には、周囲と画素値が相違する、広範囲の部分領域Ｃ１がある。

次に、ＳＴＥＰ２で、画像取得手段１１は、ＳＴＥＰ１で取得したカラー画像Ｉ₁の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、輝度を算出して輝度画像Ｉ₂を取得すると共に、彩度を算出して彩度画像Ｉ₅を取得する。

詳細には、画像取得手段１１は、カラー画像Ｉ₁の各画素Ｐ₁（i，j）のカラー成分（Ｒ_ij，Ｇ_ij，Ｂ_ij）から、Ｙ_ij＝α×Ｒ_ij＋β×Ｇ_ij＋γ×Ｂ_ijにより輝度Ｙ_ijを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。これにより、図５（ａ）に例示するような、輝度Ｙ_ijを各画素Ｐ₂（i，j）のデータとする、m×n個の画素からなる輝度画像Ｉ₂が取得される。輝度画像Ｉ₂において、白線Ａ２の画像部分は輝度が大きく、黄線Ａ１の画像部分は白線Ａ２より輝度が小さい。また、路面の画像部分はさらに輝度が小さく平均的な路面の輝度となり、部分領域Ｃ１は平均的な路面の輝度より輝度が若干大きい。さらに、補修跡Ｂ１，黒点群Ｂ２は平均的な路面より輝度が小さい。

なお、画像取得手段１１は、輝度Ｙ_ijを、（Ｒ_ij，Ｇ_ij，Ｂ_ij）のうちの最大値MAX_ij、最小値MIN_ijを用いて、Ｙ_ij＝（MAX_ij＋MIN_ij）／２により算出してもよい。または、画像取得手段１１は、輝度Ｙ_ijとしてＧ_ij値を用いるものとしてもよい。

これと共に、画像取得手段１１は、カラー画像Ｉ₁の各画素Ｐ₁（i，j）のＲ値，Ｇ値，Ｂ値（Ｒ_ij，Ｇ_ij，Ｂ_ij）から、Ｓ_ij＝（MAX_ij−MIN_ij）／MAX_ijにより彩度Ｓ_ijを算出する。これにより、図５（ｄ）に例示するような、彩度Ｓ_ijを各画素Ｐ₅（i，j）のデータとする、m×n個の画素からなる彩度画像Ｉ₅が取得される。彩度画像Ｉ₅において、黄線Ａ１の画像部分は彩度が大きく、白線Ａ２の画像部分は黄線Ａ１より彩度が小さい。また、路面の画像部分はさらに彩度が小さく平均的な路面の彩度となり、部分領域Ｃ１は平均的な路面より彩度が若干大きい。さらに、補修跡Ｂ１，黒点群Ｂ２は平均的な路面より彩度が小さい。

次に、ＳＴＥＰ３で、カーネル設定手段１２は、ＳＴＥＰ２で取得した輝度画像Ｉ₂と彩度画像Ｉ₅に対して、複数のサイズの平滑化用のカーネルを設定する。

ここで、図６を参照して、平滑化用のカーネルの設定について説明する。図６に、輝度画像Ｉ₂に対して設定された５つの平滑化用のカーネルＫ₁〜Ｋ₅を例示する。なお、彩度画像Ｉ₅に対しても、輝度画像Ｉ₂と同様に平滑化用のカーネルＫ₁〜Ｋ₅が設定される。平滑化用のカーネルＫ₁〜Ｋ₅は、それぞれ、輝度画像Ｉ₂の領域Ｒ₁〜Ｒ₅に含まれる画素を中心画素として平滑化する際に用いられる。平滑化用のカーネルＫ₁〜Ｋ₅の縦方向のサイズＹ_ｆ［Pixel］は、いずれも数画素（例えば、1〜3［Pixel］）とする。領域Ｒ₁〜Ｒ₅は、自車両１から離れるにしたがって、段階的に縦方向の幅を狭くしている。なお、サイズＹ_ｆは、自車両１からの距離が離れるほど小さくなるような値を用いてもよい。また、平滑化用のカーネルＫ₁〜Ｋ₅の横方向のサイズＸ_ｆ［Pixel］は、実空間における所定幅ΔＸに該当する値とする。所定幅ΔＸとしては、レーンマークの幅と想定される値（例えば、0.1〜0.75［m］）より大きい値（例えば、レーンマークの幅の数倍、具体的には0.5〜1［m］）が用いられる。なお、所定幅ΔＸは、道路の幅と想定される値よりは小さい値とする。平滑化用のカーネルＫ₁〜Ｋ₅の横方向のサイズＸ_ｆは、例えば、それぞれ10，20，50，100，150［Pixel］となる。サイズＸ_ｆは、図７に示すような自車両１の実空間座標系と画像座標系との関係から設定される。画像座標系は、図７（ｃ）に示すように、左上を原点として座標（ｘ，ｙ）とする。また、1画素の物理的間隔を（δx，δy）とする。

このとき、図７（ａ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上でのカメラ２の路面からの高さｈ、画像上に撮像された対象物の物理的高さＹ_cには、下記式（１）
Ｙ_c＝ｆ×ｈ／Ｚ ・・・（１）
の関係がある。また、画像上に撮像された対象物の物理的高さＹ_c、画像座標ｙ、１画素辺りの物理的間隔δyには、下記式（2）
Ｙ_c＝ｙ×δy ・・・（2）
の関係がある。

また、図７（ｂ）に示すように、路面上の対象物の自車両１に対する距離Ｚ、カメラ２の焦点距離ｆ、実空間上での対象物の幅ΔＸ、画像上に撮像された対象物の物理的幅Ｘ_cには、下記式（３）
Ｘ_c＝ｆ×ΔＸ／Ｚ ・・・（３）
の関係がある。また、画像上に撮像された対象物の物理的幅Ｘ_c、画像座標ｘ、１画素あたりの物理的間隔δｘには、下記式（４）
Ｘ_c＝ｘ×δｘ ・・・（４）
の関係がある。

式（１）〜（４）から、サイズＸ_ｆは、
Ｘ_ｆ＝（ΔＸ／ｈ）×ｙ ・・・（５）
となる。実空間上での対象物の幅ΔＸ、実空間上でのカメラ２の路面からの高さｈは固定値なので、画像座標ｙが小さくなるほどサイズＸ_ｆは小さくなる。さらに、式（１）（２）から、距離Ｚが大きくなるほど、画像座標ｙが小さくなるので、サイズＸ_ｆも小さくなる。すなわち、サイズＸ_ｆは、自車両１からの距離が離れるほど小さくなるような値に設定される。

図３に戻り、次に、ＳＴＥＰ４で、平滑化手段１３は、ＳＴＥＰ３で設定した平滑化用のカーネルＫ₁〜Ｋ₅を用いて輝度画像Ｉ₂を平滑化する。図５（ｂ）に、平滑化後の輝度画像Ｉ₃を示す。これにより、輝度画像Ｉ₂内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の輝度画像Ｉ₃では、補修跡Ｂ１、黒点群Ｂ２の画像部分の画素値が、平均的な路面の輝度に近い画素値となり、周囲の路面の画像部分から判別できなくなっている。また、平滑化後の画像Ｉ₃では、黄線Ａ１、白線Ａ２の画像部分の画素値も、平均的な路面の輝度に近い画素値となっている。また、路面及び部分領域Ｃ１の画像部分については、カーネルのサイズより路面及び部分領域Ｃ１の画像部分のサイズが大きいため平滑化の影響が小さく、平滑化後の輝度画像Ｉ₃で、輝度画像Ｉ₂の路面及び部分領域Ｃ１の画素値が保持される。

次に、輝度画像₂の全画素（i=1〜m，j=1〜n）について、ＳＴＥＰ５〜７の処理が実行される。

まず、ＳＴＥＰ５で、変化度合算出手段１４は、ＳＴＥＰ２で取得した輝度画像Ｉ₂の画素値Ｐ₂（i，j）から、ＳＴＥＰ４の平滑化後の画像Ｉ₃の画素値Ｐ₃（i，j）を減算して、画素（i，j）の画素値の変化度合ΔＩ_Y（i，j）＝Ｐ₂（i，j）−Ｐ₃（i，j）を算出する。

次に、ＳＴＥＰ６で、画素値置換手段１５は、画素値の変化度合ΔＩ_Y（i，j）が所定値Ｉ_Yth以下であるか否かを判断する。所定値Ｉ_Ythは、レーンマーク（白線）の画像部分の輝度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。ＳＴＥＰ６の判断結果がＹＥＳの場合は、画素（i，j）が、画素値の変化度合ΔＩ_th（i，j）が小さい画像部分、すなわち、輝度が白線Ａ２より小さく平均的な路面の輝度に近い黄線Ａ１の画像部分か、平滑化前後で輝度の変化が小さい路面（部分領域Ｃ１も含む）の画像部分か、輝度が路面より小さい補修跡Ｂ１、黒点群Ｂ２の画像部分であると想定される。よって、ＳＴＥＰ７に進み、画素値置換手段１５は、輝度画像Ｉ₂の画素値Ｐ₂（i，j）を一定値に置換し、ＳＴＥＰ５に戻る。ＳＴＥＰ６の判断結果がＮＯの場合は、画素（i，j）が輝度が大きい白線Ａ２の画像部分であると想定される。よって、画素値置換手段１５は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ５に戻る。

輝度画像Ｉ₂の全画素についてＳＴＥＰ５〜７の処理が実行された結果として得られる、置換後の輝度画像Ｉ₄を図５（ｃ）に示す。図５（ｃ）に示すように、置換後の輝度画像Ｉ₄では、黄線Ａ１、補修跡Ｂ１、黒点群Ｂ２、路面（部分領域Ｃ１も含む）の画像部分は、一定値に置換され、白線Ａ２の画像部分のみが輝度画像Ｉ₂の画素値のまま保持される。よって、置換後の画像Ｉ₄では、白線Ａ２の画像部分のみが残る。

次に、ＳＴＥＰ８で、平滑化手段１３は、ＳＴＥＰ３で設定した平滑化用のカーネルＫ₁〜Ｋ₅を用いて彩度画像Ｉ₅を平滑化する。図５（ｅ）に、平滑化後の彩度画像Ｉ₆を示す。これにより、彩度画像Ｉ₅内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の彩度画像Ｉ₆では、補修跡Ｂ１、黒点群Ｂ２の画像部分の画素値が、平均的な路面の彩度に近い画素値となり、周囲の路面の画像部分から判別できなくなっている。また、平滑化後の画像Ｉ₆では、黄線Ａ１、白線Ａ２の画像部分の画素値も、平均的な路面の彩度に近い画素値となっている。また、路面及び部分領域Ｃ１の画像部分については、カーネルのサイズより路面及び部分領域Ｃ１の画像部分のサイズが大きいため平滑化の影響が小さく、平滑化後の彩度画像Ｉ₆で、彩度画像Ｉ₅の路面及び部分領域Ｃ１の画素値が保持される。

次に、彩度画像Ｉ₅の全画素（i=1〜m，j=1〜n）について、ＳＴＥＰ９〜１１の処理が実行される。

まず、ＳＴＥＰ９で、変化度合算出手段１４は、ＳＴＥＰ２で取得した彩度画像Ｉ₅の画素値Ｐ₅（i，j）から、ＳＴＥＰ８の平滑化後の彩度画像Ｉ₆の画素値Ｐ₆（i，j）を減算して、画素（i，j）の画素値の変化度合ΔＩ_S（i，j）＝Ｐ₅（i，j）−Ｐ₆（i，j）を算出する。

次に、ＳＴＥＰ１０で、画素値置換手段１５は、画素値の変化度合ΔＩ_S（i，j）が所定値Ｉ_Sth以下であるか否かを判断する。所定値Ｉ_Sthは、レーンマーク（黄線）の画像部分の彩度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。ＳＴＥＰ１０の判断結果がＹＥＳの場合は、画素（i，j）が、画素値の変化度合ΔＩ_S（i，j）が小さい画像部分、すなわち、彩度が黄線Ａ１より小さく平均的な路面の彩度に近い白線Ａ２の画像部分か、平滑化前後で彩度の変化が小さい路面（部分領域Ｃ１も含む）の画像部分か、彩度が路面より小さい補修跡Ｂ１、黒点群Ｂ２の画像部分であると想定される。よって、ＳＴＥＰ１１に進み、画素値置換手段１５は、彩度画像Ｉ₅の画素値Ｐ₅（i，j）を一定値に置換し、ＳＴＥＰ９に戻る。ＳＴＥＰ１０の判断結果がＮＯの場合は、画素（i，j）が彩度が大きい黄線Ａ１の画像部分であると想定される。よって、画素値置換手段１５は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ９に戻る。

彩度画像Ｉ₅の全画素についてＳＴＥＰ９〜１１の処理が実行された結果として得られる、置換後の彩度画像Ｉ₇を図５（ｆ）に示す。図５（ｆ）に示すように、置換後の彩度画像Ｉ₇では、白線Ａ２、補修跡Ｂ１、黒点群Ｂ２、路面（部分領域Ｃ１も含む）の画像部分は、一定値に置換され、黄線Ａ１の画像部分のみが彩度画像Ｉ₅の画素値のまま保持される。よって、置換後の彩度画像Ｉ₇では、黄線Ａ１の画像部分のみが残る。

次に、ＳＴＥＰ１２に進み、レーンマーク検出手段１６は、ＳＴＥＰ７で得られた置換後の輝度画像Ｉ₄と、ＳＴＥＰ１１で得られた置換後の彩度画像Ｉ₇から、レーンマークを検出する。置換後の輝度画像Ｉ₄及び置換後の彩度画像Ｉ₇では、黄線Ａ１及び白線Ａ２の画像部分のみが残っているので、レーンマーク検出手段１６は、エッジ抽出処理等をさらに行うことなく、自車両１が走行している道路上のレーンマークを容易に検出することができる。このとき、置換後の輝度画像Ｉ₄では、白線Ａ２の画像部分のみが残っているので、レーンマーク検出手段１６により、この置換後の輝度画像Ｉ₄を用いてレーンマークを検出することで、白線Ａ２が精度良く検出される。また、置換後の彩度画像Ｉ₇では、黄線Ａ１の画像部分のみが残っているので、レーンマーク検出手段１６により、この置換後の彩度画像Ｉ₇を用いてレーンマークを検出することで、黄線Ａ１が精度良く検出される。

以上が、本実施形態の車両用画像処理装置１０における車両用画像処理である。本実施形態によれば、自車両１の周辺を撮像した画像を、該画像内での輝度や色の変動の影響を低減するように処理して、該画像から自車両１が走行している道路上のレーンマークＡ１，Ａ２を精度良く検出することができる。

なお、本実施形態では、変化度合算出手段１４は、変化度合として画素値の差を用いたが、他の実施形態において、変化度合として、取得された画像を平滑化後の画像で除算して得られる各画素の画素値の比を用いるものとしてもよい（ΔＩ_Y（i，j）＝Ｐ₂（i，j）／Ｐ₃（i，j）、ΔＩ_S（i，j）＝Ｐ₅（i，j）／Ｐ₆（i，j））。この場合、所定値Ｉ_Yth，Ｉ_Sthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、１以下の値）とする。

また、本実施形態において、図８に示すように、平滑化用のカーネルを、自車両１の進行方向に対応する画像上の方向Ｌ_ｃに対する、カーネルの長辺の中心線Ｌの傾きが所定角度（例えば４５°）となるように、カーネルの向きを設定するものとしてもよい。

また、本実施形態では、平滑化用のカーネルの形状を長方形としたが、他の実施形態として、平滑化用のカーネルの形状を台形としてもよい。

また、本実施形態では、画像取得手段１１は、画素データがＲ値、Ｇ値、Ｂ値からなるカラー成分で構成されるカラー画像を取得するものとしたが、他の実施形態として、画素データがＣＭＹ出力等からなるカラー成分で構成されるカラー画像を取得するものとしてもよい。

また、本実施形態では、輝度画像と彩度画像のそれぞれについて平滑化処理・画素値置換処理を行い、その置換後の輝度画像と彩度画像からレーンマークを検出するものとしたが、いずれか一方の画像について平滑化処理・画素値置換処理を行い、その置換後の画像からレーンマークを検出するものとしてもよい。

また、本実施形態では、カメラ２を介してカラー画像を取得するものとしたが、他の実施形態として、画素データが輝度で構成されるグレースケール画像（輝度画像）を取得するものとしてもよい。この場合、取得された輝度画像について平滑化処理・画素値置換処理を行い、その置換後の画像からレーンマークを検出する。

また、本実施形態では、カメラ２により自車両１の前方を撮像し、車両用画像処理装置１０は自車両１の前方の道路の画像からレーンマークを検出するものとしたが、他の実施形態として、カメラにより自車両１の後方を撮像し、車両用画像処理装置１０は自車両１の後方の道路の画像からレーンマークを検出するものとしてもよい。

本発明の車両用画像処理装置の自車両への搭載態様を示した説明図。 本発明の車両用画像処理装置の構成図。 図２に示した車両用画像処理装置による画像処理を示すフローチャート。 図３の画像処理の処理画像例。 図３の画像処理の処理画像例。 図３の画像処理における平滑化用のカーネルの設定に関する説明図。 図６の平滑化用のカーネルのサイズに関する説明図。 本発明の他の実施形態の車両用画像処理装置における平滑化用のカーネルの設定に関する説明図。

符号の説明

１…車両（自車両）、２…カメラ（撮像手段）、１０…車両用画像処理装置、１１…画像取得手段、１２…カーネル設定手段、１３…平滑化手段、１４…変化度合算出手段、１５…画素値置換手段、１６…レーンマーク検出手段。

Claims (10)

1. 車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する車両用画像処理装置において、
   前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
   前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
   前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
   前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
   前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両用画像処理装置。
2. 請求項１記載の車両用画像処理装置において、
   前記カーネル設定手段は、前記道路の所定領域の前記車両からの距離が遠いほど、前記画像上の該所定領域の画像部分に対して設定される前記カーネルのサイズが小さくなるように、該カーネルのサイズを設定することを特徴とする車両用画像処理装置。
3. 請求項１又は２記載の車両用画像処理装置において、
   前記カーネル設定手段は、前記カーネルの形状を長方形又は台形に設定することを特徴とする車両用画像処理装置。
4. 請求項３記載の車両用画像処理装置において、
   前記カーネル設定手段は、前記車両の進行方向に対応する画像上の方向に対する、前記カーネルの長辺の中心線の傾きが所定角度となるように、該カーネルの向きを設定することを特徴とする車両用画像処理装置。
5. 請求項１〜４のうちいずれか記載の車両用画像処理装置において、
   前記変化度合算出手段は、前記変化度合として、前記取得された画像から前記平滑化された後の画像を減算して得られる各画素の画素値の差、又は該取得された画像を該平滑化された後の画像で除算して得られる各画素の画素値の比を用いることを特徴とする車両用画像処理装置。
6. 請求項１〜５のうちいずれか記載の車両用画像処理装置において、
   前記平滑化手段により平滑化される前記画像は、輝度を画素値とする画像であることを特徴とする車両用画像処理装置。
7. 請求項１〜５のうちいずれか記載の車両用画像処理装置において、
   前記平滑化手段により平滑化される前記画像は、カラー画像のカラー成分から算出される輝度又は彩度を画素値とする画像であることを特徴とする車両用画像処理装置。
8. 請求項１〜７のうちいずれか記載の車両用画像処理装置において、
   前記画素値置換手段により置換された後の画像の、画素値が前記一定値でない画素からなる領域を、前記車両が走行している道路上のレーンマークの画像部分として検出するレーンマーク検出手段を備えることを特徴とする車両用画像処理装置。
9. 撮像手段を備え、該撮像手段を介して取得された画像を処理して、走行している道路上のレーンマークを検出する機能を有する車両であって、
   前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定手段と、
   前記取得された画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
   前記平滑化手段により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
   前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
   前記画素値置換手段により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする車両。
10. 車両に搭載された撮像手段を介して取得された画像を処理して、該車両が走行している道路上のレーンマークを検出する処理をコンピュータに実行させる車両用画像処理プログラムであって、
    前記撮像手段を介して取得された画像に対して、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるカーネルのサイズを設定するカーネル設定処理と、
    前記取得された画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、
    前記平滑化処理により平滑化された後の画像に対する、前記取得された画像の各画素の画素値の変化度合を算出する変化度合算出処理と、
    前記取得された画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、
    前記画素値置換処理により画素値が置換された後の画像から前記レーンマークを検出するレーンマーク検出処理とをコンピュータに実行させる機能を有することを特徴とする車両用画像処理用プログラム。