JP6971177B2 - 区画線認識装置 - Google Patents

Description

本発明は、道路上の区画線を認識する装置に関する。

従来、道路の撮影画像から道路上の区画線（白線）を認識し、車両制御等に利用する技術が知られている。このような技術では、撮影画像の輝度値をそのまま用いて区画線の認識を行うと、区画線の境界部分だけでなく、区画線内でもエッジの特徴点が出現することがあるため、どの特徴点が区画線の境界を示すかの判断が困難であるという課題があった。また、車両の影等の影響で区画線の輝度値が低下したり、強い光が路面で反射することで路面の輝度値が上昇したりした場合には、区画線と路面の区別が困難であるという課題もあった。

上記の課題を解決する背景技術として、下記の特許文献１が知られている。特許文献１には、路面を含む車両の前方を撮像する撮像装置と、前記撮像装置により撮像された画像を２値化閾値により２値化処理して前記路面に形成されたレーンマークを検出するレーンマーク検出部と、を備えるレーン検出装置において、前記レーンマーク検出部は、撮像された前記画像を、上下方向には連続し、左右方向には延びる複数のブロックに分割し、分割したブロックの輝度値に基づき、複数の前記ブロックを、相対的に輝度値が高い明部ブロックと低い暗部ブロックに振り分け、前記明部ブロックと前記暗部ブロックとで前記２値化閾値の値を変更して、撮像された前記画像を２値化処理することが記載されている。

特開２０１６−２０６８８１号公報

特許文献１に記載の技術では、区画線と路面の輝度値が局所的に区別できない状況のときには、区画線を適切に判断することが困難である。したがって、道路上の区画線の認識精度において改善の余地がある。

本発明による区画線認識装置は、カメラで撮影された画像から道路上の区画線を認識する装置であって、前記画像に対して処理領域を設定する処理領域設定部と、前記処理領域における前記画像の統計量を算出する統計量算出部と、前記統計量に基づいて複数の閾値を設定する閾値設定部と、前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備える。

本発明によれば、道路上の区画線の認識精度を改善することができる。

本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図 本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図 本発明の第１の実施形態に係る区画線認識装置の処理フローを示す図 閾値設定部による閾値設定方法の一例を示す図 区画線特徴点抽出部の処理フローを示す図 分類部の処理フローを示す図 特徴点決定部の処理フローを示す図 特徴点候補バッファのデータ構造の一例を示す図 特徴点バッファのデータ構造の一例を示す図 分類前の画像の例を示す図 分類画像の例を示す図 立上がり点および立下がり点の抽出例を説明する図 立上がり点および立下がり点の抽出結果の例を示す図 処理領域の全体における特徴点決定結果の例を示す図 本発明の第２の実施形態に係る区画線認識装置の処理フローを示す図 閾値設定部による閾値設定方法の一例を示す図 分類前の画像の例を示す図

（第１の実施形態）
図１は、本発明の一実施形態に係る区画線認識装置のハードウェア構成の例を示す図である。図１に示す区画線認識装置１は、車両に搭載されて使用されることで、カメラで撮影された画像から道路上の区画線を認識するものであり、記憶装置１０３、ＣＰＵ１０４、メモリ１０５、ＣＡＮ Ｉ／Ｆ１０６を備える。区画線認識装置１には、車両前方を監視するためのフロントカメラ１０１−Ｆｒと、車両後方を監視するためのリアカメラ１０１−Ｒｒと、車両左側方を監視するための左サイドカメラ１０１−ＳＬと、車両右側方を監視するための右サイドカメラ１０１−ＳＲとが接続されている。また、ＣＡＮバス１０７を介して車両制御ユニット１０８が接続されている。なお、図１の例では上記の４つのカメラが区画線認識装置１に接続されているが、任意の台数のカメラでそれぞれ撮影された画像を区画線認識装置１に入力することで、区画線認識装置１において各画像から道路上の区画線を認識することができる。したがって以下では、上記の４つのカメラを区別せずに、一台のカメラ１０１として説明する。

記憶装置１０３には、区画線認識装置１の動作に必要な各種の情報やプログラムが記憶されている。ＣＰＵ１０４は、記憶装置１０３に記憶されている所定のプログラムを実行することで、カメラ１０１から入力された画像を用いて画像処理を行い、車両の周辺に存在する道路上の区画線を認識する。メモリ１０５は揮発性の記憶媒体であり、ＣＰＵ１０４が画像処理を実行する際の作業領域として用いられると共に、画像処理で得られた区画線の認識結果が蓄積される。メモリ１０５に蓄積された区画線の認識結果の情報は、ＣＡＮ Ｉ／Ｆ１０６を介してＣＡＮバス１０７に出力され、車両制御ユニット１０８に送られる。車両制御ユニット１０８は、区画線認識装置１から送られた区画線の認識結果を用いて、たとえば車両が走行車線から逸脱しないように車両のステアリングを制御するなど、車両の走行状態に応じた各種の車両制御を行う。

図２は、本発明の一実施形態に係る区画線認識装置の機能構成の例を示す図である。図２に示す区画線認識装置１は、処理領域設定部２０１、統計量算出部２０２、閾値設定部２０３、区画線特徴点抽出部２０５、区画線決定部２０６を機能的に有する。閾値設定部２０３は、白線閾値設定部２０３−１および路面閾値設定部２０３−２により構成されている。区画線特徴点抽出部２０５は、分類部２０５−１、特徴点候補抽出部２０５−２、特徴点決定部２０５−３により構成されている。区画線認識装置１は、ＣＰＵ１０４で所定のプログラムを実行することにより、これらの各機能ブロックを実現する。

カメラ１０１により撮影された画像は、所定の時間間隔で処理領域設定部２０１に送られる。以下では、カメラ１０１から所定時間ごとに入力される画像の各々を「フレーム」と称することもある。処理領域設定部２０１は、カメラ１０１から入力された画像に対して処理領域を設定する。ここで設定される処理領域とは、画像から道路上の区画線（白線）を抽出するために用いられる画像領域のことである。したがって、処理領域は白線が存在すると思われる場所の周辺に設定するものであり、前フレームにおいて白線が認識されていればその位置を基準に設定することが可能である。例えば右サイドカメラ１０１−ＳＲや左サイドカメラ１０１−ＳＬの場合は、予め定義されたマージンを前フレームにおける白線認識位置の上下に設定することで処理領域を設定することが可能である。もし前フレームにおいて不検知であった場合には、予め定義された領域を使ってもよい。画像に処理領域を設定する目的は、ＣＰＵ１０４の処理能力が十分でない場合は画像全体を処理するのに時間がかかるため、処理を行う領域を絞ることで処理時間を短縮することである。ただし、ＣＰＵ１０４の処理能力が十分である場合は、画像全体を処理領域に設定してもよい。なお、以下では区画線が白線であるものとして説明するが、白線以外の区画線であっても同様である。

処理領域設定部２０１は、たとえば前フレームにおける白線の位置、すなわち前回の処理対象とした画像から認識された白線の位置に基づいて、現フレームにおける処理領域を設定する。なお、前フレームで白線を認識できなかった場合は、さらに前のフレームにおける白線の位置に基づいて処理領域を設定してもよいし、予め決められた位置にデフォルトの処理領域を設定してもよい。これにより、処理領域を設定できずに処理時間が増大するのを防ぐことが可能である。また、白線が破線である場合は、最後に白線が認識されたフレームにおける白線の位置に基づいて、処理領域を設定することが可能である。

統計量算出部２０２は、処理領域設定部２０１で設定された処理領域における画像の統計量を算出する。具体的には、たとえば処理領域における画像の各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。

閾値設定部２０３は、統計量算出部２０２で求められた画像の統計量、すなわち処理領域内の各画素の輝度値の平均値と標準偏差に基づいて、白線閾値設定部２０３−１および路面閾値設定部２０３−２により、白線閾値と路面閾値をそれぞれ設定する。白線閾値とは、処理領域内の画像から白線部分を認識するための閾値であり、白線に属する画素の最低輝度値に相当する。すなわち、白線閾値以上の輝度値を持つ画素は、白線の候補として抽出される。また、路面閾値とは、処理領域内の画像から路面部分を認識するための閾値であり、白線以外の路面に属する画素の最高輝度値に相当する。すなわち、路面閾値以下の輝度値を持つ画素は、路面の候補として抽出される。なお、以下の説明では、道路上の白線以外の部分を総称して、「路面」と表現する。白線閾値および路面閾値の具体的な設定方法については後述する。

区画線特徴点抽出部２０５は、閾値設定部２０３で設定された白線閾値および路面閾値に基づいて、分類部２０５−１、特徴点候補抽出部２０５−２および特徴点決定部２０５−３により、画像から白線の特徴点を抽出する。分類部２０５−１は、白線閾値および路面閾値を用いて、処理領域内の画像に含まれる各画素を、「路面」、「白線」、「不定」のいずれかに分類する。すなわち、各画素の輝度値を白線閾値および路面閾値と比較して、「白線」と「路面」のいずれに属するかを判別し、いずれでもないと判別された場合は「不定」に分類する。なお、周知のエッジ抽出手法、たとえばソーベルフィルタ等の微分フィルタを用いて処理領域内の画像から白線エッジを抽出し、その白線エッジの付近に存在する画素を対象として、分類部２０５−１が各画素を分類してもよい。この場合、分類されなかった画素は以降の処理対象から除外される。

特徴点候補抽出部２０５−２は、分類部２０５−１による各画素の分類結果に基づいて、白線の輪郭を示す特徴点の候補である特徴点候補を抽出する。具体的には、画素の分類が変化する境界を求め、その境界に対応する点を特徴点候補として抽出する。

特徴点決定部２０５−３は、特徴点候補抽出部２０５−２で抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。具体的には、記憶装置１０３に記憶されている区画線規格データ２０４を参照し、抽出された複数の特徴点候補同士の距離を区画線規格データ２０４と照合することで、どの特徴点候補の組み合わせが白線の輪郭として確からしいかを判断する。なお、区画線規格データ２０４は、白線の太さや長さ等の規格値が格納されているデータベースであり、記憶装置１０３において予め記憶されている。

区画線決定部２０６は、区画線特徴点抽出部２０５で抽出された特徴点に基づいて、道路上に描かれた白線を認識し、画像における白線の位置を確定する。たとえば、処理領域内の全ての特徴点に対して、画像の歪みを補正した所定の座標系への座標変換を行い、その後に斜方投影等の手法を用いて、白線を認識する。具体的には、座標軸の角度を一定の幅で変化させながら、座標変換された各特徴点をｘ，ｙの各座標軸上に投影し、エッジ強度の累積値を集計する。そして、エッジ強度が最大となる角度と位置を求めることで、白線を認識することが可能となる。なお、特徴点の座標変換ではカメラ１０１の画角や撮影方向等のカメラパラメータが必要であるため、予め記憶装置１０３等に座標変換用のカメラパラメータを記憶させておくことが好ましい。こうして白線を認識できたら、区画線決定部２０６は、白線が実線か破線かを識別することで、白線が表す道路標示の種別を判断することとしてもよい。

次に、区画線認識装置１の処理フローについて説明する。図３は、本発明の第１の実施形態に係る区画線認識装置の処理フローを示す図である。図３の処理フローは、画像１フレーム分の処理を示している。すなわち、本実施形態の区画線認識装置１において、ＣＰＵ１０４は、カメラ１０１から所定のフレームレートで画像が入力される度に、図３の処理フローに従って画像から区画線を認識する処理を実行する。

ステップ３０１では、カメラ画像、すなわちカメラ１０１から入力された画像を取得する。

ステップ３０２では、処理領域設定部２０１により、ステップ３０１で取得した画像内に処理領域を設定する。ここでは前述のように、たとえば前フレームにおける白線の位置に基づいて、画像内で処理領域の位置を決定する。

ステップ３０３では、統計量算出部２０２により、ステップ３０２で設定した処理領域における輝度値の統計量を求める。ここでは前述のように、処理領域における各画素の輝度値の平均値および標準偏差を、画像の統計量として算出する。

ステップ３０４では、閾値設定部２０３により、ステップ３０３で求めた統計量に基づいて、輝度値の閾値を設定する。ここでは前述のように、白線閾値設定部２０３−１により白線閾値を設定し、路面閾値設定部２０３−２により路面閾値を設定する。なお、ステップ３０４における閾値の設定方法の詳細は、後で図４と図１６を参照して説明する。

ステップ３０５では、区画線特徴点抽出部２０５により、ステップ３０４で設定した閾値に基づいて、ステップ３０２で設定した処理領域内の画像から区画線すなわち白線の特徴点を抽出する。なお、ステップ３０５における特徴点の抽出方法の詳細は、後で図５〜図９を参照して説明する。

ステップ３０６では、区画線決定部２０６により、ステップ３０５で抽出した特徴点から道路上の区画線（白線）を決定する。ステップ３０６を実行したら、ＣＰＵ１０４は図３の処理フローを終了する。

次に、ステップ３０４における閾値の設定方法の詳細について説明する。図４は、閾値設定部２０３による閾値設定方法の一例を示す図である。

統計量算出部２０２により、処理領域における各画素の輝度値の統計量として、平均値μと標準偏差σが算出されたとする。この場合、路面閾値設定部２０３−２は、たとえば図４に示すように、平均値μを路面閾値４０４として設定する。これにより、路面閾値４０４よりも輝度値が小さい領域４０１に含まれる各画素が、区画線特徴点抽出部２０５において「路面」に分類される。一方、白線閾値設定部２０３−１は、たとえば図４に示すように、平均値μに標準偏差σを加えたμ＋σを白線閾値４０５として設定する。これにより、白線閾値４０５よりも輝度値が大きい領域４０３に含まれる各画素が、区画線特徴点抽出部２０５において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値４０４以上でかつ白線閾値４０５以下の輝度値に対応する領域４０２に含まれる各画素は、区画線特徴点抽出部２０５において「不定」に分類される。

図４の方法は、輝度値が正規分布にしたがっているという前提があって成立するものであるが、実際にはそうでないことも多いと考えられる。このような場合には中央値や中央絶対偏差（Median Absolute Deviation）等、分布の偏りがあってもその影響を受けにくい統計量を用いる方法が有効である。

図１６は、閾値設定部２０３による閾値設定方法の別の例を示す図である。統計量算出部２０２により、処理領域における各画素の輝度値の統計量として、中央値Ｍと中央絶対偏差ＭＡＤが算出されたとする。この場合、路面閾値設定部２０３−２は、たとえば図１６に示すように、中央値Ｍを路面閾値４０４として設定する。これにより、路面閾値４０４よりも輝度値が小さい領域４０１に含まれる各画素が、区画線特徴点抽出部２０５において「路面」に分類される。一方、白線閾値設定部２０３−１は、たとえば図１６に示すように、中央値Ｍに中央絶対偏差ＭＡＤを加えたＭ＋ＭＡＤを白線閾値４０５として設定する。これにより、白線閾値４０５よりも輝度値が大きい領域４０３に含まれる各画素が、区画線特徴点抽出部２０５において「白線」に分類される。なお、「路面」と「白線」のいずれにも分類されない画素、すなわち路面閾値４０４以上でかつ白線閾値４０５以下の輝度値に対応する領域４０２に含まれる各画素は、区画線特徴点抽出部２０５において「不定」に分類される。

上記のようにして白線閾値と路面閾値をそれぞれ設定することにより、処理領域内で相対的に輝度値が高い各画素を白線の候補として抽出することが可能である。また、統計量を用いることにより、車両の周辺環境の変化によってフレームの明るさが変化しても、その影響を受けずに白線閾値および路面閾値を設定し、白線の候補を抽出することが可能である。なお、白線閾値および路面閾値の設定方法は上記の方法に限られない。処理領域における各画素の輝度値の統計量に基づいて、白線閾値および路面閾値をそれぞれ適切に設定できるものであれば、任意の方法を用いることができる。

また、処理領域全体を対象として統計量を求めるのではなく、処理領域を適当な数に分割し、それぞれの分割領域ごとに統計量を求めて路面閾値４０４と白線閾値４０５を設定することも可能である。例えば、図１７のように処理領域を３分割し、それぞれの分割領域において統計量と閾値を設定することで、より適切な閾値を設定することが可能となる。

次に、図３のステップ３０５における特徴点の抽出方法の詳細について説明する。図５は、ステップ３０５における区画線特徴点抽出部２０５の処理フローを示す図である。

ステップ５０１では、分類部２０５−１により、処理領域内の各画素の分類を判定する。ここでは、図６の処理フローに示す分類処理を分類部２０５−１が実行することで、処理領域内の各画素を「路面」、「白線」、「不定」のいずれかに分類する。なお、図６の処理フローの詳細については後述する。

ステップ５０２〜５０６では、特徴点候補抽出部２０５−２により、処理領域内の各画素について、ステップ５０１の分類結果を用いて以下の処理を行う。ここでは、ｘ軸を画像の左から右方向、ｙ軸を画像の上から下方向と定義する。

ステップ５０２では、処理対象の画素に対して、処理領域内でｘ座標が同一でｙ座標の差が１である一対の画素を選択する。なお、これはカメラ１０１が左サイドカメラ１０１−ＳＬまたは右サイドカメラ１０１−ＳＲである場合である。一方、カメラ１０１がフロントカメラ１０１−Ｆｒまたはリアカメラ１０１−Ｒｒである場合は、画像内での区画線の延伸方向が約９０度変化するため、ｙ座標が同一でｘ座標の差が１である一対の画素を選択することが好ましい。これにより、左サイドカメラ１０１−ＳＬまたは右サイドカメラ１０１−ＳＲの場合と同様の処理が可能である。

ステップ５０３では、ステップ５０２で選択した一対の画素について、ステップ５０１での分類結果を比較する。その結果、同一ｘ座標でｙ座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「白線」、または「路面」から「白線」、または「路面」から「不定」のいずれかに変化している場合は、ステップ５０４で一方の画素、たとえばｙ座標の値が大きい方の画素を立上がり点とみなしてバッファリングする。なお、立上がり点とは、輝度値が増大方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立上がり点としてバッファリングしたら、ステップ５０２に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、ステップ５０５に進む。

ステップ５０５では、ステップ５０３と同様に、ステップ５０２で選択した一対の画素について、ステップ５０１での分類結果を比較する。その結果、同一ｘ座標でｙ座標が大きくなる方向に走査してこれらの画素の分類が「不定」から「路面」、または「白線」から「路面」、または「白線」から「不定」のいずれかに変化している場合は、ステップ５０６で一方の画素、たとえばｙ座標の値が大きい方の画素を立下がり点とみなしてバッファリングする。なお、立下がり点とは、輝度値が減少方向に変化する点のことであり、白線の輪郭を示す特徴点の候補に相当する。当該画素を立下がり点としてバッファリングしたら、ステップ５０２に戻って次の画素の処理に移る。一方、上記の条件を満たさない場合は、何もせずにステップ５０２に戻って次の画素の処理に移る。

ステップ５０２〜５０６では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素について、特徴点候補である立上がり点または立下がり点に該当するか、あるいはいずれでもないかを判定する。処理領域内の全ての画素についてステップ５０２〜５０６の処理を実行したら、ステップ５０７に進む。

ステップ５０７では、特徴点決定部２０５−３により、ステップ５０２〜５０６で判定された各特徴点候補、すなわち立上がり点および立下がり点のそれぞれの位置を照合し、特徴点を決定する。ここでは、図７の処理フローに示す特徴点決定処理を特徴点決定部２０５−３が実行することで、処理領域内の画像から抽出された複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する。なお、図７の処理フローの詳細については後述する。ステップ５０７の処理を実行したら、図３のステップ３０５を終了し、次のステップ３０６に進む。

図６は、図５のステップ５０１における分類部２０５−１の処理フローを示す図である。分類部２０５−１は、処理領域内の各画素について、以下で説明するステップ６０１〜６０６の処理をそれぞれ行う。

ステップ６０１では、画像における処理対象の画素の輝度値を取得する。

ステップ６０２では、ステップ６０１で取得した輝度値を、図３のステップ３０４で路面閾値設定部２０３−２が設定した路面閾値と比較する。その結果、輝度値が路面閾値よりも小さければ、ステップ６０４で当該画素を「路面」に分類して次の画素の処理に移る。一方、輝度値が路面閾値以上であれば、ステップ６０３に進む。

ステップ６０３では、ステップ６０１で取得した輝度値を、図３のステップ３０４で白線閾値設定部２０３−１が設定した白線閾値と比較する。その結果、輝度値が白線閾値よりも大きければ、ステップ６０５で当該画素を「白線」に分類して次の画素の処理に移る。一方、輝度値が白線閾値以下であれば、ステップ６０６で当該画素を「不定」に分類して次の画素の処理に移る。

ステップ６０１〜６０６では、上記のような処理を処理領域内の各画素に対して実行することで、処理領域内の全ての画素を「路面」、「白線」、「不定」のいずれかに分類する。処理領域内の全ての画素についてステップ６０１〜６０６の処理を実行したら、図５のステップ５０１を終了し、次のステップ５０２に進む。

図７は、図５のステップ５０７における特徴点決定部２０５−３の処理フローを示す図である。

ステップ７０１では、記憶装置１０３から車線幅データ、すなわち白線の幅を表すデータを取得する。ここでは、たとえば記憶装置１０３に区画線規格データ２０４の一部として格納されている車線幅データを取得する。このとき、ＣＡＮバス１０７を介して区画線認識装置１に接続された不図示のナビゲーション装置等から、車両が現在走行中の道路種別を取得し、その道路種別に対応する車線幅データを区画線規格データ２０４から検索して取得してもよい。なお、区画線認識装置１がナビゲーション装置を兼ねている場合も、上記と同様に、車両が走行中の道路種別に対応する車線幅データを取得することが可能である。

ステップ７０２では、車線幅誤差最小値の初期値を設定する。車線幅誤差最小値とは、以降の処理において、立上がり点と立下がり点の位置関係が特徴点として確からしいか否かを判別するために用いられるものであり、メモリ１０５に記憶され、処理状態に応じて随時更新される。ここでは、たとえば２０ｃｍを車線幅誤差最小値の初期値として設定する。ただし２０ｃｍは一例であり、実際の白線の幅以上であれば、任意の数値を車線幅誤差最小値の初期値として設定することが可能である。

ステップ７０３〜７０７では、図５のステップ５０２〜５０６で特徴点候補抽出部２０５−２が処理領域内の画像から抽出した各特徴点候補、すなわちステップ５０４、５０６でバッファリングされた各立上がり点および立下がり点について、以下の処理をそれぞれ行う。

ステップ７０３では、処理対象の立上がり点と、当該立上がり点とｘ座標が同一の立下がり点とについて、これらの点間の距離を計算する。すなわち、処理領域内の画像から抽出された複数の特徴点候補の中で、ｘ座標が同一でｙ座標の差が１の一対の立上がり点および立下がり点を選択し、これらの位置関係に応じた距離を求める。

ステップ７０４では、ステップ７０３で求めた距離を、ステップ７０１で取得した車線幅データが表す白線の幅と比較し、これらの間の誤差（差分）を計算する。

ステップ７０５では、ステップ７０４で求めた誤差を現在の車線幅誤差最小値と比較する。その結果、誤差が車線幅誤差最小値より小さければ、ステップ７０６で当該誤差の値により車線幅誤差最小値を置き換えた後、ステップ７０７で当該立下がり点を特徴点として特徴点情報を更新する。なお、特徴点情報は、特徴点決定部２０５−３により決定された特徴点を表す情報であり、メモリ１０５に設けられた特徴点バッファにおいてｘ座標が重複しないように記録される。すなわち、ｘ座標が同一の立下がり点が複数存在する場合でも、そのうち多くても１つの立下がり点のみが特徴点として特徴点情報に記録される。ただし、いずれの立下がり点についてもステップ７０５の条件が満たされない場合は、当該ｘ座標に対応する特徴点が存在しないとみなされて特徴点情報が記録されない。ステップ７０７で特徴点情報を更新したら、ステップ７０３に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。一方、ステップ７０５で誤差が車線幅誤差最小値以上と判定された場合は、何もせずにステップ５０２に戻り、次の立上がり点と立下がり点の組み合わせを対象とした処理に移る。

ステップ７０３〜７０７では、上記のような処理を各立上がり点および立下がり点の組み合わせに対して実行することで、処理領域から抽出された全ての特徴点候補について、特徴点候補同士の位置関係を照合し、白線の輪郭としての整合性を確認する。その結果、処理領域内で白線の幅にもっとも近い立上がり点と立下がり点の組み合わせをｘ座標ごとに特定し、その立下がり点の情報を特徴点情報として残すことで、特徴点候補から特徴点を決定することができる。なお、図７の例では立下がり点を特徴点情報として記録することとしたが、立上がり点を特徴点情報として記録してもよいし、立上がり点と立下がり点の両方を特徴点情報として記録してもよい。処理領域内で抽出された全ての立上がり点および立下がり点についてステップ７０３〜７０７の処理を実行したら、図５のステップ５０７を終了し、区画線特徴点抽出部２０５の処理フローを完了する。

図８は、図５のステップ５０４、５０６で立上がり点と立下がり点をそれぞれバッファリングする際に用いられる特徴点候補バッファのデータ構造の一例を示す図である。図８に示す特徴点候補バッファは、メモリ１０５を用いて実現され、立上がり点数８０１、立上がり点情報８０２、立下がり点数８０４、立下がり点情報８０５の各データが格納される。立上がり点数８０１は、立上がり点の数を表すデータであり、立上がり点情報８０２のデータ数と等しい。すなわち、立上がり点数８０１が示す数と同数の立上がり点情報８０２が特徴点候補バッファに格納される。立上がり点情報８０２は、画像内での立上がり点の位置を示すデータであり、画像座標系における立上がり点のｘ座標値とｙ座標値をそれぞれ表すｘ座標８０２−１およびｙ座標８０２−２から成る。立下がり点についても同様に、立下がり点数８０４は、立下がり点の数を表すデータであり、立下がり点情報８０５のデータ数と等しい。すなわち、立下がり点数８０４が示す数と同数の立下がり点情報８０５が特徴点候補バッファに格納される。立下がり点情報８０５は、画像内での立下がり点の位置を示すデータであり、画像座標系における立下がり点のｘ座標値とｙ座標値をそれぞれ表すｘ座標８０５−１およびｙ座標８０５−２から成る。

図９は、図７のステップ７０７で特徴点情報をバッファリングする際に用いられる特徴点バッファのデータ構造の一例を示す図である。図９に示す特徴点バッファは、メモリ１０５を用いて実現され、特徴点数９０１、特徴点情報９０２の各データが格納される。特徴点数９０１は、特徴点の数を表すデータであり、特徴点情報９０２のデータ数と等しい。すなわち、特徴点数９０１が示す数と同数の特徴点情報９０２が特徴点バッファに格納される。特徴点情報９０２は、画像内での特徴点の位置や分類を示すデータであり、画像座標系における特徴点のｘ座標値とｙ座標値をそれぞれ表すｘ座標９０２−１およびｙ座標９０２−２と、分類９０２−３から成る。

次に、以上で述べた処理の具体例について、図１０〜図１４を参照して説明する。なお、以下の説明では、右サイドカメラ１０１−ＳＲで撮影された画像を対象に処理を行った場合の具体例を説明するが、他のカメラで撮影された画像についても同様である。

図１０は、分類前の画像の例を示す図である。処理領域設定部２０１は、カメラ１０１から入力された画像１００１に対して、たとえば図中の白枠で囲われた範囲に処理領域１００２を設定する。処理領域１００２内には、認識対象である白線が含まれており、草むらの影が部分的に白線にかかっている。なお、処理領域１００２は、たとえば前述のように前フレームでの白線位置に基づいて定められる。

統計量算出部２０２は、画像１００１に設定された処理領域１００２内の各画素の輝度値の統計量を算出する。閾値設定部２０３は、統計量算出部２０２が算出した統計量に基づいて、白線閾値および路面閾値を設定する。分類部２０５−１は、閾値設定部２０３が設定した白線閾値および路面閾値を用いて、画像１００１の各画素を「路面」、「白線」、「不定」のいずれかに分類する。

図１１は、図１０の画像１００１の各画素を分類して得られた分類画像１１０１の例を示す図である。分類画像１１０１では、各画素の分類結果を黒、白、グレーの３種類で表している。黒は「路面」、白は「白線」、グレーは「不定」の分類結果にそれぞれ対応する。ここで、図１０の画像１００１において白線に対応する各画素は、図１１の分類画像１１０１ではほとんどが「白線」に分類されているが、一部の画素については草むらの影が重なったために部分的に「不定」に分類されていることが分かる。また、図１０の画像１００１において路面に対応する各画素は、図１１の分類画像１１０１では多くの部分が「不定」に分類されていることが分かる。なお、図１１では分かりやすさのために画像１００１の全領域についての分類結果を分類画像１１０１として示したが、実際には前述のように処理領域１００２内の画素のみを分類すればよい。

特徴点候補抽出部２０５−２は、分類画像１１０１で示した各画素の分類結果に基づいて、分類画像１１０１から特徴点候補である立上がり点および立下がり点を抽出する。

図１２は、特徴点候補抽出部２０５−２による立上がり点および立下がり点の抽出例を説明する図である。図１２では、分類画像１１０１のうち処理領域１００２に対応する部分の一部を抜粋して示している。特徴点候補抽出部２０５−２は、前述のようにｘ座標が同一でｙ座標の差が１の一対の画素を順次選択し、その分類結果が変化する点を立上がり点または立下がり点として抽出する。これにより、たとえば図１２に示すにように、ｘ座標値がｘ１である各画素について、スキャン方向１２００に沿って分類結果が変化する点を探索すると、立上がり点１２０１、立下がり点１２０２、立下がり点１２０３が抽出される。立上がり点１２０１は、分類が「路面」から「白線」へと変化する点である。立下がり点１２０２は、分類が「白線」から「不定」へと変化する点である。立下がり点１２０３は、分類が「不定」から「路面」へと変化する点である。なお、立下がり点１２０２は、白線上の影の部分に対応する。このように、白線と路面の境界だけでなく、白線上の影の部分でも立下がり点が抽出される場合がある。こうして処理領域１００２の下端、すなわちｙ座標が最大となる点までスキャンして抽出された立上がり点と立下がり点が、特徴点の候補としてそれぞれバッファリングされる。

分類画像１１０１のうち処理領域１００２の全体に対して、上記のような立上がり点および立下がり点の抽出処理が終了すると、図１３のような結果が得られる。図１３は、立上がり点および立下がり点の抽出結果の例を示す図である。図１３では、分類画像１１０１のうち処理領域１００２内で抽出された立上がり点および立下がり点を、符号１３０１で示した点に代表される各黒点で表している。

特徴点決定部２０５−３は、分類画像１１０１から特徴点候補として抽出された各立上がり点および立下がり点の位置関係を区画線規格データ２０４と照合し、これらの中から特徴点を決定する。たとえば、図１２で示した立上がり点１２０１、立下がり点１２０２および立下がり点１２０３について、立上がり点１２０１と立下がり点１２０２の位置関係、および、立上がり点１２０１と立下がり点１２０３の位置関係を、区画線規格データ２０４が表す白線の幅（太さ）とそれぞれ照合する。その結果、立上がり点１２０１と立下がり点１２０２の間の距離は白線の幅とつじつまが合わないため、この組み合わせは白線の輪郭を表すものとして不適と判断され、立下がり点１２０２の情報は特徴点情報に記録されない。一方、立上がり点１２０１と立下がり点１２０３の間の距離は白線の幅とほぼ一致するため、この組み合わせが白線の輪郭を表すものとして適切と判断され、立下がり点１２０３の情報が特徴点情報に記録される。なお、ここでは適切と判断された立上がり点と立下がり点の組み合わせのうち、自車両からより近くに位置する立下がり点の情報を特徴点情報に記録しているが、前述のように立上がり点の情報を特徴点情報に記録してもよいし、立上がり点と立下がり点の両方の情報を特徴点情報に記録してもよい。

図１４は、分類画像１１０１のうち処理領域１００２の全体における特徴点決定結果の例を示す図である。図１４では、対応する立上がり点との距離が白線の幅とほぼ一致する立下がり点によって決定された特徴点を、符号１４０１で示した点に代表される各黒点で表している。

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）区画線認識装置１は、カメラ１０１で撮影された画像から道路上の区画線を認識する装置である。区画線認識装置１は、画像に対して処理領域を設定する処理領域設定部２０１と、処理領域における画像の統計量を算出する統計量算出部２０２と、統計量に基づいて複数の閾値、すなわち白線閾値および路面閾値を設定する閾値設定部２０３と、白線閾値および路面閾値に基づいて画像に含まれる複数の画素を分類し、複数の画素の分類結果に基づいて区画線の特徴点を抽出する区画線特徴点抽出部２０５と、区画線特徴点抽出部２０５により抽出された特徴点に基づいて区画線を決定する区画線決定部２０６と、を備える。このようにしたので、道路上の区画線の認識精度を改善することができる。

（２）統計量算出部２０２は、処理領域における画像の各画素の輝度値の平均値および標準偏差を統計量として算出する（図３のステップ３０３）。このようにしたので、白線閾値および路面閾値を適切に設定するのに必要な統計量を算出することができる。

（３）区画線特徴点抽出部２０５は、特徴点候補抽出部２０５−２により、画像に含まれる複数の画素の分類が変化する境界に対応する点を特徴点の候補として抽出する（図５のステップ５０２〜５０６）。このようにしたので、分類部２０５−１が行った画素の分類結果を用いて、適切な点を特徴点の候補として抽出することができる。

（４）区画線特徴点抽出部２０５は、分類部２０５−１により、画像に含まれる複数の画素を少なくとも３種類に、すなわち「路面」、「白線」、「不定」のいずれかに分類する（図６のステップ６０１〜６０６）。このようにしたので、閾値設定部２０３が設定した複数の閾値を用いて、画像に含まれる複数の画素から特徴点の候補を抽出するのに適した分類とすることができる。

（５）区画線特徴点抽出部２０５は、特徴点候補抽出部２０５−２により、画像に含まれる複数の画素の分類結果に基づいて複数の特徴点候補を抽出し（図５のステップ５０２〜５０６）、特徴点決定部２０５−３により、抽出した複数の特徴点候補同士の位置関係に基づいて、特徴点候補から特徴点を決定する（図７のステップ７０１〜７０７）。このようにしたので、画像から抽出された特徴点候補の中で白線の輪郭を表すものとして確からしい点を特徴点に決定することができる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。本実施形態では、時系列で撮影された複数の画像を用いて道路上の区画線を認識する例を説明する。なお、本実施形態に係る区画線認識装置のハードウェア構成および機能構成は、第１の実施形態で説明したものとそれぞれ同一であるため、以下ではこれらの説明を省略する。

図１５は、本発明の第２の実施形態に係る区画線認識装置の処理フローを示す図である。本実施形態の区画線認識装置１において、ＣＰＵ１０４は、図３のステップ３０５の処理に続けて、図１５に示す処理フローを実行する。この処理フローでは、過去に取得した画像を統計処理することで、「路面」、「白線」、「不定」の各分類が出現しやすい画素を特定し、現フレームの分類結果と照合することで、現フレームの分類結果が確からしいか否かを判断する。

ステップ１５０１では、統計量算出部２０２により、過去に取得した複数の画像における各画素の輝度の偏差値を求める。ここでは、区画線認識装置１が搭載されている車両が過去に走行した所定距離分、たとえば過去１０ｍ分の全フレームを対象に、各画素の輝度の偏差値をフレームごとに求める。各画素の輝度の偏差値は、当該フレームで設定された処理領域内の各画素の輝度値から計算した平均値と標準偏差を用いて、たとえば以下の式により算出することができる。
偏差値＝（輝度値−平均値）／標準偏差

ステップ１５０２では、統計量算出部２０２により、ステップ１５０１でフレームごとに求めた各画素の輝度の偏差値を用いて、各画素の偏差値平均を算出する。ここでは、ステップ１５０１で各画素の輝度の偏差値を求めた過去１０ｍ分の全フレームを対象に、その全フレームにおける輝度の偏差値を画素ごとに平均化することで、各画素の偏差値平均を算出する。

ステップ１５０３では、統計量算出部２０２により、ステップ１５０２で算出した各画素の偏差値平均を用いて、過去に取得した複数の画像における各画素の輝度値を正規化する。ここでは、過去１０ｍ分の全フレームで各画素の輝度値がとり得る値の範囲に応じて、各画素の輝度値を正規化する。これにより、たとえば０〜２５５の範囲内で、過去１０ｍ分の全フレームにおける各画素の輝度値が正規化される。以降の処理では、こうして正規化された各画素の輝度値を用いて、白線閾値と路面閾値の設定を行う。

ステップ１５０４では、統計量算出部２０２により、ステップ１５０３で輝度値を正規化した過去１０ｍ分の全フレームに対して、現フレームの処理領域を当てはめる。そして、その処理領域内に含まれる複数の画素について、ステップ１５０３で求めた正規化輝度値の平均と標準偏差を求める。これにより、カメラ１０１で異なる時刻にそれぞれ撮影された複数の画像を用いて、処理領域における画像の統計量が算出される。

ステップ１５０５では、閾値設定部２０３により、ステップ１５０４で求めた正規化輝度値の統計量、すなわち平均と標準偏差を用いて、白線閾値および路面閾値を設定する。ここでは、各画素の正規化輝度値の平均と標準偏差に基づいて、第１の実施形態で説明したのと同様の方法により、正規化輝度値に対する白線閾値および路面閾値を設定する。

ステップ１５０６では、区画線特徴点抽出部２０５により、ステップ１５０４で設定した白線閾値および路面閾値を用いて、過去１０ｍ分の全フレームにおける処理領域内の各画素を正規化分類する。ここでは、分類部２０５−１において、ステップ１５０３で求めた処理領域内の各画素の正規化輝度値を用いて、第１の実施形態で説明した図６のステップ６０１〜６０６と同様の処理を行うことにより、各画素を「路面」、「白線」、「不定」のいずれかに分類する。

以上説明したステップ１５０１〜１５０６の処理により、車両が過去に走行した所定距離分のフレームについて、現フレームと同様の分類結果を各画素の正規化分類結果として得ることができる。以降の処理では、この正規化分類結果を現フレームで抽出された各特徴点の分類結果と比較することで、各特徴点が信用できるか否かを判断する。

ステップ１５０７〜１５１０では、特徴点決定部２０５−３により、現フレームで抽出された各特徴点について、以下の処理をそれぞれ行う。

ステップ１５０７では、処理対象の特徴点の座標と分類を得る。ここでは、図７の処理によって最終的に得られた特徴点情報を図９の特徴点バッファから取得し、その特徴点情報のうち処理対象の特徴点に対応するものを抽出することで、当該特徴点の座標と分類を取得する。

ステップ１５０８では、ステップ１５０７で取得した現フレームの特徴点の座標に基づいて、同じ座標における正規化分類を得る。ここでは、ステップ１５０６で得られた正規化分類結果のうち、現フレームの特徴点の座標に対応するものを選択して取得する。

ステップ１５０９では、ステップ１５０７で取得した現フレームの特徴点の分類と、ステップ１５０８で取得した正規化分類とを比較する。その結果、両者の分類が異なっていれば、ステップ１５１０で当該特徴点の情報を特徴点バッファから削除した後、ステップ１５０７に戻って次の特徴点を対象とした処理に移る。一方、ステップ１５０９で両者の分類が同じと判断された場合は、何もせずにステップ１５０７に戻ることで、当該特徴点の情報を特徴点バッファに残して、次の特徴点を対象とした処理に移る。

ステップ１５０７〜１５１０では、上記のような処理を現フレームから抽出された各特徴点に対して実行することで、各特徴点の分類結果を過去のフレームと比較する。これにより、画像上の各座標においてどの分類が出現しやすいかの傾向が分かり、その傾向とは異なる特徴点が現フレームから抽出された場合は、それをノイズとして除去することが可能となる。

以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）〜（５）の各作用効果に加えて、さらに以下の作用効果を奏する。

（６）区画線特徴点抽出部２０５は、カメラ１０１で異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて区画線の特徴点を抽出する。具体的には、統計量算出部２０２は、過去の複数の画像について統計量を算出する（図１５のステップ１５０１〜１５０４）。区画線特徴点抽出部２０５は、統計量算出部２０２が算出した統計量に基づいて過去の複数の画像に含まれる複数の画素を分類し（ステップ１５０６）、その分類結果と、過去の複数の画像よりも後にカメラ１０１で撮影された現フレームの画像に含まれる複数の画素を分類した結果とを比較する（ステップ１５０７〜１５０９）。その結果、対応する画素間で同一の分類結果が得られた場合に（ステップ１５０９：Ｙｅｓ）、当該画素の情報を特徴点バッファから削除せずに残すことで、当該画素の分類結果を用いて区画線の特徴点を抽出する。このようにしたので、過去に撮影された画像を用いて、現フレームから区画線の特徴点をより正確に抽出することができる。

なお、以上説明した実施形態では、車両に搭載される区画線認識装置１を例として説明したが、本発明はこれに限定されない。たとえば、車両に搭載されたカメラで撮影された画像をサーバに送信し、その画像をサーバにおいて受信して道路上の区画線を認識する場合にも、本発明を適用可能である。この場合、車両に搭載されていないサーバが本発明の区画線認識装置として機能することになる。これ以外にも、任意の形態により本発明を実現可能である。

また、以上説明した実施形態では、ＣＰＵ１０４がプログラムを実行することで区画線認識装置１の機能を実現しているが、本発明はこれに限定されない。たとえば、ＦＰＧＡ（Field-Programmable Gate Array）を用いて区画線認識装置１の一部または全部の機能を実現してもよい。これ以外にも、任意のハードウェア構成により本発明の区画線認識装置を実現することが可能である。

以上説明した実施形態では、白線閾値および路面閾値を用いることで画像内の各画素を「路面」、「白線」、「不定」のいずれかに分類する例を説明したが、本発明はこれに限定されない。画像内の各画素を少なくとも２種類、好ましくは３種類以上に分類できるものであれば、任意の数で閾値を設定し、その閾値に応じて画像内の各画素を任意の分類数に分類することが可能である。

以上説明した実施形態や各種の変形例はあくまで一例である。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１：区画線認識装置
１０１：カメラ
１０３：記憶装置
１０４：ＣＰＵ
１０５：メモリ
１０６：ＣＡＮ Ｉ／Ｆ
１０７：ＣＡＮバス
１０８：車両制御ユニット
２０１：処理領域設定部
２０２：統計量算出部
２０３：閾値設定部
２０４：区画線規格データ
２０５：区画線特徴点抽出部
２０６：区画線決定部

Claims (7)

1. カメラで撮影された画像から道路上の区画線を認識する装置であって、
   前記画像に対して処理領域を設定する処理領域設定部と、
   前記処理領域における前記画像の統計量を算出する統計量算出部と、
   前記統計量に基づいて複数の閾値を設定する閾値設定部と、
   前記複数の閾値に基づいて前記画像に含まれる複数の画素を路面と白線を区別するように分類し、前記複数の画素の分類結果に基づいて前記区画線の特徴点を抽出する区画線特徴点抽出部と、
   前記区画線特徴点抽出部により抽出された前記特徴点に基づいて前記区画線を決定する区画線決定部と、を備え、
   前記区画線特徴点抽出部は、前記路面と前記白線のいずれにも分類できない前記画素を分類不定と定義し、前記画像の走査方向における前記画素の分類変化に応じて前記分類不定の前記画素を前記路面または前記白線とみなす区画線認識装置。
2. 請求項１に記載の区画線認識装置において、
   前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の平均値および標準偏差を前記統計量として算出する区画線認識装置。
3. 請求項１に記載の区画線認識装置において、
   前記統計量算出部は、前記画像の一部または全部を処理領域と定義し、前記処理領域内の各画素の輝度値の中央値および中央絶対偏差を前記統計量として算出する区画線認識装置。
4. 請求項１から請求項３のいずれか一項に記載の区画線認識装置において、
   前記区画線特徴点抽出部は、前記複数の画素の分類が変化する境界に対応する点を前記特徴点の候補として抽出する区画線認識装置。
5. 請求項１から請求項４のいずれか一項に記載の区画線認識装置において、
   前記区画線特徴点抽出部は、前記複数の画素の分類結果に基づいて複数の特徴点候補を抽出し、抽出した前記複数の特徴点候補同士の位置関係に基づいて、前記特徴点候補から前記特徴点を決定する区画線認識装置。
6. 請求項１から請求項５のいずれか一項に記載の区画線認識装置において、
   前記区画線特徴点抽出部は、前記カメラで異なる時刻に撮影された複数の画像にそれぞれ含まれる複数の画素を分類し、前記複数の画像の対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。
7. 請求項６に記載の区画線認識装置において、
   前記統計量算出部は、過去の複数の画像について前記統計量を算出し、
   前記区画線特徴点抽出部は、前記統計量算出部が算出した統計量に基づいて前記過去の複数の画像に含まれる複数の画素を分類した結果と、前記過去の複数の画像よりも後に前記カメラで撮影された画像に含まれる複数の画素を分類した結果とを比較し、対応する画素間で同一の分類結果が得られた場合に、当該画素の分類結果を用いて前記区画線の特徴点を抽出する区画線認識装置。

Images