JP5123812B2 - 道路標示認識システム - Google Patents

Description

自車に搭載されたカメラで撮像した画像から予め設定された場所の道路標示を認識する道路標示認識システムに関する。

従来より、車両に搭載されたカメラで走行路面を撮影し、その撮影した画像から予め設定された道路上の特定の道路標示を認識して、カーナビゲーション装置等による自車位置の認識精度を向上させることが行われている。

このように、自車位置の認識精度を向上させることによって、より正確なタイミングで運転手に対する必要な報知や、車両の制御を行い、車両事故を防止する運転支援が可能になる。道路標示を正確に認識するためには、カメラで撮影した画像から道路標示を高い認識率で認識することが必要になる。

しかしながら、検出対象である道路標示は、ペイントで描写されるものが大半であり、時間が経過するにつれて、タイヤとの摩擦等の原因で一部が剥れたり、かすれたりすることにより、不鮮明な部分が存在するようになる。

そこで、種々の道路標示に対して、それぞれ複数のかすれ状況をパターン化して予め記憶しておき、道路標示の取得画像にかすれ状況がある場合には、パターン化したかすれ状況との一致の程度により道路標示の種別判定を行なう技術が特許文献１に記載されている。

特開２００７−０６６３０５号公報

しかしながら、特許文献１に記載された技術は、１つ１つの道路標示に対して、複数のかすれパターンを予め設定しておき、カメラで取得した画像と比較して種別判定を行なうものである。従って、予め設定するかすれパターンは、多ければ多いほど道路標示の認識率は高くなるが、かすれパターンの記憶が膨大になり、記憶容量が増大する問題がある。

また、特許文献１に記載された技術では、カメラで取得した画像が、記憶されたかすれパターンの基準に満たな結果に対しては、種別判定をしないこととしている。従って、基準に満たないかすれ状況の道路標示は、再ペイントによりかすれ状況を解消しない限り、道路標示の種別の判定ができないという問題を有する。

本発明は、上記問題に鑑みてなされたものであり、その目的は、処理負荷を増大させることなく、道路標示の認識精度を向上させることが可能な道路標示認識システムを提供することにある。

本発明の道路標示認識システムは、自車に搭載されたカメラで撮像した画像から予め設定された場所の道路標示を認識する道路標示認識システムであって、道路標示に対する過去認識結果データに基づいて認識用パラメータを設定し、認識用パラメータを用いて画像から道路標示を認識し、認識結果と認識用パラメータに基づいて過去認識結果データを更新することを特徴とする。

本発明の道路標示認識システムによれば、道路標示の認識結果と認識用パラメータに基づいて過去認識結果データを更新することができる。従って、かすれ状況を含む不鮮明な道路標示に対して、同一地点を再走行したときに、過去認識結果データを用いて設定された認識用パラメータを用いて再度の認識処理をすることができ、道路標示の種別を積極的に認識することができる。従って、道路標示の認識率を向上させることができ、自車位置精度の向上を図ることができる。

以下、本発明の実施の形態について図面を参照して説明する。
［第１実施の形態］
図１は、本実施の形態における道路標示認識システムの機能ブロック図を示したものである。道路標示認識システムは、カーナビゲーション装置１００と道路標示特定装置２００によって構成される。

カーナビゲーション装置１００は、自車の現在位置情報と地図データに基づいて、予め入力された目的地までの経路に関する案内情報を出力する機能を備えており、要求道路標示情報通知手段１１０、データベース（記憶手段）１２０、各種情報通知手段１３０、認識結果受信手段１４０、処理結果情報更新手段１５０を有している。

要求道路標示情報通知手段１１０は、各種センサ１３５からＧＰＳ(Global Positioning System：全地球測位システム)１３５ａによる現在位置情報１１１を取得し、また、データベース１２０から地図データ１２１、道路標示位置データ１２２、過去認識結果データ１２３を取得し、その地点の道路標示の認識要求を道路標示特定装置２００に通知する。

データベース１２０には、地図情報及び道路情報を有する地図データ１２１、道路標示の種別及び位置に関する情報を有する道路標示位置データ１２２、過去に同一位置を通過した際に認識した結果の情報を有する過去認識結果データ１２３が記憶されている。

各種情報通知手段１３０は、各種センサ１３５のＧＰＳ１３５ａから時刻情報を取得し、また、無線通信１３５ｂ、ワイパスイッチ１３５ｃ、降雨センサ１３５ｄから降雨情報１３２を取得する。そして、各種センサ１３５の照度センサ１３５ｅから照明情報１３３を取得し、また、車速センサ１３５ｆ、操舵角センサ１３５ｇ、ジャイロセンサ１３５ｈ、加速度センサ１３５ｉから車両情報１３４を取得する。そして、これらの各種情報を道路標示特定装置２００に通知する。

認識結果受信手段１４０は、道路標示特定装置２００の認識結果が認識成功の場合に結果出力処理手段２６０から認識結果出力２６１として送信される道路標示種別ＩＤ、道路標示までの距離、道路標示の角度の情報を受信する。

処理結果情報更新手段１５０は、道路標示特定装置２００の認識結果が認識失敗の場合に結果出力処理手段２６０から処理結果情報出力２６２として送信される認識履歴フラグ、認識結果フラグ、形状特徴情報、確信度情報、未認識要因情報、時刻情報、降雨情報、照明情報、車両情報を受信し、データベース１２０の過去認識結果データ１２３を更新する。

道路標示特定装置２００は、撮像手段であるカメラ２２０、カメラ制御パラメータ設定手段２１０、認識用パラメータ設定手段２４０、認識手段２５０、結果出力処理手段２６０を有する。

カメラ２２０は、自車走行道路の路面を撮像する装置であり、例えばＣＣＤカメラによって構成されており、自車の車体後部に設置されて、駐車時に車両後方を撮像し、その画像をカーナビゲーション装置１００のモニター（図示せず）に表示する、いわゆるバックカメラが用いられている。

カメラ制御パラメータ設定手段２１０は、各種情報通知手段１３０からの情報に基づいて、カメラ２２０を制御するためのパラメータを設定する。例えば、認識し易い画像を取得するために、各種情報通知手段１３０から取得した自車周囲の明るさや車速に応じたゲイン値やシャッター速度を設定する。

認識用パラメータ設定手段２４０は、認識手段２５０において画像２３０から道路標示を認識するための認識用パラメータを設定するものであり、要求道路標示情報通知手段１１０から、要求されている道路標示の種別、過去認識結果データ１２３を受け取るとともに、各種情報通知手段１３０から現在の時刻情報１３１、降雨情報１３２、照明情報１３３、車両情報１３４を受け取り、これらの情報を総合的に考慮して最適な値の認識用パラメータを設定する。

認識手段２５０は、カメラ２２０によって撮像した画像２３０から特徴量を抽出して道路標示を認識する処理を行う。なお、認識手段２５０における処理の詳細については、後述する。

結果出力処理手段２６０は、認識手段２５０による認識が成功した場合に、認識結果受信手段１４０に対して確定した道路標示種別ＩＤ、道路標示までの距離、道路標示の角度の情報を認識結果出力２６１として出力する。一方、認識手段２５０による認識が失敗した場合には、これらの情報は出力しない。

そして、認識手段２５０による認識が成功したか否かにかかわらず、処理結果情報出力２６２として、後述する認識履歴フラグ、認識結果フラグ、認識手段２５０の特徴量抽出手段２５１で得られた形状特徴情報、認識判定手段２５２で得られた確信度情報、未認識要因情報、走行時の各種情報１３０を、カーナビゲーション装置１００の処理結果情報更新手段１５０に出力する。

図２は、道路標示特定装置２００の機能ブロックの処理をフローチャートで示したものである。ステップの記号について、ステップＳに続く数字記号が図１に示す機能ブロックの数字記号と同一のものは、その機能ブロックの処理を示している。

ステップＳ１００のカーナビゲーション処理では、ステップＳ１３０で各種情報を設定し、ステップＳ１１０で要求道路標示情報を生成し、ステップＳ２００の道路標示認識処理に移行する。

ステップＳ２００の道路標示認識処理では、まず、ステップＳ２４０の認識用パラメータ設定処理が行われる。ここでは、過去に同一地点を走行した際にかかる場所に位置する道路標示に対して認識処理を実行したか否かについて、ステップＳ２４１の認識履歴フラグ判定を実行し、認識履歴フラグ＝０、すなわち初めての走行の場合にはＹＥＳ判定となり、ステップＳ２４２のデフォルトの認識用パラメータを設定し、ステップＳ２４３で認識履歴フラグを１に設定する（認識履歴フラグ＝１）。

一方、ステップＳ２４１の認識履歴フラグ判定を実施した結果、認識履歴フラグ≠０、すなわち過去に同一地点を走行した記録がある場合にはＮＯ判定となり、過去に道路標示の認識に成功したか否かについて判断すべく、ステップＳ２４４の認識結果フラグ判定を実行する。

そして、ステップＳ２４４の認識結果フラグ判定を実施した結果、認識結果フラグ＝０、すなわち過去に道路標示の認識に失敗している場合には、ＹＥＳ判定となり、ステップＳ２４５に移行し、新たな認識用パラメータを設定する処理が行われる。

一方、ステップＳ２４４の認識結果フラグ判定を実施した結果、認識履歴フラグ≠０、すなわち過去に道路標示の認識に成功している場合には、ＮＯ判定となり、ステップＳ２４６に移行し、現在の環境情報が過去の環境情報と同等か否かの判定を実行する。

そして、現在の環境情報が過去の環境情報と同等である場合（ステップＳ２４６でＹＥＳ）は、ステップＳ２４７に移行して前回と同じ認識用パラメータを設定し、現在の環境情報が過去の環境情報と同等ではない場合（ステップＳ２４６でＮＯ）は、ステップＳ２４５に移行して新たな認識用パラメータを設定する処理が行われる。

ここで設定される認識用パラメータは、各種情報通知手段１３０のデータから道路標示を認識するための最適なパラメータを設定する処理であり、パラメータとしては、特徴量抽出に関わる閾値、たとえば、エッジ抽出の閾値、エッジ累積値の閾値、二値化の閾値、抽出領域面積の閾値、パターンマッチングの相関値の閾値などがある。

ステップＳ２１０では、カメラ制御パラメータを設定する処理が行われ、ステップＳ２３０では、カメラ制御パラメータに基づいてカメラ２２０で撮像した画像２３０を取得する処理が行われる。

そして、ステップＳ２５０では、ステップＳ２５１で特徴量抽出処理が行われ、次いでステップＳ２５５で認識判定処理が行われる。

ステップＳ２５１の特徴量抽出処理では、画像２３０に対して道路標示の特徴量を抽出するための画像処理が行われ、画像処理が施された処理画像から認識対象の道路標示である度合いを示す確信度スコアを算出する処理が行われる。

そして、ステップＳ２５５の認識判定処理では、ステップＳ２５１の特徴量抽出処理により算出された確信度スコアが、道路標示としてみなされる認識判定閾値と比較する処理が行われ、確信度スコアが認識判定閾値以上であれば道路標示の認識に成功と判定され、認識判定閾値よりも小さい場合には認識失敗と判定される。

ステップＳ２６１の認識結果出力処理では、ステップＳ２５５の認識判定処理で道路標示の認識に成功した場合に、認識結果出力２６１をカーナビゲーション装置１００の認識結果受信手段１４０に出力する処理が行われる。これにより、ステップＳ１００のカーナビゲーション処理のステップＳ１４０では認識結果受信処理が行われる。

また、ステップＳ２６２の処理結果情報出力処理では、ステップＳ２５５の認識判定処理で道路標示の認識に失敗した場合に、処理結果情報出力２６２をカーナビゲーション装置１００の処理結果情報更新手段１５０に出力する処理が行われる。これにより、ステップＳ１００のカーナビゲーション処理のステップＳ１５０では処理結果情報更新処理が行われる。

図３は、図２のステップＳ２５１における特徴量抽出処理の内容を詳細に説明するフローチャートである。

ステップＳ２５１０では画像処理、ステップＳ２５２０では二値化画像のかすれ状況認識処理、ステップＳ２５３０では二値化画像の対称性認識処理、ステップＳ２５４０では二値化画像の幅・高さ認識処理が行われる。

具体的には、ステップＳ２５１０の画像処理では、ステップＳ２５１１で画像２３０の処理エリアが設定され、ステップＳ２５１２で処理エリア内の画像を二値化する画像処理が行われる。

ステップＳ２５２０の二値化画像のかすれ状況認識処理では、まず、ステップＳ２５２１で面積フィルタ付きラベリング処理が行われる。この面積フィルタ付きラベリング処理により、二値化された処理エリア内の画像の中に存在する予め設定された面積よりも小さな面積を有するもの、例えばノイズ等に起因した小さなゴミが取り除かれ、認識対象の道路標示の画像が抽出される。

次いで、ステップＳ２５２２にて、二値化画像のかすれ状況を認識すべく、ラベリング処理後の抽出領域の面積和と閾値との比較処理が行われる。ここでは、ステップＳ２５２１の処理で抽出した領域の面積の総和が算出され、閾値との比較がなされ、面積和が閾値以上の場合（ステップＳ２５２２でＹＥＳ）は、ステップＳ２５２３で確信度スコアにポイントを加算し、閾値よりも小さい場合（ステップＳ２５２２でＮＯ）は、ステップＳ２５２４で未認識要因のかすれ状況の形状パターンとして「かすれ」フラグを設定する。

ステップＳ２５３０における二値化画像の対称性認識処理では、ステップＳ２５３１で二値化画像の縦方向、横方向線対称性特徴抽出処理が行われる。線対称性の特徴量抽出方法は、折り返し線を境界として、縦方向であれば上下、横方向であれば左右の二値画像の形状類似度を演算する。折り返し線を縦方向、横方向各々ずらしながら類似度を順次演算し、類似度の最大値を線対称性特徴スコアとして保存される。

そして、ステップＳ２５３２でその線対称性特徴スコアと閾値との比較が実行され、特徴スコアが閾値以上の場合（ステップＳ２５３２でＹＥＳ）は、ステップＳ２５３３で確信度のスコアにポイントを加算し、閾値よりも小さい場合（ステップＳ２５３２でＮＯ）は、ステップＳ２５３４で未認識要因の対称性不一致状況の形状パターンとして「対称性不一致」フラグを設定する。

なお、ステップＳ２５３１の縦方向、横方向線対称性特徴抽出処理は、二値画像に限らず、濃淡画像に対して同様の処理をしてもよい。

ステップＳ２５４０における二値化画像の幅・高さ認識処理では、ステップＳ２５４１で二値化画像の縦方向・横方向輝度投影パターンを取得する処理が行われる。ステップＳ２５４１の縦方向・横方向輝度投影パターン取得処理では、二値化画像の縦方向における輝度の投影量と横方向における輝度の投影量を算出する処理が行われる。そして、ステップＳ２５４２でその縦方向・横方向輝度投影パターンに対して予め登録された当該道路標示におけるテンプレートとのパターンマッチング処理が行われて、認識用パラメータにより設定された認識用パターンとの一致度合いを示すマッチングスコアが算出される。

そして、ステップＳ２５４３でマッチングスコアと、認識用パラメータにより設定された閾値との比較が実行され、マッチングスコアが閾値以上である場合（ステップＳ２５４３でＹＥＳ）は、ステップＳ２５４４で確信度スコアにポイントを加算し、閾値より小さい場合（ステップＳ２５４３でＮＯ）は、ステップＳ２５４５で未認識要因の幅・高さの不一致状況の形状パターンとして「幅、高さ不一致」フラグを設定する。

なお、ステップＳ２５４１の縦方向・横方向輝度投影パターン取得処理は、二値画像に限らず、濃淡画像に対して同様の処理をしてもよい。

そして、以上のステップＳ２５１の特徴量抽出処理が終了すると、図２に示すステップＳ２５５において、認識判定処理が行われる。ステップＳ２５５の認識判定処理では、かすれ状況認識処理Ｓ２５２０、対称性認識処理Ｓ２５３０、幅・高さ認識処理Ｓ２５４０で得られた確信度スコアの総計が、認識用パラメータにより設定された認識判定閾値と比較される。

そして、確信度スコアの総計が認識判定閾値以上の場合（ステップＳ２５５１でＹＥＳ）には、認識対象の道路標示の認識に成功したと判断して、ステップＳ２５５２で認識結果フラグを１にセットする。そして、ステップＳ２５５３で道路標示の距離・角度計測処理を実行し、ステップＳ２６１の認識結果出力処理が実行される。

一方、確信度スコアの総計が認識判定閾値よりも小さい場合（ステップＳ２５５１でＮＯ）には、認識対象の道路標示の認識に失敗したと判断して、ステップＳ２５５４で認識結果フラグを０にセットする。そして、ステップＳ２６２の処理結果情報出力処理が実行される。

以上、図１から図３の処理動作が、同一地点を通過するごとに、かかる位置に存在する道路標示に対して繰り返し実行される。

繰り返し実行される処理のまず第１の実施例として、１回目の走行で取得画像の認識結果において確信度が閾値以上、すなわち道路標示の種別の認識が成功し、２回目の走行で認識用パラメータが新しく設定される処理について説明する。

まず、同一地点の天候が晴天の１回目の走行において、カーナビゲーション装置１００の要求道路標示情報通知手段１１０により、認識対象の道路標示を認識するための要求道路標示情報が道路標示特定装置２００に送信され、認識用パラメータ設定手段２４０は、ステップＳ２４１で認識履歴フラグの判断を行う。

ここでは、１回目の走行であるので、データベース１２０の過去認識結果データには通過記録は存在せず、認識履歴フラグが０にセットされている。従って、ステップＳ２４１で通過記録なし（ＹＥＳ）と判断され、ステップＳ２４２でデフォルトの認識用パラメータが設定され、ステップＳ２４３で認識履歴フラグを１にセットする処理が行われる。

そして、ステップＳ２１０で設定されたカメラ制御パラメータに基づき、ステップＳ２３０でカメラ２２０により撮像が行われて画像が取得される。ステップＳ２５０の処理で、図３のかすれ（ステップＳ２５２０）、対称性不一致（ステップＳ２５３０）、幅・高さ不一致（ステップＳ２５４０）がなく、画像認識が成功した場合は、確信度スコアがステップＳ２５２３、Ｓ２５３３、Ｓ２５５４においてすべて加算されるので、確信度スコアの総和はステップＳ２５５１の認識判定閾値より大きくなり、ステップＳ２５５１でＹＥＳと判断される。

そして、ステップＳ２５５２で認識結果フラグを１にセットし、ステップＳ２５５３で道路標示の種別と距離・角度計測処理を行う。そして、図２に示すステップＳ２６１の認識結果出力処理によってカーナビゲーション装置１００の認識結果受信手段１４０に認識結果出力が送信される。また、ステップＳ２６２の処理結果情報出力処理によってカーナビゲーション装置１００の処理結果情報更新手段１５０に処理結果情報出力が送信され、データベース１２０の過去認識結果データ１２３に記憶される。

次に、同一地点の２回目の走行では次の処理が行われる。ステップＳ２４１の認識履歴フラグの判断では、２回目の走行であるので、データベース１２０の過去認識結果データに通過記録が存在しており、認識履歴フラグが１にセットされている。従って、ステップＳ２４１で通過記録有り（ＮＯ）と判断され、ステップＳ２４４で１回目の走行時の認識結果が成功であったか否かが判断される。

ここでは、１回目の走行時の判断結果が認識成功であったので、認識結果フラグが１にセットされている。従って、ステップＳ２４４で認識成功（ＮＯ）と判断されて、ステップＳ２４６に移行し、ステップＳ２４６で現在の環境情報は過去の環境情報と同等か否かが判断される。

２回目の走行においても天候が晴天であれば、環境情報のデータと過去認識結果データ１２３が同等（ＹＥＳ）となり、ステップＳ２４７で１回目と同じ認識用パラメータが設定される。一方、２回目の走行において天候が雨天であれば、環境情報のデータと過去認識結果データ１２３が異なり（ＮＯ）、ステップＳ２４５で１回目とは異なる新たな認識用パラメータが設定される。

ここで設定した認識用パラメータは、ステップＳ２６２の処理結果情報出力処理により、ナビゲーション装置１００に出力され、ステップＳ１５０の処理結果情報更新処理によりデータベース１２０の過去認識結果データ１２３の更新に用いられる。

なお、上記した第１の例では天候の変化の場合を例に説明しているが、その他各種情報通知手段１３０からのデータによっても、ステップＳ２４６の環境情報は変化する。なお、カメラ制御パラメータ設定手段２１０によるカメラ制御パラメータも、環境情報によって変更される。

繰り返し実行される処理の第２の例として、１回目の走行で取得画像の認識結果において確信度スコアが閾値以下、すなわち道路標示の種別の認識が失敗し、２回目に同一地点を走行した場合の処理について説明する。

１回目の走行について、ステップＳ２５０の前までの流れ、すなわちステップＳ２４０の認識用パラメータ設定処理からステップＳ２３０の画像取得処理までの流れは、上記した第１の実施例と同じである。

そして、１回目の走行のステップＳ２５０で、図３のステップＳ２５２０のかすれ状況認識処理において、ステップＳ２５２１の面積フィルタ付きラベリング処理の結果、抽出領域の面積和が閾値以下（ＮＯ）では確信度スコアが加算されず、未認識要因のかすれ状況の形状パターンとして「かすれ」フラグが設定される。なお、対称性不一致、幅・高さ不一致はなく、これらの確信度スコアはステップＳ２５３３とＳ２５４４でそれぞれ加算されるものとする。

この結果、確信度スコアの総和はステップＳ２５５１の認識判定閾値より小さくなり（ＮＯ）、ステップＳ２５５４で認識結果フラグが０にセットされ、ステップＳ２６２の処理結果情報出力処理により、カーナビゲーション装置１００の処理結果情報更新手段１５０に処理結果情報出力が送信され、ステップＳ１５０の処理結果情報更新処理によりデータベース１２０の過去認識結果データ１２３に記憶される。

そして、２回目の走行では、ステップＳ２４０の認識用パラメータ設定処理において、ステップＳ２４１で認識履歴フラグは１（ＮＯ）、すなわち通過履歴有りと判断され、ステップＳ２４４で認識結果フラグは０（ＹＥＳ）、すなわち１回目は認識失敗と判断され、ステップＳ２４５において新たな認識用パラメータ設定がされる。

この認識用パラメータは、データベース１２０に記憶された１回目の走行で認識に失敗した過去認識結果データ１２３と各種情報通知手段１３０からのデータによって、特徴量抽出に関わる閾値、たとえば、エッジ抽出の閾値、エッジ累積値の閾値、ニ値化の閾値、抽出領域面積の閾値、パターンマッチングの相関値の閾値などが設定変更される。

ステップＳ２４５による新たな認識用パラメータ設定により、特徴量抽出、認識判定処理（ステップＳ２５０）のかすれ状況認識処理（ステップＳ２５２０）において、面積フィルタ付きラベリング処理（ステップＳ２５２１）の抽出領域の面積和が閾値以上（ＹＥＳ）になった場合には、対称性不一致、幅・高さ不一致がなかったステップＳ２５３３の確信度スコアとＳ２５４４の確信度スコアに、ステップＳ２５２３の確信度スコアが加算される。

そして、確信度スコアの総和は、図２のステップＳ２５５１の認識判定閾値より大きくなり（ＹＥＳ）、ステップＳ２５５２で認識結果フラグを１にセットし、道路標示の種別と距離・角度計測処理（ステップＳ２５５３）の結果を認識結果出力処理（ステップＳ２６１）からカーナビゲーション装置１００の認識結果受信手段１４０に送信する。

なお、同一地点の２回目の走行でも確信度スコアが閾値以上にならない場合は、その後の走行で、認識用パラメータ、未認識要因であるかすれに対して面積フィルタ付きラベリング処理の閾値、対称性不一致に対して線対称性特徴抽出の閾値、幅・高さ不一致に対してマッチング処理の閾値を変更しながら道路標示の認識処理を実行する。また、同一地点の前回走行で確信度スコアが閾値以上になった場合でも、更に正確な距離、角度を取得するため、繰り返し認識処理を実行するようになっている。

また、図３のかすれ状況認識処理（ステップＳ２５２０）、対称性認識処理（ステップＳ２５３０）、幅・高さ認識処理（ステップＳ２５４０）で加算される確信度スコアのポイントは、道路標示の認識重要度に対して重み付けをして、ポイント数を設定してもよい。

さらに、図３では、確信度スコアのポイントは、かすれ状況認識処理（ステップＳ２５２０）、対称性認識処理（ステップＳ２５３０）、幅・高さ認識処理（ステップＳ２５４０）で加算するようにしているが、これら３つに限定されるものではなく、重要度からいずれか一つでもよく、他の道路標示の特徴量を抽出する要因を追加することもできる。

上記した第１実施の形態によれば、同一地点の道路標示に対して、走行毎の各種認識処理データや各種環境情報データをナビゲーション装置１００のデータベース１２０に過去認識結果データ１２３として記憶させているので、同一地点の走行時に要求道路標示情報通知手段１１０から道路標示特定装置２００に送信することができる。

従って、前回の走行時に道路標示の認識に失敗した場合に、その過去認識結果データに基づいて、今回の走行時用に認識用パラメータ設定手段２４０により認識用パラメータを再設定することができ、道路標示の種別を積極的に認識させることができ、データベース１２０の精度を維持できる。従って、道路標示の認識率を向上させることができ、自車位置精度の向上を図ることができる。

［第２実施の形態］
上記した第１実施の形態では、ステップＳ２５０の認識処理において、かすれ状況認識処理Ｓ２５２０、対称性認識処理Ｓ２５３０、幅・高さ認識処理２５４０で得られる確信度スコアのポイントを加算する場合を例にして説明したが、本実施の形態では、かすれ状況認識処理Ｓ２５２０に限定した例について、処理の詳細を説明する。

図４は、本実施の形態におけるかすれ状況認識処理Ｓ２５２０の内容を示すフローチャート、図５は１つの道路標示の例（Ｔ字路）に対する処理結果を示している。図５において、符号１Ａは道路標示の取得画像であり、種々のかすれが生じている。

取得画像１Ａに対して、図３に示したステップＳ２５１１の処理エリア設定処理と、ステップＳ２５１２の二値化処理を施した画像が、図５に示す二値化画像１Ｂであり、かすれ部分のデータが欠落した画像となっている。

同一地点の１回目の走行では、二値化画像１Ｂに対して面積フィルタ閾値が１００（デフォルト値）として設定され（ステップＳ２５２１ａ）、面積フィルタ閾値以上の抽出領域の面積を算出する面積フィルタ付きラベリング処理が実行され、抽出面積の総和が算出される。

面積フィルタ閾値Ｘ１をデフォルト値１００に設定した場合、ラベリング処理画像１Ｃ１に示すように、欠落部分が大きく、規定の道路標示が有する面積よりも大幅に小さくなり、抽出面積の総和Ｓ１は閾値以下となっている。この結果、確信度スコアのポイントは０、未認識要因としてかすれフラグＦＣ１がセットされ、道路標示の認識結果は失敗と判断される。

次に、同一環境における２回目の走行では、１回目の走行による過去認識結果データから、認識用パラメータ設定手段２４０により、面積フィルタ閾値Ｘ１が６０に設定される。従って、二値化画像１Ｂに面積フィルタ付きラベリング処理を実行したラベリング処理画像１Ｃ２は、欠落部分が小さくなる。その結果、抽出面積の総和Ｓ１は閾値以上となり、確信度スコアのポイントは９となる。確信度スコアの閾値を８にセットしたと仮定すると、図２のステップＳ２５５１での判定がＹＥＳとなり、道路標示の認識が成功したことになる。

上記構成によれば、第１実施の形態と比較して、特徴量抽出手段２５１における処理内容を削減することができる。従って、道路標示認識システム全体の処理負荷を軽減し、処理速度を向上させることができる。

［第３実施の形態］
本実施の形態では、複数の道路標示に対して認識処理を行う方法について図６〜図８を用いて説明する。図６は、道路標示「Ｔ字路」１１Ｐ、「横断歩道あり」の「菱形」１２Ｐと１３Ｐ、「停止線」１４Ｐ、「横断歩道」１５Ｐなど複数の道路標示がペイントされた道路１０上を、自車両２０が１回目に走行した時の特徴量閾値と認識処理結果を示したものであり、図８は、２回目に走行したときの特徴量閾値と認識処理結果を示したものである。

そして、図７は、図６に示す各道路標示に対して、図３のかすれ状況認識処理（ステップＳ２５２０）、対称性認識処理（ステップＳ２５３０）、幅・高さ認識処理（ステップＳ２５４０）の画像認識項目と閾値、１回目と２回目の走行時の認識処理結果を示している。

まず、自車両２０による道路１０上の走行により、ナビゲーション装置１００の要求道路標示情報通知手段１１０は、データベース１２０のデータに基づき、道路標示特定装置２００に対して各道路標示１１Ｄ〜１５Ｄの認識要求を送信する。

道路標示特定装置２００は、カメラ２２０で撮像した画像１１Ｃ〜１５Ｃから、道路上１０にペイントされた道路標示の画像を取得する。本実施の形態では、図６に示すように、「Ｔ字路」１１Ｃ、「菱形」１２Ｃ、「停止線」１４Ｃは、かすれを含んだ画像、「菱形」１３Ｃ、「横断歩道」１５Ｃは、かすれがない画像が取得されている。

最初に、１回目の走行時における取得画像の認識処理について、図６、図７を用いて説明する。取得画像１１Ｃ〜１５Ｃについて、図３のステップＳ２５１２の二値化画像処理を実行し、それぞれの二値化画像に対して、ステップＳ２５２０のかすれ状況認識処理のラベリング処理閾値Ｘ１０、ステップＳ２５３０の対称性認識処理の線対称性特徴量閾値Ｘ２０、ステップＳ２５４０の幅・高さ認識処理のパターンマッチング処理閾値Ｘ３０を設定する。

ラベリング処理の特徴量閾値Ｘ１０は、１１Ｃ１Ｎ、１２Ｃ１Ｎ、１３Ｃ１Ｎ、１４Ｃ１Ｎ、１５Ｃ１Ｎ、線対称性の特徴量閾値Ｘ２０は、１１Ｃ２Ｎ、１２Ｃ２Ｎ、１３Ｃ２Ｎ、１４Ｃ２Ｎ、１５Ｃ２Ｎ、パターンマッチングの特徴量閾値Ｘ３０は、１１Ｃ３Ｎ、１２Ｃ３Ｎ、１３Ｃ３Ｎ、１４Ｃ３Ｎ、１５Ｃ３Ｎとする（各閾値の末尾記号Ｎはデフォルトを表わしている）。

取得画像１１Ｃを二値化画像とし、特徴量閾値Ｘ１０を１１Ｃ１Ｎ、１１Ｃ２Ｎ、１１Ｃ３Ｎとして認識処理を実行した場合、図６、図７に示すように、確信度スコアの結果は、取得画像１１Ｃでは、かすれ状況認識の確信度スコアのポイントが０、線対称性認識の確信度スコアのポイントが３、幅・高さ認識の確信度スコアのポイントが３で各確信度スコアの総計が６になる。

なお、認識が成功した場合の確信度スコアのポイントは、かすれ状況認識で４、線対称性認識で３、幅・高さ認識で３が与えられるものと仮定し、確信度スコアの総計が１０になるように設定されている。

取得画像１１Ｃでは、確信度スコアの総計が６であり、認識が成功する確信度スコア１０以下であるので、道路標示の認識に失敗したことになる。ここで、認識に失敗した要因は、かすれ状況の特徴量が特徴量閾値１１Ｃ１Ｎよりも小さかったためであり、未認識要因フラグとして、１１Ｃ１Ｆを設定する。

そして以下同様に、取得画像１２Ｃ、１３Ｃ、１４Ｃ、１５Ｃについてもそれぞれを二値化画像として、特徴量閾値を用いて認識処理を実行する。

その結果、取得画像１２Ｃは、かすれ状況認識では確信度スコアのポイントが０、線対称性認識ではポイント０、幅・高さ認識ではポイント３で総計が３であり、認識に失敗、未認識要因フラグ１２Ｃ１Ｆと１２Ｃ２Ｆを設定する。

取得画像１３Ｃは、かすれ状況認識では確信度スコアのポイントが４、線対称性認識ではポイント３、幅・高さ認識ではポイント３で総計が１０であり、認識に成功、未認識要因フラグの設定はない。

取得画像１４Ｃは、かすれ状況認識で確信度スコアのポイントが４、線対称性認識でポイント０、幅・高さ認識ではポイント３で総計が７であり、認識に失敗、未認識要因フラグ１４Ｃ２Ｆを設定する。

取得画像１５Ｃは、かすれ状況認識で確信度スコアのポイントが４、線対称性認識でポイント３、幅・高さ認識ではポイント３で総計が１０であり、認識に成功、未認識要因フラグの設定はない。

以上より、１回目の走行時に道路標示として認識し、道路標示種別ＩＤ、道路標示までの距離、道路標示の角度がナビゲーション装置１００に送信されるのは、道路標示の１３Ｐと１５Ｐとなる。また、取得画像１１Ｃ〜１５Ｃで得られた処理結果は、ナビゲーション装置１００のデータベース１２０に記憶される。

次に、２回目の走行時における取得画像の認識処理について、図７、図８を用いて説明する。

要求道路標示情報通知手段１１０は、認識要求を道路標示特定装置２００に送信する。この認識要求には、認識要求される道路標示１１Ｄ〜１５Ｄの種別、及び１回目の走行時の認識処理結果が含まれている。道路標示特定装置２００では、１回目の走行時の認識処理結果に応じて特徴量閾値を設定する処理が行われる。

１回目走行で認識に失敗した取得画像１１Ｃ、１２Ｃ、１４Ｃの特徴量閾値は以下のように設定される。取得画像１１Ｃの二値化画像に対して、ラベリング処理の特徴量閾値を１１Ｃ１Ｎから１１Ｃ１ａに設定変更する（図７を参照）。そして、取得画像１２Ｃの二値化画像に対して、ラベリング処理の特徴量閾値を１２Ｃ１Ｎから１２Ｃ１ａとし、また、線対称性の特徴量閾値を１２Ｃ２Ｎから１２Ｃ２ａに設定変更する。

それから、取得画像１４Ｃの二値化画像に対して線対称性の特徴量閾値を１４Ｃ２Ｎから１４Ｃ２ａに設定変更する。なお、１回目走行で認識に成功した取得画像１３Ｃ、１５Ｃの特徴量閾値は、１回目と同一の特徴量閾値（デフォルト）が設定される。

２回目の走行時における認識結果は、図７及び図８に示すように、すべての取得画像１１Ｃ〜１５Ｃの二値化画像について、確信度スコアの総計が１０となり、認識に成功し、未認識要因のフラグは設定されない。

従って、すべての道路標示１１Ｐ〜１５Ｐに対して、道路標示種別ＩＤ、道路標示までの距離、道路標示の角度がナビゲーション装置１００に送信され、処理結果は、ナビゲーション装置１００のデータベース１２０に記憶される。

［第４実施の形態］
上記した第１〜第３実施の形態では、認識処理２５０において、かすれ状況認識処理（ステップＳ２５２０）、線対称性認識処理（ステップＳ２５３０）、幅・高さ認識処理（ステップＳ２５４０）にそれぞれ確信度スコアを付与する場合について説明した。しかし、道路標示の全体についてこれらの認識処理を実行すると、道路標示の重要特徴部分以外の画像に対しても処理を実行することになり、無駄な処理時間を要する。そこで、本実施の形態では、道路標示の重要な特徴部分についてのみの認識処理を行い、道路標示を認識するようにした場合を例に説明する。

図９は、かすれ状況認識処理Ｓ２５２０を、道路標示の重要部分についてのみ実行する場合のフローチャート、図１０は、その認識結果の一例を示す図である。本実施の形態では、図１０に示すように、要求道路標示１６Ｐのエッジ部分を、Ａ、Ｂ、Ｃ、Ｄの領域に分割する。

１回目の走行時において、図１０の初期設定により、二値化処理された画像に対して、ステップＳ２５２１の面積フィルタ付きラベリング処理で、エッジＡ〜エッジＤに対して面積フィルタ閾値ＳＡＮ〜ＳＤＮ（Ｎはデフォルトを表示）と、未認識フラグＦＡＮ〜ＦＤＮ（Ｎはデフォルトを表示）と、確信度ＫＡ〜ＫＤとを設定し（ステップＳ２５２１ｃ）、エッジＡ〜エッジＤ領域の面積を算出する（ステップＳ２５２１ｄ）。

ステップＳ２５２５においてエッジＡ領域の面積と閾値ＳＡ、ステップＳ２５２６においてエッジＢ領域の面積と閾値ＳＢ、ステップＳ２５２７においてエッジＣ領域の面積と閾値ＳＣ、ステップＳ２５２８においてエッジＤ領域の面積と閾値ＳＤを比較する。

図１０の１回目走行結果では、エッジＢ領域の面積が閾値ＳＢＮ（デフォルト）より小さく、確信度が０で未認識フラグＦＢが設定され、エッジＡ、Ｃ、Ｄではそれぞれの閾値より大きく、確信度がＫＡ、ＫＣ、ＫＤとなり、未認識フラグはデフォルトのＦＡＮ、ＦＣＮ、ＦＤＮが設定される。この結果、確信度スコアの総計は、確信度ＫＢが０になり、閾値以下となって道路標示の認識が失敗したことなる。

次に２回目の走行時は、１回目の走行時に認識できなかったエッジＢについて、未認識フラグＦＢをもとに面積閾値ＳＢ１に設定して、認識処理を実行する。その結果、エッジＢの確信度はＫＡ、ＫＢ、ＫＣ、ＫＤが得られ、確信度スコアの総計は、閾値以上となって道路標示の認識に成功する。

上記した第４実施の形態では、道路標示の重要部分に限定した処理であるので、処理時間の無駄を省くことができ、迅速に判断処理を行うことができる。なお、第４実施の形態では、かすれ状況認識処理の重要部分のみを例にしているが、線対称性認識処理、幅・高さ認識処理のそれぞれ、また、他の特徴量抽出と認識判定においても同様の処理を実行してもよい。

上記した第１〜第４実施の形態における道路標示特定装置２００は、過去に同一地点の道路を走行した時の処理結果情報に対して、新しい処理結果情報を生成して、再度、道路標示の認識処理をする、いわゆる学習機能型道路標示認識と言える。

また、上記した第１〜第４実施の形態における道路標示特定装置２００の認識手段２５０では、かすれ状況認識処理（ステップＳ２５２０）、対称性認識処理（ステップＳ２５３０）、幅・高さ認識処理（ステップＳ２５４０）という３つの処理によって確信度スコアを得るようにしているが、これら３つの処理に限らず、他の特徴量に対しての処理を複数用いてもよい。

さらに、第１〜第４実施の形態では、自車両２０に搭載されたナビゲーション装置１００に、地図データ１２１、道路標示位置データ１２２、過去認識結果データ１２３を記憶するデータベース１２０を有し、現在位置を特定する現在位置情報１１１を具備している場合を例に説明した。

しかしながら、自車両２０には現在位置情報１１１を具備し、データベース１２０は、同一ナビゲーションシステムの共通データベースとして基地局に独立して設置する構成としてもよい。データベース１２０が基地局に設置される場合は、同一システムの車両と基地局との間で無線通信手段により、地図データ１２１、道路標示位置データ１２２、過去認識結果データ１２３の送受信が行なわれる。

データベース１２０が基地局に設置されると、自車両２０が同一地点を走行した場合に限らず、同一システムを有する他の車両が同一地点を走行した場合でも、過去の認識結果データ１２３を共有することができる。従って、認識結果２６１や処理結果情報２６２を頻繁に更新することができ、道路標示の認識率を向上させてデータベース１２０の精度をさらに向上することができる。

なお、本実施例で述べた特徴量の閾値、それぞれの特徴量の確信度スコアとして与えるポイント、確信度の閾値は、該当する道路標示それぞれに個別に設定されたり、過去認識結果データのみならず各種情報によって、道路標示認識処理ごとに設定される値である。

第１実施の形態における道路標示認識システムのブロック図。 第１実施の形態における道路標示認識処理の内容を示すフローチャート。 第１実施の形態における特徴量抽出処理の内容を示すフローチャート。 第２実施の形態におけるかすれ状況認識処理の内容を示すフローチャート。 第２実施の形態における道路標示の認識結果の一例を示す図。 第３実施の形態における１回目走行時の道路標示認識処理と認識結果を示す図。 第３実施の形態における特徴量閾値と確信度スコアのポイント数を示す図。 第３実施の形態における２回目走行時の道路標示認識処理と認識結果を示す図。 第４実施の形態におけるかすれ状況認識処理の内容を示すフローチャート。 第４実施の形態におけるかすれ状況認識処理の閾値、未認識フラグの状態、及び、確信度スコアを示す図。

符号の説明

１００ ナビゲーション装置
１１０ 要求道路標示情報通知手段
１２０ データベース
１３０ 各種情報通知手段
１４０ 認識結果受信手段
１５０ 処理結果情報更新手段
２００ 道路標示特定装置
２１０ カメラ制御パラメータ設定手段
２２０ カメラ（撮像手段）
２３０ 画像
２４０ 認識用パラメータ設定手段
２５０ 認識手段
２６０ 結果出力処理手段
１１Ｐ、１２Ｐ、１３Ｐ、１４Ｐ、１５Ｐ、１６Ｐ 道路標示
１Ａ、１１Ｃ、１２Ｃ、１３Ｃ、１４Ｃ、１５Ｃ 取得画像
１Ｂ 二値化画像
１Ｃ１、１Ｃ２ ラベリング処理画像、
１１Ｄ、１２Ｄ、１３Ｄ、１４Ｄ、１５Ｄ 認識要求される道路標示

Claims (11)

1. 自車に搭載されたカメラで撮像した画像から予め設定された場所の道路標示を認識する道路標示認識システムであって、
   前記道路標示に対する過去認識結果データを記憶する記憶手段と、前記過去認識結果データを更新する更新手段と、を有するカーナビゲーション装置と、
   該カーナビゲーション装置から受け取った前記過去認識結果データを用いて認識用パラメータを設定する認識用パラメータ設定手段と、該認識用パラメータ設定手段により設定された認識用パラメータを用いて前記画像から前記道路標示を認識する認識手段と、を有する道路標示特定装置と、を有し、
   前記認識用パラメータ設定手段は、過去に同一地点を走行して前記道路標示の認識に成功していた場合に、該成功していたときの認識用パラメータと同じ認識用パラメータに設定し、過去に前記道路標示の認識に失敗している場合は、該認識に失敗した過去認識結果データに基づいて新たな認識用パラメータを設定し、
   前記更新手段は、前記認識手段による前記道路標示の認識に失敗した場合に、前記認識手段による認識処理の処理結果情報に基づいて前記過去認識結果データを更新することを特徴とする道路標示認識システム。
2. 前記認識用パラメータ設定手段は、前記記憶手段が前記道路標示に対する過去認識結果データを未だ記憶していないときは、予め設定されたデフォルトの認識用パラメータを設定することを特徴とする請求項１に記載の道路標示認識システム。
3. 前記過去認識結果データには、前記道路標示の認識時における自車周囲の環境情報が含まれており、
   前記認識用パラメータ設定手段は、前記過去認識結果データが有する前記道路標示の認識結果が認識成功である場合は、該認識結果の認識時における環境情報と、パラメータ設定時における環境情報とが同等であるか否かを判断し、環境情報が同等であるときは前回と同じ認識用パラメータを設定し、環境情報が同等ではないときは前回とは異なる新たな認識用パラメータを設定することを特徴とする請求項１又は２に記載の道路標示認識システム。
4. 前記認識手段は、
   前記画像から前記道路標示の特徴量を抽出する特徴量抽出手段と、
   該特徴量抽出手段により抽出された特徴量と前記認識用パラメータ設定手段により設定された認識用パラメータとを比較して、前記特徴量が前記認識用パラメータ以上の場合に認識成功と判断し、前記特徴量が前記認識用パラメータよりも少ない場合に認識失敗と判断する認識判定手段と、
   を有することを特徴とする請求項１から請求項３のいずれか一つに記載の道路標示認識システム。
5. 前記特徴量抽出手段は、前記特徴量を抽出するための画像処理を前記画像に施し、該画像処理が施された処理画像から認識対象の道路標示である度合いを示す確信度スコアを算出し、
   前記認識判定手段は、前記特徴量抽出手段により算出された確信度スコアと前記認識用パラメータにより設定された認識判定閾値とを比較して、前記確信度スコアが前記認識判定閾値以上である場合に認識成功と判断し、前記確信度スコアが前記認識判定閾値よりも小さい場合に認識失敗と判断することを特徴とする請求項４に記載の道路標示認識システム。
6. 前記特徴量抽出手段は、
   前記画像処理手段によって前記画像を二値化画像に変換する画像処理を行う画像処理手段を備え、該画像処理手段により画像処理された二値化画像から前記確信度スコアを算出することを特徴とする請求項５に記載の道路標示認識システム。
7. 前記特徴量抽出手段は、
   前記画像処理手段により画像処理された二値化画像に基づいて、前記道路標示のかすれ状況を認識し、該かすれ状況が前記認識用パラメータにより設定された閾値以上である場合は、前記確信度スコアにポイントを加算することを特徴とする請求項６に記載の道路標示認識システム。
8. 前記特徴量抽出手段は、
   前記画像処理手段により画像処理された二値化画像に基づいて、前記道路標示の線対称性を認識し、該線対称性が前記認識用パラメータにより設定された閾値以上である場合は、前記確信度スコアにポイントを加算することを特徴とする請求項６に記載の道路標示認識システム。
9. 前記特徴量抽出手段は、
   前記画像処理手段により画像処理された二値化画像に基づいて、前記道路標示の投影パターンを認識し、該投影パターンと前記認識用パラメータにより設定された認識用パターンとの一致度合いを示すマッチングスコアを算出し、該マッチングスコアが前記認識用パラメータにより設定された閾値以上である場合は、前記確信度スコアにポイントを加算することを特徴とする請求項６に記載の道路標示認識システム。
10. 自車周囲の環境情報と自車の走行情報を取得して通知する情報通知手段と、
    該情報通知手段から通知される情報に基づいて、前記カメラの制御パラメータを設定するカメラ制御パラメータ設定手段と、を有することを特徴とする請求項１から請求項９のいずれか一つに記載の道路標示認識システム。
11. 自車位置情報と、地図データと、道路標示位置データに基づいて認識対象の道路標示を特定し、該特定した道路標示の情報及び前記過去認識結果データを要求道路標示情報として前記認識用パラメータ設定手段に通知する要求道路標示情報通知手段を有し、
    前記認識用パラメータ設定手段は、前記要求道路標示情報に基づいて前記認識用パラメータの設定を行うことを特徴とする請求項１から請求項１０のいずれか一つに記載の道路標示認識システム。

Images