JP4902575B2 - 道路標示認識装置、および道路標示認識方法 - Google Patents

Description

本発明は、画像を用いて道路標示を検出する技術に関する。

自車両に搭載された撮像装置が撮像した画像から道路標示を検出し、ナビゲーションの情報を最新のものに更新することで、正確な協調を可能とするような技術が知られている。

例えば、引用文献１に記載された発明のように、道路標示の記号列または文字列を部分的に検出して、撮像画像上における残りの記号または文字の位置を相対的に判断し、画像の処理領域を設定するような技術が知られている。
特開２００６−１２７３５８号公報

しかしながら、特許文献１に記載の技術では、判断することが可能な記号または文字の位置は、現在の撮像画像上に含まれているものに限られ、残りの道路標示が撮像画像上に無かった場合や、ペイントがかすれている場合には、これらを認識することは困難である。また、外乱に弱く、影等により生じる撮像画像上の輝度差を、道路標示と誤認してしまう可能性もある。

そこで本発明では、カメラによって撮像される画像を蓄積し、現在の撮像画像に含まれていない道路標示についても、予測される道路標示の組み合わせに基づいて確実に識別することが可能な技術を提供することを目的とする。

前記課題を解決するための本発明の道路標示認識装置は、蓄積画像中に含まれる道路標示を、予測される組み合わせに基づいて精度良く識別することが可能な技術を提供する。
例えば、複数の撮像画像を垂直方向から見下ろす画像に変換して時系列順に接続し、合成画像を生成する画像生成手段と、前記撮像画像に含まれている道路標示の種別を、周辺の連続する組み合わせの道路標示に応じた特徴量の要素を含む周辺情報から識別する道路標示判断手段と、を備え、前記道路標示判断手段は、前記周辺情報に含まれる特徴量の要素と、前記合成画像の特徴量の要素と、の相関値を求め、前記相関値が所定の値以上であった場合に、前記周辺情報から、前記撮像画像に含まれている連続する組み合わせの道路標示の種別を識別することを特徴とする。

以下、本発明を実施するための最良の形態について、図面を参照して説明する。

図１は、本願の第一の実施形態にかかる道路標示認識システム１００の機能構成を示すブロック図である。

図示するように、道路標示認識システム１００は、道路標示認識装置１０と、カーナビゲーション装置８０と、車載カメラ９９と、を含んでいる。

道路標示認識装置１０は、記憶部１１０と、制御部１２０と、インターフェース部１３０（以下、Ｉ／Ｆ部と称する）と、を備える。

記憶部１１０は、画像記憶領域１１１と、変換テーブル記憶領域１１２と、識別テーブル記憶領域１１３と、を有する。

画像記憶領域１１１は、カメラから取得したフレーム画像と、画像生成部１２１がフレーム画像から生成する俯瞰画像およびモザイク画像と、を記憶する。図２に、画像記憶領域１１１の記憶するフレーム画像９００と、俯瞰画像９１０と、モザイク画像９２０と、の概略図を示す。

変換テーブル記憶領域１１２は、実画像（フレーム画像９００）から俯瞰画像９１０を生成するために必要な変換テーブル（図示しない）を記憶する。変換テーブルとは、例えば、フレーム画像９００の各画素の座標位置と、俯瞰画像９１０の各画素の座標位置と、を対応付け、ここに角度差やレンズの歪曲収差を補正するための補正パラメータを配したものである。これらはレンズの光学特性並びに自車両９０に対する取り付け位置及び角度に基づいて、一意に決定される。なお、変換テーブルは、Ｉ／Ｆ部を介して、他の装置から取得してもよい。

識別テーブル記憶領域１１３は、２つ以上の組み合わせからなる道路標示を特定するための基準として、図３に示すような識別テーブル１１３１を予め記憶する。

具体的に、識別テーブル１１３１は、２つ以上の組み合わせの道路標示について、それぞれの種別を特定するための種別情報１３ｅを有する。種別情報１３ｅは、例えば、自車両に近い側の道路標示から順に、種別情報Ａ、種別情報Ｂ・・・（以下、道路標示の数だけ続く）を示す情報である。

さらに、識別テーブル１１３１は、上記組み合わせからなる道路標示の特徴量として、縦方向輝度投影パターン１３ａと、横方向輝度投影パターン１３ｂと、縦方向エッジパターン１３ｃと、横方向エッジパターン１３ｄと、を格納する。ここでは、以上４つの要素からなる特徴量を、テンプレート１３と称する。

なお、識別テーブル１１３１は、Ｉ／Ｆ部を介して、他の装置から取得する構成としてもよい。

制御部１２０は、画像生成部１２１と、道路標示判断部１２２と、位置情報生成部１２３と、を有する。

画像生成部１２１は、撮像された車両後方の実画像（フレーム画像９００）から、過去に撮像した画像を一枚にまとめたモザイク画像９２０を生成する。より具体的には、画像生成部１２１は、まず、車載カメラ９９の撮像する画像から、フレーム画像９００を取得して、これを画像記憶部１１１に時系列順に蓄積する。次に、画像生成部１２１は、フレーム画像９００を垂直方向から見下ろした俯瞰画像（天空から地上面を見た場合の平面図）９１０を生成し、過去に合成されたモザイク画像９２０に、最新の俯瞰画像９１０を接続するモザイキング処理を施す。モザイキング処理とは、連続的に入力された画像から得られる複数の画像を繋ぎ合わせて、１枚のモザイク画像を作成する処理である。詳細は後述する。

なお、フレーム画像９００は、車載カメラ９９のフレームレートに従って撮像されるが、例えば、フレームレートが車速によって変化し、常に一定の距離範囲を撮像したフレーム画像９００を得るような構成としてもよい。また、フレームレートに関わらず、一定の距離間隔ごとに、これを取得してもよい。

道路標示判断部１２２は、モザイク画像９２０から特徴量を抽出して、画像中に道路標示が含まれているか否かを判断する。具体的には、道路標示判断部１２２は、モザイク画像９２０に対して、特徴量抽出処理を実行する。特徴量の抽出処理は、例えば、モザイク画像９２０の縦方向と横方向とに対して、輝度投影処理およびエッジ抽出処理を実行し、特徴量の各要素を抽出するものである。また、道路標示判断部１２２は、抽出した特徴量と、テンプレート１３とを照合するテンプレートマッチングを実行して、モザイク画像９２０に含まれる道路標示を識別する。

位置情報生成部１２３は、モザイク画像９２０に含まれる道路標示に関する位置情報を生成して、Ｉ／Ｆ部１３０を介してカーナビゲーション装置８０へと出力する。位置情報には、例えば、道路標示の種別や、自車両からの距離、角度等の情報が含まれる。

Ｉ／Ｆ部１３０は、カーナビゲーション装置８０と通信を行うためのインターフェースである。通信方式には、どのような手段を利用してもよい。また、道路標示認識装置１０と、カーナビゲーション装置８０とが、同一機器である一体型としてもよい。

カーナビゲーション装置８０は、例えば、ＧＰＳ（全地球測位システム）や車速パルス、ジャイロなどの自律航法装置を利用して、自車両の位置の検出や、目的地への走行経路案内を実行する装置である。また、本実施形態にかかるカーナビゲーション装置８０は、位置情報生成部１２３から出力される道路標示に関する位置情報に協調して、自車位置を補正することが可能である。

車載カメラ９９は、例えば、車両の後方に設置され、車両後方側の所定の撮影範囲を、地面に対して斜めに見下ろす方向で撮像する。もちろん、設置位置は車両の後方に限らず、車両の前方や車体下等に設置することも可能である。

ここで、道路標示認識装置１０のハードウェア構成について説明する。図１３は、道路標示認識装置１０の電気的な構成を示すブロック図である。

図１３に示すように、道路標示認識装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１と、各種データを書換え可能に記憶するメモリ２と、を備える。さらに、道路標示認識装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置３と、外部の装置と通信を行う通信装置４と、を備える。これらの各装置は、バスなどの信号線５を介してＣＰＵ１と接続される。

ＣＰＵ１は、例えば、外部記憶装置３上に格納されたプログラムをメモリ２上にロードして実行することにより、各種処理を実行する。

外部記憶装置３は、例えばＨＤＤ（Hard Disk Drive）を備えているが、もちろん、ＨＤＤのみに限定されず、配布されたプログラムであるコンピュータソフトウェアや、データを読み取るための機構として、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のドライブをさらに備えてもよい。

以上のように構成される道路標示認識装置１０での処理について、図４に示すフローチャートを用いて説明する。図４は、道路標示認識装置１０が、実画像から位置情報を生成する際の処理の流れを示すフロー図である。

画像生成部１２１は、まず、車載カメラ９９の撮像画像を取得して、画像記憶領域１１１に蓄積する（Ｓ１１）。具体的に、画像生成部１２１は、車載カメラ９９から画像信号を取得すると、画像を構成するフレームを、フレーム画像９００として画像記憶領域１１１に時系列順に格納する。

次に、画像生成部１２１は、フレーム画像９００に俯瞰変換処理を施して、俯瞰画像９１０を生成する（Ｓ１２）。具体的には、画像生成部１２１は、上述の変換テーブルに基づいて、フレーム画像９００の各画素に対して、座標変換および補正を施し、俯瞰画像９１０を描画する。なお、俯瞰変換処理の方法は上述のものに限られず、どのような方法を用いてもよい。生成された俯瞰画像９１０は、画像記憶領域１１１に格納される。

さらに、画像生成部１２１は、過去に合成されたモザイク画像に対してモザイキング処理を実行し、最新のモザイク画像を生成する（Ｓ１３）。ここで、本実施形態にかかる画像生成部１２１の実行するモザイキング処理について、以下、図２および図５を参照して、具体的に説明する。

図２に示すように、モザイク画像９２０は、一定の枚数（ここでは、１２枚）の俯瞰画像９１０が、時系列順に次々と接続されたものである。従って、自車両９０が図２に示すような位置にある場合、画像記憶領域１１１には、１２枚の俯瞰画像９１０が接続されたモザイク画像９２０（Ｐ０−１１）が格納されている。また、車載カメラ９９は、道路標示「交差点」９１４、「横断歩道」９１３、「一時停止線」９１２を含む、最新のフレーム画像９００を撮像している。

ここで、図２に示すようなフレーム画像９００から俯瞰画像９１０を生成した場合、生成された俯瞰画像９１０には、過去のモザイク画像９２０（Ｐ０−１１）と重畳する領域である重複領域Ｄと、新規に接続される領域である対象領域Ｐと、が含まれる。そこで、画像生成部１２１は、対象領域Ｐの長さを一定以上に保証するために、以下のような処理を実行する。図５は、モザイキング処理の流れの概略を示すフロー図である。

画像生成部１２１は、まず、対象領域Ｐの移動方向（縦方向）の画素数Ｎを検出する（Ｓ１３１）。画素数Ｎは、例えば、フレームレート（数／ｓ）、単位時間あたりの移動距離（ｍ／ｓ）、フレーム画像９００の移動方向の画素数、移動方向への単位距離あたりの画素数（数／ｍ）から算出することが可能である。なお、移動距離は、自車両９０の車速センサ等の検出する走行速度を取得して算出すればよい。また、予め一定値の速度を設定し、基準の速度として使用することも可能である。

次に、画像生成部１２１は、画素数Ｎが所定の閾値Ｔ_１以上か否かを判断する（Ｓ１３２）。閾値Ｔ_１は、対象領域Ｐの大きさを決定するための任意の値である。具体的には、画像生成部１２１は、画素数Ｎが閾値Ｔ_１以上であると判断した場合（Ｓ１３２でＹＥＳ）、対象領域Ｐをモザイク画像９２０（Ｐ０−１１）に接続して（Ｓ１３３）、最新のモザイク画像９２０（Ｐ１−１２）を得る。さらに、画像生成部１２１は、画像記憶領域１１１のモザイク画像９２０（Ｐ０−１１）を最新のモザイク画像９２０（Ｐ１−１２）に更新して（Ｓ１３４）、道路標示判断部１２２に、特徴量の抽出処理を指示し、ステップ１４へと進む。

画素数Ｎが閾値Ｔ_１以上ではないと判断した場合には（Ｓ１３２でＮＯ）、対象領域Ｐの縦方向の画素数が不足しているため、画像生成部１２１はステップ１１に戻って処理を繰り返す。

ステップ１３３における画像の接続方法としては、様々な方法が知られているが、例えば、文献「金澤靖、金谷健一、共著、“段階的マッチングによる画像モザイク生成”、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８６−ＤＩＩ，Ｎｏ．６，ｐｐ．８１６−８２４，２００３．」に記載のような、段階的マッチング手法を用いることが可能である。

この手法では、まず、２画像の特徴点を抽出し、各点の近傍をテンプレートマッチングによって対応させる。その際、投票によって回転やスケール変化、射影的ひずみを段階的に推定し、テンプレート自身を変形させることによって、精度の高いモザイク画像を得ることが可能である。

図４に戻って、道路標示判断部１２２は、モザイク画像９２０に対して特徴量の抽出処理を実行する（Ｓ１４）。具体的には、道路標示判断部１２２は、特徴量の抽出処理の指示を受け付けると、モザイク画像９２０の縦方向と横方向とに対して輝度投影処理とエッジ抽出処理と、を実行する。図６に、その具体例を示す。図６は、モザイク画像９２０の縦方向と横方向とについて、輝度投影処理およびエッジ抽出処理を実行した際の結果を示す概略図である。

輝度投影処理とは、例えば、モザイク画像９２０の各画素の輝度を縦方向並びに横方向に投影して、輝度投影量を検出するものである。この処理によって、道路標示判断部１２２は、図６に示すような縦方向輝度成分１２ａと横方向輝度成分１２ｂとを、特徴量の要素として取得することができる。

エッジ抽出処理とは、例えば、モザイク画像９２０から濃淡が急に変化している領域を、その境界線によって抽出するものである。さらに、縦方向と横方向とのそれぞれのエッジ成分量を累積することで、道路標示判断部１２２は、縦方向エッジ成分１２ｃと、横方向エッジ成分１２ｄとを、特徴量の要素として得ることができる。

なお、抽出される特徴量の要素は、上記のものに限定されず、種々の画像成分の分布、強度、累積値等を用いることが可能である。

図４に戻って、道路標示判断部１２２は、テンプレートマッチングを実行する（Ｓ１５）。具体的には、道路標示判断部１２２は、まず、上記で抽出したモザイク画像９２０の特徴量の、テンプレート１３に対する要素ごとの相関値（類似度）を求める。次に、道路標示判断部１２２は、各相関値を所定の閾値Ｔ_２と比較する。

その結果、各要素の全ての相関値が閾値Ｔ_２以上であるテンプレート１３が検出された場合には（Ｓ１５でＹＥＳ）、位置情報生成部１２３に当該テンプレート１３を含む適合レコードに関する情報を受け渡し、位置情報の生成を指示して、ステップ１６へと進む。なお、複数のテンプレート１３が検出された場合には、相関値が一番高いテンプレート１３を含む適合レコードを受け渡す。全ての相関値が閾値Ｔ_２以上であるテンプレートが検出されなかった場合には（Ｓ１５でＮＯ）、適合レコードなしと判断して、ステップ１１へ戻って処理を繰り返す。

テンプレートマッチングにおける相関値の算出には、どのような手法を利用しても良く、例えば、ニューラルネットワークを用いたテンプレートマッチング法等の手法を用いることが可能である。また、テンプレートマッチング法に限らず、特徴空間における判別分析法等の、他の手法を用いてもよい。

なお、閾値Ｔ_２は、テンプレートとの適合性を判断するために、各要素についてそれぞれ定められた値であり、任意の値を定めることが可能である。例えば、より低い値に設定することによって、道路標示がかすれていた場合でも、適合レコードの抽出が容易となる。また、全ての要素が閾値Ｔ_２を満たさなくとも、一定数の要素が閾値以上であれば、適合するレコードとして判断してもよい。

さらに、位置情報生成部１２１は、モザイク画像９２０に含まれる道路標示の種別および自車両から最も近い道路標示までの距離、角度を検出して、位置情報を生成する（Ｓ１６）。具体的には、位置情報生成部１２３は、位置情報の生成指示を受け付けると、適合レコードから種別情報１３ｅを取得して、モザイク画像９２０に含まれる複数の道路標示のうち、自車両から最も近い道路標示の種別を識別する。そして、位置情報生成部１２３は、自車両から最も近い道路標示までの距離Ｓと、角度θと、を検出して、位置情報を生成する。

かかる距離と角度との検出には、どのような手法を用いてもよいが、例えば、モザイク画像９２０に対してエッジ抽出処理を実行し、図２に示すように、道路標示の角や切れ目において、その形状の特徴を表わす特徴点を抽出することで、その結線から距離Ｓと、角度θと、を算出することが可能である。

そして、位置情報生成部１２３は、生成した位置情報を、Ｉ／Ｆ部１３０を介してカーナビゲーション装置８０へと出力し（Ｓ１７）、処理を終了する。

以上、道路標示認識装置１０が、実画像に含まれる道路表示の位置情報を生成する処理について説明した。上記フローによれば、蓄積した画像から特徴量を抽出し、その組み合わせに基づいたテンプレートマッチングを実行することで、過去に通過した路面上に存在する道路標示と、通過した直後の道路標示との前後関係から、精度良く道路標示を検出することができる。

なお、識別テーブル１１３１に格納される道路標示は、どのような組み合わせであってもよい。例えば、｛「横断歩道あり」と「停止線」｝、｛「停止線」と「横断歩道」｝、｛「横断歩道」と「交差点」｝等の、高頻度の組み合わせのみを格納しておくことが可能である。このような構成によれば、誤認識の可能性をさらに低減できる。

例えば、図７に示すように、影によって生じる線状の高輝度値の路面を含む領域４００は、「停止線」と誤認される可能性がある。しかしながら、識別テーブル１１３１の記憶する道路標示の組み合わせに、上記のような高頻度の組み合わせのみが格納されていれば、テンプレートマッチングにおいて、頻度の低い連続する「停止線」に適合するレコードは検出されないため、これらが道路標示として認識されることはない。

なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。
＜変形例１＞

例えば、上記実施形態では、モザイク画像９２０に対してテンプレートマッチングを実施していたが、これに限らず、モザイク画像９２０から一定の処理領域Ｒを抽出し、かかる処理領域に対してテンプレートマッチングを行ってもよい。このような変形例１について、以下に詳述する。図８（ａ）は、処理領域Ｒ（Ｐ１−Ｐ８）と、それに対応する横方向輝度成分２２ｂの概略図である。

道路標示判断部１２２は、ステップ１４において、画像生成部１２１からの特徴量の抽出指示を受け付けると、モザイク画像９２０から、自車両に最も近い２つの道路標示が含まれている領域を、処理領域Ｒとして抽出してもよい。なお、処理領域Ｒに含まれる道路標示の数は上記に限定されず、複数個であればいくつでもよい。

処理領域Ｒの抽出には、例えば、図８に示すように、横方向輝度成分２２ｂから閾値Ｔ_３以上の累積輝度値を有する領域を自車両側から２つ検出して、これらの領域を含む対象領域Ｐ（図８では、Ｐ１−Ｐ３、Ｐ８）と、その間の領域（Ｐ４−Ｐ７）とを、処理領域Ｒとして抽出する。閾値Ｔ_３は、ここでは、車道外側線及び車道中央線の累積輝度値よりも若干大きな値が設定されているが、対象となる道路標示を検出可能であればどのような値を設定してもよい。

その後、道路標示判断部１２２は、処理領域Ｒに対して特徴量抽出処理を実行して、抽出した特徴量について、テンプレート１３とのテンプレートマッチングを実行する。また、上記実施形態では、道路標示は一度のテンプレートマッチングで判断されていたが、本変形例によれば、１つの道路標示に対して複数回のテンプレートマッチングを実行することができる。以下、図２を用いて説明する。

例えば、自車両９０が、Ｐ０からＰ９の位置まで走行した場合、道路標示判断部１２２は、Ｐ１からＰ８を処理領域Ｒと定め、テンプレートマッチングによって、「横断歩道あり」９１１と、「一時停止線」９１２を識別する。ここで、道路標示判断部１２２は、直近の道路標示の種別「一時停止線」を記憶部１１０へ記憶させて、処理を終了する。

その後、自車両９０がＰ１１まで進行すると、道路標示判断部１２２は、Ｐ８からＰ１０を処理領域Ｒと定め、テンプレートマッチングによって、「一時停止線」９１２と、「横断歩道」９１３を識別する。そこで、道路標示判断部１２２は、自車両から遠い側の道路標示の種別「一時停止線」を、記憶部１１０に格納される道路標示の種別と比較する。両者の種別が一致していれば、Ｐ８に存在する道路標示の種別を、「一時停止線」であると確定して、「一時停止線」９１２の位置情報の生成を、位置情報生成部１２３に指示する。

このような構成によれば、モザイク画像の処理領域を限定することで、装置の負荷を軽減し、処理時間を短縮することが可能である。また、１つの道路標示に対して、複数回のテンプレートマッチングを実行することで、さらに高い精度の識別が可能である。
＜変形例２＞

上記実施形態並びに変形例では、モザイク画像９２０（ならびにその処理領域Ｒ）に含まれる道路標示間の距離と、テンプレート１３の示す特徴量の道路標示間の距離は、必ずしも一致しない。このような場合には、同じ組み合わせの道路標示であるにも関わらず適合レコードが検出されずに、マッチング精度が落ちてしまう可能性がある。

もちろん、多様な道路標示間距離を有するテンプレートを備えていれば、精度のよいテンプレートマッチングを実行することが可能であるが、それには膨大な数のテンプレートが必要とされる。

そこで、道路標示判断部１２２は、ステップ１５において、テンプレートマッチングの結果、適合するレコードが無い場合には、テンプレート１３を補正して、マッチングの精度を向上させるような処理を実行してもよい。以下、図８（ａ）に示すような処理領域Ｒ（Ｐ１−Ｐ８）に対するテンプレートマッチングの結果、適合レコードが無いと判断された場合を例として、具体的に説明する。

図８（ｂ）は、道路標示が「横断歩道有り」と「停止線」を含む場合の、テンプレート１３における補正前の横方向輝度投影パターンと、補正後の横方向輝度投影パターンと、の概略図である。

道路標示判断部１２２は、テンプレートマッチングの結果、適合レコードが存在しなかった場合、処理領域Ｒに含まれる道路標示間の距離が、テンプレートマッチングの精度を欠く程度の大きさか否かを判断する。

具体的には、道路標示判断部１２２は、横方向輝度成分２２ｂにおいて閾値Ｔ_３以上の累積輝度値を有する領域間の距離Ｓ_１を検出する。かかる距離が閾値Ｔ_４以上であった場合、道路標示間距離Ｓ_１により、テンプレートマッチング処理が精度を欠く可能性があると判断し、テンプレートの補正処理を実行する。閾値Ｔ_４以上の長さでなかった場合には、最初の処理（フレーム画像取得処理）へ戻って、処理を繰り返す。

次に、道路標示判断部１２２は、テンプレート１３の横方向輝度投影パターン１３ｂと、横方向エッジパターン１３ｄとを、所定の補正位置Ｅで、縦方向に補正距離Ｓ_２だけ補正する。なお、補正距離Ｓ_２は、縦方向に画素を増加させてテンプレートを延長させるだけでなく、補正位置Ｅの周辺の画素を間引いて伸縮させてもよい。また、あらゆる道路標示間距離Ｓ_１にマッチングするように、その値を段階的に設定することも出来る。また、テンプレート１３から閾値Ｔ_３以上の累積輝度値を有する領域間の距離Ｓ_３を検出し、これを距離Ｓ_１と同様の長さに補正してもよい。

道路標示判断部１２２は、補正後のテンプレート１３を用いて再度テンプレートマッチングを実行し、適合レコードが検出されれば、これを基に道路標示の種別を識別する。

以上のような構成によれば、多様な道路標示間距離を有するテンプレートを必要とせずに、テンプレートマッチングの精度を向上させることが可能である。
＜変形例３＞

なお、上記実施形態および変形例では、識別テーブル１１３１は、２つ以上の組み合わせからなる道路標示ごとの情報を格納している。よって、道路標示認識装置１０は、この組み合わせを基に道路標示を識別しているが、本発明はこれに限定されない。

例えば、図９（ａ）に示すような、識別テーブル１１４１を有していてもよい。識別テーブル１１４１は、１つの道路標示ごとに、その特徴量であるテンプレート１４を有する。さらに、記憶部１１０は、道路標示の組み合わせを自車両側から順に、種別情報Ａ、種別情報Ｂとして格納する、図９（ｂ）に示すような配列テーブル１１５１を予め記憶する。なお、配列テーブル１１５１に格納される種別情報は、２つの組み合わせに限らず、いくつの組み合わせを有していてもよい。

このような構成によれば、道路標示判断部１２２は、ステップ１５において、モザイク画像９２０（処理領域Ｒ）に含まれる道路標示ごとに、テンプレート１４とのテンプレートマッチングを実行する。

例えば、図８（ａ）に示すような処理領域Ｒと、その特徴量とを抽出した場合では、横方向輝度成分２２ｂにおいて閾値Ｔ_３以上の領域を含む、対象領域Ｐ（図８では、Ｐ１−Ｐ３と、Ｐ８）のそれぞれについて、識別テーブル１１４１から適合レコードを抽出する。そして、道路標示判断部１２２は、適合レコードの種別情報Ａ４ｅを取得して、各領域の道路標示が、「横断歩道あり」と、「一時停止線」であると判断する。

次に、道路標示判断部１２２は、配列テーブル１１５１から、「一時停止線」−「横断歩道あり」の組み合わせの種別情報を有するレコードを検索する。レコードが存在すれば、道路標示判断部１２２は、Ｐ１−Ｐ３に存在する道路標示の種別を「横断歩道あり」、Ｐ８に存在する道路標示の種別を「一時停止線」であると確定して、「一時停止線」９１２の位置情報の生成を、位置情報生成部１２３に指示する。

なお、例えば、テンプレートマッチングの結果、かすれ等の理由で「一時停止線」の道路標示が判断できなかった場合、配列テーブル１１５１からもう一方の道路標示「横断歩道あり」が種別情報Ｂとして格納されているレコードを検出すれば、予想される組み合わせの道路標示を知ることが可能である。

そこで、「一時停止線」を含む処理領域Ｒ（Ｐ８）に対して、今度は相関値との適合条件を緩和して（例えば、閾値Ｔ_２の引き下げ等）、再度テンプレートマッチングを実行し、予想される組み合わせと合致する適合レコードが検出されれば、これを確定してもよい。

以上のような構成によれば、道路標示の一方が認識できなかったとしても、他の道路標示との組み合わせからその種別を予測することで、高確率の識別が可能となる。

次に、本発明の第二の実施形態にかかる道路標示認識装置２０について説明する。第二の実施形態にかかる道路標示認識装置２０によれば、自車両に備えられるセンサからの情報や、カーナビゲーション装置からの周辺に存在する道路標示に関する情報を用いて、テンプレートを絞り込み、より確実に正確な道路標示を識別することができる。以下、第一の実施形態と比較して、異なっている点について主に説明する。

図１０は、道路標示認識システム２００の、機能的な構成を示すブロック図である。

図示するように、道路標示認識システム２００は、道路標示認識装置２０と、カーナビゲーション装置８０と、自車両９０と、車載カメラ９９と、を含んでいる。

カーナビゲーション装置８０は、記憶部８１０と、制御部８２０と、Ｉ／Ｆ部８３０と、ＧＰＳ受信部８４０と、を備える。

記憶部８１０は、地図データ８１１を記憶している。地図データ８１１は、例えば、ノードとリンクとから構成される地図情報である。ノードとは、交差点、車線数や幅員が変更する点であり、リンクとは、隣接するノードを連結するベクトルである。これらは、それぞれテーブルで管理され、一般的に、ノードテーブルには、ノードの座標、接続先のリンクＩＤ、幅員等の情報が、リンクテーブルには、接続先のノード、距離、方向、幅員等の情報が含まれる（図示しない）。ここで、本実施形態にかかる地図データ８１１の有するノードテーブルと、リンクテーブルとは、上記に加え、さらに、かかるノードおよびリンク中に存在する道路標示の座標を特定する位置情報と、道路標示の種別を特定する種別情報と、を有するものである。

制御部８２０は、道路標示認識装置２０から、周辺情報の出力指示を受け付けると、図１１に示すような、周辺情報８１１１を生成する。周辺情報８１１１は、自車両９０の周辺に存在する道路標示の組み合わせと、それらの道路標示間の距離と、を特定する情報である。

具体的には、制御部８２０は、現在位置を中心として所定の範囲内に存在し、かつ、現在位置するノードおよびリンクから一繋がりの道路上に存在する道路標示を検出する。次に、隣り合う道路標示を、種別情報８１ａ、種別情報８１ｂとして組み合わせて格納し、組み合わせごとの道路標示間の距離を、道路標示間距離情報８１ｃとして格納する。このようにして生成された周辺情報８１１１は、Ｉ／Ｆ部８３０を介して道路標示認識装置２０へと出力される。

Ｉ／Ｆ部８３０は、道路標示認識装置２０と通信を行うためのインターフェースであり、どのような通信方式を利用してもよい。

ＧＰＳ受信部８４０は、ＧＰＳ（Global Positioning System）衛星からの信号を受信する。また、カーナビゲーション装置８０は、この他に、道路に敷設されたビーコンや各地のＦＭ放送局を介して、ＶＩＣＳ（Vehicle Information and Communication System）センタから配信される道路交通情報を受信するＶＩＣＳ受信部等を備えていてもよい。

道路標示認識装置２０は、記憶部２１０と、制御部２２０と、I／Ｆ部２３０と、を有する。

記憶部２１０は、画像記憶領域２１１と、変換テーブル記憶領域２１２と、識別テーブル記憶領域２１３と、を有する。

画像記憶領域２１１、変換テーブル記憶領域２１２、識別テーブル記憶領域２１３とは、第一の実施形態にかかる画像記憶領域１１１、変換テーブル記憶領域１１２、識別テーブル記憶領域１１３と同様の構成であるため、詳細な説明を省略する。

制御部２２０は、画像生成部２２１と、テンプレート補正部２２２と、道路標示判断部２２３と、位置情報生成部２２４と、を有する。

画像生成部２２１は、車載カメラ９９からフレーム画像９００を取得して、これを俯瞰画像９１０に変換する。さらに、画像生成部２２１は、自車両から、自車の走行状況に関する車両情報を取得して、これを基に俯瞰画像９１０からモザイク画像９２０を生成する。この具体的な処理は、後述する。

テンプレート補正部２２２は、自車の周辺にある道路標示に関する情報をカーナビゲーション装置から取得して、これに基づいてテンプレート１３を補正する。具体的には、テンプレート補正部２２２は、周辺情報８１１１に含まれる種別情報と同様の組み合わせを有するレコードを、識別テーブル１１３１から抽出する。そして、周辺情報８１１１に含まれる道路標示間距離を基に、テンプレート１３の横方向輝度投影パターン１３ｂと横方向エッジパターン１３ｄとを、延長および伸縮させて補正する。

道路標示判断部２２３は、モザイク画像から特徴量を抽出して、補正後のテンプレート１３とテンプレートマッチングを行って、モザイク画像に含まれる道路標示の種別を判断する。

位置情報生成部２２４は、モザイク画像に含まれる道路標示に関する位置情報を生成して、Ｉ／Ｆ部１３０を介してカーナビゲーション装置８０へと出力する。

自車両９０は、制御部９１と、速度センサ９２と、操舵角センサ９３と、角速度センサ９４と、Ｉ／Ｆ部９５と、を有する。

制御部９１は、道路標示認識装置２０からの車両情報出力指示を受け付けると、各センサから得た、自車両の走行速度、操舵角、角速度に関する情報を、車両情報として、I／Ｆ部９５を介して道路標示認識装置２０へと出力する。

速度センサ９２は、自車両の走行速度を検出し、速度に応じた車速信号を出力する。速度センサ９２は、車速を検出可能なセンサであればどのようなものでもよく、各車輪の回転数を検出する車輪速センサであってもよいし、車輪につながる車軸の回転数を検出する回転センサであってもよい。

操舵角センサ９３は、運転者が入力した操舵角度の方向と大きさに応じた操舵角信号を出力する。検出される操舵角度は、例えば、自車両のステアリングホイールのゼロ点からの回転量及び回転方向である。

角速度センサ９４は、ヨーイング（Ｙａｗ）方向の角速度、すなわち、ヨー角を検出する。角速度センサ９４には、静電容量型、圧電型等、コリオリの力を応用したジャイロ型等のセンサが使用可能である。また、角速度センサ９４は、さらに加速度を検出してもよい。

自車両９０の有するセンサは、上述のものに限定されず、例えば地磁気センサ等の他のセンサをさらに有していてもよい。

Ｉ／Ｆ部９５は、道路標示認識装置２０と通信を行うためのインターフェースである。

車載カメラ９９は、第一の実施形態と同様の構成を有するため、詳細な説明は省略する。

以上のように構成される道路標示認識装置２０での処理について、図１２に示すフローチャートを用いて説明する。図１２は、本発明の第二の実施形態にかかる道路標示認識装置２０が、実画像から位置情報を生成する際の処理の流れを示すフロー図である。

画像生成部２２１は、まず、車載カメラ９９の撮像する画像から、フレーム画像９００を取得して、画像記憶領域１１１に蓄積する（Ｓ２０１）。

次に、画像生成部２２１は、フレーム画像９００に俯瞰変換処理を施して、俯瞰画像９１０を生成する（Ｓ２０２）。

続いて、画像生成部２２１は、自車両９０に、車両情報の送信を指示して、車両情報を取得する（Ｓ２０３）。

自車両９０は、車両情報の送信指示を受け付けると、各センサから得た、自車両の走行速度、操舵角、角速度に関する情報を、車両情報として、I／Ｆ部９５を介して道路標示認識装置２０へと出力する。

画像生成部２２１は、取得した車両情報に基づいてモザイキング処理を実行し、最新のモザイク画像を生成する（Ｓ２０４）。画像生成部２２１は、第一の実施形態と同様のモザイキング処理を実行するが、俯瞰画像９１０をモザイク画像９２０に接続する際（Ｓ１３３）に、車両情報を利用する点で異なる。

具体的には、画像生成部２２１は、例えば、取得した車両情報に含まれる走行速度から、ノイズ除去やエッジの強調等に関する処理の実行レベルを定めて画像の適正化処理を実行する。また、操舵角や角速度から、左右のずれや傾きを検出し、これを補正する処理を実行することも可能である。もちろん、車両情報の用途は上記に限定されず、さまざまな処理において利用可能である。そして、モザイク画像９２０を生成後、画像生成部２２１は、テンプレート補正部２２２に、テンプレート１３の補正を指示する

テンプレート補正部２２２は、カーナビゲーション装置に、周辺情報の送信を指示し、これを取得する（Ｓ２０５）。

カーナビゲーション装置８０は、周辺情報の送信指示を受け付けると、周辺情報８１１１を生成する。生成された周辺情報８１１１は、I／Ｆ部８３０を介して道路標示認識装置２０へと出力される。

次に、テンプレート補正部２２２は、周辺情報に基づいて、テンプレート１３を補正する（Ｓ２０６）。具体的には、テンプレート補正部２２２は、得られた周辺情報８１１１に含まれる種別情報８１ａ、種別情報８１ｂと同じ組み合わせ（順不同）を持つ種別情報１３ｅを有するレコードを、識別テーブル１１３１から検出する。

次に、テンプレート補正部２２２は、周辺情報８１１１に含まれる道路標示間距離情報８１ｃに基づいて、検出されたレコードの横方向輝度投影パターン１３ｂと、横方向エッジパターン１３ｄとを、所定の補正位置Ｅで縦方向に延長および伸縮する補正処理を実行する。その後、テンプレート補正部２２２は、道路標示判断部２２３にモザイク画像９２０の特徴量の抽出を指示する。

続いて、道路標示判断部２２３は、特徴量の抽出処理の指示を受け付けると、モザイク画像９２０に対して、特徴量の抽出処理を実行する（Ｓ２０７）。

次に、道路標示判断部２２３は、補正後のテンプレート１３を用いて、モザイク画像９２０とのテンプレートマッチングを実行する（Ｓ２０８）。具体的には、道路標示判断部２２３は、まず、要素ごとの相関値（類似度）を求め、各相関値を所定の閾値Ｔ_２と比較する。

その結果、各要素の全ての相関値が閾値Ｔ_２以上であるテンプレート１３が検出された場合には（Ｓ２０８でＹＥＳ）、位置情報生成部２２４に当該テンプレート１３を含む適合レコードに関する情報を受け渡し、位置情報の生成を指示して、ステップ２０９へと進む。全ての相関値が閾値Ｔ_２以上であるテンプレートが検出されなかった場合には（Ｓ２０８でＮＯ）、適合レコードなしと判断して、ステップ２０１へ戻って処理を繰り返す。

位置情報生成部２２４は、モザイク画像に含まれる道路標示の種別および自車両から最も近い道路標示までの距離、角度を検出して、位置情報を生成する（Ｓ２０９。位置情報生成部２２４は、位置情報を、Ｉ／Ｆ部２３０を介してカーナビゲーション装置８０へと出力して（Ｓ２１０）、処理を終了する。

以上のような構成により、本実施形態にかかる道路標示認識装置２０は、自車両に関する情報から、より高品質なモザイク画像を生成することが可能である。

さらに、周辺に存在する道路標示に関する情報をカーナビゲーション装置から取得して、テンプレートのさらなる絞り込みと、補正とを実行することで、より正確なテンプレートマッチングが可能となる。

なお、周辺情報は、道路標示のサイズを特定する寸法情報を、種別情報に対応付けてさらに有していてもよい。このような構成により、テンプレート補正部２２２は、さらに詳細にテンプレートの特徴量を補正することが可能となる。

また、識別テーブル上で、地域ごとに特徴のある道路標示を管理し、カーナビゲーション装置から住所等の情報を取得して、地域性によってテンプレートをさらに絞り込んでもよい。

本発明の第一の実施形態にかかる道路標示認識システム１００の、機能的な構成を示すブロック図。 フレーム画像と、俯瞰画像と、モザイク画像と、の概略図。 識別テーブル１１３１の概略図。 実画像から位置情報を生成する処理の流れの概略を示すフロー図。 本発明の第一の実施形態にかかる道路標示認識装置１０が、モザイキング処理の流れの概略を示すフロー図。 モザイク画像の縦方向と横方向とについて、輝度投影処理とエッジ抽出処理とを実行した際の結果を示す概略図。 影によって生じる高輝度値の領域を含むモザイク画像の概略図。 （ａ）処理領域Ｒと、それに対応する横方向輝度成分の概略図、（ｂ）補正前の横方向輝度投影パターンと、補正後の横方向輝度投影パターンと、の概略図である。 （ａ）識別テーブル１１４１の概略図、（ｂ）配列テーブル１１５１の概略図。 本発明の第二の実施形態にかかる道路標示認識システム２００の、機能的な構成を示すブロック図である。 （ａ）カーナビゲーション装置が生成する周辺情報の概略図。 本発明の第二の実施形態にかかる道路標示認識装置２０が、実画像から位置情報を生成する処理の流れの概略を示すフロー図。 道路標示認識装置１０の電気的な構成を示すブロック図

符号の説明

１０・２０・・・道路標示認識装置、８０・・・カーナビゲーション装置、９０・・・自車両、９９・・・車載カメラ、１１０・２１０・・・記憶部、１１１・２１１・・・画像記憶領域、１１２・２１２・・・変換テーブル記憶領域、１１３・２１３・・・識別テーブル記憶領域、１２１、２２１・・・画像生成部、２２２・・・テンプレート補正部、１２２、２２３・・・道路標示判断部、１２３、２２４・・・位置情報判断部、１３０・・・インターフェース部。

Claims (6)

1. 複数の撮像画像を垂直方向から見下ろす画像に変換して時系列順に接続し、合成画像を生成する画像生成手段と、
   前記撮像画像に含まれている道路標示の種別を、周辺の連続する組み合わせの道路標示に応じた特徴量の要素を含む周辺情報から識別する道路標示判断手段と、を備え、
   前記道路標示判断手段は、
   前記周辺情報に含まれる特徴量の要素と、前記合成画像の特徴量の要素と、の相関値を求め、前記相関値が所定の値以上であった場合に、前記周辺情報から、前記撮像画像に含まれている連続する組み合わせの道路標示の種別を識別する
   ことを特徴とする道路標示認識装置。
2. 請求項１に記載の道路標示認識装置であって、
   前記周辺情報は、前記連続する組み合わせの道路標示間の距離と、各道路標示の寸法と、に関する情報をさらに含み、
   前記周辺情報に格納される道路標示の特徴量の要素を、所定の補正位置において前記道路標示間の距離を伸縮させるよう補正する補正手段、をさらに備えている
   ことを特徴とする道路標示認識装置。
3. 請求項１または２に記載の道路標示認識装置であって、
   さらに、前記識別された道路標示に対する自車両の相対位置を検出する位置検出手段、を備える
   ことを特徴とする道路標示認識装置。
4. 請求項１から３の何れか一項に記載の道路標示認識装置であって、
   前記特徴量の要素は、前記合成画像の各画素の輝度を縦方向と横方向に投影して、取得された縦方向輝度成分と、横方向輝度成分と、である
   ことを特徴とする道路標示認識装置。
5. 請求項１から４の何れか一項に記載の道路標示認識装置であって、
   前記特徴量の要素は、前記合成画像から濃淡が変化している縦方向及び横方向のエッジ成分から取得する、縦方向エッジ成分と、横方向エッジ成分と、である
   ことを特徴とする道路標示認識装置。
6. 複数の撮像画像を垂直方向から見下ろす画像に変換して時系列順に接続し、合成画像を生成するステップと、
   前記合成画像の特徴量の要素を抽出するステップと、
   周辺の連続する組み合わせの道路標示に応じた特徴量の要素と、前記合成画像の特徴量の要素と、の相関値を求めるステップと、
   前記相関値が所定の値以上であった場合に、前記撮像画像に含まれている連続する組み合わせの道路標示の種別を識別するステップと、を実行する
   ことを特徴とする道路標示認識方法。

Images