JP6247584B2 - 車外環境認識装置 - Google Patents

Description

本発明は、車外に確認された道路標識の内容を認識する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。また、速度超過に起因する事故を低減すべく、道路毎に設けられた制限速度を認識して自車両の速度を制御する技術も需要が高まっている。

自車両の速度を制限速度内として車両を安全に走行させるためには、路肩やゲートに配置された道路標識の内容を認識し、現在走行中の道路の制限速度を正しく把握する必要がある。例えば、特許文献２には、画面上のエッジに相当する部位にハフ変換を施して円形の道路標識の画像（以下、道路標識の画像も単に道路標識という）を認識する技術が記載されている。かかる技術では、ハフ変換に費やす処理負荷を軽減することで道路標識の特定効率の向上を図ることができる。

特許第３３４９０６０号公報 特開２０１２−２４３０５１号公報

ハフ変換を施して円形の道路標識を認識するには、まず、円周の部分部位に相当する特徴点を特定し、その後、特徴点から所定の距離離隔した円周上に投票する。そして、投票が完了すると、次回フレームにおける投票のため、投票テーブルの各点を得票数が０となるように初期化する。しかし、投票テーブルの初期化に費やす処理時間は、無視できるものではなく、特に、水平画素数×垂直画素数×半径の取り得る値といった三次元の投票テーブルの場合、メモリの記憶容量が増大し、投票テーブルに対する初期化処理の負荷の影響が大きくなる。そうすると、道路標識の認識効率の低下を招くおそれがある。

本発明は、このような課題に鑑み、初期化処理の負荷の増大を招くことなく、適切に、投票テーブルの初期化を図ることが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、画像を取得する画像取得部と、画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、Ｍ次元の投票テーブルに投票する投票部と、得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、特定された道路標識の内容を認識する標識内容認識部と、を備え、投票部は、Ｍ次元の投票テーブルに投票すると、投票テーブルより次元数の小さいフラグテーブルにおける、投票テーブルの点に対応するフラグをＯＮし、投票の完了後、投票テーブルにおける、フラグテーブルのフラグのＯＮに対応する点のみ得票数を初期化し、フラグをＯＦＦすることを特徴とする。

上記課題を解決するために、本発明の他の車外環境認識装置は、画像を取得する画像取得部と、画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、少なくとも水平画素数×垂直画素数で示される（Ｍ−１）次元の投票テーブル、および、少なくとも水平画素数を圧縮した値×垂直画素数を圧縮した値×半径の取り得る値で示されるＭ次元の投票テーブルのいずれにも投票する投票部と、得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、特定された道路標識の内容を認識する標識内容認識部と、を備え、投票部は、Ｍ次元の投票テーブルに投票すると、Ｍ次元の投票テーブルより次元数の小さいフラグテーブルにおける、Ｍ次元の投票テーブルの点に対応するフラグをＯＮし、投票の完了後、Ｍ次元の投票テーブルにおける、フラグテーブルのフラグのＯＮに対応する点のみの得票数を初期化し、フラグをＯＦＦすることを特徴とする。

上記課題を解決するために、本発明の他の車外環境認識装置は、画像を取得する画像取得部と、画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、少なくとも水平画素数×垂直画素数で示される（Ｍ−１）次元の投票テーブル、および、少なくとも水平画素数を圧縮した値×垂直画素数を圧縮した値×半径の取り得る値で示されるＭ次元の投票テーブルのいずれにも投票する投票部と、得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、特定された道路標識の内容を認識する標識内容認識部と、を備え、投票部は、投票の完了後、Ｍ次元の投票テーブルの水平画素数を圧縮した値×垂直画素数を圧縮した値に対応する（Ｍ−１）次元の投票テーブルの点に投票が為されていると、Ｍ次元の投票テーブルにおける、投票が為された点に対応する点のみの得票数を初期化することを特徴とする。

本発明によれば、初期化処理の負荷の増大を招くことなく、適切に、投票テーブルの初期化を図ることが可能となる。

車外環境認識システムの接続関係を示したブロック図である。 カラー画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 道路標識を説明する説明図である。 車外環境認識処理の流れを示すフローチャートである。 画像取得部が取得するカラー画像を説明するための説明図である。 ハフ変換を説明するための説明図である。 ハフ変換を説明するための説明図である。 第４の抽出条件を説明するための説明図である。 特徴点特定処理の一例を示したフローチャートである。 特徴点特定処理の一例を示した説明図である。 投票処理を説明するための説明図である。 投票テーブルを説明するための説明図である。 中心点候補リストを説明するための説明図である。 フラグテーブルを説明するための説明図である。 標識特定処理の一例を示したフローチャートである。 標識補正部の処理を説明するための説明図である。 標識内容認識処理の具体的な処理の流れを示したフローチャートである。 認識対象領域を説明するための説明図である。 制限速度の解除を提示した道路標識を説明するための説明図である。 垂直方向位置合わせ処理を説明するための説明図である。 テンプレートを説明するための説明図である。 水平方向のマッチング処理を説明するための説明図である。 ＤＰマッチングを説明するための説明図である。 注目部位のマッチング処理を説明するための説明図である。 評価判定結果を説明するための説明図である。 道路標識の結果報知の流れを示したタイムチャートである。 国別の道路標識の表示態様を示した説明図である。 道路標識のテンプレートを説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（Ｕ、Ｖ）からなるＹＵＶ形式の色空間、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるＲＧＢ形式の色空間、または、色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）からなるＨＳＢ形式の色空間のいずれかで表される数値群である。本実施形態では、画像として、ＹＵＶ形式のカラー値によるカラー画像を例に挙げて説明するが、任意の部分的処理においてカラー画像に依存することなく処理を遂行できるアプリケーションについては、カラー画像のみならず、輝度（Ｙ）で表される輝度画像（モノクロ画像）を用いることができる。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像したカラー画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、道路標識、ゲート、ガードレール、建物といった独立して存在する立体物のみならず、道路標識の内容、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このようなカラー画像の更新を契機としてフレーム毎に各処理を遂行する。

さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、電光表示タイプの道路標識等、特定の発光源が自発光しているか否かを判別可能な画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない対象物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。

例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して生成したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成したりすることも可能である。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれからカラー画像を取得し、一方のカラー画像から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方のカラー画像から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述したカラー画像と区別して距離画像という。

図２は、カラー画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のようなカラー画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このようなカラー画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。本実施形態では、このようなカラー画像１２６と距離画像１２８とを第１画像および第２画像それぞれに基づいて生成している。

また、車外環境認識装置１２０は、カラー画像１２６に基づくカラー値、および、距離画像１２８に基づいて算出された、自車両１との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって前方を走行する先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの点灯有無を正確に認識することで先行車両の加減速を把握することができる。また、車外環境認識装置１２０は、路肩やゲートに配置された道路標識を特定し、さらに、その道路標識の内容、例えば制限速度を認識し、車両制御装置１３０を通じて、自車両１の速度を制限速度内の安全な速度に制御する。

なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

図１に戻って説明すると、車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、道路標識の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像（第１画像および第２画像に基づくカラー画像１２６、距離画像１２８）を一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、位置情報導出部１６２、特徴点特定部１６４、投票部１６６、標識特定部１６８、標識補正部１７０、標識内容認識部１７２、標識内容確定部１７４としても機能する。以下、本実施形態において認識目的としている道路標識を説明し、その後、本実施形態に特徴的な車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

図４は、道路標識を説明する説明図である。道路標識の種別としては、制限速度を提示した道路標識や制限速度の解除を提示した道路標識がある。制限速度を提示した道路標識は、図４（ａ）のように、円形状の枠内に制限速度を示す数値が記載されている。また、制限速度の解除を提示した道路標識には、図４（ｂ）のように、無地の背景に右上から左下にかかる斜線が記載されたものや、図４（ｃ）のように、制限速度を示す数値を背景に同斜線が記載されたものもある。

また、道路標識の表示態様としては、ＬＥＤ等の発光源を有する電光表示タイプと、発光源を有さず色分けされただけの非電光表示タイプがある。また、道路標識の配置としては、道路の路肩に配置されたものや、道路の両路肩に跨がってアーチ形状に立設されたゲートの道路上方に対応する位置に配置されたものがある。

本実施形態の車外環境認識装置１２０は、上述した中央制御部１５４の各機能部によって、このような配置、表示態様、種別の異なる道路標識それぞれの内容を認識する。車外環境認識装置１２０は、道路標識の内容を認識すると、その内容、例えば、現在走行している道路の制限速度を運転者に報知したり、現在の速度が制限速度を超過している場合にその旨を運転者に報知したり、制限速度を超過しないように車両制御装置１３０を制御したりすることができる。このため、自車両１が、道路標識を確認可能な位置に到達した瞬間に道路標識を認識する必要は必ずしもなく、道路標識を通過した時点、もしくは、その後に認識できれば足りる。したがって、道路標識を複数のフレームに亘って認識し、その複数のフレームの情報から道路標識の内容を確定すればよいことになる。

（車外環境認識処理）
図５は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、大きく分けて、画像を取得する画像取得処理（Ｓ２００）、道路標識、特に円形状の枠を検出する標識検出処理（Ｓ２０２）、道路標識の内容（数値や図柄のパターン）を認識する標識内容認識処理（Ｓ２０４）、認識した道路標識の内容を時間方向に累積して確定する標識内容確定処理（Ｓ２０６）を、その順に実行する。

（画像取得処理Ｓ２００）
画像取得部１６０は、撮像装置１１０からカラー画像１２６を取得する。上述したように、本実施形態において対象としている道路標識には、電光表示タイプと非電光表示タイプといったように表示態様が異なるものがあり、また、路肩とゲートといったように配置も異なるものがある。したがって、撮像装置１１０は、第１露光態様と第２露光態様の２つの露光態様で、それぞれ路肩とゲートとを検出可能な２つの検出領域を撮像し、画像取得部１６０は、このように撮像された４つのカラー画像１２６を取得する。

図６は、画像取得部１６０が取得するカラー画像１２６を説明するための説明図である。例えば、撮像装置１１０では、相対的に露光時間が長い第１露光態様で、図６（ａ）および図６（ｂ）に示すカラー画像１２６を撮像する。ただし、図６（ａ）は、路肩を検出可能な画角で撮像されたカラー画像１２６を示し、図６（ｂ）は、ゲートを検出するため、図６（ａ）より画角を広げる方向に切り換えて撮像されたカラー画像１２６を示している。そして、撮像装置１１０は、露光態様を第２露光態様に切り換え、例えば、露光時間を相対的に短く設定して、図６（ｃ）および図６（ｄ）に示すカラー画像１２６を撮像する。ただし、図６（ｃ）および図６（ｄ）は、図６（ａ）および図６（ｂ）同様、検出対象に応じ画角を切り換えて撮像されている。ここでは、４つのカラー画像１２６を挙げているが、路肩およびゲートさえ検出できれば、その数と種別は任意に設定することができる。

こうして、露光態様および検出領域の異なる４つのカラー画像１２６が取得される。このように複数の露光態様や検出領域で撮像することで、発光源の輝度が飽和したり、画角を広くとり過ぎて分解能が低くなる等の問題を解消でき、検出精度を十分に高めることができる。かかる４つのカラー画像１２６は時分割で撮像され、その順は任意に設定できる。ただし、本実施形態では、道路標識を通過した時点、もしくは、その後に道路標識を認識できればよいので、必ずしも４つのカラー画像１２６を同タイミングで撮像する必要はない。

位置情報導出部１６２は、２つの撮像装置１１０それぞれから第１露光で撮像した第１画像に基づくカラー画像（図６（ａ）、図６（ｂ））を取得し、パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出して距離画像１２８を生成する。そして、位置情報導出部１６２は、距離画像１２８における検出領域１２４内のブロック毎の視差情報を、ステレオ法を用いて、自車両１の水平方向中央を中心とした水平方向の相対距離である水平距離ｘ、道路表面からの高さｙおよび自車両１との奥行き方向の相対距離ｚを含む三次元の位置情報に変換する。ただし、位置情報導出部１６２は、三次元の位置情報に変換する前に予め道路表面の垂直位置を求め、ブロック毎の垂直位置と道路表面の垂直位置との相対距離から道路表面からの高さｙを導出する。ここで、視差情報が、距離画像１２８における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離ｚの情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

（標識検出処理Ｓ２０２）
本実施形態では、道路標識のうち、特に円形状の道路標識の認識を目的としている。このような円形状の道路標識は、ハフ変換を用いて検出される。ここで、ハフ変換は、カラー画像上の特徴点から、対象が存在する可能性のある点に投票を行い、得票数が多い（所定値以上となる）対象を検出する技術である。このように本実施形態では、ハフ変換に特化して説明するが、車外環境認識処理の任意の部分的処理においてハフ変換に依存することなく道路標識を特定できるアプリケーションについてはハフ変換のみならず、ハフ変換以外のテンプレートマッチングや最小二乗法等の既存の様々な形状認識手法を用いることができる。

図７および図８は、ハフ変換を説明するための説明図である。ここでは、カラー画像１２６から図７（ａ）の如くエッジを有する３つの画素２２０ｃ、２２０ｄ、２２０ｅを抽出したとする。かかる３つの画素２２０ｃ、２２０ｄ、２２０ｅは、本来、円形状の道路標識２２２の一部であるが、通常、カラー画像１２６から明確に円形状であることは把握できない。

ハフ変換は、複数の点から円や直線などの幾何学的な形状を検出する手法であり、任意の画素２２０を通り、かつ、半径ｎである円の中心は、その任意の画素２２０を中心とした半径ｎの円周上に存在するという理論に基づいている。例えば、図７（ａ）の３つの画素２２０ｃ、２２０ｄ、２２０ｅを通る円の中心は、３つの画素２２０ｃ、２２０ｄ、２２０ｅそれぞれを中心とした円周上にある。しかし、エッジのみの情報では、その半径ｎを特定できないため、相異なる複数段階の半径ｎを準備して、３つの画素２２０ｃ、２２０ｄ、２２０ｅを中心とした複数段階の半径ｎの円上の画素に投票し、得票数が予め定められた所定値以上となれば半径ｎと中心とを道路標識２２２として決定する。

例えば、図７（ｂ）、図７（ｃ）、図７（ｄ）のように、３つの画素２２０ｃ、２２０ｄ、２２０ｅを中心にして、相異なる半径ｎ＝４、５、６の円を形成し、その円の軌跡に含まれる画素に投票する（単位指標を関連付ける）。すると、図７（ｂ）では、２つの画素２２４で得票数が２となる（単位指標が２つ関連付けられる）。また、図７（ｃ）では、３つの画素２２４で得票数が２となり、１つの画素２２６で得票数が３となる。同様に、図７（ｄ）では、６つの画素２２４で得票数が２となる。

このとき、得票数が３（所定値以上）となるのは画素２２６のみとなり、その画素２２６を３つの画素２２０ｃ、２２０ｄ、２２０ｅを通る円の中心とし、その画素２２６を導出した際の半径ｎ＝５を円の半径と特定することができる。こうして、図７（ｅ）のように、３つの画素２２０ｃ、２２０ｄ、２２０ｅを通る円２２８が特定される。ここでは、説明の便宜上、３つの画素２２０ｃ、２２０ｄ、２２０ｅを挙げて説明したが、円２２８に含まれない画素が特徴点となったり、画素化（離散化）により本来の位置と異なる位置に出現した画素が特徴点となったりすることがあるので、このようなノイズの影響を回避すべく、実際には、多数の点を投票に用い、数の原理で安定した検出を行っている。本実施形態では、このようなハフ変換を、例えば、図６（ｂ）に示したカラー画像１２６に適用し、特徴点特定部１６４、投票部１６６、標識特定部１６８によって円形状の道路標識を特定する。以下、図８を用いて、各機能部の基本的な処理を説明する。

まず、特徴点特定部１６４は、カラー画像１２６から、円周の部分部位に相当する特徴点を特定する（特徴点特定処理）。例えば、特徴点特定部１６４が、図８（ａ）のカラー画像１２６において、特徴点としてエッジを有する画素２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを特定したとする。なお、図８（ａ）の点線は走行車線に対応している。

次に、投票部１６６は、特徴点から半径ｎに相当する所定の距離に投票する（投票処理）。ここでは、上記６つの画素２２０に対し、説明の便宜上、画素２２０ｆ、２２０ｇ、２２０ｈについては半径ｎを仮に３０画素とし、画素２２０ｉ、２２０ｊ、２２０ｋについては半径ｎを仮に２３画素とする。投票部１６６は、図８（ｂ）のカラー画像１２６において、画素２２０ｆ、２２０ｇ、２２０ｈ、２２０ｉ、２２０ｊ、２２０ｋを中心に、画素２２０それぞれから半径ｎ（３０画素、２３画素）にある円上の画素全てに投票する。そして、図８（ｃ）に示す投票テーブル２３０における投票先（画素、半径ｎ）に１が投票（加算）される。ここで、投票テーブル２３０は、ハフ変換による投票空間であり、投票先となる画素の画面位置（ｘ、ｙ）と半径ｎとの三次元で表される。

続いて、標識特定部１６８は、投票テーブル２３０の得票数を検出し、得票数が多い投票先の画素と半径ｎとに基づいて円の中心と半径ｎとを導出する。そして、図８（ｄ）のように、得票数が多い画素２３４を中心に読み出した半径ｎの円２３６を形成し、それを道路標識として特定する（標識特定処理）。以下、特徴点特定部１６４、投票部１６６、標識特定部１６８それぞれによる特徴点特定処理、投票処理、標識特定処理の具体的な動作を説明する。

（特徴点特定処理）
特徴点特定部１６４は、カラー画像１２６を用い、第１の抽出条件として、画素２２０のうち、所定のエッジ強度を有する画素２２０を特徴点の候補とする。エッジ強度は、例えば、ゾーベル（Sobel）フィルタで表してもよい。特徴点特定部１６４は、各画素２２０の座標を（ｉ，ｊ）とし、輝度をＡ（ｉ，ｊ）とした場合、以下の数式１を用いて、垂直方向のゾーベルフィルタと水平方向のゾーベルフィルタの絶対値の和を導出し、その値（エッジ強度）が予め定められた所定値以上であればその画素（ｉ，ｊ）を特徴点の候補とする。
エッジ強度＝|A(i+1,j+1)+2A(i+1,j)+A(i+1,j-1) - A(i-1,j+1)-2A(i-1,j)-A(i-1,j-1)|
＋|A(i+1,j+1)+2A(i,j+1)+A(i-1,j+1) - A(i+1,j-1)-2A(i,j-1)-A(i-1,j-1)|…（数式１）

ここでは、ゾーベルフィルタによってエッジ強度を導出する例を挙げたが、かかる場合に限られず、プレヴィット（Prewitt）フィルタ等、既存の様々な技術を適用することができる。

また、特徴点特定部１６４は、カラー画像１２６を用い、第２の抽出条件として、画素２２０のうち、所定のカラー値のうちの所定の色成分、例えば、ＹＵＶ形式の色空間におけるＶ成分が予め定められた所定値以上であれば、その画素２２０を特徴点の候補とする。制限速度を提示した道路標識は周囲が赤色の円で構成され、制限速度の解除を提示した道路標識は周囲が白色または黒色の円で構成される。したがって、Ｖ成分が所定値以上である領域に属する色のみを抽出し特徴点の候補とする。こうして、走行中の多くの機会で確認される樹木等の緑色系の画素を除外することができ、特徴点の適切な絞込みが可能になる。

なお、カラー画像がＲＧＢ形式の色空間で構成されている場合、任意の変換式によってＹＵＶ形式の色空間に変換する。かかる変換式は、既存の技術なので、ここではその詳細な説明を省略する。

また、特徴点特定部１６４は、距離画像１２８を用い、第３の抽出条件として、画素２２０のうち、相対距離ｚが所定範囲内、路面からの高さｙが所定範囲内、および、水平距離ｘが所定範囲内のいずれか１または複数の条件を満たした画素２２０を特徴点の候補とする。

具体的に、特徴点特定部１６４は、距離画像１２８から任意の画素２２０を抽出し、その画素２２０の三次元の位置情報を参照し、画素２２０に対応する対象物の相対距離ｚが、例えば１０ｍ以上、５０ｍ未満に位置する場合にその画素２２０を特徴点の候補とする。これは、１０ｍ未満では露光時間内における画像上での対象物の移動量が長くなり、それに伴って画像ボケの影響が大きくなるからであり、また、５０ｍ以上では画像の分解能の関係から道路標識の内容を正しく認識できないことが多いからである。このように相対距離ｚを制限することで、処理負荷の軽減を図るとともに、誤認識を低減することが可能となる。

また、特徴点特定部１６４は、同画素２２０に対応する対象物の路面からの高さｙが、例えば０．５ｍ以上、６．０ｍ未満に位置する場合にその画素２２０を特徴点の候補とする。かかる範囲を０．５ｍ以上とすることで、認識対象として路面標示やレーンを除外することができ、また、６．０ｍ未満とすることで、それ以上に位置する樹木等を除外することができる。かかる条件によっても、処理負荷の軽減を図るとともに、誤認識を低減することが可能となる。

また、特徴点特定部１６４は、同画素２２０に対応する対象物の水平距離ｘが、例えば１２ｍの範囲（−１２ｍ以上、１２ｍ未満）に位置する場合にその画素２２０を特徴点の候補とする。かかる範囲を１２ｍとすることで、自車両１が走行しているレーンに関する道路標識以外の道路標識を除外することができる。かかる条件によっても、処理負荷の軽減を図るとともに、誤認識を低減することが可能となる。

また、特徴点特定部１６４は、カラー画像１２６および距離画像１２８を用い、第４の抽出条件として、近接する画素２２０同士の少なくとも１の色成分（例えばＵ成分）の差分が所定範囲内であり、かつ、そのような画素２２０同士が所定の一方向に対して所定距離（長さ）以上連続していない画素を、特徴点の候補とする。

図９は、第４の抽出条件を説明するための説明図である。例えば、図９（ａ）の路肩に示す紅葉した樹木２４０等は、第１〜第３の抽出条件を全て満たしてしまう場合がある。また、紅葉した樹木２４０はテクスチャとして認識できる箇所が多いので、広い範囲で特徴点として抽出されてしまう場合が多い。そうすると、テクスチャの多い樹木２４０等において広い範囲で特徴点が特定されてしまい、処理負荷が増大してしまう。

そこで、特徴点特定部１６４は、画素２２０同士の距離、すなわち、奥行き方向の距離、垂直方向の距離、および、水平方向の距離のいずれか１または複数の合成距離が、例えば、所定距離（例えば０．５ｍ）未満であり、かつ、１の色成分（例えばＵ成分）の差分が所定値（例えば１０）以内であるか否か判定する。そして、特徴点特定部１６４は、合成距離が０．５ｍ未満であり、かつ、Ｕ成分の差分が１０以内である画素２２０同士が画面の一方向（例えば水平方向）に３０画素連続している場合、その画素２２０全てを特徴点から除外する。道路標識では、図９（ｂ）に示すようにその周囲が同一色の円で構成されているが、所定の一方向、例えば、水平方向や垂直方向に３０画素連続することはない。このような道路標識の表示形式の特徴に基づいて特徴点を特定することで、本来、特徴点として抽出すべきでない第１〜第３の抽出条件を満たしている画素２２０を除外することができ、特徴点の特定効率の向上を図ることが可能となる。

ただし、道路標識のカラー画像１２６上の大きさは、相対距離ｚによって変化する。そこで、特徴点特定部１６４は、画素２２０同士が所定の方向に対して連続しているか否かの閾値である所定距離を、自車両１との相対距離ｚに応じて変更してもよい。具体的に、相対距離ｚが短いほど所定距離を長くし、相対距離ｚが長いほど、所定距離を短くする。こうすることで、道路標識のカラー画像１２６上の大きさに応じて適切な閾値を設けることができ、本来、特徴点として抽出すべきでない第１〜第３の抽出条件を満たしている画素２２０を適切に除外することが可能となる。

そして、特徴点特定部１６４は、第３および第４の抽出条件をいずれも満たす画素２２０のうち、第１または第２の抽出条件を満たしている画素２２０を特徴点として特定する。こうして、特徴点として適切な画素２２０が特定される。

また、特徴点特定部１６４は、特徴点の数が予め定められた所定値以上となると、１フレーム中の当該特徴点特定処理を中止してもよい。車外環境に応じてカラー画像１２６は様々に変化し、撮像された環境によって特徴点が非常に多くなる場合がある。このように特徴点の数が増加すると、それに伴って処理負荷が増大し、１フレーム中に割り当てられた処理時間を超過してしまうおそれがある。そこで、特徴点特定部１６４は、特徴点の数が予め定められた所定値以上となると、１フレーム中の当該特徴点特定処理を中止し、その時点までに特定した特徴点についてのみ、投票処理以降の処理を遂行する。

ただし、道路標識はカラー画像１２６の比較的上方に位置することが多いので、特徴点特定部１６４は、カラー画像１２６の上方から順に特徴点を特定する。こうして、道路標識の円周の部分部位に相当する特徴点を適切に抽出することが可能となる。

また、特徴点特定部１６４は、上記のように特徴点の数を所定値以内に抑えるべく、第１の抽出条件におけるエッジ強度の所定値や第２の抽出条件におけるＶ成分の所定値をフレーム毎に変化させるとしてもよい。車外環境はフレーム単位では変化に乏しいので、特徴点の数もさほど変化しない。したがって、１のフレームにおいて特徴点が多数抽出されると、以降のフレームにおいても連続して特徴点が多数抽出される。そこで、１フレーム中における特徴点の特定に割り当てられた処理時間を超過しないように、第１の抽出条件におけるエッジ強度の所定値や第２の抽出条件におけるＶ成分の所定値を所定の範囲内（４０〜１５０）で調整しつつ、特徴点の数を所定の範囲内（２００〜２０００）に抑える。

図１０は、特徴点特定処理の一例を示したフローチャートである。図１０（ａ）に示すように、特徴点特定部１６４は、１フレーム中、第１の抽出条件下で抽出した特徴点の数が特徴点上限値（ここでは２０００）を超えているか否か判定する（Ｓ２４０）。その結果、特徴点の数が特徴点上限値を超えていたら（Ｓ２４０におけるＹＥＳ）、特徴点特定部１６４は、エッジ強度の所定値がエッジ強度上限値（ここでは１５０）未満であるか否か判定する（Ｓ２４２）。その結果、エッジ強度の所定値がエッジ強度上限値未満であれば（Ｓ２４２におけるＹＥＳ）、特徴点特定部１６４は、エッジ強度の所定値をインクリメントする（Ｓ２４４）。かかるエッジ強度の所定値は、次回フレームの特定物特定処理から反映される。また、エッジ強度の所定値がエッジ強度上限値以上であれば（Ｓ２４２におけるＮＯ）、特徴点特定部１６４は、エッジ強度の所定値のインクリメントを行わず、エッジ強度上限値に達した所定値を維持する（所定の範囲内に維持する）。

ステップＳ２４０において、特徴点の数が特徴点上限値以下であれば（Ｓ２４０におけるＮＯ）、特徴点特定部１６４は、１フレーム中で抽出した特徴点の数が特徴点下限値（ここでは２００）未満であるか否か判定する（Ｓ２４６）。その結果、特徴点の数が特徴点下限値未満であれば（Ｓ２４６におけるＹＥＳ）、特徴点特定部１６４は、エッジ強度の所定値がエッジ強度下限値（ここでは４０）を超えているか否か判定する（Ｓ２４８）。その結果、エッジ強度の所定値がエッジ強度下限値を超えていれば（Ｓ２４８におけるＹＥＳ）、特徴点特定部１６４は、エッジ強度の所定値をデクリメントする（Ｓ２５０）。また、エッジ強度の所定値がエッジ強度下限値以下であれば（Ｓ２４８におけるＮＯ）、特徴点特定部１６４は、エッジ強度の所定値のデクリメントを行わず、特徴点下限値に達した所定値を維持する（所定の範囲内に維持する）。また、特徴点の数が特徴点下限値以上であれば（Ｓ２４６におけるＮＯ）、何ら処理を行わない。

また、図１０（ｂ）に示すように、特徴点特定部１６４は、１フレーム中、第２の抽出条件下で抽出した特徴点の数が特徴点上限値（ここでは２０００）を超えているか否か判定する（Ｓ２６０）。その結果、特徴点の数が特徴点上限値を超えていたら（Ｓ２６０におけるＹＥＳ）、特徴点特定部１６４は、Ｖ成分の所定値がＶ成分上限値（ここでは１５０）未満であるか否か判定する（Ｓ２６２）。その結果、Ｖ成分の所定値がＶ成分上限値未満であれば（Ｓ２６２におけるＹＥＳ）、特徴点特定部１６４は、Ｖ成分の所定値をインクリメントする（Ｓ２６４）。かかるＶ成分の所定値は、次回フレームの特定物特定処理から反映される。また、Ｖ成分の所定値がＶ成分上限値以上であれば（Ｓ２６２におけるＮＯ）、特徴点特定部１６４は、Ｖ成分の所定値のインクリメントを行わず、特徴点上限値に達した所定値を維持する（所定の範囲内に維持する）。

ステップＳ２６０において、特徴点の数が特徴点上限値以下であれば（Ｓ２６０におけるＮＯ）、特徴点特定部１６４は、１フレーム中で抽出した特徴点の数が特徴点下限値（ここでは２００）未満であるか否か判定する（Ｓ２６６）。その結果、特徴点の数が特徴点下限値未満であれば（Ｓ２６６におけるＹＥＳ）、特徴点特定部１６４は、Ｖ成分の所定値がＶ成分下限値（ここでは４０）を超えているか否か判定する（Ｓ２６８）。その結果、Ｖ成分の所定値がＶ成分下限値を超えていれば（Ｓ２６８におけるＹＥＳ）、特徴点特定部１６４は、Ｖ成分の所定値をデクリメントする（Ｓ２７０）。また、Ｖ成分の所定値がＶ成分下限値以下であれば（Ｓ２６８におけるＮＯ）、特徴点特定部１６４は、Ｖ成分の所定値のデクリメントを行わず、特徴点下限値に達した所定値を維持する（所定の範囲内に維持する）。また、特徴点の数が特徴点下限値以上であれば（Ｓ２６６におけるＮＯ）、何ら処理を行わない。

上述したように、本実施形態では、第１の抽出条件または第２の抽出条件のいずれかを満たしている画素２２０を特徴点として特定している。したがって、第１の抽出条件と第２の抽出条件とは図１０（ａ）と図１０（ｂ）のように独立して特徴点の数が調整される。こうして、第１の抽出条件におけるエッジ強度の所定値や第２の抽出条件におけるＶ成分の所定値を所定の範囲内（４０〜１５０）に抑えつつ、特徴点の数を所定の範囲内（２００〜２０００）で調整して、１フレームにおける当該特徴点の特定に割り当てられた処理時間を維持することが可能となる。

また、特徴点特定部１６４は、第２の抽出条件におけるＶ成分の所定値を道路面の色成分に応じてフレーム毎に変更するとしてもよい。カラー画像１２６全体の色成分は、日射条件や照明環境により変化する。例えば、橙色の照明が設置されているトンネル内では、カラー画像１２６全体のＶ成分が増加する。そこで、特徴点特定部１６４は、第２の抽出条件におけるＶ成分の所定値を道路面の色成分に応じて変更することで、日射や照明の変化が特徴点の特定に及ぼす影響を抑制する。

図１１は、特徴点特定処理の一例を示した説明図である。特徴点特定部１６４は、図１１（ａ）に示すように、カラー画像１２６における車両前方の道路面が映る可能性の高い予め定められた相対距離ｚにある４つの点２８０におけるＲＧＢ形式のカラー値を取得する。そして、特徴点特定部１６４は、４つの点２８０それぞれのＧ成分／Ｒ成分を求め、その値の平均値ＡＶを導出する。続いて、特徴点特定部１６４は、カラー画像１２６の全ての画素のＲ成分に当該平均値ＡＶを乗じ、ＹＵＶ形式に変換し、当該変換後のＶ成分と所定値とを比較して特徴点の候補を特定する。

ただし、図１１（ｂ）に示すように、車外環境認識装置１２０が認識した先行車両の相対距離ｚが所定範囲内（例えば２０ｍ以内）に位置している場合、当該カラー画像１２６から平均値ＡＶを求めず、前回フレームで導出された（用いられた）平均値ＡＶを利用する。これは、先行車両の色成分を道路面の色成分として取得してしまい、Ｖ成分に影響を与えて、誤った特徴点の候補が抽出されるのを回避するためである。

また、今回フレームで計算した平均値ＡＶと、前回フレームで導出した（用いられた）平均値ＡＶとが、露光態様が変化していない（周囲の明るさに大きな変化がない）にも拘わらず、予め定められた所定値（例えば±５０％）以上異なっている場合も、当該カラー画像１２６から平均値ＡＶを求めず、前回フレームで導出した（用いられた）平均値ＡＶを利用する。これは、道路面が赤色系の塗料で彩色されていた場合に、Ｖ成分に影響を与えてしまい、誤った特徴点の候補が抽出されるのを回避するためである。ただし、道路面に影ができた場合、灰色はＲＧＢ方式の各色成分（ＲＧＢ）に均等に影響し、Ｇ成分／Ｒ成分の値に影響を及ぼさないので、問題とはならない。

（投票処理）
投票部１６６は、特徴点特定部１６４が特定した特徴点から半径ｎ離隔した円周上に投票する。これは、特徴点が任意の円周の部分部位に相当すると仮定すると、その特徴点から半径ｎの円周上に、特徴点を円周の部分部位とする円の中心があるはずという根拠に基づく。したがって、投票部１６６は、特徴点を円周の部分部位とする円の中心となり得る対応点のさらに半径ｎの点に投票する。

図１２は、投票処理を説明するための説明図である。ここで、仮に１の半径ｎを挙げて説明すると、図１２（ａ）に示すように、投票部１６６は、通常、特徴点３００を中心とする半径ｎの円周３０２上の全ての画素２２０を対応点３０４とし、その画面位置の半径ｎの点に対して投票を行う。しかし、このような半径ｎに関する対応点３０４は円周３０２上の全ての画素２２０となるので、多大な数となり、さらに、半径ｎを変化させると、その数は無数に大きくなる。そこで、投票の効率化を図るべく、１の半径ｎに対する対応点３０４および半径ｎの数を制限する。

ここで、円の接線は接点と円の中心を結ぶ線分と垂直となることが知られている。また、円の接線は画素２２０におけるエッジ延伸方向に相当する。したがって、対応点３０４は、特徴点３００のエッジ延伸方向に垂直な線分上にしか出現しない。そこで、投票部１６６は、特徴点３００のエッジ延伸方向を把握し、エッジ延伸方向に垂直な方向に対応点３０４を定めることができる。

ここで、投票部１６６は、各画素２２０の座標を（ｉ，ｊ）とした場合の輝度をＡ（ｉ，ｊ）とすると、以下の数式２に示すように、垂直方向のゾーベルフィルタと水平方向のゾーベルフィルタの絶対値の比によってエッジ延伸方向に垂直な線分を導出する。
エッジ延伸方向に垂直な線分＝ａｔａｎ（
|A(i+1,j+1)+2A(i,j+1)+A(i-1,j+1) - A(i+1,j-1)-2A(i,j-1)-A(i-1,j-1)|
／|A(i+1,j+1)+2A(i+1,j)+A(i+1,j-1) - A(i-1,j+1)-2A(i-1,j)-A(i-1,j-1)|
）…（数式２）

ここでは、ゾーベルフィルタによってエッジ延伸方向に垂直な線分を導出する例を挙げているが、かかる場合に限られず、既存の様々な技術を適用することができる。また、数式２では、除算とアークタンジェント（ａｔａｎ）を用いているが、これらにより処理負荷が増大する場合、垂直方向のゾーベルフィルタと水平方向のゾーベルフィルタの絶対値を入力としてエッジ延伸方向に垂直な線分を一意に導出するルックアップテーブルを用いてもよい。

例えば、図１２（ｂ）のように、特徴点３００のエッジ延伸方向が破線の線分３０６で示される場合、その線分３０６に垂直な方向に相当する一点鎖線の線分３０８上に対応点３０４を定めることができる。ここで、仮に１の半径ｎを挙げると、対応点３０４は、特徴点３００のエッジ延伸方向に垂直な方向の線分３０８上で、特徴点３００から半径ｎ離隔した２つの点に絞ることができる。

また、道路標識は、各国毎の法律や規則で、大きさが１または複数に定まっていることもある。そうすると、相対距離ｚによって道路標識のカラー画像１２６上の大きさが定まる。そこで、投票部１６６は、相対距離ｚに応じて、三次元の位置情報を導出した関数の逆関数を用いてカラー画像１２６上の道路標識の大きさ（半径ｎ）を推定し、投票に用いる半径ｎの数を絞る。例えば、制限速度を提示した道路標識や制限速度の解除を提示した道路標識の大きさが３つに限られる場合、図１２（ｃ）に示すように、その数（３）×２に対応点３０４が絞られる。

このように、１の半径ｎに対する対応点３０４を特徴点３００のエッジ延伸方向に垂直な方向の線分３０８上に制限し、また、半径ｎの数を所定の大きさおよび相対距離ｚに応じて１または複数に制限することで、本来対応点３０４が存在しないはずの不本意な投票を回避することができる。したがって、対応点３０４の誤設定による道路標識の誤検出を防止するとともに、無駄なハフ変換処理を回避して処理負荷の軽減を図ることができる。

投票部１６６は、このように対応点３０４を制限した上で、上述した投票テーブル２３０に対し投票を行う。ここでは、三次元の投票空間を挙げて説明するが、道路標識が横向きや上下方向に傾きがある場合に対する対応として、横向きや上下方向に関する次元（例えば回転）を拡張したＭ次元（Ｍは正の整数）の投票空間を形成することもできる。

図１３は、投票テーブル２３０を説明するための説明図である。投票テーブル２３０は、通常、図１３（ａ）に示すようにカラー画像１２６の水平画素数Ｈ×垂直画素数Ｖ×半径ｎの取り得る値Ｎといったように三次元の投票空間からなり、投票先となる画素の画面位置（ｘ、ｙ）と半径ｎとの三次元位置（点）に得票数が保持される。例えば、得票数の最大値を２５５（１ＢＹＴＥ）とすると、投票テーブル２３０の大きさは、Ｈ×Ｖ×Ｎ（ＢＹＴＥ）となる。そうすると、仮に高解像度のカラー画像１２６を用いる場合は、投票テーブル２３０に費やすメモリの記憶領域が大きくなるという問題に加え、得票数が限られる（少ない）場合は、ノイズ等の影響で得票数のピークが出にくくなるという問題も生じ得る。

後者の問題については、ノイズ分を考慮して、マージンを付加した投票処理、例えば、対応点３０４の半径ｎのみならず、対応点３０４の近傍の半径ｎにも投票することにより対策を行うことができるが、それに伴って処理負荷が増大する問題が生じる。また、分解能を下げ、例えば、水平２画素×垂直２画素のブロック単位で投票することも考えられるが、分解能を下げた分、対応点３０４の道路標識の特定精度の悪化は避けられない。

そこで、本実施形態では、次元および分解能の異なる２つの投票テーブル２３０ａ（第１の投票テーブル）、２３０ｂ（第２の投票テーブル）を設け、投票部１６６は、それぞれの投票テーブル２３０ａ、２３０ｂに同時に投票することとする。

投票テーブル２３０ａは、図１３（ｂ）に示すように、カラー画像１２６の分解能は水平画素数Ｈ×垂直画素数Ｖのままで、半径ｎの情報を省略して次元を１つ落とした二次元（水平画素位置、垂直画素位置）の投票空間で示される。したがって、投票テーブル２３０ａの大きさは、Ｈ×Ｖ（ＢＹＴＥ）となり、投票先となる画素の画面位置（ｘ、ｙ）の二次元位置に全ての半径ｎに対する得票数が保持される。一方、投票テーブル２３０ｂは、図１３（ｃ）に示すように、半径ｎに関する分解能はそのままの値Ｎで、次元も省略せず、その代わり、カラー画像１２６の分解能を水平および垂直それぞれで１／４に圧縮して（分解能を低くして）水平画素数Ｈ／４（水平画素数を圧縮した値）×垂直画素数Ｖ／４（垂直画素数を圧縮した値）とした三次元の投票空間で示される。したがって、投票テーブル２３０ｂの大きさは、Ｈ／４×Ｖ／４×Ｎ（ＢＹＴＥ）となり、投票先となる画素の画面位置（ｘ、ｙ）が属するブロック（水平４画素×垂直４画素）と半径ｎとの三次元位置に得票数が保持される。このように、投票テーブル２３０ａ、２３０ｂはそれぞれ、半径ｎの分解能を敢えて下げたものと、画面の位置の分解能を敢えて下げたものということになる。

投票部１６６は、特徴点３００に基づいて対応点３０４を導出すると、それぞれの投票テーブル２３０ａ、２３０ｂに同時に投票する。ただし、投票テーブル２３０ａについては、半径ｎに拘わらず、対応点３０４に相当する１の点に投票し、投票テーブル２３０ｂについては、対応点３０４が属するブロックの半径ｎの点に投票する。こうして、投票が完了すると、投票部１６６は、投票テーブル２３０ａにおいて半径ｎの総合的な得票数が多い点（対応点３０４）を道路標識の中心位置の候補とし、投票テーブル２３０ｂにおいて当該中心位置に対応するブロックで得票数が多い半径ｎを道路標識の半径ｎの候補とすることが可能となる。

このようにして、道路標識の中心の特定精度を高精度に維持しつつ、投票テーブル２３０の総合的な記憶容量を、Ｈ×Ｖ＋Ｈ／４×Ｖ／４×Ｎ（ＢＹＴＥ）に低減させることが可能となる。ここで、Ｈ＝６００画素、Ｖ＝２００画素、Ｎ＝２０画素とすると、本来６００×２００×２０＝２，４００，０００ＢＹＴＥ必要なところ、約１／１０に相当する６００×２００＋６００／４×２００／４×２０＝２７０，０００ＢＹＴＥに低減することができる。

ところで、投票部１６６は、全ての特徴点で投票処理を終えた後に、投票テーブル２３０の各点から得票数を抽出し、その半径ｎの総合的な得票数が所定値以上となる対応点３０４を道路標識の中心点の候補とする。しかし、投票テーブル２３０の記憶容量を低減させたとはいえ、投票空間がある程度の広さを有する場合、投票テーブル２３０全体の得票数の大小を判定するのは処理負荷が大きくなる。そこで、投票部１６６は、投票と並行して中心点の候補を選定することで、中心点の候補の抽出効率を向上させる。

図１４は、中心点候補リスト３１０を説明するための説明図である。ここでは、投票テーブル２３０以外に、中心点候補リスト３１０を設ける。かかる中心点候補リスト３１０には、少なくとも、投票テーブル２３０ａに関する画面位置（ｘ、ｙ）が登録される。投票部１６６は、現在投票している点の投票テーブル２３０ａ上の得票数が所定数以上となると、その点に相当する対応点３０４を当該中心点候補リスト３１０に追加的に随時登録する。そして、投票部１６６は、全ての特徴点で投票処理を終えた後に、その中心点候補リスト３１０に登録されたもののみを道路標識の候補とする。

かかる構成により、投票テーブル２３０全体の得票数の大小を判定するのを回避しつつ、すなわち、処理負荷を軽減しつつ、適切に中心点の候補を抽出することが可能となる。なお、投票部１６６は、中心点候補リスト３１０に登録する中心点の候補を、所定値（例えば、５０）までに制限する。これは、以下の理由による。すなわち、ノイズ等の影響で対応点３０４が複数の中心点の候補に分散すると、本来は１の道路標識であるが、複数の中心点が候補となる場合がある。この場合に、無制限に中心点の候補を抽出すべきではなく、また、通常、カラー画像１２６中に５０個以上の標識が存在する可能性が小さいからである。このように中心点候補リスト３１０の中心点候補が５０以上となると、投票部１６６は、１フレーム中の当該投票処理を中止し、その時点までに特定した中心点候補についてのみ、標識特定処理以降の処理を遂行する。

このように、投票部１６６によって、中心点候補リスト３１０が生成され、中心点候補リスト３１０には、画面位置（中央位置）の他、半径、投票テーブル２３０ａ、２３０ｂにおける得票数、当該画素の三次元位置といった情報も関連付けられる。

投票部１６６は、このように投票テーブル２３０ａ、２３０ｂへの投票を行うと、次回フレームにおける投票のため、投票テーブル２３０ａ、２３０ｂの各点を得票数が０となるように初期化する。しかし、カラー画像１２６の解像度によっては、投票テーブル２３０ａ、２３０ｂの初期化に費やす処理時間も無視できるものではなく、例えば、当該標識検出処理Ｓ２０２全体の４０％を占有する場合もある。投票テーブル２３０ａ、２３０ｂにおいては、次元数が増える程、メモリの記憶容量が増大するので、特に、三次元の投票テーブル２３０ｂに対する初期化処理の負荷の影響が大きくなる。

図１５は、フラグテーブル３２０を説明するための説明図である。ここでは、投票テーブル２３０ａ、２３０ｂ以外に、フラグテーブル３２０を設ける。かかるフラグテーブル３２０は、図１５（ａ）のように、投票テーブル２３０ｂの次元数を半径ｎ分減らした（一次元減らした）テーブルであり、投票先となる画素の画面位置（ｘ、ｙ）が属するブロック（水平４画素×垂直４画素）の二次元位置にフラグが設定されている。したがって、フラグテーブル３２０の大きさは、Ｈ／４×Ｖ／４（ＢＹＴＥ）となる。

投票部１６６は、図１５（ｂ）にクロスハッチングで示した投票テーブル２３０ｂの任意のブロックの任意の半径ｎに投票を行うと、図１５（ａ）にクロスハッチングで示したフラグテーブル３２０における、そのブロックと等しいブロックのフラグをＯＮする。したがって、投票テーブル２３０ｂの各ブロックにおける半径ｎのいずれかに投票されると、それに対応するフラグテーブル３２０のブロックがＯＮされることとなる。そして、投票テーブル２３０ａ、２３０ｂへの投票を完了すると、投票部１６６は、図１５（ａ）にハッチングで示した、フラグテーブル３２０においてフラグがＯＮされているブロックに対応する、図１５（ｂ）にハッチングで示した、投票テーブル２３０ｂのＮ個分のブロックのみ、各点を得票数が０となるように初期化する。換言すれば、投票部１６６は、フラグテーブル３２０においてフラグがＯＦＦされているブロックに対応する投票テーブル２３０ｂのブロックについては初期化処理を行わない。

ここでは、フラグテーブル３２０の対象として投票テーブル２３０ｂを挙げているが、かかる場合に限らず、このフラグテーブル３２０の概念は、大きさがＨ×Ｖ×Ｎ（ＢＹＴＥ）の投票テーブル２３０にも適用できる。その場合、フラグテーブル３２０の大きさは、Ｈ×Ｖ（ＢＹＴＥ）となる。

また、フラグテーブル３２０を設ける代わりに、投票テーブル２３０ａの各ブロックに対応する領域に投票が為されているか否か判定し、投票が為されていたら、そのブロックに対応する投票テーブル２３０ｂのブロックのみ、各点を得票数が０となるように初期化するとしてもよい。こうして、投票テーブル２３０ｂ全ての点を初期化する必要がなくなるので、初期化処理の負荷を著しく低減することができる。

また、投票テーブル２３０ａ、２３０ｂへの投票を完了すると、投票部１６６は、図１５（ｃ）にハッチングで示したように、フラグテーブル３２０においてフラグがＯＮされているブロックに対応する投票テーブル２３０ａの複数の画素（水平４画素×垂直４画素）のみ、各点を得票数が０となるように初期化するとしてもよい。こうして、投票テーブル２３０ｂ同様、投票テーブル２３０ａ全ての点を初期化する必要がなくなるので、初期化処理の負荷を著しく低減することができる。

そして、投票部１６６は、かかる初期化処理が終了した後、フラグテーブル３２０のフラグを全てＯＦＦに初期化する。こうして、初期化処理の負荷の増大を招くことなく、適切に、投票テーブルの初期化を図ることが可能となる。

（標識特定処理）
標識特定部１６８は、投票部１６６によって導出された道路標識の候補を第１〜３の絞り込み条件に基づいて絞り込み、道路標識を特定する。

標識特定部１６８は、第１の絞り込み条件として、投票テーブル２３０ａの得票数が所定値以上であり、投票テーブル２３０ｂにおけるブロックの得票数が所定値以上である半径ｎを、それぞれ中心点および半径として絞り込む。ただし、上述したように、投票部１６６も、投票テーブル２３０ａ、２３０ｂの得票数に応じて、その対応点３０４を中心点候補リスト３１０に随時登録している。しかし、かかる中心点候補リスト３１０への登録は、まだ最終的な得票数が不明な投票途中において為されるものであり、投票が完了した際の得票数を判定したものではない。そこで、本実施形態では、中心点候補リスト３１０に登録された対応点３０４を、改めて、登録時より大きい所定値と画一的に比較することで、ノイズに相当する対応点３０４を除外し、適切な対応点３０４のみを残すことが可能となる。

続いて、標識特定部１６８は、上記中心位置および半径ｎに基づいて、半径ｎの２倍の長さを一辺とし中心位置を中心とする矩形を占有領域として導出する。ただし、任意の２つの対応点３０４に関し、かかる占有領域が重複（重畳）していると、一方によって他方が認識不能に陥るおそれがある。この場合に、認識不能となった他方の対応点３０４の道路標識が、制限速度を提示した道路標識等、重要な道路標識であった場合、そのような重要な道路標識が認識されない事態が生じてしまう。そこで、標識特定部１６８は、第２の絞り込み条件として、任意の対応点３０４の占有領域が、他の対応点３０４の占有領域と画面上で重複している場合、道路標識として信頼性の低い方を除外することで、信頼性の高い道路標識を残す。このような道路標識の信頼性は、二次元の投票テーブル２３０ａの得票数および三次元の投票テーブル２３０ｂの得票数の大小関係に基づいて求める。

図１６は、標識特定処理の一例を示したフローチャートである。図１６に示すように、標識特定部１６８は、道路標識の候補の中から、順次２つの候補を選択する（Ｓ３３０）。そして、標識特定部１６８は、選択した２つの候補の占有領域が重複するか否か判定する（Ｓ３３２）。その結果、２つの候補の占有領域が重複していれば（Ｓ３３２におけるＹＥＳ）、標識特定部１６８は、一方の候補の投票テーブル２３０ａ、２３０ｂの得票数Ｃ_１、Ｄ_１が、他方の候補の投票テーブル２３０ａ、２３０ｂの得票数Ｃ_２、Ｄ_２よりいずれも大きいか否か判定する（Ｓ３３４）。その結果、いずれも大きい、すなわち、Ｃ_１>Ｃ_２かつＤ_１>Ｄ_２であれば（Ｓ３３４におけるＹＥＳ）、標識特定部１６８は、他方の候補を除外する（Ｓ３３６）。また、２つの候補の占有領域が重複していなければ（Ｓ３３２におけるＮＯ）、ステップＳ３４４に処理を移す。

また、Ｃ_１>Ｃ_２かつＤ_１>Ｄ_２でなければ（Ｓ３３４におけるＮＯ）、標識特定部１６８は、一方の候補の投票テーブル２３０ａ、２３０ｂの得票数Ｃ_１、Ｄ_１が、他方の候補の投票テーブル２３０ａ、２３０ｂの得票数Ｃ_２、Ｄ_２よりいずれも小さいか否か判定する（Ｓ３３８）。その結果、いずれも小さい、すなわち、Ｃ_１<Ｃ_２かつＤ_１<Ｄ_２であれば（Ｓ３３８におけるＹＥＳ）、標識特定部１６８は、一方の候補を除外する（Ｓ３４０）。このように、候補の投票テーブル２３０ａ、２３０ｂの得票数がいずれも大きい場合、道路標識である信頼性が高いとして、得票数がいずれも小さい候補を除外し、得票数がいずれも大きい候補のみを残す。

また、Ｃ_１<Ｃ_２かつＤ_１<Ｄ_２でなければ（Ｓ３３８におけるＮＯ）、標識特定部１６８は、一方の候補と他方の候補とのカラー画像１２６上の位置に基づいて、いずれか下方に位置する候補を除外する（Ｓ３４２）。このように、候補の投票テーブル２３０ａ、２３０ｂの得票数のうち、いずれかが大きく、いずれかが小さい場合、得票数のみで判定できないので、上方に位置する候補のみを採用し、下方に位置する候補は除外する。これは、仮に垂直方向上下に２つの道路標識が配置されている場合、相対的に重要な、制限速度を提示した道路標識が上方に配置されるようになっているからである。

このように選択された２つの候補が重複していた場合に、いずれを除外するか決定されると、標識特定部１６８は、選択すべき２つの候補の全ての組み合わせが終了したか否か判定する（Ｓ３４４）。その結果、終了していれば（Ｓ３４４におけるＹＥＳ）、当該標識特定処理を終了し、終了していなければ（Ｓ３４４におけるＮＯ）、ステップＳ３３０からの処理を繰り返す。こうして、道路標識の２つの候補の占有領域が重複する場合であっても、適切に信頼性の高い候補に絞ることが可能となる。

次に、標識特定部１６８は、第３の絞り込み条件として、第１および第２の絞り込み条件によって絞り込まれた道路標識の候補が候補上限値（ここでは３）を超えているか否か判定する。ここで、候補上限値を超えていれば、標識特定部１６８は、候補を候補上限値以下に絞って、他の候補については以降の処理を実行しない。具体的に、道路標識の候補が候補上限値を超えていた場合、全ての候補の三次元位置における水平距離ｘを比較して、自車両１のレーンからの水平距離ｘが短い順に候補上限値の候補に絞る。こうして、自車両１に対する道路標識である可能性が高い、自車両１のレーンに近い候補を適切に抽出することが可能となる。

続いて、標識補正部１７０は、候補上限値以下に絞り込んだ道路標識の位置や大きさの補正を行う。これは、本実施形態において、道路標識の内容を認識する上でテンプレートマッチングを用いているからであり、テンプレートマッチングは、画像の位置ズレが認識精度に大きく影響するからである。そこで、ここでは、投票部１６６が導出した中心位置や半径ｎを補正し、改めて道路標識の占有領域を設定し直す。このため、標識補正部１７０は、道路標識の各候補の中心位置から水平方向および垂直方向の４方向に存在する赤色枠を検出し、その赤色枠（道路標識の円周部分）が外接する矩形となるように占有領域を補正する。具体的には以下（１）〜（７）の手順で占有領域を補正する。

図１７は、標識補正部１７０の処理を説明するための説明図である。（１）まず、標識補正部１７０は、図１７（ａ）に示す、半径ｎの２倍の長さを一辺とし中心位置を中心とする矩形を占有領域３４６として、その占有領域３４６全体におけるＶ成分のヒストグラムを求める（横軸をＶ成分として投票する）。そして、標識補正部１７０は、Ｖ成分のヒストグラムの最大値と最小値の差分が所定値以上となれば、当該候補を赤色枠であると判断する。また、Ｖ成分のヒストグラムの最大値と最小値の差分が所定値未満であれば、当該候補を黒色枠であると判定し、Ｖ成分のヒストグラムをＹ成分のヒストグラムに差し替える。以下では赤色枠の候補を挙げて占有領域３４６の補正処理を説明するが、黒色枠にも当然適用できるのは言うまでも無い。

（２）標識補正部１７０は、上記Ｖ成分のヒストグラムのうち上位から所定％（例えば３０％）となる（ヒストグラムを面積に換算した場合の上位：下位の面積比が３：７となる）Ｖ成分の値（閾値Ｖｔｈｒ）を導出する。かかる閾値Ｖｔｈｒは、特徴点を特定するために用いたＶ成分の所定値と異なる。これは、それぞれの候補毎に最適な閾値を設定するためである。なお、閾値Ｖｔｈｒが所定値（例えば−５）以下となった場合、不適切な閾値として以降の処理を行わない。

（３）標識補正部１７０は、図１７（ｂ）において矢印で示すように、道路標識の各候補の中心位置から、各画素のＶ成分が閾値Ｖｔｈｒ以上であるか否か判定しつつ、水平方向および垂直方向の４方向に検出画素を移動する。そして、Ｖ成分が閾値Ｖｔｈｒ以上となる画素が所定数（例えば３画素）連続すると、その閾値Ｖｔｈｒ以上のＶ成分が検出され始めた画素を赤色枠の内縁エッジ３４８とする。ここでは、検出方向として水平方向および垂直方向の４方向を挙げて説明しているが、かかる場合に限らず、直交する放射状の４つの方向であれば足り、また、斜めの方向等を加えて、検出精度を高めることもできる。

（４）続いて、標識補正部１７０は、赤色枠の内縁エッジ３４８の位置が、本来位置すべき所定範囲内にあるか否か判定する。具体的に、例えば、水平右方向に検出する場合、中心の横座標をＪ、占有領域３４６の水平右端のｘ座標をＲとし、求めた赤色枠の内縁エッジ３４８の座標をＲＥとすると、以下の数式３を満たす場合、その赤色枠の内縁エッジ３４８の座標ＲＥを不適切な値として以降の処理を行わない。
ＲＥ < （Ｒ−Ｊ）×Ｋ＋Ｊ …（数式３）

ここでＫは０〜１のうちの任意の値をとる係数である。例えば、水平方向の検出においては０．６とし、垂直方向の検出においては０．５とする。また、（Ｒ−Ｊ）×Ｋは、内縁エッジ３４８が取り得る半径方向の下限値（内縁エッジ下限値）である。かかる処理は、例えば、電光表示タイプの道路標識において数値が橙色となった場合に、Ｖ成分に影響して誤った内縁エッジ３４８をとらないようにするための対処である。

（５）次に、標識補正部１７０は、任意の道路標識において、水平方向および垂直方向の４方向全て適合した場合、各内縁エッジ３４８の位置に基づいて、画像の中心位置および半径ｎを再度導出する。具体的に、水平方向の内縁エッジ３４８のうち、左に位置する内縁エッジ３４８をＬＥ、右に位置する内縁エッジ３４８をＲＥとしたときの中心位置は、（ＬＥ＋ＲＥ）／２で定まり、半径ｎは、（ＲＥ−ＬＥ）／２で定まる。また、垂直方向の内縁エッジ３４８についても同様の処理で中心位置および半径ｎが定まる。こうして、道路標識の中心位置によって特定される占有領域３４６が新たに規定される。

（６）続いて、標識補正部１７０は、道路標識について、補正前の半径ｎと補正後の半径ｎを比較し、その比率が所定範囲（例えば、０．７５倍以上、１．５倍未満）を逸脱していれば、不適合な値として以降の処理を行わない。

（７）最後に、標識補正部１７０は、補正後の占有領域３４６を、水平所定画素×垂直所定画素の矩形にリサイズして当該補正処理を終了する。このように、道路標識の中心位置や半径の再調整を行うことで、パターンマッチングによる認識の高精度化を図ることが可能となる。なお、リサイズとしては、アレストネイバー等の一般的な手法を用いることができる。

（標識内容認識処理Ｓ２０４）
図１８は、標識内容認識処理Ｓ２０４の具体的な処理の流れを示したフローチャートである。標識内容認識部１７２は、標識補正部１７０が補正した道路標識に対し、そのままの画像で、占有領域３４６に対応する画像の輝度を離散化し（Ｓ３５０）、その道路標識が制限速度の解除を提示した道路標識であるか判定する（Ｓ３５２）。そして、標識内容認識部１７２は、制限速度の解除を提示した道路標識でなければ、その道路標識を、制限速度を提示した道路標識と判定して垂直方向の位置合わせを行い（Ｓ３５４）、位置合わせ後、水平方向のマッチングを実行する（Ｓ３５６）。続いて、標識内容認識部１７２は、道路標識の内容の所定の部位に注目し、その注目部位のテンプレートマッチングを行い（Ｓ３５８）、総合評価値を導出して、いずれの制限速度であるか判定する（Ｓ３６０）。

ところで、上述したように、本実施形態が目的とする道路標識には、電光表示タイプと非電光表示タイプがある。電光表示タイプは、道路標識の内容、例えば、数値の輝度が、その周囲の輝度より高く、非電光表示タイプは、道路標識の内容、例えば、数値の輝度が、その周囲の輝度より低いといった特性を有する。

当該標識内容認識処理Ｓ２０４においては、いずれの表示タイプであるか把握されていないので、両表示タイプであることを想定して認識処理を実行する。例えば、標識内容認識部１７２は、ステップＳ３５０〜Ｓ３６０までの一連の処理を標識補正部１７０が補正した道路標識そのままの画像を用いて実行し、道路標識の内容を有効に認識できたか否か判定する（Ｓ３６２）。その結果、ステップＳ３５０〜Ｓ３６０のいずれかの処理において、道路標識の内容を有効に認識できなかったと判定されていると（Ｓ３６２におけるＮＯ）、標識補正部１７０が補正した道路標識の輝度を反転し（Ｓ３６４）、輝度を反転した道路標識（反転道路標識）に対し、ステップＳ３５０〜Ｓ３６０までの一連の処理を再度実行する。

また、ステップＳ３５０〜Ｓ３６０のいずれの処理においても道路標識の内容を有効に認識できていると判定されると（Ｓ３６２におけるＹＥＳ）、道路標識の反転を行うことなく、または、反転道路標識の内容を認識することなく、ステップＳ３６６に処理を移す。こうして、標識補正部１７０が補正した道路標識または反転道路標識のいずれかを認識することができ、電光非電光等の表示タイプの違いに拘わらず、適切に道路標識の内容を認識することが可能となる。

ただし、反転前におけるステップＳ３５０〜Ｓ３６０のいずれかの処理で道路標識の内容を有効に認識できないと判定されれば、認識処理の途中であっても処理を中断し、以降の処理を省略してステップＳ３６２に処理を移すこともできる。こうして、不要な認識処理を回避し、処理負荷を軽減することができる。補正後の画像とその輝度を反転した画像は、同一の処理が施されるので、説明の便宜上、以下では、補正後の画像の処理を説明し、輝度を反転した画像については詳細な説明を省略する。

ここでは、補正後の画像の処理の後、輝度を反転した画像の処理を行っているが、かかる順は逆であってもよい。例えば、車外環境に応じ、制限速度を提示した道路標識が路肩に位置している場合、道路標識が非電光表示タイプである可能性が高いので補正後の画像の処理を先に処理し、ゲートに位置している場合、道路標識が電光表示タイプである可能性が高いので輝度を反転した画像について先に処理を行う。このようにして、１巡（ステップＳ３５０〜Ｓ３６０）で評価が完了する可能性が高い方から先に処理することで、標識内容認識処理Ｓ２０４の効率化を図ることができる。

また、補正後の画像かその輝度を反転した反転画像のいずれかにおいて有効に道路標識の内容を認識できれば（Ｓ３６２におけるＹＥＳ）、標識内容認識部１７２は、標識補正部１７０が補正した道路標識全てに対してこのようなステップＳ３５０〜Ｓ３６４の処理が実行されたか否か判定する（Ｓ３６６）。その結果、全ての道路標識が完了していなければ（Ｓ３６６におけるＮＯ）、標識内容認識部１７２は、完了するまで（Ｓ３６６におけるＹＥＳ）、ステップＳ３５０からの処理を繰り返す。以下、ステップＳ３５０〜Ｓ３６０の処理の内容を詳述する。

（輝度離散化処理Ｓ３５０）
標識内容認識部１７２は、標識補正部１７０が補正した道路標識それぞれの占有領域３４６に対し、各画素の輝度を離散化する。こうして撮像状態に依存せず認識可能な画像パターンに変換する。

図１９は、認識対象領域３７０を説明するための説明図である。まず、標識内容認識部１７２は、水平所定画素×垂直所定画素の矩形中の認識処理を施す領域（以下、認識対象領域という）３７０を設定する。かかる認識対象領域３７０は、図１９に示した占有領域３４６のうち赤色枠の内縁エッジ３４８に接する矩形の領域をいい、以降の処理ではかかる認識対象領域３７０に対して処理が施される。

次に標識内容認識部１７２は、認識対象領域３７０の各画素を離散化し、Ｎ値化を図る。例えばＮ＝２の場合、各画素の輝度は０または２５５のいずれかの値を有することになる。ここで、Ｎは２以上の値であるが、閾値の設定等の影響で２値化がうまくいかなかった場合におけるパターンマッチングに与える影響を抑えるため、本実施形態では、例えば、Ｎ＝５とする。５値化の場合、離散化の閾値は４つとなり、輝度のヒストグラムのうち上位から４つの所定％（例えば２０、２５、３５、４０％）を設定する。かかる所定％は、独立かつ任意に設定できる。

かかる構成により、輝度値の分布の違いに拘わらず、適切に道路標識の内容を認識可能となる。また、ここでは、輝度のヒストグラムの上位の値を基準にしているので、認識対象領域３７０それぞれの輝度の分布態様に拘わらず適切に５値化を行うことができ、離散化とともに正規化も図れることになる。

（制限速度解除判定処理Ｓ３５２）
標識内容認識部１７２は、５値化した認識対象領域３７０に対し、制限速度の解除を提示した道路標識または制限速度を提示した道路標識それぞれに対応した認識処理を行うが、前者の方が処理負荷を小さくできるため、まず、前者であることを前提に処理を行い、前者でなければ、後者に対する処理を行う。こうして、不要に、制限速度を提示した道路標識の認識処理を行うのを回避できる。

図２０は、制限速度の解除を提示した道路標識を説明するための説明図である。標識内容認識部１７２は、図２０に示す認識対象領域３７０における、認識対象領域３７０上で交差する、傾斜角を有する（傾斜した）４つの線分Ｌ１、Ｌ２、Ｌ３、Ｌ４に対応する複数の画素の輝度をそれぞれ累積し、各線分Ｌ１、Ｌ２、Ｌ３、Ｌ４での累積輝度値をＳ１、Ｓ２、Ｓ３、Ｓ４とする。かかる線分の傾斜角は、制限速度の解除を提示した道路標識の表示態様に合わせた角度とする。ここで、それぞれの累積輝度値Ｓ１、Ｓ２、Ｓ３、Ｓ４を判定するための閾値をＴＳ１、ＴＳ２、ＴＳ３、ＴＳ４とする。ただし、ＴＳ４はＴＳ４ａ<ＴＳ４ｂの関係を有する２つの閾値から構成される。また、ＴＳ２＝ＴＳ３としてもよい。標識内容認識部１７２は、４つの線分Ｌ１、Ｌ２、Ｌ３、Ｌ４における濃淡の違いを数値化する以下の数式４に基づき、数式４を全て満たす場合に当該道路標識を制限速度の解除を提示した道路標識と認識する。
Ｓ１<ＴＳ１
Ｓ２>ＴＳ２
Ｓ３>ＴＳ３
ＴＳ４ａ<Ｓ４<ＴＳ４ｂ …（数式４）
ここでは、位置ズレや明るさによる輝度の偏差は補正しているので、上記の数式４のように非常に単純な処理で道路標識の内容を認識することが可能となる。

（垂直方向位置合わせ処理Ｓ３５４）
上記の処理によって制限速度の解除を提示した道路標識と判定されなかった場合、その道路標識は、制限速度を提示した道路標識として判定される。標識内容認識部１７２は、まず、認識対象領域３７０中における数値が占有する数値領域について垂直方向の位置合わせを行う。これは、認識対象領域３７０が微細な位置ズレを含んでいたり、国毎、または、国内の設置態様毎に数値の大きさ、形状、数値間の距離等が異なる場合があるからである。

図２１は、垂直方向位置合わせ処理を説明するための説明図である。標識内容認識部１７２は、図２１のように、認識対象領域３７０の各画素の輝度を水平方向に累積し、その累積輝度値を垂直方向に並べて、垂直方向の輝度分布３７２を生成する。ただし、図２１の道路標識の場合、数値部分が周囲に対して低輝度となっているので、図２１の輝度分布３７２では、数値部分を抽出すべく、輝度を反転した上で累積輝度値を求めている。そして、標識内容認識部１７２は、認識対象領域３７０の中心部分から垂直上下領域いずれも累積輝度値の最大値３７４を求め、その最大値の所定％（例えば２５％）を閾値として、中心部分から垂直上下に検出画素を移動し、輝度累積値が閾値を下回る画素が所定数（例えば２回）連続すると、その場所を数値領域３７６の上端および下端とする。

次に、標識内容認識部１７２は、このように導出された数値領域３７６の上端および下端を用い、垂直方向の大きさを拡大または縮小して正規化する。例えば、数値領域３７６の上端と下端との間の距離をＨＩ、テンプレートの垂直方向の距離をＨＴとすると、標識内容認識部１７２は、数値領域３７６を垂直方向にＨＴ／ＨＩ倍する。こうして、数値領域３７６の大きさを、以降にマッチングを行うテンプレートの垂直方向の大きさに合わせることができる。また、補正はニアストネイバーにより行われる。

このような処理により、例えば、図２１の下方において累積輝度値にノイズが生じているが、その影響を除外でき、正規化された数値領域３７６を適切に抽出できる。

（水平方向マッチング処理Ｓ３５６）
図２２は、テンプレートを説明するための説明図である。標識内容認識部１７２は、垂直方向の位置合わせがなされた認識対象領域３７０の内容、すなわち、数値を認識する。かかる認識はあらかじめ準備されたテンプレートとのマッチングにより行う。テンプレートは、図２２に示すように、例えば、１０〜９０（２桁）、１００〜１３０（３桁）と１０刻みで１３種類準備されている。

図２３は、水平方向のマッチング処理を説明するための説明図である。標識内容認識部１７２は、図２３のように、垂直方向に正規化された認識対象領域３７０の各画素を垂直方向に累積し、その累積輝度値を水平方向に並べて、水平方向の輝度分布３８０を生成する。こうして二次元画像の一次元化が行われる。ただし、垂直方向の位置合わせ同様、数値部分が低輝度となっているので、図２３の輝度分布３８０では、数値部分を抽出すべく、輝度を反転した上で累積輝度値を求めている。また、垂直方向の累積範囲は、垂直方向の位置合わせで導出された数値領域３７６の上端から下端の範囲のみとする。従って、垂直方向の数値領域以外の不要な領域に関する輝度の累積を回避できる。標識内容認識部１７２は、このようにして導出された図２３の輝度分布３８０とテンプレートに基づく輝度分布をＤＰマッチングすることで、各テンプレートとの相関評価値（相関評価値が低いほど相関が高い）を算出する。

ここでは、垂直方向の位置合わせと同様、数値の大きさの違いや、数値間の余白の間隔などの違いが存在するため、固定サイズのテンプレートを用いると充分な性能が出せない。そのため、水平方向の伸縮が許容されるＤＰマッチングを用いる。かかるＤＰマッチングを二次元で行うことも原理的には可能ではあるが、処理量が膨大になってしまうため、本実施形態では一次元のＤＰマッチングを用いている。

図２４は、ＤＰマッチングを説明するための説明図である。標識内容認識部１７２は、例えば、「１３０」のテンプレートとＤＰマッチングを行い、図２４のような結果を得る。ここでは、破線がＤＰマッチング前の認識対象領域３７０の輝度分布３８０を示し、実線がＤＰマッチング後の認識対象領域３７０の輝度分布３８２を示し、一点鎖線がテンプレートの輝度分布３８４を示している。ＤＰマッチングでは、テンプレートの輝度分布３８４に合わせるように認識対象領域３７０の輝度分布３８０を伸縮させてマッチングを行う。したがって、図２４を参照して理解できるように、伸縮前の認識対象領域３７０の輝度分布３８０とテンプレートの輝度分布３８４とは相関が低いが、伸縮後の認識対象領域３７０の輝度分布３８２とテンプレートの輝度分布３８４とは相関が高くなる。

ただし、ここでは、相関の高低に拘わらず、伸縮後の認識対象領域３７０の輝度分布３８２と複数のテンプレートの輝度分布３８４との全ての相関評価値を求める。具体的に、伸縮後の認識対象領域３７０の輝度分布３８２をｉｍ、テンプレートの数値（制限速度）をＴとした場合に、標識内容認識部１７２は、伸縮後の相関評価値（差分の二乗和）であるＤＰ（ｉｍ，Ｔ）を、ＤＰ（ｉｍ，１０）〜ＤＰ（ｉｍ，１３０）まで順次導出する。

ただし、明らかにテンプレートと異なる候補に関しては、以降の処理を行わない。例えば、認識対象領域３７０の輝度分布３８２が「１３０」であるのに対し、２桁の「１０」〜「９０」はそもそも桁数が違うため、「１０」〜「９０」に対応するＤＰ（ｉｍ，１０）〜ＤＰ（ｉｍ，９０）は相関が低くなる。したがって、ＤＰ（ｉｍ，Ｔ）の値が閾値を上回る（相関が低い）テンプレートに関しては以降の処理を省略する。

（注目部位マッチング処理Ｓ３５８）
ここでは、数値の桁数に拘わらず、相関評価値ＤＰ（ｉｍ，Ｔ）を求めたが、本実施形態のように予め数値の変化傾向が定まっている場合、２桁や３桁の数値全てにおいてマッチングを行うのは得策ではない。これは、例えば、「１０」〜「９０」の数値では、全ての数値で１桁目の「０」の部分が共通し、「１００」〜「１３０」では、１桁目の「０」の部分と３桁目の「１」の部分が共通しているからである。したがって、その共通部分に関しては、いずれの数値も一致するため、全ての桁を対象にマッチングを行うと、相関評価値に差が生じ難くなる。

そこで、標識内容認識部１７２は、上述したように相関評価値ＤＰ（ｉｍ，Ｔ）を求めるとともに、数値の形状に差が生じる２桁目のみをマッチングする。ただし、認識対象領域３７０の輝度分布３８２は、水平方向に伸縮されているので、認識対象領域３７０の輝度分布３８２のどの部分がテンプレートの輝度分布３８４のどの部分と一致しているかを導出しなければならない。したがって、標識内容認識部１７２は、テンプレートの２桁目の開始位置の水平座標ＴＳ（Ｔ）に相当する、認識対象領域３７０の輝度分布３８２の２桁目の開始位置に相当する水平座標ＤＰＲ（ｉｍ，Ｔ）を導出する。かかる水平座標は、ＤＰマッチングにおいて特徴点を組み合わせる処理の履歴から求めることができる。具体的に、特徴点の組み合わせに関する情報（例えばルート）を予め記憶しておき、それを逆算することで水平座標を導出する。かかる構成によりＤＰマッチングの途中結果を利用して効率的に水平座標を求めることができる。このようなＤＰマッチングの具体的な手順については、既に様々な技術文献を通じて公開されているので、ここでは、その詳細な説明を省略する。

図２５は、注目部位のマッチング処理を説明するための説明図である。上記のようにして２桁目の数値領域の開始位置に相当する水平座標が求まると、標識内容認識部１７２は、単純なテンプレートマッチングを行う。テンプレートマッチングには何の指標を用いてもよいが、たとえば差の絶対値和（ＳＡＤ）を用いる。かかるマッチングの対象範囲は、図２５の「１３０」の例に示すように、認識対象領域３７０の輝度分布３８２の開始位置に相当する水平座標ＤＰＲ（ｉｍ，Ｔ）、および、テンプレートの２桁目の開始位置に相当する水平座標ＴＳ（Ｔ）から、テンプレートの２桁目の数値の水平方向の長さ分とする。ここでは、既に水平方向の位置合わせが行われているので、位置をずらしたマッチングによる最適値探索等の処理を行う必要は無く、処理負荷が大幅に低減される。

ただし、例えば、数値が２桁の場合と３桁の場合では、水平方向の長さ（数値の横幅）が異なるので、数値の横幅の違いがマッチングの結果に影響を及ぼすことがある。そこで、標識内容認識部１７２は、２桁目のＤＰマッチングの相関評価値ＴＭ（ｉｍ，Ｔ）に、桁数の多い数値の認識対象領域３７０の横幅と桁数の少ない数値の認識対象領域３７０の横幅との比に応じて、テンプレート毎に予め定められた正規化係数を乗じることとする。例えば、２桁の数値と３桁の数値の横幅の比が３：２であれば、標識内容認識部１７２は、「１００」〜「１３０」の２桁目の相関評価値ＴＭ（ｉｍ，Ｔ）を導出した後、さらに、その値に３／２を乗じた結果をＴＭ（ｉｍ，Ｔ）とする。こうして、桁数に拘わらず、適切な評価を行うことができる。

（評価値判定処理Ｓ３６０）
続いて、標識内容認識部１７２は、テンプレート毎に求められた相関評価値ＤＰ（ｉｍ，Ｔ）、２桁目の相関評価値ＴＭ（ｉｍ，Ｔ）を用い、以下の数式５、６を通じてテンプレート毎の総合評価値Ｅ（ｉｍ，Ｔ）を導出する。
総合評価値Ｅ（ｉｍ，Ｔ）＝ＤＰ（ｉｍ，Ｔ）×ＴＭ（ｉｍ，Ｔ）／Ｆ（ｉｍ）…（数式５）
Ｆ（ｉｍ）＝ｍａｘ（ｍｉｎ（ＴＭ（ｉｍ，Ｔ）），ｔｈ）…（数式６）
ここで、数値全体の相関はＤＰ（ｉｍ，Ｔ）で表現されるため、そのままの値を用い、２桁目の部分的な相関は他のテンプレートとの比較ＴＭ（ｉｍ，Ｔ）／Ｆ（ｉｍ）によって表現する。ここで、Ｆ（ｉｍ）は、相関評価値の最小値ｍｉｎ（ＴＭ（ｉｍ，Ｔ））であるが、ｍｉｎ（ＴＭ（ｉｍ，Ｔ））の値が小さくなりすぎると総合評価値Ｅ（ｉｍ，Ｔ）が発散するおそれがあるため、ｍｉｎ（ＴＭ（ｉｍ，Ｔ））が、所定の値ｔｈより小さくなると、Ｆ（ｉｍ）として値ｔｈを採用する。

図２６は、評価判定結果を説明するための説明図である。ここでは、破線が相関評価値ＤＰ（ｉｍ，Ｔ）を示し、一点鎖線が２桁目の相関評価値ＴＭ（ｉｍ，Ｔ）を示し、実線が総合評価値Ｅ（ｉｍ，Ｔ）を示している。図２６を参照すると、「１００」〜「１３０」について、数値の全ての桁でのマッチングでは本来の数値と他の数値との差が小さいが、２桁目のみのマッチングを加えることで、実際の数値である「１３０」のテンプレートとのマッチングの総合評価値Ｅ（ｉｍ，Ｔ）が最小（相関が最大）となっているのが理解できる。なお、図２６は説明の便宜のため、本来、計算が省略されるテンプレートも表示しており、また、「１５０」までのテンプレートを表示している。

このように、数値の全ての桁でのマッチングと、２桁目のみのマッチングとの２段階で行うことで、精度を向上するとともに、処理時間も削減可能となる。

（標識内容確定処理Ｓ２０６）
上記では、道路標識の内容が認識された。ただし、上述したように、道路標識を前方に確認可能な位置に到達した瞬間に道路標識を認識する必要は必ずしもなく、道路標識を通過した時点、もしくは、その後に認識できれば足りる。したがって、道路標識を複数のフレームに亘って認識し、その複数のフレームの情報から道路標識の内容を確定すればよい。そこで、標識内容確定部１７４は、このように１フレーム内で認識された道路標識の内容を時間方向に累積して確定する。

ここでは、道路標識の内容を確定するために、標識累積ポイント、制限速度候補、標識無検出時間、制限速度出力の４つの変数を用いる。ここで、標識累積ポイントは、道路標識の１または複数の候補それぞれに設けられ、標識内容認識処理Ｓ２０４における種々の評価値（Ｅ（ｉｍ，Ｔ）、ＤＰ（ｉｍ，Ｔ）、ＴＭ（ｉｍ，Ｔ））に応じたポイントを示す。制限速度候補は、制限速度の１の候補を示す。標識無検出時間は、いずれの道路標識も検出されていない連続時間を示す。制限速度出力は、制限速度候補のラッチに用いられる。制限速度候補によって制限速度出力が更新されると、かかる制限速度出力に値が保持されている間、その値を運転者に報知したり、車両制御装置１３０の制御入力として利用する。

標識内容確定部１７４は、標識内容認識部１７２が導出した、制限速度の確からしさを評価する種々の評価値（Ｅ（ｉｍ，Ｔ）、ＤＰ（ｉｍ，Ｔ）、ＴＭ（ｉｍ，Ｔ））を用い、以下の（１）〜（４）の条件に応じて標識累積ポイントを累積する。
（１）Ｅ（ｉｍ，Ｔ）<ＥＴＨＲ１ & ＤＰ（ｉｍ，Ｔ）<ＤＴＨＲ１ & ＴＭ（ｉｍ，Ｔ）<ＴＴＨＲ１であれば＋４ポイント
（２）（１）の条件を満たしておらず、かつ、Ｅ（ｉｍ，Ｔ）<ＥＴＨＲ２ & ＤＰ（ｉｍ，Ｔ）<ＤＴＨＲ２ & ＴＭ（ｉｍ，Ｔ）<ＴＴＨＲ２であれば＋２ポイント
ただし、ＥＴＨＲ１<ＥＴＨＲ２、ＤＴＨＲ１<ＤＴＨＲ２、ＴＴＨＲ１<ＴＴＨＲ２
（３）（１）の条件を満たしたテンプレートのうち、Ｅ（ｉｍ，Ｔ）の最小値ＥＭと、他の全てのテンプレートのＥ（ｉｍ，Ｔ）との差が所定値以上の場合、最小値ＥＭのテンプレートに＋２ポイント
（４）（１）の条件を満たしたテンプレートのうち、Ｅ（ｉｍ，Ｔ）の最小値ＥＭと、他の１以上のテンプレートのＥ（ｉｍ，Ｔ）との差が所定値（ＥＴＨＲ３）以内の場合、所定値以内となったテンプレート全てに＋１ポイント
このように、（１）、（２）の条件によって基本的なポイントを加算し、（３）、（４）の条件によって他のテンプレートとの比較に基づくポイントを加算する。

例えば、図２６の例において、（１）〜（４）の条件を、ＥＴＨＲ１＝８０、ＥＴＨＲ２＝１００、ＥＴＨＲ３＝５、ＤＴＨＲ１＝８０、ＤＴＨＲ２＝１００、ＴＴＨＲ１＝１００、ＴＴＨＲ２＝１５０とすると、（１）の条件に基づいて「１２０」、「１３０」が＋４ポイント、（２）の条件に基づいて「１００」、「１５０」が＋２ポイント、（３）の条件に基づいて「１３０」が＋２ポイントとなる。これを総合すると、「１３０」が６ポイント、「１２０」が４ポイント、「１００」、「１５０」が２ポイントとなり、他の数値は０ポイントとなる。なお、制限速度解除判定処理において制限速度を提示した道路標識と認識された場合は一律６ポイントとする。

標識内容確定部１７４は、このようにして求められた標識累計ポイントに基づいて、以下のように道路標識の内容を時間方向に累積して、最終的な出力を行う。

図２７は、道路標識の結果報知の流れを示したタイムチャートである。標識内容確定部１７４は、フレーム毎に、検出された道路標識の候補全てに対して、それぞれ常に標識累積ポイントを累積する。そして、標識内容確定部１７４は、今回フレームの標識累積ポイントと前回フレームの標識累積ポイントとを比較して、ポイントが変化していなければ、図２７（１）に示すように、今回フレームでは道路標識が検出されなかったとして標識無検出時間をインクリメントする。また、ポイントが変化していれば、図２７（２）に示すように、今回フレームでは道路標識が検出されたとして標識無検出時間を０にリセットする。

また、今回フレームで道路標識が検出されれば、標識内容確定部１７４は、図２７（３）に示すように、複数の道路標識候補から標識累積ポイントが大きい上位から２つの道路標識候補の標識累計ポイントと、それぞれ認識された制限速度とを抽出する。この時点で、制限速度出力が新たに更新されることが確定するので、現在維持されている制限速度出力をリセットする。したがって、制限速度の報知は行われない。こうして前回の速度制限を不要に報知し続けるのを回避できる。

標識内容確定部１７４は、標識累積ポイントの最大値が所定値（例えば８ポイント）を超えている場合、２番目に大きい標識累積ポイントとの差が所定値（例えば４ポイント）以上であれば、図２７（４）に示すように、標識累積ポイントが最大値となっている道路標識の制限速度（例えば４０）で、制限速度候補を更新する（出力候補として確定する）。こうして制限速度の候補が抽出される。所定値未満であれば、制限速度候補を「不定」に更新する。また、標識累積ポイントの最大値が所定値以下の場合、制限速度候補は更新しない。したがって、制限速度候補は「候補なし」を維持する。

そして、標識累積ポイントの変化がなくなった（道路標識を通過した）後、標識無検出時間が出力設定時間（例えば３秒）経過すると、図２７（５）に示すように、標識内容確定部１７４は、制限速度候補が存在するか否か判定する。そして、制限速度候補が存在すれば、その制限速度候補（例えば４０）で制限速度出力を更新し、制限速度の報知が再開する。こうして、道路標識の内容のノイズ的な入力を排除することができる。

続いて、標識累積ポイントの変化がなくなった後、標識無検出時間が出力設定時間より長いリセット時間（例えば５秒）経過すると、図２７（６）に示すように、標識内容確定部１７４は、次の道路標識の準備として、標識累積ポイントと制限速度候補をリセットする。こうして、新たな道路標識の認識のための準備を行う。

続いて、標識累積ポイントの変化がなくなった後、標識無検出時間が報知上限時間（例えば１０分）経過すると、図２７（７）に示すように、標識内容確定部１７４は、制限速度出力をリセットする。こうして前回の速度制限を不要に報知し続けるのを回避できる。

また、標識内容確定部１７４は、自車両１が左折中または右折中である（例えば舵角の絶対値が３６０度を超えている）と判断されると、標識累積ポイント、制限速度候補、制限速度出力を全てリセットする。これは、自車両１が左折または右折すると、走行する道路が変わるので、それまでに走行していた道路の制限速度が適用されなくなるからである。

このように構成することで、標識内容確定部１７４は、道路標識を通過してから３秒後に制限速度を報知し、１０分経過、右左折、または、他の道路標識を検出するまで制限速度を維持することができる。また、道路標識の内容のノイズ的な入力を排除し、道路標識の内容の特定精度を高めることが可能となる。

また、より実用性を上げるために以下の処理を付加的に行うこともできる。例えば、車両のレーンが複数ある場合に、ゲートに配置された道路標識では、レーン毎に制限速度が異なることがある。本実施形態では、認識する道路標識の数を３つ以内に制限しているので、このようにレーン毎に制限速度が異なる場合、異なる道路標識それぞれの標識累積ポイントが存在することになる。仮にそれぞれの道路標識で正しい制限速度のみが累積されたとすると、いずれの制限速度も標識累積ポイントが例えば６ポイントとなる。そうすると、適切にポイントが累積されているにも拘わらず、上記の判定では制限速度候補が「不定」に更新されてしまう。

そこで、本実施形態では、標識内容確定部１７４は、標識累計ポイントが有意な値である道路標識の候補が１フレームにおいて一度に複数あった場合、それぞれの水平距離ｘを導出し、いずれか１の道路標識の水平距離ｘが閾値（例えば３ｍ）未満であり、他の道路標識が閾値以上であれば、１の道路標識に１ポイント加算し、他の道路標識は１ポイント減算する。こうして、自車両１に最も近い道路標識の制限速度を優先的に制限速度候補とすることができる。

（国毎の道路標識の違い）
図２８は、国別の道路標識の表示態様を示した説明図である。図２８（ａ）のドイツの制限速度を提示した道路標識と、図２８（ｂ）のスイスの制限速度を提示した道路標識とを比較して理解できるように、制限速度を提示した道路標識は国により数値の大きさ、形状、数値間の距離が異なる場合がある。また、図２８（ｃ）のドイツの制限速度の解除を提示した道路標識と、図２８（ｄ）のイタリアの制限速度の解除を提示した道路標識とを比較して理解できるように、斜線の角度が異なる場合がある。

そこで、標識内容確定部１７４は、上記のように道路標識の内容を時間方向に累積して確定するのと並行して、制限速度候補がいずれの国の道路標識であるかを判定する。そして、現在走行している国を正しく把握し、その国のテンプレートを用いて制限速度等を適切に認識する。

図２９は道路標識のテンプレートを説明するための説明図である。国判定処理は、基本的に、各国毎のテンプレートを用いて実行する。したがって、図２９のように各国（Ａ国〜Ｚ国）毎と各制限速度（「１０」〜「１５０」）毎の二次元に配列されたテンプレートが準備される。なお、制限速度の解除を提示した道路標識については、テンプレートの代わりに斜線の角度情報を保持する。また、標識検出処理Ｓ２０２における半径ｎや標識内容認識処理Ｓ２０４におけるＮ値化の閾値（所定％）等の情報も国別に保持されている。

ここで、当該車外環境認識システム１００がナビゲーションシステムと連動している場合、そのナビゲーションシステムから得られる現在国情報によりテンプレートを切り替えればよいが、ナビゲーションシステムと連動していない場合、以下のような手順により、国判定を行う。

なお、国判定処理は、リアルタイム性の要求が低いため、認識対象領域の画像を１度取得すると、それをテンポラリーの画像メモリに一時的に保持し、フレーム毎の車外環境認識処理終了後の空き時間で、フレームを跨いで処理を遂行する。また、ここでは、国を判定するために、変数として、国の１または複数の候補それぞれに設けられる国別累計ポイントを用いる。標識内容確定部１７４は、所定のタイミングで、テンポラリーの画像メモリ領域、および、国別累積ポイントを初期化する。

国判定処理において、標識内容確定部１７４は、今回フレームで、既に国判定処理が実行されているか否か判定する。その結果、既に国判定処理が実行されていれば、その処理を継続し、前回の国判定処理が完了していれば、新たに国判定処理を開始する。かかる国判定処理は、上記のように、空き時間で行われるため、処理の途中でフレームの規定処理時間に到達した場合は処理を一時停止し、次回フレームで続きを行う。

そして、標識内容確定部１７４は、今回フレームの上述した標識内容確定処理Ｓ２０６において、道路標識の１または複数の候補において、１の制限速度（複数の道路標識で同じ場合も含む）のみが標識累計ポイントを得ているか否か判定する。その結果、道路標識が検出されなかったり、複数の道路標識で複数の制限速度についてポイントが得られている等、１の道路標識の制限速度のみが標識累計ポイントを得ていない場合、今回フレームの処理を終了し、次回フレームで当該標識累計ポイントの判定を繰り返す。

続いて、標識内容確定部１７４は、１の制限速度のみが標識累計ポイントを得ている場合、その制限速度の認識結果を制限速度Ｖとし、認識対象領域３７０の画像をテンポラリーの画像メモリに記憶する。ここで、候補となっている複数の道路標識全てについて制限速度Ｖが標識累計ポイントを得ている場合、総合評価値Ｅ（ｉｍ，Ｖ）が一番低い（相関が最大となる）候補の認識対象領域３７０の画像を記憶する。ここで記憶する画像は標識検出処理Ｓ２０２の終了後の水平所定画素×垂直所定画素の矩形に正規化された占有領域３４６である。

次に、標識内容確定部１７４は、画像メモリに記憶された占有領域の画像に基づき、各国の制限速度Ｖのテンプレートに対して標識内容認識処理Ｓ２０４を実行する。すなわち、上述した標識内容認識処理Ｓ２０４では、図２９のテンプレートにおいて破線で示すように、１の国に関する各制限速度Ｔのテンプレートを用いていたところ、ここでは、図２９のテンプレートにおいて実線で示すように、１の制限速度Ｖに関する各国のテンプレートを用いることとなる。したがって、国の識別子をＣＮ、制限速度をＶとした場合、総合評価値Ｅ（ｉｍ，Ｔ）の代わりに、総合評価値Ｅ（ＣＮ，Ｖ）を導出することとなる。かかる処理でテンプレートとして準備している国分の評価値Ｅ（ＣＮ、Ｖ）を得ることができる。

ただし、本実施形態においては、現在認識している国とその他の評価値Ｅ（ＣＮ，Ｖ）に対して重み付けを異ならせる。例えば、標識内容確定部１７４は、現在認識している国の評価値Ｅ（ＣＮ，Ｖ）にのみ重み付け係数（例えば１以下の０．８）を乗じる。これは、現在認識している国の評価値Ｅ（ＣＮ，Ｖ）を相対的に低くし（相関を大きくし）国判定の結果に、ハンチングが生じないようにするためである。また、現在認識している国に隣接する国を把握している場合、その隣接している国にも重み付け係数（例えば０．８以上１以下の０．９５）を乗じるとしてもよい。

標識内容確定部１７４は、このようにして導出された全ての国に関する評価値Ｅ（ＣＮ，Ｖ）を比較して最小値ＥＣＭを導出する。そして、最小値ＥＣＭと他の全てのテンプレートの評価値Ｅ（ＣＮ，Ｖ）との差が所定値以上となれば、最小値ＥＣＭのテンプレートの国別累計ポイントに＋１を加算する。

続いて、標識内容確定部１７４は、国別累計ポイントの最大値と、他の全ての国別累計ポイントとを比較し、その差が所定値（例えば３０）以上あれば、最大値となった国が現在認識している国と等しいか否か判定する。その結果、最大値となった国と現在認識している国とが等しければ、全ての国別累計ポイントに１／２を乗じ、公正な判断のため全体的な標識累計ポイントを下げる。また、最大値となった国と現在認識している国とが異なっていれば、走行している国が変わったと判定して、現在認識している国を最大値となった国に更新し、テンポラリーの画像メモリ領域、および、国別累積ポイントを初期化する。また、国別累計ポイントの最大値と、他の全ての国別累計ポイントとの差が所定値未満であれば、テンポラリーの画像メモリ領域を初期化して、次回フレームで当該標識累計ポイントの判定を繰り返す。

このように、現在走行している国を適切に判定することで、道路標識の内容の特定精度を高めることができる。また、以上の国判定処理を、１の国の道路標識の認識処理のアンダーグラウンドで実行することで、処理負荷の増大を抑制することが可能となる。

以上、説明したように、本実施形態の車外環境認識装置１２０では、処理負荷の増大を抑制しつつ、道路標識の内容の認識精度を向上することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、路上に設置された道路標識の内容を認識する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１６０ 画像取得部
１６２ 位置情報導出部
１６４ 特徴点特定部
１６６ 投票部
１６８ 標識特定部
１７０ 標識補正部
１７２ 標識内容認識部
１７４ 標識内容確定部

Claims (3)

1. 画像を取得する画像取得部と、
   前記画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、
   前記特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、Ｍ次元の投票テーブルに投票する投票部と、
   得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、
   特定された前記道路標識の内容を認識する標識内容認識部と、
   を備え、
   前記投票部は、
   前記Ｍ次元の投票テーブルに投票すると、該投票テーブルより次元数の小さいフラグテーブルにおける、該投票テーブルの点に対応するフラグをＯＮし、
   投票の完了後、前記投票テーブルにおける、前記フラグテーブルのフラグのＯＮに対応する点のみ得票数を初期化し、
   前記フラグをＯＦＦすることを特徴とする車外環境認識装置。
2. 画像を取得する画像取得部と、
   前記画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、
   前記特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、少なくとも水平画素数×垂直画素数で示される（Ｍ−１）次元の投票テーブル、および、少なくとも水平画素数を圧縮した値×垂直画素数を圧縮した値×半径の取り得る値で示されるＭ次元の投票テーブルのいずれにも投票する投票部と、
   得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、
   特定された前記道路標識の内容を認識する標識内容認識部と、
   を備え、
   前記投票部は、
   前記Ｍ次元の投票テーブルに投票すると、該Ｍ次元の投票テーブルより次元数の小さいフラグテーブルにおける、該Ｍ次元の投票テーブルの点に対応するフラグをＯＮし、
   投票の完了後、前記Ｍ次元の投票テーブルにおける、前記フラグテーブルのフラグのＯＮに対応する点のみの得票数を初期化し、
   前記フラグをＯＦＦすることを特徴とする車外環境認識装置。
3. 画像を取得する画像取得部と、
   前記画像を用い、道路標識の円周の部分部位となり得る画素を特徴点として特定する特徴点特定部と、
   前記特徴点から所定の距離離隔した円周上の点およびその半径に基づいて、少なくとも水平画素数×垂直画素数で示される（Ｍ−１）次元の投票テーブル、および、少なくとも水平画素数を圧縮した値×垂直画素数を圧縮した値×半径の取り得る値で示されるＭ次元の投票テーブルのいずれにも投票する投票部と、
   得票数が多い画素を中心とする円を道路標識として特定する標識特定部と、
   特定された前記道路標識の内容を認識する標識内容認識部と、
   を備え、
   前記投票部は、投票の完了後、前記Ｍ次元の投票テーブルの水平画素数を圧縮した値×垂直画素数を圧縮した値に対応する前記（Ｍ−１）次元の投票テーブルの点に投票が為されていると、前記Ｍ次元の投票テーブルにおける、該投票が為された点に対応する点のみの得票数を初期化することを特徴とする車外環境認識装置。

Images