WO2020066303A1

WO2020066303A1 - 道路標識認識装置

Info

Publication number: WO2020066303A1
Application number: PCT/JP2019/030824
Authority: WO
Inventors: 遠藤　健; 永崎　健
Original assignee: 日立オートモティブシステムズ株式会社
Priority date: 2018-09-27
Filing date: 2019-08-06
Publication date: 2020-04-02
Also published as: JP7179557B2; CN112740293A; CN112740293B; EP3859707A1; JP2020052849A; EP3859707A4

Abstract

道路標識の認識結果から車両の制御内容を正しく決定する。道路標識認識装置１０は、画像を取得する画像取得部１０１と、画像取得部１０１が取得した画像から道路標識を認識する道路標識認識部１０２と、複数の道路標識の組み合わせに関する道路標識情報を格納する道路標識データ記録部１０３と、自車両の制御に利用する車両制御情報を決定する車両制御情報確定部１０４とを備える。車両制御情報確定部１０４は、道路標識認識部１０２による道路標識の認識結果と、道路標識データ記録部１０３に格納された道路標識情報とに基づいて、車両制御情報を決定する。

Description

道路標識認識装置

　本発明は、道路標識認識装置に関する。

　自動運転の実現や交通事故の防止のために、走行中の車両において道路標識を認識し、その認識結果を車両の制御に利用する道路標識認識技術に大きな関心が寄せられている。
道路標識には、車両に対する様々な規制内容を示す本標識と、本標識の規制内容が適用される条件など、本標識に対する補足情報を示す補助標識とを組み合わせたものがある。このように本標識と補助標識とを組み合わせた道路標識を認識して車両の制御を行う場合、補助標識の認識結果に基づいて、車両に対する本標識の規制内容の有効性判断を行うことが重要である。

　本標識と補助標識とを組み合わせた道路標識の認識に関して、例えば特許文献１には、本標識と補助標識が示す有効範囲条件を予め格納している標識有効範囲データ記録部と、車両前方を撮像した画像を用いて、本標識と補助標識を認識する標識認識部と、当該車両の情報、地図情報、及び前記標識有効範囲データ記録部内の有効範囲条件を用いて、当該車両が、前記標識認識部で認識した本標識と補助標識で指定された有効範囲にいるか否かを判定する標識有効範囲判定部とを備えた標識認識装置が開示されている。

特開２０１０－２８２２７８号公報

　特許文献１の標識認識装置では、車両が道路標識の有効範囲にいるか否かを正しく判定する前提として、道路標識を正確に認識できている必要がある。しかしながら、補助標識は通常、本標識に比べて文字や絵柄が小さく、誤認識を生じやすい。したがって、特許文献１の標識認識装置を車両の制御に利用する場合、道路標識の認識結果から制御内容を正しく決定するのが困難であるという課題がある。

　本発明は、このような課題に鑑み、道路標識の認識結果から車両の制御内容を正しく決定する技術の提供を目的とする。

　本発明による道路標識認識装置は、画像を取得する画像取得部と、前記画像取得部が取得した前記画像から道路標識を認識する道路標識認識部と、複数の道路標識の組み合わせに関する道路標識情報を格納する道路標識データ記録部と、自車両の制御に利用する車両制御情報を決定する車両制御情報確定部と、を備え、前記車両制御情報確定部は、前記道路標識認識部による道路標識の認識結果と、前記道路標識データ記録部に格納された前記道路標識情報とに基づいて、前記車両制御情報を決定する。

　本発明によれば、道路標識の認識結果から車両の制御内容を正しく決定することができる。

本発明の第１の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。本発明の第１の実施形態に係る道路標識認識装置の動作を説明するためのシーンを示す図である。本発明の第１の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第１の実施形態における道路標識情報の例を示す図である。本発明の第１の実施形態における補助標識の認識結果の例を示す図である。本発明の第２の実施形態における道路標識情報の例を示す図である。本発明の第３の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第４の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第５の実施形態に係る道路標識認識装置の動作を説明するためのシーンを示す図である。本発明の第５の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第５の実施形態における道路標識情報の例を示す図である。本発明の第６の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。本発明の第６の実施形態に係る道路標識認識装置の動作を説明するためのシーンを示す図である。本発明の第６の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第６の実施形態における道路標識情報の例を示す図である。本発明の第６の実施形態における補助標識の認識結果の例を示す図である。本発明の第７の実施形態に係る道路標識認識装置の動作を説明するためのシーンを示す図である。本発明の第７の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第７の実施形態における道路標識情報の例を示す図である。本発明の第８の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。本発明の第８の実施形態に係る道路標識認識装置の動作を説明するためのシーンを示す図である。本発明の第８の実施形態に係る道路標識認識装置の処理の流れを示すフローチャートである。本発明の第８の実施形態における書き換え前の道路標識情報の例を示す図である。本発明の第８の実施形態における補助標識の認識結果の例を示す図である。本発明の第８の実施形態における書き換え後の道路標識情報の例を示す図である。

　以下に、本発明の実施形態について詳細に説明する。

［第１の実施形態］
　図１は、本発明の第１の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。図１に示すように、本実施形態の道路標識認識装置１０は、撮像装置２０および車両制御装置３０と接続されており、画像取得部１０１、道路標識認識部１０２、道路標識データ記録部１０３、および車両制御情報確定部１０４を備える。道路標識認識装置１０は、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、道路標識認識装置１０が有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

　撮像装置２０は、車両に搭載されたカメラであり、当該車両の周囲、例えば前方の風景を撮像する。以下では、撮像装置２０が搭載されている車両を「自車両」と称する。撮像装置２０は、例えば所定のフレームレートごとに、撮像した画像を道路標識認識装置１０に出力する。撮像装置２０から出力された画像は、道路標識認識装置１０において画像取得部１０１に入力される。

　画像取得部１０１は、撮像装置２０の動作を制御することで、撮像装置２０で撮像された画像を取得して道路標識認識部１０２に出力する。画像取得部１０１は、例えば直前の画像から撮像時の明るさを制御するカメラ制御値を算出し、次回の撮像時までに撮像装置２０に対して指示する。カメラ制御値には、撮像装置２０の露光時間、アナログゲイン値、レンズのＦ値等が該当する。画像取得部１０１は、例えば画像中の路面や空領域の明るさを基準にカメラ制御値を算出できる。

　道路標識認識部１０２は、画像取得部１０１が取得した画像から道路標識を認識し、その認識結果を車両制御情報確定部１０４に出力する。道路標識認識部１０２は、本標識と補助標識を組み合わせた道路標識など、様々な種類の道路標識を認識可能である。道路標識認識部１０２が認識対象とする本標識には、例えば看板式の本標識、電光式の本標識、バックライトにより照らされる内部照明式の本標識などがある。また、道路標識認識部１０２が認識対象とする補助標識には、例えば看板式の補助標識、電光式の補助標識などがある。なお、補助標識が組み合わされずに本標識のみで構成される道路標識を道路標識認識部１０２の認識対象に含めてもよいが、以下では、本標識と補助標識を組み合わせた道路標識を道路標識認識部１０２が認識する場合について説明する。

　道路標識認識部１０２が画像から道路標識を認識する際には、周知の様々な処理手法を利用可能である。例えば、ハフ変換やＭＳＥＲ（Maximally Stable Extremal Regions）等を実施することで、画像中に円形状物体や矩形形状物体を含む候補領域を特定し、その後、特定した候補領域に対して認識処理を実施する方法がある。認識処理としては、例えば、認識対象の道路標識のテンプレート画像を用いたテンプレートマッチング処理を行い、相関性の最も高いテンプレート画像に紐付いた道路標識の種別を認識結果として取得することができる。また、道路標識を撮影した多数の画像に基づく機械学習を用いた統計的な方法により、道路標識の種別毎の認識スコアを取得し、最もスコア値が高い種別を認識結果として取得してもよい。これ以外にも、適切な認識結果が得られるのであれば、任意の処理手法を用いて画像から道路標識を認識することが可能である。

　ここで、補助標識は単独で道路標識として設置されることがないため、道路標識認識部１０２は、本標識を検出した後に補助標識を検出してもよい。具体的には、画像中で本標識と認識された領域の周辺部分のみを対象として、矩形形状物体を含む候補領域を特定し、その候補領域に対して、テンプレートマッチング処理や機械学習を用いた統計的な方法により、補助標識の認識処理を実施してもよい。

　なお、道路標識認識部１０２は、道路標識の認識処理を行う際に、道路標識データ記録部１０３に格納された後述の道路標識情報を参照することで、認識対象とする道路標識の種類を限定してもよい。具体的には、テンプレートマッチングに用いるテンプレート画像数を限定し、認識処理を実施することができる。

　道路標識データ記録部１０３には、自車両が走行する道路に対して設置される様々な道路標識に関する道路標識情報が格納されている。この道路標識情報は、例えば、道路標識において取り得る本標識と補助標識の様々な組み合わせを示す情報や、組み合わせごとの出現頻度を示す情報、本標識ごとの補助標識の併設されやすさを示す情報等を含む。道路標識データ記録部１０３に格納された道路標識情報は、道路標識認識部１０２や車両制御情報確定部１０４により参照され、これらが実施する処理において利用される。

　車両制御情報確定部１０４は、道路標識認識部１０２による道路標識の認識結果と、道路標識データ記録部１０３に格納された道路標識情報とに基づいて、自車両の制御に利用する車両制御情報を決定する。具体的には、例えば車両制御情報確定部１０４は、道路標識認識部１０２による本標識および補助標識の認識結果と、道路標識データ記録部１０３に格納された道路標識情報が表す本標識と補助標識との関係性から、補助標識の種別を特定し、その補助標識の種別に応じて車両制御情報を決定する。これにより、補助標識の種別を正確に特定して車両制御情報を決定できるようにしている。車両制御情報確定部１０４により決定された車両制御情報は、道路標識認識装置１０から車両制御装置３０に出力される。なお、車両制御情報確定部１０４による車両制御情報の決定方法の詳細については後述する。

　車両制御装置３０は、道路標識認識装置１０から出力された車両制御情報に基づいて、自車両の制御を実施する。例えば、自車両に対して適用される規制内容を自車両に設置されたディスプレイに表示してドライバに提示したり、自車両の走行速度を制御したりすることができる。

　次に、以上説明した本実施形態の道路標識認識装置１０の動作について、図２に示すシーンにおける動作を例として説明する。図２は、自車両がトラックであり、本標識と補助標識を組み合わせた道路標識が自車両の前方に設置されているシーンを示している。図２において、本標識Ｔ１０１は最高速度制限が時速５０ｋｍであることを表す標識であり、補助標識Ｔ１０２はトラックが規制対象車両であることを表す標識である。以下では、本標識Ｔ１０１の種別を「最高速度５０ｋｍ標識」と称し、補助標識Ｔ１０２の種別を「トラック標識」と称する。これらの標識の組み合わせにより、トラックである自車両の最高速度は時速５０ｋｍに制限されることが分かる。

　図３は、本発明の第１の実施形態に係る道路標識認識装置１０の処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０は、例えばＣＰＵ等の演算装置により、図３のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図３のフローチャートに従って、図２のシーンにおける道路標識認識装置１０の具体的な動作例を説明する。

　ステップＳ１０１では、画像取得部１０１により、撮像装置２０から自車両の周囲を撮像した画像を取得する。ここでは、図２に示すシーンを撮像装置２０が撮像することで得られた、本標識Ｔ１０１の像および補助標識Ｔ１０２の像を含む画像を、以降の処理対象の画像として取得する。

　ステップＳ１０２～Ｓ１０５では、道路標識認識部１０２により、ステップＳ１０１で取得した画像から道路標識を認識する処理を行う。この処理では、初めに本標識の認識処理をステップＳ１０２、Ｓ１０３において行い、その後に補助標識の認識処理をステップＳ１０４、Ｓ１０５において行う。

　ステップＳ１０２では、円検出処理を実施する。この円検出処理では、ステップＳ１０１で取得した画像の中で、本標識の形状に相当する円形状の領域を検出し、その領域を本標識の候補領域とする。これにより、図２の本標識Ｔ１０１に対応する円形状の候補領域が画像中において検出される。

　ステップＳ１０３では、ステップＳ１０２の円検出処理の結果に基づいて、本標識認識処理を実施する。この本標識認識処理では、ステップＳ１０２で検出した本標識の候補領域を含む画像領域に対して前述のような認識処理を実施し、本標識を検出するとともにその種別を特定する。これにより、図２の本標識Ｔ１０１が画像中で検出され、その種別が最高速度５０ｋｍ標識として特定される。

　ステップＳ１０４では、矩形検出処理を実施する。この矩形検出処理では、ステップＳ１０３で本標識が検出された領域の周辺にある画像領域、例えば本標識が検出された領域の下に位置する所定範囲の画像領域の中で、補助標識の形状に相当する矩形形状の領域を検出し、その領域を補助標識の候補領域とする。これにより、図２の補助標識Ｔ１０２に対応する矩形形状の候補領域が画像中において検出される。

　ステップＳ１０５では、ステップＳ１０４の矩形検出処理の結果に基づいて、補助標識認識処理を実施する。この補助標識認識処理では、ステップＳ１０４で検出した補助標識の候補領域を含む画像領域に対して前述のような認識処理を実施し、補助標識を検出するとともに、当該補助標識の認識スコアを算出する。認識スコアとは、検出した補助標識の画像認識結果に対する種別ごとの確度、すなわち当該補助標識に対する種別ごとの認識の精度を示す情報である。これにより、図２の補助標識Ｔ１０２が画像中で検出され、種別ごとの認識スコアが算出される。ただし、この時点では補助標識Ｔ１０２の種別は特定されない。

　ステップＳ１０６では、車両制御情報確定部１０４により、ステップＳ１０３の認識結果に基づく道路標識情報を道路標識データ記録部１０３から取得する。この処理では、道路標識データ記録部１０３に格納されている道路標識情報のうち、ステップＳ１０３で特定した本標識の種別に対応する道路標識情報を読み出す。

　図４は、本発明の第１の実施形態において道路標識データ記録部１０３に格納された道路標識情報Ｔ１１１の例を示す図である。図４に示す道路標識情報Ｔ１１１では、様々な種別の本標識について、その種別ごとに本標識と補助標識の組み合わせを示す情報が記載されている。具体的には、図４の道路標識情報Ｔ１１１には、最高速度５０ｋｍ標識に対応する組み合わせ情報Ｔ１１２と、駐車禁止標識に対応する組み合わせ情報Ｔ１１３とが含まれている。これらの組み合わせ情報Ｔ１１２、Ｔ１１３の右端の列には、様々な種別の補助標識Ｔ１１４～Ｔ１１７に対する組み合わせの可否がそれぞれ記載されている。なお、補助標識Ｔ１１４は本標識の規制が開始される位置を表す標識であり、補助標識Ｔ１１５～Ｔ１１７は規制対象車両の種類をそれぞれ表す標識である。具体的には、補助標識Ｔ１１５はトラック、補助標識Ｔ１１６は乗用車、補助標識Ｔ１１７は牽引車両がそれぞれ規制対象車両であることを表している。以下では、補助標識Ｔ１１４の種別を「始まり標識」、補助標識Ｔ１１６の種別を「乗用車標識」、補助標識Ｔ１１７の種別を「牽引車両標識」とそれぞれ称する。

　図４の道路標識情報Ｔ１１１において、組み合わせ情報Ｔ１１２は、最高速度５０ｋｍ標識は始まり標識やトラック標識と併設される可能性があり、乗用車標識や牽引車両標識とは併設されないことを表している。一方、組み合わせ情報Ｔ１１３は、駐車禁止標識は始まり標識、トラック標識、乗用車標識、牽引車両標識とそれぞれ併設される可能性があることを表している。

　なお、図４に示した道路標識情報Ｔ１１１は一例であり、道路標識データ記録部１０３に格納される道路標識情報の内容はこれに限定されない。例えば、道路標識情報に記載される本標識の種別や補助標識の種別を図４の例よりもさらに増加させて、道路標識データ記録部１０３に格納してもよい。

　以降の説明では、ステップＳ１０３の本標識認識処理において、前述のように図２のシーンに対して本標識Ｔ１０１の種別が最高速度５０ｋｍ標識であるとの認識結果が得られているものとする。そのため、ステップＳ１０６の道路標識情報取得処理において、車両制御情報確定部１０４は、道路標識データ記録部１０３に格納されている道路標識情報Ｔ１１１のうち、最高速度５０ｋｍ標識に関する補助標識の組み合わせ情報Ｔ１１２を取得する。

　図３の説明に戻ると、ステップＳ１０７では、車両制御情報確定部１０４により、ステップＳ１０３、Ｓ１０５でそれぞれ得られた本標識および補助標識の認識結果と、ステップＳ１０６で取得した道路標識情報とに基づいて、自車両の制御内容を決定する。この処理では、ステップＳ１０５で得られた補助標識の認識結果と、ステップＳ１０６で取得した道路標識情報とを照合することで、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ１０３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　図５は、本実施形態の道路標識認識装置１０においてステップＳ１０５で得られた補助標識Ｔ１０２の認識結果Ｔ１２１の例を示す図である。図５に示す認識結果Ｔ１２１において、横軸は補助標識の種別を示しており、縦軸は各種別に対する認識スコアを示している。ここでは、認識スコアが高いほど認識の確度が高いことを表している。図５の認識結果Ｔ１２１では、補助標識Ｔ１０２に対して、乗用車標識、トラック標識、始まり標識、牽引車両標識の順に高い認識スコアが得られたことを示している。すなわち、図２に示したように実際にはトラック標識である補助標識Ｔ１０２に対して、乗用車標識の認識スコアが最も高くなっている。

　ステップＳ１０７の車両制御内容決定処理において、車両制御情報確定部１０４は、ステップＳ１０６で取得した組み合わせ情報Ｔ１１２に記載された組み合わせ条件を満たす補助標識の種別のうち、認識結果Ｔ１２１において最も認識スコアの高い補助標識の種別を、補助標識Ｔ１０２の種別として特定する。具体的には、図５の認識結果Ｔ１２１において最も認識スコアが高い乗用車標識は、図４の組み合わせ情報Ｔ１１２では組み合わせ条件が「×」となっており、最高速度５０ｋｍ標識に併設されることが無いことを表している。そのため、補助標識Ｔ１０２が乗用車標識である可能性は無いと判断し、乗用車標識を補助標識Ｔ１０２の種別から除外する。一方、認識結果Ｔ１２１において２番目に認識スコアが高いトラック標識は、図４の組み合わせ情報Ｔ１１２では組み合わせ条件が「〇」となっており、最高速度５０ｋｍ標識に併設され得ることを表している。そのため、トラック標識を補助標識Ｔ１０２の種別として特定する。その結果、補助標識Ｔ１０２に対して正しい認識結果が得られる。

　ステップＳ１０７で自車両の制御内容を決定できたら、車両制御情報確定部１０４は、その制御内容に応じた車両制御情報を生成し、車両制御装置３０に出力する。その後、図３のフローチャートに示す処理を終了する。

　以上説明したように、本実施形態の道路標識認識装置１０では、絵柄や文字等が小さく画像認識だけでは認識困難な補助標識に対して、本標識との組み合わせ情報という他の情報を活用して、その種別を特定するようにしている。そのため、誤認識を低減して認識性能を向上させることができる。

　また、絵柄や文字等が大きく認識が容易な本標識の認識結果から、補助標識の種別を特定する際に利用する組み合わせ情報を選択している。そのため、道路標識データ記録部１０３に格納された道路標識情報の中から、最適な組み合わせ情報を正しく取得することができる。

　以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）道路標識認識装置１０は、画像を取得する画像取得部１０１と、画像取得部１０１が取得した画像から道路標識を認識する道路標識認識部１０２と、複数の道路標識の組み合わせに関する道路標識情報Ｔ１１１を格納する道路標識データ記録部１０３と、自車両の制御に利用する車両制御情報を決定する車両制御情報確定部１０４とを備える。車両制御情報確定部１０４は、道路標識認識部１０２による道路標識の認識結果と、道路標識データ記録部１０３に格納された道路標識情報Ｔ１１１とに基づいて、車両制御情報を決定する（ステップＳ１０７）。このようにしたので、道路標識の認識結果から自車両の制御内容を正しく決定することができる。

（２）道路標識情報Ｔ１１１は、本標識と補助標識の組み合わせに関する情報である組み合わせ情報Ｔ１１２、Ｔ１１３を含む。このようにしたので、本標識の認識結果から、その本標識と組み合わせて用いられる補助標識を確実に特定して自車両の制御内容を決定することができる。

（３）車両制御情報確定部１０４は、道路標識認識部１０２による本標識Ｔ１０１の認識結果に基づき、道路標識データ記録部１０３から当該本標識Ｔ１０１に対応する組み合わせ情報Ｔ１１２を取得する（ステップＳ１０６）。ステップＳ１０７では、ステップＳ１０６で取得した組み合わせ情報Ｔ１１２およびステップＳ１０５での道路標識認識部１０２による補助標識Ｔ１０２の認識結果に基づいて、車両制御情報の決定に利用する補助標識Ｔ１０２の種別を特定する。このようにしたので、絵柄や文字等が小さく画像認識だけでは認識困難な補助標識に対しても、その補助標識の種別を正確に特定し、車両制御情報の決定に利用することができる。

［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、道路標識データ記録部１０３に格納された道路標識情報における組み合わせ情報が、本標識の種別ごとに補助標識との組み合わせの可否を表現する２値である場合の例を説明した。これに対して、本発明の第２の実施形態では、道路標識データ記録部１０３に格納される道路標識情報における組み合わせ情報を、本標識の種別ごとに補助標識との出現頻度を表現する連続値とした例を以下に説明する。

　なお、本実施形態に係る道路標識認識装置１０の構成は、第１の実施形態において図１で説明したのと同様であるため、以下では説明を省略する。また、本実施形態に係る道路標識認識装置１０の処理の流れは、第１の実施形態において図３で説明したのと同様であり、ステップＳ１０７の処理内容の一部のみが異なる。したがって以下では、本実施形態に係る道路標識認識装置１０が実施する処理のうち、第１の実施形態と重複する部分の説明を省略する。

　図６は、本発明の第２の実施形態において道路標識データ記録部１０３に格納された道路標識情報Ｔ１３１の例を示す図である。図６の道路標識情報Ｔ１３１における組み合わせ情報Ｔ１３２、Ｔ１３３では、図４に示した第１の実施形態の道路標識情報Ｔ１１１における組み合わせ情報Ｔ１１２、Ｔ１１３と比べて、右端の列に記載された内容が異なっている。具体的には、組み合わせ情報Ｔ１３２、Ｔ１３３には、右端の列において、図４のような補助標識の種別ごとの組み合わせの可否ではなく、補助標識の種別ごとの出現頻度が記載されている。すなわち、この出現頻度の値が大きいほど、対応する本標識に対して当該補助標識が併設される可能性が高いことを表している。

　図６に示した道路標識情報Ｔ１３１を用いた場合、図３のステップＳ１０６において、車両制御情報確定部１０４は、道路標識情報Ｔ１３１のうち、最高速度５０ｋｍ標識に関する補助標識の組み合わせ情報Ｔ１３２を取得する。続くステップＳ１０７において、車両制御情報確定部１０４は、ステップＳ１０５で得られた図５の認識結果Ｔ１２１における認識スコアの値と、ステップＳ１０６で取得した組み合わせ情報Ｔ１３２における出現頻度の値との積を、補助標識の種別ごとに算出する。そして、算出した積の値が最も高い補助標識の種別を、補助標識Ｔ１０２の種別として特定する。具体的には、例えば乗用車標識の場合、認識スコアが０．５であり、出現頻度が０．１であるため、これらの積の値は０．０５と算出される。同様の計算を実施することで、トラック標識、始まり標識、牽引車両標識の積の値は、それぞれ０．１４、０．０５、０．００と算出される。そのため、積の値が最も高いトラック標識を補助標識Ｔ１０２の種別として特定する。その結果、補助標識Ｔ１０２に対して正しい認識結果が得られる。

　以上説明したように、本実施形態の道路標識認識装置１０では、道路標識データ記録部１０３に格納された道路標識情報における組み合わせ情報を連続的な値により表現することで、本標識と補助標識の組み合わせごとの頻度を細かく設定できるようにしている。そのため、実環境での道路標識の設置条件をより深く反映して、補助標識の種別を特定することができる。

　以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）～（３）の各作用効果に加えて、さらに以下（４）の作用効果を奏する。

（４）組み合わせ情報Ｔ１３２、Ｔ１３３は、本標識と補助標識の組み合わせごとの出現頻度の情報を含む。このようにしたので、本標識の認識結果から、その本標識と組み合わせて用いられる補助標識をより正確に特定することができる。

［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。上記の第１、第２の各実施形態では、道路標識認識部１０２による補助標識の認識結果に関わらず、道路標識データ記録部１０３に格納されている道路標識情報を利用して、補助標識の種別を特定する例を説明した。これに対して、本発明の第３の実施形態では、道路標識認識部１０２による補助標識の認識精度に応じて、道路標識データ記録部１０３に格納されている道路標識情報を利用するか否かを切り替える例を以下に説明する。

　なお、本実施形態に係る道路標識認識装置１０の構成は、第１の実施形態において図１で説明したのと同様であるため、以下では説明を省略する。

　図７は、本発明の第３の実施形態に係る道路標識認識装置１０の処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０は、例えばＣＰＵ等の演算装置により、図７のフローチャートに示す処理を所定の処理周期ごとに実施する。

　ステップＳ１１１～Ｓ１１５では、画像取得部１０１と道路標識認識部１０２により、図３のステップＳ１０１～Ｓ１０５と同様の処理をそれぞれ実施する。

　ステップＳ１１６では、ステップＳ１１５の補助標識認識処理によって得られた補助標識の認識結果の確度、すなわち補助標識の認識精度が所定値以上であるか否かを判定する。その結果、補助標識の認識結果の確度が所定値未満であればステップＳ１１７に進む。
この場合、ステップＳ１１７、Ｓ１１８では、図３のステップＳ１０６、Ｓ１０７と同様の処理をそれぞれ実施する。

　一方、ステップＳ１１６で補助標識の認識結果の確度が所定値以上であると判定した場合は、ステップＳ１１７の処理を実施せずにステップＳ１１８に進む。この場合、ステップＳ１１７の処理が実施されないことで、本標識の種別に対応する補助標識の組み合わせ情報が道路標識データ記録部１０３から取得されない。そのため、ステップＳ１１８において、車両制御情報確定部１０４は、道路標識データ記録部１０３に格納された組み合わせ情報を用いずに、ステップＳ１１５で得られた補助標識の認識結果のみに基づいて、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ１１３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　具体的には、例えば、ステップＳ１１６の判定に用いられる補助標識の認識結果の確度に対する閾値が０．６であり、ステップＳ１１５の補助標識認識処理において、いずれかの補助標識の種別に対する認識スコアが０．９であった場合を考える。この場合、ステップＳ１１６が肯定判定されるため、車両制御情報確定部１０４は、ステップＳ１１７の道路標識情報取得処理を実施せず、ステップＳ１１５で得られた補助標識の認識結果のみに基づいて補助標識の種別を特定する。すなわち、ステップＳ１１３の本標識認識処理による本標識の認識結果と、ステップＳ１１５の補助標識認識処理による補助標識の認識結果のみを用いて、車両制御に活用する道路標識の種類を特定する。

　一方、ステップＳ１１５の補助標識認識処理において最も高い認識スコアが閾値未満の値、例えば０．３であった場合、ステップＳ１１６が否定判定されるため、車両制御情報確定部１０４は、ステップＳ１１７の道路標識情報取得処理を実施する。そして、ステップＳ１１５で得られた補助標識の認識結果と、ステップＳ１１７で取得した組み合わせ情報とに基づいて、補助標識の種別を特定する。すなわち、ステップＳ１１３の本標識認識処理による本標識の認識結果と、ステップＳ１１５の補助標識認識処理による補助標識の認識結果とに加えて、道路標識データ記録部１０３に格納された道路標識情報における組み合わせ情報をさらに用いて、車両制御に活用する道路標識の種類を特定する。

　以上説明したように、本実施形態の道路標識認識装置１０では、補助標識に対する画像認識の確度が高く、画像認識のみで補助標識の種別を正しく認識できると判断できる場合には、画像認識の結果のみで車両制御に利用する道路標識の種類を特定する。そのため、本標識と補助標識の組み合わせに関する組み合わせ情報を取得するための道路標識情報取得処理を省略でき、道路標識データ記録部１０３へのアクセス回数を削減できる。したがって、処理時間を短縮することができる。

　以上説明した本発明の第３の実施形態によれば、第１、第２の実施形態で説明した（１）～（４）の各作用効果に加えて、さらに以下（５）の作用効果を奏する。

（５）道路標識認識部１０２による補助標識の認識精度が所定値以上の場合(ステップＳ１１６：ＹＥＳ)、車両制御情報確定部１０４は、道路標識データ記録部１０３に格納された組み合わせ情報を用いずに、車両制御情報の決定に利用する補助標識の種別を特定する（ステップＳ１１８）。このようにしたので、道路標識データ記録部１０３へのアクセス回数を減らして処理時間の短縮を図ることができる。

［第４の実施形態］
　次に、本発明の第４の実施形態について説明する。上記の第３の実施形態では、道路標識認識部１０２による補助標識の認識精度に応じて、道路標識データ記録部１０３に格納されている道路標識情報を補助標識の種別の特定に利用するか否かを切り替える例を説明した。これに対して、本発明の第４の実施形態では、道路標識認識部１０２による補助標識の認識精度に応じて、道路標識データ記録部１０３に格納されている道路標識情報を利用する優先度を切り替える例を以下に説明する。

　図８は、本発明の第４の実施形態に係る道路標識認識装置１０の処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０は、例えばＣＰＵ等の演算装置により、図８のフローチャートに示す処理を所定の処理周期ごとに実施する。

　ステップＳ１２１～Ｓ１２６では、画像取得部１０１、道路標識認識部１０２および車両制御情報確定部１０４により、図３のステップＳ１０１～Ｓ１０６と同様の処理をそれぞれ実施する。

　ステップＳ１２７では、ステップＳ１２５の補助標識認識処理によって得られた補助標識の認識結果の確度、すなわち補助標識の認識精度が所定値以上であるか否かを判定する。その結果、補助標識の認識結果の確度が所定値以上であれば、ステップＳ１２９に進む。この場合、ステップＳ１２９では、図３のステップＳ１０７と同様の処理を実施することで、補助標識の種別を特定して自車両の制御内容を決定する。

　一方、ステップＳ１２７で補助標識の認識結果の確度が所定値未満であると判定した場合は、ステップＳ１２８に進む。ステップＳ１２８では、車両制御情報確定部１０４により、ステップＳ１２６で道路標識データ記録部１０３から取得した道路標識情報を補助標識の認識結果に対して優先化させるための処理である道路標識情報優先化処理を実施する。この処理では、例えば、取得した道路標識情報における補助標識の種別ごとの組み合わせ情報を増幅させることで、道路標識情報を補助標識の認識結果に対して優先化させるようにする。具体的には、例えば第２の実施形態で説明した図６の道路標識情報Ｔ１３１のうち、組み合わせ情報Ｔ１３２を道路標識データ記録部１０３から読み出した場合を考える。この場合、組み合わせ情報Ｔ１３２に記載された補助標識の種別ごとの出現頻度の値に対して、所定の値をそれぞれ加算または乗算することで、組み合わせ情報Ｔ１３２を増幅させることができる。なお、道路標識情報を補助標識の認識結果に対して優先化させることができれば、道路標識情報優先化処理の内容はこれに限定されない。

　ステップＳ１２８で道路標識情報優先化処理を実施したら、車両制御情報確定部１０４はステップＳ１２９に進み、増幅後の組み合わせ情報を用いてステップＳ１２９の処理を実施する。これにより、ステップＳ１２５で得られた補助標識の認識結果よりも、ステップＳ１２６で道路標識データ記録部１０３から取得した道路標識情報を優先的に用いて、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ１２３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　以上説明したように、本実施形態の道路標識認識装置１０では、例えば補助標識が遠方にあるなど、補助標識に対する画像認識の確度が低い場面において、本標識と補助標識の組み合わせに関する道路標識情報を優先的に利用して、車両制御に利用する道路標識の種別を特定する。そのため、補助標識に対する画像認識の確度が低い場面でも、補助標識を高精度に認識して車両制御を実施することができる。

　なお、図８のフローチャートでは、補助標識の認識結果の確度が所定値以上である場合でも、道路標識情報を道路標識データ記録部１０３から取得し、これを用いて補助標識の種別を特定することとした。しかしながら、第３の実施形態で説明したように、補助標識の認識結果の確度が所定値以上である場合には、道路標識データ記録部１０３に格納された道路標識情報を用いずに、ステップＳ１２５で得られた補助標識の認識結果のみに基づいて、補助標識の種別を特定するようにしてもよい。例えば、図８のステップＳ１２６とＳ１２７の順序を入れ替え、ステップＳ１２７で補助標識の認識結果の確度が所定値以上であると判定した場合は、ステップＳ１２６およびＳ１２８の処理を実施しないことで、補助標識の認識結果のみに基づいて補助標識の種別を特定することができる。あるいは、２種類の閾値を用いることで、道路標識情報を用いない場合と、道路標識データ記録部１０３から取得した道路標識情報をそのまま用いる場合と、取得した道路標識情報を補助標識の認識結果よりも優先して用いる場合とを、補助標識の認識結果の確度に応じてそれぞれ使い分けるようにしてもよい。

　以上説明した本発明の第４の実施形態によれば、第１～第３の実施形態で説明した（１）～（５）の各作用効果に加えて、さらに以下（６）の作用効果を奏する。

（６）道路標識認識部１０２による補助標識の認識精度が所定値未満の場合(ステップＳ１２７：ＮＯ)、車両制御情報確定部１０４は、道路標識認識部１０２による補助標識の認識結果よりも、ステップＳ１２６で道路標識データ記録部１０３から取得した組み合わせ情報を優先的に用いて、車両制御情報の決定に利用する補助標識の種別を特定する（ステップＳ１２９）。このようにしたので、補助標識の認識精度が低い場合でも、車両制御情報の決定に利用する補助標識の種別を正確に特定することができる。

［第５の実施形態］
　次に、本発明の第５の実施形態について説明する。本実施形態では、本標識に対する補助標識の併設されやすさを考慮して、補助標識の認識を行う例を以下に説明する。

　本実施形態の道路標識認識装置１０の動作について、図９に示すシーンにおける動作を例として説明する。図９は、自車両がトラックであり、本標識と補助標識を組み合わせた道路標識が自車両の前方に設置されるとともに、道路に沿って多数の木が設置されているシーンを示している。図９において、本標識Ｔ１４１と補助標識Ｔ１４２は、図２の本標識Ｔ１０１および補助標識Ｔ１０２と同様に、最高速度５０ｋｍ標識とトラック標識にそれぞれ該当する。

　図１０は、本発明の第５の実施形態に係る道路標識認識装置１０の処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０は、例えばＣＰＵ等の演算装置により、図１０のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１０のフローチャートに従って、図９のシーンにおける道路標識認識装置１０の具体的な動作例を説明する。

　ステップＳ１２１では、画像取得部１０１により、撮像装置２０から自車両の周囲を撮像した画像を取得する。ここでは、図９に示すシーンを撮像装置２０が撮像することで得られた、本標識Ｔ１４１の像および補助標識Ｔ１４２の像を含む画像を、以降の処理対象の画像として取得する。

　ステップＳ１２２、Ｓ１２３では、道路標識認識部１０２により、ステップＳ１２１で取得した画像から本標識を認識する処理を行う。具体的には、ステップＳ１２２では、図３のステップＳ１０２と同様に、ステップＳ１２１で取得した画像の中で、本標識の形状に相当する円形状の領域を検出し、その領域を本標識の候補領域とする円検出処理を実施する。続くステップＳ１２３では、図３のステップＳ１０３と同様に、ステップＳ１２２の円検出処理で検出した本標識の候補領域を含む画像領域に対して本標識認識処理を実施することで、本標識を検出するとともにその種別を特定する。

　なお、以下の説明では、ステップＳ１２２、Ｓ１２３の処理により、図９の本標識Ｔ１４１が画像中で検出され、その種別が最高速度５０ｋｍ標識として特定されるとともに、道路に沿って設置された木の部分領域Ｔ１４３～Ｔ１４５が、最高速度制限が時速１００ｋｍであることを表す本標識（以下、「最高速度１００ｋｍ標識」と称する）としてそれぞれ誤認識されたものとして説明する。

　ステップＳ１２４では、車両制御情報確定部１０４により、ステップＳ１２３の認識結果に基づく道路標識情報を道路標識データ記録部１０３から取得する。この処理では、道路標識データ記録部１０３に格納されている道路標識情報のうち、ステップＳ１２３で特定した本標識の種別に対応する道路標識情報を読み出す。

　図１１は、本発明の第５の実施形態において道路標識データ記録部１０３に格納された道路標識情報Ｔ１５１の例を示す図である。図１１に示す道路標識情報Ｔ１５１では、最高速度５０ｋｍ標識に対応する組み合わせ情報Ｔ１５２と、最高速度１００ｋｍ標識に対応する組み合わせ情報Ｔ１５３とが含まれており、これらの組み合わせ情報Ｔ１５２、Ｔ１５３には、補助標識の種別ごとの出現頻度が右端の列にそれぞれ記載されている。

　さらに、組み合わせ情報Ｔ１５２、Ｔ１５３には、本標識ごとの補助標識の併設されやすさを示す補助標識併設度もそれぞれ記載されている。補助標識併設度の値が高いほど、補助標識が併設されている可能性が高いことを表している。図１１の例では、組み合わせ情報Ｔ１５２における補助標識併設度の値は８であり、組み合わせ情報Ｔ１５３における補助標識併設度の値は１であるため、最高速度５０ｋｍ標識の方が最高速度１００ｋｍ標識よりも補助標識が併設されている可能性が高いことを表している。

　図９のシーンでは、前述のようにステップＳ１２３において、本標識Ｔ１４１の種別が最高速度５０ｋｍ標識であるとの認識結果が得られているとともに、木の部分領域Ｔ１４３～Ｔ１４５の種別が誤認識によって最高速度１００ｋｍ標識であるとの認識結果が得られている。そのため、ステップＳ１２４の道路標識情報取得処理において、車両制御情報確定部１０４は、道路標識データ記録部１０３に格納されている道路標識情報Ｔ１５１のうち、最高速度５０ｋｍ標識に関する補助標識の組み合わせ情報Ｔ１５２と、最高速度１００ｋｍ標識に関する補助標識の組み合わせ情報Ｔ１５３とを取得する。

　図１０の説明に戻ると、ステップＳ１２５では、ステップＳ１２４で取得した道路標識情報に基づいて、画像内で補助標識の認識候補領域を決定する。この処理では、ステップＳ１２４で取得した道路標識情報の組み合わせ情報における補助標識併設度の値を参照し、ステップＳ１２３で認識された複数の本標識の中で補助標識併設度の値が高いものから順に、所定の上限数以内で本標識を選択する。そして、選択した各本標識の周辺にある所定の画像領域を、補助標識の認識候補領域としてそれぞれ設定する。これにより、画像から認識された複数の本標識のうち、取得した組み合わせ情報において補助標識の併設されやすさが高い本標識の周辺を優先して、道路標識認識部１０２において補助標識認識処理が実施されるようにする。

　なお、ステップＳ１２５で選択される本標識の上限数は、例えば補助標識認識処理に要する処理時間や、図１０のフローチャートの処理に対して割り当てられた一回当たりの処理時間などを参考に、予め決定しておくことができる。あるいは、各本標識を認識した際の認識スコアや、認識された本標識の数などに基づいて、選択される本標識の上限数を設定してもよい。

　図１１の道路標識情報Ｔ１５１では、前述のように、組み合わせ情報Ｔ１５２における補助標識併設度の値は８であり、組み合わせ情報Ｔ１５３における補助標識併設度の値は１である。ここで、ステップＳ１２５で選択される本標識の上限数が１であるとすると、図９のシーンでは、組み合わせ情報Ｔ１５２に対応する本標識Ｔ１４１のみが選択され、本標識であると誤認識された木の部分領域Ｔ１４３～Ｔ１４５は選択されない。そして、選択された本標識Ｔ１４１の周辺の所定領域、例えば本標識Ｔ１４１の直下に位置する所定範囲の領域を、補助標識の認識候補領域として設定する。

　ステップＳ１２６では、ステップＳ１２５で設定した各認識候補領域に対して、ステップＳ１２７、Ｓ１２８の処理をそれぞれ実施することで、補助標識を認識する処理を行う。具体的には、ステップＳ１２７では、各認識候補領域内で補助標識の形状に相当する矩形形状の領域を検出し、その領域を補助標識の候補領域とする矩形検出処理を実施する。
続くステップＳ１２８では、ステップＳ１２７の矩形検出処理で検出した補助標識の候補領域を含む画像領域に対して補助標識認識処理を実施することで、補助標識を検出するとともに、当該補助標識の認識スコアを算出する。これにより、図９の本標識Ｔ１４１の周辺に設定された補助標識の認識候補領域に対して、補助標識Ｔ１４２が画像中で検出され、種別ごとの認識スコアが算出される。ただし、この時点では補助標識Ｔ１４２の種別は特定されない。

　ステップＳ１２５で設定した全ての認識候補領域に対してステップＳ１２７、Ｓ１２８の処理を実施できたら、ステップＳ１２９に進む。ステップＳ１２９では、車両制御情報確定部１０４により、ステップＳ１２３、Ｓ１２８でそれぞれ得られた本標識および補助標識の認識結果と、ステップＳ１２４で取得した道路標識情報とに基づいて、自車両の制御内容を決定する。すなわち、前述の各実施形態と同様に、ステップＳ１２８で得られた補助標識の認識結果と、ステップＳ１２４で取得した道路標識情報とを照合することで、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ１２３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　以上説明したように、本実施形態の道路標識認識装置１０では、補助標識が設置される可能性の高い領域に対して、優先的に補助標識の認識処理を実施することができる。そのため、本標識の認識結果から補助標識の認識処理を実施すべき候補領域が複数出現し、処理時間の制約から全ての候補領域に対して認識処理を実施することができない場合でも、補助標識の出現する可能性が高い領域を優先して認識処理を実施し、補助標識を高精度に認識することができる。

　以上説明した本発明の第５の実施形態によれば、第１～第４の実施形態で説明した（１）～（６）の各作用効果に加えて、さらに以下（７）の作用効果を奏する。

（７）組み合わせ情報Ｔ１５２、Ｔ１５３は、本標識ごとの補助標識の併設されやすさに関する情報を含む。道路標識認識部１０２は、画像から複数の本標識が認識された場合、その複数の本標識のうち、組み合わせ情報Ｔ１５２、Ｔ１５３において補助標識の併設されやすさが高い本標識Ｔ１４１の周辺を優先して、補助標識の認識処理を実施する（ステップＳ１２５～Ｓ１２８）。このようにしたので、画像から複数の本標識が誤って認識された場合でも、補助標識を高精度に認識することができる。

［第６の実施形態］
　次に、本発明の第６の実施形態について説明する。図１２は、本発明の第６の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。図１２に示すように、本実施形態の道路標識認識装置１０Ａは、図１で説明した第１の実施形態に係る道路標識認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の道路標識認識装置１０Ａは、画像取得部２０１、道路標識認識部２０２、道路標識データ記録部２０３、車両制御情報確定部２０４、および走行環境取得部２０５を備える。道路標識認識装置１０Ａは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。
なお、道路標識認識装置１０Ａが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

　画像取得部２０１は、図１の画像取得部１０１と同様に、撮像装置２０の動作を制御することで、撮像装置２０で撮像された画像を取得して道路標識認識部２０２に出力する。
道路標識認識部２０２は、図１の道路標識認識部１０２と同様に、画像取得部２０１が取得した画像から道路標識を認識し、その認識結果を車両制御情報確定部２０４に対して出力する。

　道路標識データ記録部２０３には、自車両が走行する道路に対して設置される様々な道路標識に関する道路標識情報が格納されている。この道路標識情報は、例えば、第１～第５の各実施形態で説明したように、道路標識において取り得る本標識と補助標識の様々な組み合わせを示す情報や、組み合わせごとの出現頻度を示す情報、本標識ごとの補助標識の併設されやすさを示す情報等を含む。さらに、本実施形態で用いられる道路標識情報は、道路標識ごとの走行環境に関する情報を含む。この情報は、道路標識の種類ごとに当該道路標識が設置される可能性が高い道路の特徴を表しており、例えば高速道路や市街地等の道路種別により表現される。この情報は、例えば、国や地域毎の道路標識の設置基準や設置数に基づいて決定される。あるいは、複数の国や地域の道路標識情報を、各道路標識に対する走行環境の情報とともに道路標識データ記録部２０３に格納してもよい。

　走行環境取得部２０５は、自車両周辺の走行環境情報を取得する。例えば、自車両が走行している道路の種別や、自車両が走行している国や地域の情報を、自車両周辺の走行環境情報として取得する。そして、取得した走行環境情報を車両制御情報確定部２０４に出力する。走行環境取得部２０５は、例えば図示しないカーナビゲーションシステムと接続されており、このカーナビゲーションシステムから走行環境情報を取得することができる。カーナビゲーションシステムは、例えばＧＰＳ（Global Positioning System）信号などの周知の測位情報に基づいて自車両の位置情報を取得し、予め記憶された地図情報を参照することで、自車両周辺の走行環境情報を特定することができる。あるいは、自車両の外部から無線通信により走行環境情報を取得してもよい。

　車両制御情報確定部２０４は、道路標識認識部１０２による道路標識の認識結果と、走行環境取得部２０５により取得された走行環境情報と、道路標識データ記録部２０３に格納された道路標識情報とに基づいて、自車両の制御に利用する車両制御情報を決定する。
具体的には、例えば車両制御情報確定部２０４は、走行環境取得部２０５により取得された走行環境情報に基づいて、道路標識データ記録部２０３に格納された道路標識情報のうち、自車両の走行環境に対応する道路標識情報を特定する。そして、道路標識認識部１０２による本標識および補助標識の認識結果と、自車両の走行環境に対応する道路標識情報が表す本標識と補助標識との関係性から、図１の車両制御情報確定部１０４と同様に、補助標識の種別を特定し、その補助標識の種別に応じて車両制御情報を決定する。これにより、自車両の走行環境を考慮して補助標識の種別を正確に特定し、車両制御情報を決定できるようにしている。車両制御情報確定部２０４により決定された車両制御情報は、道路標識認識装置１０Ａから車両制御装置３０に出力される。

　次に、以上説明した本実施形態の道路標識認識装置１０Ａの動作について、図１３に示すシーンにおける動作を例として説明する。図１３は、自車両が一般道を走行しており、本標識と補助標識を組み合わせた道路標識が自車両の前方に設置されているシーンを示している。図１３において、本標識Ｔ２０１は前述の最高速度５０ｋｍ標識であり、補助標識Ｔ２０２は前述の始まり標識である。これらの標識の組み合わせにより、自車両の最高速度は、本標識Ｔ２０１および補助標識Ｔ２０２を組み合わせた道路標識の設置地点から先では時速５０ｋｍに制限されることが分かる。

　図１４は、本発明の第６の実施形態に係る道路標識認識装置１０Ａの処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０Ａは、例えばＣＰＵ等の演算装置により、図１４のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１４のフローチャートに従って、図１３のシーンにおける道路標識認識装置１０Ａの具体的な動作例を説明する。

　ステップＳ２０１では、画像取得部２０１により、撮像装置２０から自車両の周囲を撮像した画像を取得する。ここでは、図１３に示すシーンを撮像装置２０が撮像することで得られた、本標識Ｔ２０１の像および補助標識Ｔ２０２の像を含む画像を、以降の処理対象の画像として取得する。

　ステップＳ２０２～Ｓ２０５では、道路標識認識部２０２により、図３のステップＳ１０１～Ｓ１０５と同様の処理をそれぞれ実施する。これにより、図１３の本標識Ｔ２０１および補助標識Ｔ２０２が画像中でそれぞれ検出され、本標識Ｔ２０１の種別が最高速度５０ｋｍ標識として特定されるとともに、補助標識Ｔ２０２の認識スコアが種別ごとに算出される。

　ステップＳ２０６では、走行環境取得部２０５により、自車両の位置に対応する前述のような情報を自車両周辺の走行環境情報として取得する。ここでは、例えば自車両が走行している道路の種別が一般道であることを表す情報を、自車両周辺の走行環境情報として取得する。

　ステップＳ２０７では、車両制御情報確定部２０４により、ステップＳ２０３の認識結果に基づく道路標識情報を道路標識データ記録部２０３から取得する。この処理では、道路標識データ記録部２０３に格納されている道路標識情報のうち、ステップＳ２０３で特定した本標識の種別に対応する道路標識情報を読み出す。

　図１５は、本発明の第６の実施形態において道路標識データ記録部２０３に格納された道路標識情報Ｔ２１１の例を示す図である。図１５に示す道路標識情報Ｔ２１１では、最高速度５０ｋｍ標識に対応する組み合わせ情報Ｔ２１２と、最高速度１００ｋｍ標識に対応する組み合わせ情報Ｔ２１３とが含まれており、これらの組み合わせ情報Ｔ２１２、Ｔ２１３には、図４と同様に、各補助標識に対する組み合わせの可否がそれぞれ記載されている。

　さらに、組み合わせ情報Ｔ２１２、Ｔ２１３には、補助標識ごとの設置環境として、各補助標識が設置される可能性がある道路の種別もそれぞれ記載されている。図１５の道路標識情報Ｔ２１１において、組み合わせ情報Ｔ２１２は、最高速度５０ｋｍ標識は一般道では始まり標識と併設され、高速道路ではトラック標識と併設される可能性があり、乗用車標識や牽引車両標識とは併設されないことを表している。一方、組み合わせ情報Ｔ２１３は、最高速度１００ｋｍ標識は一般道では乗用車標識と併設され、高速道路では牽引車両標識と併設される可能性があり、始まり標識やトラック標識とは併設されないことを表している。

　以降の説明では、ステップＳ２０３の本標識認識処理において、前述のように図１３のシーンに対して本標識Ｔ２０１の種別が最高速度５０ｋｍ標識であるとの認識結果が得られているものとする。そのため、ステップＳ２０７の道路標識情報取得処理において、車両制御情報確定部２０４は、道路標識データ記録部２０３に格納されている道路標識情報Ｔ２１１のうち、最高速度５０ｋｍ標識に関する補助標識の組み合わせ情報Ｔ２１２を取得する。

　図１４の説明に戻ると、ステップＳ２０８では、車両制御情報確定部２０４により、ステップＳ２０３、Ｓ２０５でそれぞれ得られた本標識および補助標識の認識結果と、ステップＳ２０６で取得した走行環境情報と、ステップＳ２０７で取得した道路標識情報とに基づいて、自車両の制御内容を決定する。この処理では、ステップＳ２０５で得られた補助標識の認識結果およびステップＳ２０６で取得した走行環境情報と、ステップＳ２０７で取得した道路標識情報とを照合することで、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ２０３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　図１６は、本実施形態の道路標識認識装置１０ＡにおいてステップＳ２０５で得られた補助標識Ｔ２０２の認識結果Ｔ２２１の例を示す図である。図１６に示す認識結果Ｔ２２１において、横軸は補助標識の種別を示しており、縦軸は各種別に対する認識スコアを示している。ここでは、認識スコアが高いほど認識の確度が高いことを表している。図１６の認識結果Ｔ２２１では、補助標識Ｔ２０２に対して、トラック標識、始まり標識、乗用車標識、牽引車両標識の順に高い認識スコアが得られたことを示している。すなわち、図１３に示したように実際には始まり標識である補助標識Ｔ２０２に対して、トラック標識の認識スコアが最も高くなっている。

　ステップＳ２０８の車両制御内容決定処理において、車両制御情報確定部２０４は、ステップＳ２０６で取得した走行環境情報に基づいて、ステップＳ２０７で取得した組み合わせ情報Ｔ２１２のうちで自車両の走行環境に対応する組み合わせ条件を特定し、当該組み合わせ条件を満たす補助標識の種別のうち、認識結果Ｔ２２１において最も認識スコアの高い補助標識の種別を、補助標識Ｔ２０２の種別として特定する。具体的には、図１６の認識結果Ｔ２２１において最も認識スコアが高いトラック標識は、図１５の組み合わせ情報Ｔ２１２では高速道路に対して組み合わせ条件が「〇」となっており、取得した走行環境情報が表す一般道では最高速度５０ｋｍ標識に併設されることが無いことを表している。そのため、補助標識Ｔ２０２がトラック標識である可能性は無いと判断し、トラック標識を補助標識Ｔ２０２の種別から除外する。一方、認識結果Ｔ２２１において２番目に認識スコアが高い始まり標識は、図１５の組み合わせ情報Ｔ２１２では一般道に対して組み合わせ条件が「〇」となっており、取得した走行環境情報が表す一般道において最高速度５０ｋｍ標識に併設され得ることを表している。そのため、始まり標識を補助標識Ｔ２０２の種別として特定する。その結果、補助標識Ｔ２０２に対して正しい認識結果が得られる。

　ステップＳ２０８で自車両の制御内容を決定できたら、車両制御情報確定部２０４は、その制御内容に応じた車両制御情報を生成し、車両制御装置３０に出力する。その後、図１４のフローチャートに示す処理を終了する。

　以上説明したように、本実施形態の道路標識認識装置１０Ａでは、自車両が走行している道路の種別を走行環境情報として取得し、これを用いて補助標識の種別を特定するようにしている。そのため、自車両の走行環境を考慮して補助標識の種別を特定することが可能となり、認識性能をより一層向上させることができる。

　なお、図１４のフローチャートでは、ステップＳ２０２～Ｓ２０７において、円検出処理、本標識認識処理、矩形検出処理、補助標識認識処理、走行環境情報取得処理、道路標識情報取得処理を順次実施することとした。しかしながら、これらの処理の実施順序を入れ替えてもよい。例えば、ステップＳ２０２の円検出処理とステップＳ２０３の本標識認識処理を実施した後、ステップＳ２０６の走行環境情報取得処理とステップＳ２０７の道路標識情報取得処理を実施し、その後に、ステップＳ２０４の矩形検出処理とステップＳ２０５の補助標識認識処理を実施するように、処理順序を変更してもよい。この場合、ステップＳ２０６で取得した走行環境情報に基づいて、ステップＳ２０７で取得した道路標識情報から自車両の走行環境に対応する補助標識の種別を特定し、その後の矩形検出処理と補助標識認識処理では、特定された補助標識の種別のみを認識対象とすることも可能である。具体的には、例えば、ステップＳ２０６で高速道路を表す走行環境情報が取得され、続くステップＳ２０７で取得した道路標識情報には、高速道路に設置され得る補助標識がトラック標識と牽引車両標識であることが記載されていたとする。この場合、ステップＳ２０５の補助標識認識処理では、トラック標識と牽引車両標識のみを認識対象として、これらのテンプレート画像を用いた画像認識を実施することができる。

　以上説明したような処理により、自車両の走行環境に応じて認識対象とする道路標識の種類を限定することができる。そのため、テンプレートマッチングの際に利用するテンプレート画像の数を削減でき、より高速に道路標識の種類を特定することができる。

　以上説明した本発明の第６の実施形態によれば、第１～第５の実施形態で説明した（１）～（７）の各作用効果に加えて、さらに以下（８）、（９）の作用効果を奏する。

（８）道路標識認識装置１０Ａは、自車両の周辺の走行環境情報を取得する走行環境取得部２０５をさらに備える。道路標識情報Ｔ２１１は、道路標識ごとの走行環境に関する情報を含む。車両制御情報確定部２０４は、道路標識認識部２０２による道路標識の認識結果と、走行環境取得部２０５により取得された走行環境情報と、道路標識データ記録部２０３に格納された道路標識情報Ｔ２１１とに基づいて、車両制御情報を決定する（ステップＳ２０８）。このようにしたので、自車両の走行環境を考慮して、道路標識の認識結果から自車両の制御内容をより適切に決定することができる。

（９）道路標識情報Ｔ２１１は、本標識と補助標識の道路種別ごとの組み合わせに関する組み合わせ情報Ｔ２１２、Ｔ２１３を含む。車両制御情報確定部２０４は、道路標識認識部２０２による本標識Ｔ２０１の認識結果に基づき、道路標識データ記録部２０３から当該本標識Ｔ２０１に対応する組み合わせ情報Ｔ２１２を取得する（ステップＳ２０７）。
ステップＳ２０８では、ステップＳ２０７で取得した組み合わせ情報Ｔ２１２と、ステップＳ２０５での道路標識認識部２０２による補助標識Ｔ２０２の認識結果と、ステップＳ２０６で走行環境取得部２０５により取得された走行環境情報が表す道路種別とに基づいて、車両制御情報の決定に利用する補助標識Ｔ２０２の種別を特定する。このようにしたので、自車両が走行している道路の種別に応じて補助標識の種別を正確に特定し、車両制御情報の決定に利用することができる。

［第７の実施形態］
　次に、本発明の第７の実施形態について説明する。本実施形態では、自車両が走行している国や地域に応じて、補助標識の種別を特定する際に用いる道路標識情報を切り替える例を以下に説明する。

　なお、本実施形態に係る道路標識認識装置１０Ａでは、道路標識データ記録部２０３において、自車両が走行する可能性がある複数の国または地域について、それぞれの国や地域ごとに異なる内容の道路標識情報がそれぞれ格納されている。すなわち、本実施形態では、国や地域ごとに異なる道路標識の設置条件や設置状況を反映して設定された道路標識情報が、道路標識データ記録部２０３において格納されている。これ以外の点では、第６の実施形態において図１２で説明したのと同様であるため、以下では説明を省略する。

　本実施形態の道路標識認識装置１０Ａの動作について、図１７に示すシーンにおける動作を例として説明する。図１７は、自車両が日本国内を走行しており、本標識と補助標識を組み合わせた道路標識が自車両の前方に設置されているシーンを示している。図１７において、本標識Ｔ２３１と補助標識Ｔ２３２は、前述の図１３のシーンと同様に、最高速度５０ｋｍ標識と始まり標識にそれぞれ該当する。

　図１８は、本発明の第７の実施形態に係る道路標識認識装置１０Ａの処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０Ａは、例えばＣＰＵ等の演算装置により、図１８のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１８のフローチャートに従って、図１７のシーンにおける道路標識認識装置１０Ａの具体的な動作例を説明する。

　ステップＳ２１１では、走行環境取得部２０５により、自車両が走行している国や地域を表す走行国情報を、自車両周辺の走行環境情報として取得する。ここでは、例えばＧＰＳ信号に基づく自車両の位置情報と、カーナビゲーションシステムまたは道路標識認識装置１０Ａ内のメモリに予め登録された地図情報とを走行環境情報としてそれぞれ取得し、これらを照合することにより、自車両の走行国が日本であることを特定する。

　ステップＳ２１２では、ステップＳ２１１で取得した走行国情報に基づいて、道路標識データ記録部２０３に格納されている道路標識情報のうち、後述のステップＳ２１９で実施する道路標識情報取得処理において取得対象とする道路標識情報を切り替える。これにより、前述のように道路標識データ記録部２０３において国や地域ごとに分類して格納されている道路標識情報のうち、例えば日本に対応する道路標識情報が、以降の処理で利用される道路標識情報として選択される。

　図１９は、本発明の第７の実施形態において道路標識データ記録部２０３に格納された道路標識情報Ｔ２４１の例を示す図である。図１９に示す道路標識情報Ｔ２４１では、日本における道路標識に関する情報が記載された道路標識情報Ｔ２４２と、ドイツにおける道路標識に関する情報が記載された道路標識情報Ｔ２４３とが含まれている。これらの道路標識情報Ｔ２４２、Ｔ２４３には、前述の各実施形態と同様に、様々な本標識と補助標識の組み合わせに関する情報が含まれている。

　図１７のシーンに対して、前述のようにステップＳ２１１において自車両の走行国が日本であることを表す走行国情報が得られた場合、ステップＳ２１２の国別情報切り替え処理では、道路標識データ記録部２０３に格納されている道路標識情報Ｔ２４１のうち、日本に関する道路標識情報Ｔ２４２が以降の処理における利用対象として選択される。

　図１８の説明に戻ると、ステップＳ２１３～Ｓ２２０では、画像取得部２０１、道路標識認識部２０２、車両制御情報確定部２０４および走行環境取得部２０５により、図１４のステップＳ２０１～Ｓ２０８と同様の処理をそれぞれ実施する。ステップＳ２２０で自車両の制御内容を決定できたら、車両制御情報確定部２０４は、その制御内容に応じた車両制御情報を生成し、車両制御装置３０に出力する。その後、図１８のフローチャートに示す処理を終了する。

　以上説明したように、本実施形態の道路標識認識装置１０Ａでは、国や地域ごとに分類された道路標識情報を道路標識データ記録部２０３に格納しておき、自車両の走行国に応じて利用する走行環境情報を切り替えるようにしている。そのため、国や地域ごとに道路標識の設置条件や設置状況が異なる場合であっても、道路標識の種別を正確に特定することができる。

　なお、本実施形態では、道路標識データ記録部２０３に格納された道路標識情報を国単位で切り替える例を説明したが、欧州、アジア等の地域ごとに道路標識情報の切り替えを実施してもよい。これにより、道路標識データ記録部２０３に格納する情報量を削減することができるため、メモリ等の記憶容量の削減につながる。

　また、図１８のフローチャートでは、最初にステップＳ２１１、Ｓ２１２で走行国情報の取得と国別情報の切り替え処理を実施し、その後にステップＳ２１３以降の各処理を順次実施することとした。しかしながら、これらの処理の実施順序を入れ替えてもよい。例えば、ステップＳ２１５で本標識認識処理を実施した後や、ステップＳ２１７で補助標識認識処理を実施した後、走行国情報の取得と国別情報の切り替え処理を実施してもよい。
自車両が走行している国または地域に応じて、ステップＳ２２０の車両制御情報決定処理において利用する道路標識情報を切り替えることができれば、各処理の実施順序は任意に変更可能である。

　本実施形態では、自車両が走行する可能性がある複数の国や地域についての道路標識情報が道路標識データ記録部２０３に格納されている例を説明したが、工場や生産ラインの段階で道路標識認識装置１０Ａが活用される国が確定している場合には、その段階で道路標識データ記録部２０３に格納する道路標識情報の内容を確定させてもよい。これにより、道路標識データ記録部２０３に格納される情報を特定の国や地域に限定することができるため、メモリ等の記憶容量の削減につながる。

　以上説明した本発明の第７の実施形態によれば、第１～第６の実施形態で説明した（１）～（９）の各作用効果に加えて、さらに以下（１０）の作用効果を奏する。

（１０）道路標識データ記録部２０３は、複数の国または地域について道路標識情報をそれぞれ格納している。車両制御情報確定部２０４は、ステップＳ２１１で走行環境取得部２０５により取得された走行環境情報が表す国または地域に応じて、ステップＳ２２０の処理において車両制御情報の決定に利用する道路標識情報を切り替える。このようにしたので、自車両が走行している国や地域に応じて最適な道路標識情報を利用して、車両制御情報の決定を行うことができる。

［第８の実施形態］
　次に、本発明の第８の実施形態について説明する。図２０は、本発明の第８の実施形態に係る道路標識認識装置の構成を示す機能ブロック図である。図２０に示すように、本実施形態の道路標識認識装置１０Ｂは、図１、図１２でそれぞれ説明した道路標識認識装置１０、１０Ａと同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の道路標識認識装置１０Ｂは、画像取得部３０１、道路標識認識部３０２、道路標識データ記録部３０３、車両制御情報確定部３０４、走行環境取得部３０５、および道路標識情報書き換え部３０６を備える。道路標識認識装置１０Ｂは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、道路標識認識装置１０Ｂが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

　画像取得部３０１は、図１の画像取得部１０１や図１２の画像取得部２０１と同様に、撮像装置２０の動作を制御することで、撮像装置２０で撮像された画像を取得して道路標識認識部３０２に出力する。道路標識認識部３０２は、図１の道路標識認識部１０２や図１２の道路標識認識部２０２と同様に、画像取得部３０１が取得した画像から道路標識を認識し、その認識結果を車両制御情報確定部３０４や道路標識情報書き換え部３０６に対して出力する。

　道路標識データ記録部３０３には、自車両が走行する道路に対して設置される様々な道路標識に関する道路標識情報が格納されている。この道路標識情報には、第１の実施形態で説明したように、道路標識において取り得る本標識と補助標識の様々な組み合わせを示す情報が含まれる。さらに、他の各実施形態で説明したような様々な情報を本実施形態の道路標識情報に含めることもできる。

　走行環境取得部３０５は、図１２の走行環境取得部２０５と同様に、自車両が走行している道路の種別や、自車両が走行している国や地域の情報などを、自車両周辺の走行環境情報として取得する。そして、取得した走行環境情報を車両制御情報確定部３０４に出力する。

　車両制御情報確定部３０４は、図１２の車両制御情報確定部２０４と同様に、道路標識認識部３０２による道路標識の認識結果と、走行環境取得部３０５により取得された走行環境情報と、道路標識データ記録部３０３に格納された道路標識情報とに基づいて、自車両の制御に利用する車両制御情報を決定する。車両制御情報確定部３０４により決定された車両制御情報は、道路標識認識装置１０Ｂから車両制御装置３０に出力される。

　道路標識情報書き換え部３０６は、道路標識認識部３０２による道路標識の認識結果に基づいて、道路標識データ記録部３０３に格納された道路標識情報の書き換え処理を実施する。具体的には、道路標識認識部３０２による道路標識の認識結果において非常に高い認識確度が得られたにも関わらず、その認識結果が道路標識データ記録部３０３に格納されている道路標識情報に記載された内容と一致していない場合には、道路標識の認識結果に合わせて道路標識情報を書き換える。このとき、撮像装置２０から出力された単一フレームの画像に対する道路標識の認識結果に基づいて道路標識情報を書き換えてもよいし、あるいは、複数フレームの画像に対する道路標識の認識結果から書き換えの必要性を判断し、その判断結果に応じて道路標識情報の書き換えを実施するようにしてもよい。

　次に、以上説明した本実施形態の道路標識認識装置１０Ｂの動作について、図２１に示すシーンにおける動作を例として説明する。図２１は、自車両が高速道路を走行しており、本標識と補助標識を組み合わせた道路標識が自車両の前方に設置されているシーンを示している。図２１において、本標識Ｔ３０１は前述の最高速度５０ｋｍ標識であり、補助標識Ｔ３０２は前述の牽引車両標識である。これらの標識の組み合わせにより、牽引車両の最高速度は時速５０ｋｍに制限されることが分かる。

　図２２は、本発明の第８の実施形態に係る道路標識認識装置１０Ｂの処理の流れを示すフローチャートである。本実施形態の道路標識認識装置１０Ｂは、例えばＣＰＵ等の演算装置により、図２２のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図２２のフローチャートに従って、図２１のシーンにおける道路標識認識装置１０Ｂの具体的な動作例を説明する。

　ステップＳ３０１では、画像取得部３０１により、撮像装置２０から自車両の周囲を撮像した画像を取得する。ここでは、図２１に示すシーンを撮像装置２０が撮像することで得られた、本標識Ｔ３０１の像および補助標識Ｔ３０２の像を含む画像を、以降の処理対象の画像として取得する。

　ステップＳ３０２～Ｓ３０７では、道路標識認識部３０２、車両制御情報確定部３０４および走行環境取得部３０５により、図１４のステップＳ２０２～Ｓ２０７と同様の処理をそれぞれ実施する。これにより、図２１の本標識Ｔ３０１および補助標識Ｔ３０２が画像中でそれぞれ検出され、本標識Ｔ３０１の種別が最高速度５０ｋｍ標識として特定されるとともに、補助標識Ｔ３０２の認識スコアが種別ごとに算出される。また、自車両が走行している道路の種別が高速道路であることを表す情報が自車両周辺の走行環境情報として取得される。そして、道路標識データ記録部３０３に格納されている道路標識情報のうち、ステップＳ３０３で特定した本標識の種別に対応する道路標識情報が、車両制御情報確定部３０４によって読み出される。

　図２３は、本発明の第８の実施形態において道路標識データ記録部３０３に格納された書き換え前の道路標識情報Ｔ３１１の例を示す図である。図２３に示す道路標識情報Ｔ３１１では、前述の図１５に示した道路標識情報Ｔ２１１と同様に、最高速度５０ｋｍ標識に対応する組み合わせ情報Ｔ３１２と、最高速度１００ｋｍ標識に対応する組み合わせ情報Ｔ３１３とが含まれており、これらの組み合わせ情報Ｔ３１２、Ｔ３１３には、各補助標識に対する組み合わせの可否と、各補助標識が設置される可能性がある道路の種別とがそれぞれ記載されている。

　以降の説明では、ステップＳ３０３の本標識認識処理において、前述のように図２１のシーンに対して本標識Ｔ３０１の種別が最高速度５０ｋｍ標識であるとの認識結果が得られているものとする。また、ステップＳ３０６の走行環境情報取得処理において、前述のように自車両が走行している道路の種別が高速道路であることを表す情報が自車両周辺の走行環境情報として取得されているものとする。そのため、ステップＳ３０７の道路標識情報取得処理において、車両制御情報確定部３０４は、道路標識データ記録部３０３に格納されている道路標識情報Ｔ３１１のうち、最高速度５０ｋｍ標識に関する補助標識の組み合わせ情報Ｔ３１２を取得する。

　図２２の説明に戻ると、ステップＳ３０８では、道路標識情報書き換え部３０６により、ステップＳ３０５で得られた補助標識の認識結果と、ステップＳ３０７で車両制御情報確定部３０４が道路標識データ記録部３０３から取得した道路標識情報とに基づいて、道路標識情報の書き換えを行う必要の有無を判断する。具体的には、ステップＳ３０５で得られた補助標識の認識結果においていずれかの種別に対する認識スコアが所定の閾値よりも大きく（第１の条件）、かつ、その補助標識の種別と本標識の種別との組み合わせ内容が、ステップＳ３０６で読み出された道路標識情報に記載されている内容と不整合であるか否か（第２の条件）を判定する。その結果、これら二つの条件をいずれも満たす場合は、道路標識情報の書き換えを行う必要ありと判断してステップＳ３０９に進み、少なくとも一方の条件を満たさない場合は、道路標識情報の書き換えを行う必要なしと判断してステップＳ３１０に進む。

　ステップＳ３０９では、道路標識情報書き換え部３０６により、道路標識データ記録部３０３に格納された道路標識情報の書き換え処理を実施する。ここでは、ステップＳ３０５で得られた補助標識の認識結果に従って、道路標識データ記録部３０３に格納された道路標識情報のうち当該部分の内容を書き換える。これにより、画像認識によって得られた補助標識の認識結果の確度が高いにも関わらず、道路標識データ記録部３０３に格納されている道路標識情報の内容が補助標識の認識結果と一致していない場合には、補助標識の認識結果を用いて道路標識情報を正しい内容に書き換えるようにする。ステップＳ３０９で道路標識情報の書き換えを終えたら、ステップＳ３１０に進む。

　図２４は、本実施形態の道路標識認識装置１０ＢにおいてステップＳ３０５で得られた補助標識Ｔ３０２の認識結果Ｔ３２１の例を示す図である。図２４に示す認識結果Ｔ３２１において、横軸は補助標識の種別を示しており、縦軸は各種別に対する認識スコアを示している。ここでは、認識スコアが高いほど認識の確度が高いことを表している。図２４の認識結果Ｔ３２１では、牽引車両標識に対する認識スコアが０．８５と最も高い値であり、それ以外の始まり標識、乗用車標識、トラック標識の各種別に対する認識スコアはいずれも０．０５であったことを示している。

　ステップＳ３０８において、道路標識情報書き換え部３０６は、前述の二つの条件のうち第１の条件に対する判定として、認識結果Ｔ３２１における補助標識の種別毎の認識スコアの値を所定の閾値とそれぞれ比較し、いずれかの補助標識の種別について認識スコアが閾値を上回るかを判定する。例えば閾値が０．８に設定されている場合、図２４の認識結果Ｔ３２１では牽引車両標識の認識スコアが０．８５と閾値を上回っている。そのため、認識結果Ｔ３２１は第１の条件を満たしていると判定する。

　また、ステップＳ３０８において、道路標識情報書き換え部３０６は、前述の二つの条件のうち残りの第２の条件に対する判定として、認識結果Ｔ３２１の内容がステップＳ３０７で取得した組み合わせ情報Ｔ３１２の内容と一致しているか否かを判定する。例えば、上記のように認識結果Ｔ３２１において牽引車両標識の認識スコアが閾値を上回っていると判定した場合、図２３の組み合わせ情報Ｔ３１２では、最高速度５０ｋｍ標識に対する牽引車両標識の組み合わせ条件が「×」となっており、認識結果Ｔ３２１と一致していない。そのため、認識結果Ｔ３２１は第２の条件も満たしていると判定する。

　上記のように第１の条件、第２の条件のいずれも満たすと判定した場合、道路標識情報書き換え部３０６はステップＳ３０９において、認識結果Ｔ３２１に基づき、道路標識データ記録部３０３に格納されている道路標識情報Ｔ３１１のうち組み合わせ情報Ｔ３１２の内容を書き換える。これにより、認識結果Ｔ３２１を反映して道路標識データ記録部３０３を更新する。

　図２５は、本発明の第８の実施形態において道路標識データ記録部３０３に格納された書き換え後の道路標識情報Ｔ３３１の例を示す図である。図２５に示す道路標識情報Ｔ３３１では、図２３に示した書き換え前の道路標識情報Ｔ３１１と比べて、組み合わせ情報Ｔ３３２のうち牽引車両標識の組み合わせ条件を示す部分Ｔ３３３の記載内容が書き換えられている。具体的には、最高速度５０ｋｍ標識に対する牽引車両標識の組み合わせ条件が「×」から「〇」に書き換えられるとともに、牽引車両標識が高速道路において設置される可能性があることが記載されている。

　図２２の説明に戻ると、ステップＳ３１０では、車両制御情報確定部３０４により、ステップＳ３０３、Ｓ３０５でそれぞれ得られた本標識および補助標識の認識結果と、ステップＳ３０６で取得した走行環境情報と、ステップＳ３０７で取得した道路標識情報とに基づいて、自車両の制御内容を決定する。この処理では、図１４のステップＳ２０８と同様に、ステップＳ３０５で得られた補助標識の認識結果およびステップＳ３０６で取得した走行環境情報と、ステップＳ３０７で取得した道路標識情報とを照合することで、補助標識の種別を特定する。このとき、ステップＳ３０９で道路標識データ記録部３０３に格納されている道路標識情報を書き換えた場合には、書き換え後の道路標識情報を用いて、補助標識の種別を特定する。そして、特定した補助標識の種別と、ステップＳ３０３で特定された本標識の種別とに基づいて、自車両に対して適用される規制内容を判断し、これに従って自車両の制御内容を決定する。

　ステップＳ３１０で自車両の制御内容を決定できたら、車両制御情報確定部３０４は、その制御内容に応じた車両制御情報を生成し、車両制御装置３０に出力する。その後、図２２のフローチャートに示す処理を終了する。

　以上説明したように、本実施形態の道路標識認識装置１０Ｂでは、得られた道路標識の認識結果の確度が高い場合には、道路標識データ記録部３０３に格納された道路標識情報を書き換える。これにより、道路標識の設置条件が変化した場合でも、正確に道路標識を認識することができる。

　なお、本実施形態では、道路標識データ記録部３０３に格納された道路標識情報Ｔ３１１のうち、最高速度５０ｋｍ標識に対する組み合わせ情報Ｔ３１２の一部分を書き換える例を説明したが、他の部分を書き換えてもよい。道路標識情報書き換え部３０６は、道路標識データ記録部３０３に格納された道路標識情報において、如何なる情報も任意に書き換えることができる。

　また、本実施形態では、撮像装置２０から出力された単一フレームの画像に対する道路標識の認識結果に基づいて、道路標識データ記録部３０３に格納された道路標識情報の書き換え処理を実施する必要性の有無を判断する例を説明したが、同一シーンで得られた複数フレームの画像に対する道路標識の認識結果に基づいて道路標識情報の書き換え処理の必要性を判断してもよい。具体的には、例えば図２２のステップＳ３０８における第１の条件を、複数フレームでの道路標識の認識スコアの平均値が所定値以上であるという条件に置き換える。これにより、単一フレームで突発的に認識スコアが高くなることで道路標識情報が誤って書き換えられることを防止できる。

　さらに、複数シーンにおける道路標識の認識結果に基づいて道路標識情報の書き換え処理の必要性を判断してもよい。具体的には、例えば、単一シーンごとに得られた認識スコアをメモリに格納しておき、複数シーン間での認識スコアの平均値を計算する。そして、複数シーン間での認識スコアの平均値が所定値以上であるかを判定し、所定値以上であった場合には前述の第１の条件を満たしたと判定する。これにより、例えば単一シーンにおいて道路標識が他の車両等に遮蔽されることで十分な値の認識スコアが得られなかった場合でも、道路標識情報の書き換えを正確に実施できる。

　本実施形態では、道路標識認識装置１０Ｂが走行環境取得部３０５を有する例を説明したが、走行環境取得部３０５は無くても構わない。その場合、図２２のフローチャートでは、ステップＳ３０６の走行環境情報取得処理を省略できる。また、ステップＳ３１０の処理では、図３のステップＳ１０７と同様に、走行環境情報を用いずに、ステップＳ３０３、Ｓ３０５でそれぞれ得られた本標識および補助標識の認識結果と、ステップＳ３０７で取得した道路標識情報とに基づいて、自車両の制御内容を決定すればよい。このようにしても、道路標識情報書き換え部３０６は、道路標識認識部３０２による道路標識の認識結果に基づいて、道路標識データ記録部３０３に格納された道路標識情報の書き換え処理を実施することが可能である。

　以上説明した本発明の第８の実施形態によれば、第１～第７の実施形態で説明した（１）～（１０）の各作用効果に加えて、さらに以下（１１）の作用効果を奏する。

（１１）道路標識認識装置１０Ｂは、道路標識認識部３０２による道路標識の認識結果に基づいて、道路標識データ記録部３０３に格納された道路標識情報を書き換える道路標識情報書き換え部３０６をさらに備える。このようにしたので、道路標識の設置条件が変化した場合でも、実環境に応じて道路標識を正しく更新して道路標識の認識に活用することができる。

　なお、以上説明した第１～第８の各実施形態では、道路標識データ記録部１０３、２０３、３０３に格納された道路標識情報が本標識と補助標識の組み合わせ情報を含んでおり、この組み合わせ情報を利用して補助標識の種別を特定する例を記載したが、他の情報を道路標識情報に含めて道路標識データ記録部１０３、２０３、３０３に格納してもよい。
例えば、本標識と本標識の組み合わせに関する情報や、補助標識と補助標識の組み合わせに関する情報などを、道路標識情報として道路標識データ記録部１０３、２０３、３０３に格納することができる。このようにすれば、同一シーン内で複数の本標識や複数の補助標識が出現する場合に対しても、道路標識データ記録部１０３、２０３、３０３に格納されているこれら複数の標識同士の組み合わせに関する道路標識情報を活用して、車両制御に利用する道路標識の種別を正確に特定することができる。

　また、上記の各実施形態では、道路標識の認識を行う道路標識認識装置に関して説明したが、本発明の対象は道路標識認識装置に限定されるものではない。例えば、行先を示す看板等の他の対象を認識する装置においても、本発明を適用可能である。

　以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。

１０，１０Ａ，１０Ｂ　道路標識認識装置、２０　撮像装置、３０　車両制御装置、１０１，２０１，３０１　画像取得部、１０２，２０２，３０２　道路標識認識部、１０３，２０３，３０３　道路標識データ記録部、１０４，２０４，３０４　車両制御情報確定部、２０５，３０５　走行環境取得部、３０６　道路標識情報書き換え部

Claims

　画像を取得する画像取得部と、
　前記画像取得部が取得した前記画像から道路標識を認識する道路標識認識部と、
　複数の道路標識の組み合わせに関する道路標識情報を格納する道路標識データ記録部と、
　自車両の制御に利用する車両制御情報を決定する車両制御情報確定部と、を備え、
　前記車両制御情報確定部は、前記道路標識認識部による道路標識の認識結果と、前記道路標識データ記録部に格納された前記道路標識情報とに基づいて、前記車両制御情報を決定する道路標識認識装置。
　請求項１に記載の道路標識認識装置において、
　前記道路標識情報は、本標識と補助標識の組み合わせに関する組み合わせ情報を含む道路標識認識装置。
　請求項２に記載の道路標識認識装置において、
　前記組み合わせ情報は、本標識と補助標識の組み合わせごとの出現頻度の情報を含む道路標識認識装置。
　請求項２に記載の道路標識認識装置において、
　前記組み合わせ情報は、本標識ごとの補助標識の併設されやすさに関する情報を含み、
　前記道路標識認識部は、前記画像から複数の本標識が認識された場合、前記複数の本標識のうち、前記組み合わせ情報において前記補助標識の併設されやすさが高い本標識の周辺を優先して、補助標識の認識処理を実施する道路標識認識装置。
　請求項２から請求項４のいずれか一項に記載の道路標識認識装置において、
　前記車両制御情報確定部は、前記道路標識認識部による本標識の認識結果に基づき、前記道路標識データ記録部から当該本標識に対応する前記組み合わせ情報を取得し、取得した前記組み合わせ情報および前記道路標識認識部による補助標識の認識結果に基づいて、前記車両制御情報の決定に利用する補助標識の種別を特定する道路標識認識装置。
　請求項５に記載の道路標識認識装置において、
　前記道路標識認識部による補助標識の認識精度が所定値以上の場合、前記車両制御情報確定部は、前記道路標識データ記録部に格納された前記組み合わせ情報を用いずに、前記車両制御情報の決定に利用する補助標識の種別を特定する道路標識認識装置。
　請求項５に記載の道路標識認識装置において、
　前記道路標識認識部による補助標識の認識精度が所定値未満の場合、前記車両制御情報確定部は、前記道路標識認識部による補助標識の認識結果よりも、前記道路標識データ記録部から取得した前記組み合わせ情報を優先的に用いて、前記車両制御情報の決定に利用する補助標識の種別を特定する道路標識認識装置。
　請求項１から請求項４のいずれか一項に記載の道路標識認識装置において、
　前記自車両の周辺の走行環境情報を取得する走行環境取得部をさらに備え、
　前記道路標識情報は、道路標識ごとの走行環境に関する情報を含み、
　前記車両制御情報確定部は、前記道路標識認識部による道路標識の認識結果と、前記走行環境取得部により取得された前記走行環境情報と、前記道路標識データ記録部に格納された前記道路標識情報とに基づいて、前記車両制御情報を決定する道路標識認識装置。
　請求項８に記載の道路標識認識装置において、
　前記道路標識情報は、本標識と補助標識の道路種別ごとの組み合わせに関する組み合わせ情報を含み、
　前記車両制御情報確定部は、前記道路標識認識部による本標識の認識結果に基づき、前記道路標識データ記録部から当該本標識に対応する前記組み合わせ情報を取得し、取得した前記組み合わせ情報と、前記道路標識認識部による補助標識の認識結果と、前記走行環境取得部により取得された前記走行環境情報が表す道路種別とに基づいて、前記車両制御情報の決定に利用する補助標識の種別を特定する道路標識認識装置。
　請求項８に記載の道路標識認識装置において、
　前記道路標識データ記録部は、複数の国または地域について前記道路標識情報をそれぞれ格納しており、
　前記車両制御情報確定部は、前記走行環境取得部により取得された前記走行環境情報が表す国または地域に応じて、前記車両制御情報の決定に利用する前記道路標識情報を切り替える道路標識認識装置。
　請求項１から請求項４のいずれか一項に記載の道路標識認識装置において、
　前記道路標識認識部による道路標識の認識結果に基づいて、前記道路標識データ記録部に格納された前記道路標識情報を書き換える道路標識情報書き換え部をさらに備える道路標識認識装置。