JP6154839B2 - 道路標識判断装置及び道路標識判断方法 - Google Patents

Description

本発明は、撮像画像に起因する道路標識と地図データに起因する道路標識との両者を利用して、車両の乗員に報知するための道路標識（最終的な道路標識）を判断する装置（道路標識判断装置）及び方法（道路標識判断方法）に関する。

例えば特許文献１の図面は、速度規制値通知装置を開示し、速度規制値通知装置は、車載カメラの撮像画像から検出された道路標識と地図データ記憶部の地図データから取得された道路標識との両者を利用することができる。

特開２０１２−１８５０７６号公報

しかしながら、特許文献１の速度規制値通知装置は、撮像画像に起因する道路標識が地図データに起因する道路標識）と一致するか否かを判断しているに過ぎない。従って、撮像画像に起因する道路標識が検出されない時に、特許文献１の速度規制値通知装置は、最終的な道路標識を判断することができない。言い換えれば、本発明者らは、特許文献１の速度規制値通知装置では、最終的な道路標識が乗員に報知される確率又は期間が低い又は短いことを認識した。仮に、撮像画像に起因する道路標識が検出されない状態で最終的な道路標識を判断する場合、本発明者らは、乗員に報知される最終的な道路標識に誤りが存在する確率が低くなるべきであることを認識した。

本発明の１つの目的は、最終的な道路標識をより正確に判断可能な道路標識判断装置及び道路標識判断方法を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、道路標識判断装置は、
車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、第１の道路規制標識を検出する画像認識部と、
前記車両の位置を用いて、地図を構成する道路に関する道路リンク情報を含む地図データを記憶する地図データ記憶部から、前記車両の前記位置での第２の道路規制標識を含む道路リンクを取得する地図情報取得部と、
前記車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識および、前記現在の道路リンクにおける現在の第２の道路規制標識に基づき、前記現在の道路リンクでの現在の最終的な道路規制標識を判断する道路標識判断部と、を備える。

第１の態様では、車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、道路標識判断装置は、車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識に基づき、現在の道路リンクでの現在の最終的な道路規制標識の判断を実行することができる。言い換えれば、過去の道路リンクでの過去の最終的な道路規制標識の判断が実行される時に、道路標識判断装置は、その判断を現在の道路リンクで利用することができる。このように、道路標識判断装置は、現在の道路リンクでの現在の最終的な道路規制標識の非報知を回避することができる。

しかしながら、現在の道路リンクでの現在の最終的な道路規制標識の報知に誤りが存在する可能性がある。第１の態様では、現在の最終的な道路規制標識の報知に誤りが存在する確率を低減するために、道路標識判断装置は、過去の道路リンクで取得された過去の第２の道路規制標識及び現在の道路リンクで取得された現在の第２の道路規制標識（過去及び現在の取得状況）を更に考慮することができる。ここで、過去及び現在の第２の道路規制標識には、例えば規制速度、道路種別等が含まれている。道路標識判断装置は、このような過去及び現在の第２の道路規制標識を地図データから取得し、現在の道路リンクでの最終的な道路規制標識を報知するべきか否かを判断することができる。このように、車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、道路標識判断装置は、過去及び現在の第２の道路規制標識を考慮して、現在の最終的な道路規制標識をより正確に判断することができる。

第１の態様に従属する第２の態様において、
前記過去の道路リンクは、少なくとも前回の道路リンクを含んでもよく、
前記前回の道路リンクで検出された前回の第１の道路規制標識が前記前回の道路リンクで取得された前回の第２の道路規制標識と一致し、前記過去の第２の道路規制標識が前記現在の第２の道路規制標識と一致していることを条件に、前記道路標識判断部は、前記現在の最終的な道路規制標識の判断を実行してもよい。

第２の態様では、道路標識判断装置は、車両が右折又は左折する直前の前回の道路リンクで検出及び取得された前回の第１の道路規制標識及び第２の道路規制標識を利用することができる。具体的には、前回の第１の道路規制標識が前回の第２の道路規制標識と一致する時に、言い換えれば、撮像画像に起因する第１の道路規制標識の検出及び地図データに起因する第２の道路規制標識の取得に誤りが存在しない確率が高い時に、道路標識判断装置は、現在の道路リンクでの現在の最終的な道路規制標識が報知されるべきであることを判断することができる。

加えて、第２の態様では、例えば規制速度、道路種別等の対象（過去及び現在の取得状況）が変化しないことを条件に、道路標識判断装置は、現在の最終的な道路規制標識の判断を実行することができる。これにより、道路標識判断装置は、現在の最終的な道路規制標識の報知に誤りが存在する確率をより一層低減させることができる。

第２の態様に従属する第３の態様において、
前記道路標識判断部は、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識との一致率を取得し、前記一致率および、前記現在の道路リンクにおける現在の第２の道路規制標識に基づき、前記現在の最終的な道路規制標識の判断を実行してもよい。
第３の態様に従属する第４の態様において、
前記過去の道路リンクは、少なくとも前回の道路リンクを含み、
前記過去の道路リンクは、前記前回の道路リンクよりも以前の道路リンクを複数含んでもよく、
前記以前の道路リンクで検出された以前の第１の道路規制標識が前記以前の道路リンクで取得された以前の第２の道路規制標識と一致する時に、前記道路標識判断部は、前記一致率を上昇させてもよい。

第４の態様では、道路標識判断装置は、前回の道路リンクよりも以前の道路リンクも監視することができる。具体的には、前回の第１の道路規制標識が前回の第２の道路規制標識と一致し、且つ以前の第１の道路規制標識も以前の第２の道路規制標識と一致する時に、道路標識判断装置は、現在の最終的な道路規制標識が報知されるべきであるという判断の妥当性をより一層高く設定することができる。

第１乃至第４の態様の何れか１つに従属する第５の態様において、
前記現在の道路リンクに後続する後続の道路リンクで後続の第１の道路規制標識が検出されない時に、前記道路標識判断部は、後続の最終的な道路規制標識の判断を中止してもよい。

第５の態様では、現在の道路リンクで現在の第１の道路規制標識が検出されず、且つ後続の道路リンクで後続の第１の道路規制標識も検出されない時に、道路標識判断装置は、過去の最終的な道路規制標識の判断を現在の道路リンクで利用する一方、現在の最終的な道路規制標識の判断（過去の最終的な道路規制標識の判断に基づく判断）を後続の道路リンクで利用しない。言い換えれば、道路標識判断装置は、後続の最終的な道路規制標識の報知に誤りが存在する確率の上昇を想定し、安全サイドで、後続の最終的な道路規制標識の判断を中止することができる。

第１乃至第５の態様の何れか１つに従属する第６の態様において、
前記現在の道路リンクでの車線の数が変化している時に、前記道路標識判断部は、前記現在の最終的な道路規制標識の判断を中止してもよい。

第６の態様では、現在の道路リンクの車線の数が変化している時に、道路標識判断部は、実際の道路規制標識が変化する確率が高いと判断し、現在の最終的な道路規制標識の判断を中止することができる。

第６の態様において、道路標識判断方法は、
車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、第１の道路規制標識を検出すること、
前記車両の位置を用いて、地図を構成する道路に関する道路リンク情報を含む地図データを記憶する地図データ記憶部から、前記車両の前記位置での第２の道路規制標識を含む道路リンクを取得すること、
前記車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識との一致率に基づき、前記現在の道路リンクでの現在の最終的な道路規制標識として、前記現在の道路リンクで取得された現在の第２の道路規制標識を選択できるか否かを判断すること、を特徴とする。

第７の態様では、車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、道路標識判断方法は、車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識との一致率を考慮することができる。ここで、過去の第１の道路規制標識が過去の第２の道路規制標識に一致した回数（一致回数）、過去の第１の道路規制標識が過去の第２の道路規制標識に一致した時間（一致時間）及び／又は過去の第１の道路規制標識が過去の第２の道路規制標識に一致した距離（一致距離）が多い程、一致率は、高く評価されている。従って、撮像画像に起因する現在の第１の道路規制標識が現在の道路リンクで検出されない状況において、一致率が例えば高い時に、道路標識判断方法は、撮像画像に起因する過去の第１の道路規制標識及び地図データに起因する過去の第２の道路規制標識に基づき、現在の道路リンクでの現在の第２の道路規制標識の取得（地図データに起因する第２の道路規制標識の取得）に誤りがあるか否かと判断することができる。言い換えれば、道路標識判断装置は、一致率を考慮して、地図データが古くなっているか否かを判断することができる。地図データが例えば古くなっていない時に、道路標識判断方法は、現在の道路リンクで取得された現在の第２の道路規制標識を選択することができる。このように、道路標識判断方法は、現在の道路リンクでの現在の最終的な道路規制標識の非報知を回避することができる。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

本発明に従う道路標識判断装置の構成例を示す。 道路リンク情報の説明図を示す。 図３（Ａ）は、車両の進路例の説明図を示し、図３（Ｂ）は、図１の道路標識判断装置の動作例の説明図を示す。 図４（Ａ）は、図３（Ａ）の進路例の過去及び後続の進路例の説明図を示し、図４（Ｂ）は、図３（Ｂ）の動作例の過去及び後続の動作例の説明図を示す。 図１の道路標識判断装置の動作を表すフローチャートを示す。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１は、本発明に従う道路標識判断装置の構成例を示す。図１に示されるように、道路標識判断装置１００は、画像認識部１４、地図情報取得部２４及び道路標識判断部３２を備えている。また、図１の道路標識判断装置１００は、撮像部１２、地図データ記憶部２２、位置情報取得部４２及び報知部４４を更に備えることができる。もちろん、道路標識判断装置１００は、これらの構成要素の一部を備えなくてもよく、また、道路標識判断装置１００は、図示せぬ他の構成要素を更に備えてもよい。加えて、図１の道路標識判断装置１００は、車載ネットワーク５０上の情報又はデータを入力し、或いは、車載ネットワーク５０上に情報又はデータを出力することができる。

図１の撮像部１２は、車両に設けられている。ここで、撮像部１２は、車両の例えば室内に配置され、車両の前方（進行方向）を撮像する撮像画像を生成することができる。もちろん、撮像部１２は、室内のミラー（リアビューミラー）の前方に設けられてもよく、さらに、撮像部１２は、例えばドライブレコーダに利用される共用の撮像部であってもよい。加えて、撮像部１２は、車両の例えば室外に配置されてもよく、撮像部は、例えばエンブレムの裏、フロントバンパーの裏等に設けられてもよい。このように、撮像部１２が車両の前方（進行方向）を撮像できるように、撮像部１２は、車両の任意の位置に配置される。撮像部１２は、例えばＣＣＤ、ＣＭＯＳ等の撮像センサ（撮像素子）を有し、デジタル形式の撮像画像を生成することが好ましい。また、撮像部１２は、被写体（車両の前方に位置する例えば道路標識）の像を撮像センサの撮像面に形成する撮像レンズを有し、撮像レンズの位置は、例えばオートフォーカスモータによって自動的に駆動又は調整されることが好ましい。加えて、撮像部１２は、例えばリアルタイムの撮像画像を画像認識部１４に出力し続けてもよく、或いは、所定のタイミングで定期的に又は不定期的に撮像画像を画像認識部１４に出力してもよい。

図１の画像認識部１４は、例えばデジタル形式の撮像画像を入力し、撮像画像に画像認識処理を実行する。画像認識部１４は、撮像画像に文字、図形等の所定のパターンが存在するか否かを判断し、道路標識を検出することができる。図１の画像認識部１４は、道路標識のうちの道路規制標識を検出し、道路規制標識は、特定の交通方法を車両に禁止させ、又は特定の方法に従って車両が通行するように車両に指定している。道路規制標識は、例えば規制速度を含み、規制速度は、例えば車両が表示された速度（最高速度）を超えて走行することを禁止することができる。このように、画像認識部１４は、撮像画像から規制速度等の道路規制標識を検出し、その道路規制標識（第１の道路規制標識）を道路標識判断部に出力することができる。

なお、図１の撮像部１２がカメラで構成される時に、撮像部１２及び画像認識部１４は、ＦＣＭ（Front Camera Module）と呼ぶことができる。また、図１の符号「ＦＣＭ」は、ＦＣＭ又は画像認識部１４から出力される道路規制標識（第１の道路規制標識）を表している。

図１の地図データ記憶部２２は、道路リンク情報を含む地図データを記憶している。地図データ記憶部２２は、例えばＳＳＤ、ＨＤＤ、ＤＶＤ等のドライブ装置で構成され、図１の地図情報取得部２４によってアクセスされる。

図２は、道路リンク情報の説明図を示す。道路リンク情報は、地図を構成する道路に関する情報であり、図２において、複数の道路リンクＬ１〜Ｌ１７が示されている。１つの道路リンク（例えば道路リンクＬ１）は、１つのノード（例えばノードＮＤ１）ともう１つのノード（例えばノードＮＤ２）との間の道路区間を表し、道路リンクは、その道路リンクの例えば規制速度等の道路規制標識（第２の道路規制標識）を含んでいる。加えて、道路リンクには、リンク番号が付与され、道路リンクは、その道路リンクの道路規制標識（第２の道路規制標識）の位置（座標）又は起点ノードからの距離等を含むことができる。なお、ノードには、ノード番号が付与され、ノードは、そのノードの位置（座標）を含んでいる。ノードは、例えば交差点であり、交差点以外の節点であってもよい。

図１の地図情報取得部２４は、車両の位置を用いて、地図データ記憶部２２から、車両のその位置での道路リンクを取得する。車両が例えば図２の道路リンクＬ１を走行する時に、地図情報取得部２４は、道路リンクＬ１の例えば規制速度（第２の道路規制標識）を取得することができる。図１において、車両の位置は、位置情報取得部４２によって取得され、地図情報取得部２４は、車両の位置を入力して、車両が右折又は左折したか否かを判断することができる。代替的に、地図情報取得部２４は、車両の位置を入力して、車両のその位置でのノード（例えば交差点）の通過の有無を道路標識判断部３２に出力する一方、道路標識判断部３２は、車両の位置及び例えば交差点の通過の有無を入力して、例えば車両の位置の軌跡を推定し、車両が交差点を通過した後にその軌跡の方向（車両の進行方向）が変化したか否かを判断することができる。

なお、道路標識判断部３２は、車両の位置及び例えば交差点の通過の有無に代えて、車両の挙動情報を入力して、車両が右折又は左折したか否かを判断してもよい。ここで、車両の挙動情報には、例えば、車両（ステアリングハンドル）の舵角、車両のヨーレート、車両の横Ｇ（車両の進行方向に垂直な左右方向の加速度）等が含まれている。車両の挙動情報が例えばＣＡＮ等の車載ネットワーク５０を介して道路標識判断装置１００に入力される時に、その挙動情報を用いて、車両が右折又は左折したことが検出されてもよい。もちろん、車両が右折又は左折したか否かは、例えば画像認識部１４によって判断されてもよい。

加えて、図１の地図情報取得部２４は、車両の位置を入力して、道路リンクが変化したか否かを判断することができる。代替的に、地図情報取得部２４は、車両の位置を入力して、車両のその位置での道路リンクのリンク番号を道路標識判断部３２に出力し、道路標識判断部３２は、道路リンクが変化したか否かを判断することができる。

なお、図１の地図データ記憶部２２及び地図情報取得部２４は、ＭＰＵ（Map Positioning Unit）と呼ぶことができる。また、図１の符号「ＭＰＵ」は、ＭＰＵ又は地図情報取得部２４から出力される道路規制標識（第２の道路規制標識）を表している。加えて、ＭＰＵは、例えばＧＰＳ受信機で構成される位置情報取得部４２を含んでもよい。もちろん、位置情報取得部４２は、ＧＰＳ受信機に代えて、又はＧＰＳ受信機に加えて、位置センサ（例えばジャイロセンサ、加速度センサ）、通信モジュール（例えばＷｉｆｉ（wireless fidelity）モジュール、電話通信網モジュール）等を有することができる。ここで、通信モジュールは、電波送信部（例えばアクセスポイント、基地局）からの電波を受信し、その電波送信部の位置及びその電波送信部までの距離を検出し、車両の位置を取得することができる。

図１の道路標識判断部３２は、ＦＣＭによって検出された例えば規制速度（第１の道路規制標識）とＭＰＵによって取得された例えば規制速度（第２の道路規制標識）とを入力し、両者が一致するか否かを判断することができる。しかしながら、ＦＣＭによって例えば規制速度が検出されないことがある。即ち、規制速度を示す道路規制標識が何らかの理由で一時的に存在しないことがある。或いは、道路リンクによっては、道路規制標識が整備されていないことがある。加えて、道路規制標識が存在する場合であっても、例えば木、隣の車両、雨、雪等の障害物によって、道路規制標識を表す撮像画像が生成されないことがある。或いは、道路規制標識を表す撮像画像によっては、日光による撮像画像内のチラツキ、反射等のノイズで、道路規制標識を検出できないことがある。

特に、本発明者らは、車両が右折又は左折する時に、ＦＣＭによって例えば規制速度が検出されない確率が低くないことを認識した。

ＦＣＭによって例えば規制速度（現在の第１の道路規制標識）が現在の道路リンクで検出されない時に、道路標識判断部３２は、ＦＣＭによって過去の道路リンクで検出された過去の第１の道路規制標識とＭＰＵによって過去の道路リンクで取得された過去の第２の道路規制標識が協調することが妥当であることの確度を表す協調確度を利用して、現在の最終的な道路規制標識を判断することができる。具体的には、ＦＣＭによって例えば規制速度（現在の第１の道路規制標識）が現在の道路リンクで検出されない状況において、ＦＣＭ及びＭＰＵによって過去の道路リンクで検出及び取得された過去の第１及び第２の道路規制標識の一致に基づく協調確度が高い時に、道路標識判断部３２は、現在の道路リンクで現在の最終的な道路規制標識（車両の乗員に報知するための道路標識）を報知することを判断することができる。

例えば、道路標識判断部３２は、協調確度を考慮して、地図データが古くなっているか否かを判断することができる。協調確度が高い時に、道路標識判断部３２は、地図データが古くないことを判断することができる。地図データが例えば古くなっていない時に、道路標識判断部３２は、ＭＰＵによって現在の道路リンクで取得された現在の第２の道路規制標識（地図データに起因する第２の道路規制標識）を選択することができる。

加えて、道路標識判断部３２は、協調確度だけでなく、例えば規制速度、道路種別等の対象も利用して、現在の最終的な道路規制標識を判断することができる。具体的には、ＦＣＭによって現在の第１の道路規制標識が現在の道路リンクで検出されない時に、道路標識判断部３２は、協調確度だけでなく、ＭＰＵによって過去の道路リンクで取得された過去の対象及びＭＰＵによって現在の道路リンクで取得された現在の対象（過去及び現在の取得状況）も利用して、現在の最終的な道路規制標識を判断することができる。道路標識判断部３２は、このような過去及び現在の対象を地図データから取得し、現在の道路リンクでの最終的な道路規制標識を報知するべきか否かを判断することができる。

例えば、過去の規制速度が現在の規制速度と一致していることを条件に、道路標識判断部３２は、現在の最終的な道路規制標識を報知するべきことを判断することができる。例えば規制速度が変化しないことを条件に、現在の最終的な道路規制標識の判断が実行されるので、道路標識判断装置１００は、現在の最終的な道路規制標識の報知に誤りが存在する確率を低減させることができる。

図１の符号「ＩＮＦ」は、道路標識判断部３２から出力される現在の最終的な道路規制標識（車両の乗員に報知するための道路標識）を表している。報知部４４は、例えばディスプレイで構成され、報知部４４は、現在の最終的な道路規制標識、具体的には、ＦＣＭによって検出された例えば規制速度（第１の道路規制標識）又はＭＰＵによって取得された例えば規制速度（第２の道路規制標識）の何れか一方（道路標識判断部３２の判断結果又は選択結果）を表示することができる。これにより、車両の乗員は、現在の最終的な道路規制標識を認識することができる。もちろん、報知部４４は、例えばスピーカで構成されてもよく、報知部４４は、現在の最終的な道路規制標識を音声で乗員に報知してもよい。

図１の道路標識判断装置１００は、ＴＳＲ（Traffic sign recognition）装置又はＴＳＲシステムと呼ぶことができる。また、道路標識判断装置１００は、例えばナビゲーション装置又はナビゲーションシステムを構成してもよい。言い換えれば、ＦＣＭと接続されるナビゲーション装置の処理部が例えば地図情報取得部２４の機能及び道路標識判断部３２の機能を有してもよい。代替的に、撮像部１２と接続されるナビゲーション装置の処理部が例えば画像認識部１４の機能、地図情報取得部２４の機能及び道路標識判断部３２の機能を有してもよい。加えて、道路標識判断装置１００は、例えばドライブレコーダを構成してもよい。言い換えれば、撮像部１２は、ドライブレコーダのカメラであってもよい。

図３（Ａ）は、車両の進路例の説明図を示し、図３（Ｂ）は、図１の道路標識判断装置１００の動作例の説明図を示す。図３（Ａ）に示されるように、車両は、道路リンクＬ（−１）の終点（終点ノードＮＤ（Ｎ））である例えば交差点で右折し、その後、道路リンクＬ（０）を進む。このような進路を車両が走行する時に、図１の道路標識判断装置１００は、以下のように動作する。図３（Ｂ）において、車両は、道路リンクＬ（−１）に入る時に、画像認識部１４（以下「ＦＣＭ」ともいう）は、例えば４０［ｋｍ／ｈ］を表す規制速度（最高速度）を検出し、地図情報取得部２４（以下「ＭＰＵ」ともいう）は、例えば４０［ｋｍ／ｈ］を表す規制速度（最高速度）を取得する。ＦＣＭで検出された規制速度がＭＰＵで取得された規制速度に一致するので、道路標識判断部３２から出力される最終的な道路規制標識（ＩＮＦ）は、例えば４０［ｋｍ／ｈ］を表す規制速度（最高速度）である。

その後、車両が右折する時に、即ち、車両が道路リンクＬ（−１）を通過して、道路リンクＬ（０）に入る時に、道路標識判断部３２は、最終的な道路規制標識（ＩＮＦ）として、例えば４０［ｋｍ／ｈ］を表す規制速度（最高速度）を出力することができる（図３（Ｂ）の矢印ＥＸＴ参照）。言い換えれば、車両が道路リンクＬ（０）に入る状況において、ＦＣＭが道路リンクＬ（０）で実際の規制速度を検出できない時に、道路標識判断部３２は、最終的な道路規制標識（ＩＮＦ）として、何も出力しないのではなく、例えば４０［ｋｍ／ｈ］を表す規制速度を出力することができる（図３（Ｂ）の矢印ＥＸＴ参照）。

このように、前回の道路リンクＬ（−１）でＦＣＭによって検出された規制速度（第１の道路規制標識）が前回の道路リンクＬ（−１）でＭＰＵによって取得された規制速度（第２の道路規制標識）に一致する時に、図１の道路標識判断部３２は、協調確度が高いと判断し、前回の道路リンクＬ（−１）で例えば４０［ｋｍ／ｈ］を表す規制速度を出力することができる。車両が右折した後の現在の道路リンクＬ（０）で現在の第１の道路規制標識が検出されない時に、道路標識判断部３２は、高い協調確度に基づく前回の道路リンク（−１）での出力を現在の道路リンクＬ（０）で継続することができる。このように、道路標識判断装置１００は、現在の道路リンクＬ（０）での現在の最終的な道路規制標識（ＩＮＦ）の非報知を回避することができる。

なお、図３（Ｂ）において、車両が右折する前にＭＰＵによって前回の道路リンクＬ（−１）で取得された規制速度（４０［ｋｍ／ｈ］）は、車両が右折した後にＭＰＵによって現在の道路リンクＬ（０）で取得された規制速度（４０［ｋｍ／ｈ］）と一致している。しかしながら、車両が右折する時に、或いは車両が左折する時に、現在の道路リンクＬ（０）で取得される規制速度は、変化する可能性がある。例えば図３（Ａ）及び図３（Ｂ）において、現在の道路リンクＬ（０）に整備される実際の規制速度は、４０［ｋｍ／ｈ］を表しているが、以下に、現在の道路リンクＬ（０）に整備される実際の規制速度が例えば３０［ｋｍ／ｈ］であることを想定する。また、地図データも現在の道路リンクＬ（０）の規制速度も例えば３０［ｋｍ／ｈ］（想定規制速度）であることを想定する。

仮に、現在の道路リンクＬ（０）に整備される実際の規制速度が３０［ｋｍ／ｈ］である場合、ＭＰＵによって現在の道路リンクＬ（０）で取得された規制速度（想定規制速度：３０［ｋｍ／ｈ］）は、ＭＰＵによって前回の道路リンクＬ（−１）で取得された規制速度（図３（Ｂ）の４０［ｋｍ／ｈ］）と一致しなくなってしまう。このように、車両が右折する前にＭＰＵによって前回の道路リンクＬ（−１）で取得された規制速度（４０［ｋｍ／ｈ］）が、車両が右折した後にＭＰＵによって現在の道路リンクＬ（０）で取得された規制速度（想定規制速度：３０［ｋｍ／ｈ］）と一致しない時に、道路標識判断部３２は、前回の道路リンクＬ（−１）の出力の継続（図３（Ｂ）の矢印ＥＸＴ参照）を中止することができる。これにより、道路標識判断部３２は、現在の道路リンクＬ（０）での最終的な道路規制標識（ＩＮＦ）として、何も出力しない。代替的に、道路標識判断部３２は、現在の道路リンクＬ（０）で取得された規制速度（想定規制速度：３０［ｋｍ／ｈ］）を出力してもよい。

ところで、図３（Ｂ）において、ＭＰＵは、例えば４０［ｋｍ／ｈ］を表す規制速度だけでなく、例えば国道を表す道路種別も取得している。図３（Ａ）に示されるような進路を車両が走行する時に、道路標識判断部３２は、車両が右折する前の道路リンクＬ（−１）の道路種別と車両が右折した後の道路リンクＬ（０）の道路種別がと一致するか否かを判断することができる。現在の道路リンクＬ（０）において、ＭＰＵによって取得された道路種別（例えば国道）が変化しないことを条件に、道路標識判断部３２は、現在の最終的な道路規制標識（ＩＮＦ）を報知するべきことを判断することができる。ここで、好ましくは、現在の道路リンクＬ（０）において、ＭＰＵによって取得された規制速度（例えば４０［ｋｍ／ｈ］）及び道路種別（例えば国道）の両者が変化しないことを条件に、道路標識判断部３２は、現在の最終的な道路規制標識（ＩＮＦ）を報知するべきことを判断することができる。もちろん、道路標識判断部３２は、過去及び現在の道路リンクで取得された過去及び現在の対象（例えば規制速度、道路種別等）だけでなく、協調確度も利用又は考慮する。

なお、地図データは、規制速度以外の情報として、道路種別（例えば国道）に代えて、又は道路種別（例えば国道）に加えて、例えば車線の数を記憶してもよく、道路標識判断部３２は、それらの全部又は一部（ＭＰＵによる過去及び現在の取得状況）を考慮して、現在の道路リンクＬ（０）に整備される実際の規制速度等の道路規制標識が変化する可能性を判断することができる。その可能性が低い時に、道路標識判断部３２は、現在の最終的な道路規制標識（ＩＮＦ）を報知するべきことを判断することができる。

図３（Ａ）は、車両は右折することを示しているが、車両は、左折することがある。車両が左折する状況でＦＣＭ及びＭＰＵが図３（Ｂ）で示す内容で動作する時に、道路標識判断部３２は、上述のように動作する。

図４（Ａ）は、図３（Ａ）の進路例の過去及び後続の進路例の説明図を示し、図４（Ｂ）は、図３（Ｂ）の動作例の過去及び後続の動作例の説明図を示す。図４（Ａ）に示されるように、車両が道路リンクＬ（−Ｋ），・・・，Ｌ（−２）を走行した後に、車両は、道路リンクＬ（−１）を走行する。従って、道路標識判断部３２は、協調確度として、車両が右折する直前の前回の道路リンクＬ（−１）だけでなく、前回の道路リンクＬ（−１）よりも前の以前の道路リンクＬ（−Ｋ），・・・，Ｌ（−２）も監視することができる。次に、車両が道路リンクＬ（０）を走行した後に、車両は、例えば道路リンクＬ（１）を走行する。従って、道路標識判断部３２は、ＦＣＭによって例えば規制速度（後続の第１の道路規制標識）が後続の道路リンク（例えば次の道路リンクＬ（１））で検出されたか否かを判断することができる。

図４（Ｂ）に示されるように、前回の道路リンクＬ（−１）でＦＣＭによって検出された前回の規制速度（第１の道路規制標識）が前回の道路リンクＬ（−１）でＭＰＵによって取得された前回の規制速度（第２の道路規制標識）に一致することに加えて、前回の道路リンクＬ（−１）よりも前の以前の道路リンクＬ（−Ｋ），・・・，Ｌ（−２）でＦＣＭによって検出された以前の規制速度（第１の道路規制標識）は、以前の道路リンクＬ（−Ｋ），・・・，Ｌ（−２）でＭＰＵによって取得された以前の規制速度（第２の道路規制標識）に一致している。このような状況において、道路標識判断部３２は、協調確度の高さの程度（現在の道路リンクＬ（０）で現在の最終的な道路規制標識（ＩＮＦ）が報知されるべきであるという判断の妥当性）を上昇させることができる。言い換えれば、図４（Ｂ）において、道路リンクＬ（−１），Ｌ（−２），・・・，Ｌ（−Ｋ）でのＦＣＭの検出結果及びＭＰＵの取得結果の一致率が例えば１００［％］である時に、協調確度は、例えば１００［％］に設定することができる。仮に、例えば前回の道路リンクＬ（−１）でＦＣＭによって検出された規制速度（図４（Ｂ）の４０［ｋｍ／ｈ］）が前回の道路リンクＬ（−１）でＭＰＵによって取得された規制速度（想定規制速度：３０［ｋｍ／ｈ］）に一致しない場合、一致率及び協調確度は、下降する。

図４（Ｂ）において、以前の道路リンクＬ（−Ｋ），・・・，Ｌ（−２）の数は、Ｋ−１であるが、道路標識判断部３２によって考慮されるＫ−１は、０（Ｋ＝１）であってもよい（図３（Ｂ）参照）。しかしながら、好ましくは、Ｋ−１は、１（Ｋは２以上の整数）以上であり、更に好ましくは、Ｋ−１は、２（Ｋは３以上の整数）以上である。以前の道路リンクＬ（−Ｋ），・・・，Ｌ（−２）の数が複数である時に、道路標識判断部３２によって考慮される以前の道路リンクＬ（−２），・・・，Ｌ（−Ｋ）は連続し、且つ前回の道路リンクＬ（−１）及び以前の道路リンクＬ（−２）も連続していることが好ましい。

道路標識判断部３２は、協調確度として、道路標識判断部３２によって考慮される前回及び以前の道路リンクＬ（−１），Ｌ（−２），・・・，Ｌ（−Ｋ）でのＦＣＭの検出結果及びＭＰＵの取得結果の一致率を採用することができる。ここで、道路リンク毎に設定される重み係数は、固定値でもよく、或いは、可変値でもよい。道路リンク毎に設定される重み係数が可変値である時に、道路標識判断部３２は、現在の道路リンクＬ（０）までの距離が短い程、その重み係数を大きく設定してもよい。

なお、過去のＦＣＭの検出結果及びＭＰＵの取得結果の一致率には、過去のＦＣＭの検出結果が過去のＭＰＵの取得結果に一致した回数（一致回数）だけでなく、過去のＦＣＭの検出結果が過去のＭＰＵの取得結果に一致した時間（一致時間）が考慮されてもよい。例えば図４（Ｂ）において、前回及び以前の道路リンクＬ（−１），Ｌ（−２），・・・，Ｌ（−Ｋ）でのＦＣＭの検出結果及びＭＰＵの取得結果の一致時間は、車両が道路リンクＬ（−Ｋ）から道路リンクＬ（０）までのすべての道路リンクを通過するのに要した合計時間である。また、過去のＦＣＭの検出結果が過去のＭＰＵの取得結果に一致した距離（一致距離）が考慮されてもよく、一致距離は、例えば、道路リンクＬ（−Ｋ）から道路リンクＬ（０）までのすべての道路リンクの総距離である。

図４（Ｂ）は、一致率が例えば１００［％］であることを示しているが、例えば道路リンクＬ（−２）でのＦＣＭの検出結果がＭＰＵの取得結果に一致しない時に、一致回数に基づく一致率は、Ｋ／Ｋ×１００［％］から（Ｋ−１）／Ｋ×１００［％］に低下する。同様に、一致時間に基づく一致率は、合計時間／合計時間×１００［％］から（合計時間−車両が道路リンクＬ（−２）を通過するのに要した時間）／合計時間×１００［％］に低下する。同様に、一致距離に基づく一致率は、総距離／総距離×１００［％］から（総距離−道路リンクＬ（−２）の距離）／総距離×１００［％］に低下する。

協調確度の高さの程度が閾値を超えている時に、過去の例えば規制速度（ＭＰＵによって例えば前回の道路リンクＬ（−１）のみで取得された規制速度（４０［ｋｍ／ｈ］））が現在の例えば規制速度（ＭＰＵによって現在の道路リンクＬ（０）で取得された規制速度（４０［ｋｍ／ｈ］））と一致していることを条件に、道路標識判断部３２は、最終的な道路規制標識（ＩＮＦ）として、例えば４０［ｋｍ／ｈ］を表す規制速度を出力することができる（図４（Ｂ）の矢印ＥＸＴ参照）。

車両が後続の道路リンク（例えば次の道路リンクＬ（１））に入り、且つＦＣＭによって例えば規制速度（次の第１の道路規制標識）が次の道路リンクＬ（１）で検出されない時に（図４（Ｂ）の矢印ＮＯＴ２参照）、道路標識判断部３２は、次の最終的な道路規制標識（ＩＮＦ）として、何も出力しない（図４（Ｂ）の矢印ＮＯＮＥ参照）。言い換えれば、ＦＣＭによって例えば規制速度（現在の第１の道路規制標識）が車両が右折した後の現在の道路リンクＬ（１）で検出されず（図４（Ｂ）の矢印ＮＯＴ１参照）、且つＦＣＭによって例えば規制速度（次の第１の道路規制標識）が次の道路リンクＬ（１）でも検出されない時に（図４（Ｂ）の矢印ＮＯＴ２参照）、道路標識判断部３２は、前回の道路リンクＬ（−１）の出力の継続（図４（Ｂ）の矢印ＥＸＴ参照）を次の道路リンクＬ（１）で中止することができる（図４（Ｂ）の矢印ＮＯＮＥ参照）。道路標識判断部３２は、例えば次の最終的な道路規制標識（ＩＮＦ）の報知に誤りが存在する確率の上昇を想定し、安全サイドで、次の最終的な道路規制標識の判断を中止することができる。

ところで、図４（Ｂ）において、ＭＰＵは、例えば４０［ｋｍ／ｈ］を表す規制速度及び例えば国道を表す道路種別だけでなく、例えば三車線を表す車線の数も取得している。図４（Ａ）に示されるような進路を車両が走行する時に、現在の道路リンクＬ（０）において、ＭＰＵによって取得された規制速度（例えば４０［ｋｍ／ｈ］）並びに道路種別（例えば国道）及び／又は車線の数（例えば三車線）が変化しないことを条件に、道路標識判断部３２は、現在の最終的な道路規制標識（ＩＮＦ）を報知するべきことを判断することができる（図４（Ｂ）の矢印ＥＸＴ参照）。

なお、ＭＰＵが車線の数を記憶していない時に、道路標識判断部３２は、前回の道路リンクＬ（−１）でＦＣＭによって検出された車線の数が現在の道路リンクＬ（Ｏ）でＦＣＭによって検出された車線の数と一致するか否かを判断してもよい。仮に、現在の道路リンクの車線の数が変化している場合、道路標識判断部３２は、実際の道路規制標識が変化する確率が高いと判断し、現在の最終的な道路規制標識（ＩＮＦ）の判断及び報知を中止することができる。

図４（Ａ）は、車両は右折することを示しているが、車両は、左折することがある。車両が左折する状況でＦＣＭ及びＭＰＵが図４（Ｂ）で示す内容で動作する時に、道路標識判断部３２は、上述のように動作する。

図５は、図１の道路標識判断装置１００の動作を表すフローチャートを示す。図１の道路標識判断部３２は、車両が過去の道路リンクを通過したか否かを判断することができる（図５のステップＳＴ０１）。具体的には、図１の道路標識判断部３２は、例えば道路リンクが変化したか否かを判断することができる。例えば道路リンクが変化する時に、道路標識判断部３２は、地図情報取得部２４に道路規制標識（第２の道路規制標識）等の地図データを取得させる（ステップＳＴ０２）。好ましくは、地図情報取得部２４は、その道路規制標識に関連する例えば道路種別も取得する。

次に、図１の道路標識判断部３２は、トリガーを生成し（図５のステップＳＴ０３）、画像認識部１４は、そのトリガーに応じて、撮像画像に画像認識処理を実行する（ステップＳＴ０４）。ここで、道路標識判断部３２がトリガーを生成するタイミングは、例えば、車両の位置が道路リンクの終点に近づく時、車両の位置が道路リンクの道路規制標識（第２の道路規制標識）の位置に近づく時、画像認識部１４が撮像画像を入力する時、又はそれらの任意の組み合わせ等であってもよい。

撮像画像に規制速度等の道路規制標識（第１の道路規制標識）が含まれている時に、画像認識部１４は、現在の道路リンクの道路規制標識（第１の道路規制標識）を道路標識判断部３２に出力することができる。撮像画像に規制速度等の道路規制標識（第１の道路規制標識）が含まれていない時に、画像認識部１４は、現在の道路リンクの道路規制標識（第１の道路規制標識）を道路標識判断部３２に出力することができない。

図１の道路標識判断部３２は、現在の道路リンクで道路規制標識（第１の道路規制標識）が画像認識部１４によって検出されたか否かを判断する（図５のステップＳＴ０５）。次に、現在の道路リンクで道路規制標識（第１の道路規制標識）が画像認識部１４によって検出される時に、道路標識判断部３２は、その検出された道路規制標識（第１の道路規制標識）が地図情報取得部２４によって取得された道路規制標識（第２の道路規制標識）と一致するか否かを判断し、協調確度を更新する（ステップＳＴ０６）。具体的には、現在の道路リンクでの画像認識部１４の検出結果及び地図情報取得部２４の取得結果が一致する時に、道路標識判断部３２は、例えば一致率に基づく協調確度を高く設定し又は上昇させる。なお、一致率は、典型的には、一致回数に基づくが、一致率は、一致回数に代えて、又は一致回数に加えて、一致時間及び／又は一致距離に基づいてもよい。

ここで、協調確度は、画像認識部１４によって過去の道路リンクで検出された過去の第１の道路規制標識と地図情報取得部２４によって過去の道路リンクで取得された過去の第２の道路規制標識が協調することが妥当であることの確度を表す過去の協調確度だけでなく、画像認識部１４によって現在の道路リンクで検出された現在の第１の道路規制標識と地図情報取得部２４によって現在の道路リンクで取得された現在の第２の道路規制標識が協調することが妥当であることの確度を表す現在の協調確度も含んでいる。しかしながら、現在の道路リンクで道路規制標識（第１の道路規制標識）が画像認識部１４によって検出される時に、協調確度は、現在の協調確度だけでもよい。

図１の道路標識判断部３２は、例えば現在の協調確度に基づき、現在の道路リンクでの現在の最終的な道路規制標識を報知するべきか否かを判断する（図５のステップＳＴ０７）。例えば、画像認識部１４によって現在の道路リンクで検出された現在の第１の道路規制標識が地図情報取得部２４によって現在の道路リンクで取得された現在の第２の道路規制標識と一致する時に、道路標識判断部３２は、例えば現在の道路リンクで取得された現在の第２の道路規制標識を選択し、報知部４４は、現在の最終的な道路規制標識として、現在の道路リンクで地図情報取得部２４によって取得された道路規制標識（第２の道路規制標識）を車両の乗員に報知する（ステップＳＴ０８）。

例えば図３（Ｂ）の矢印ＮＯＴで示されるように、画像認識部１４によって現在の道路リンクで実際の規制速度が検出されない時に、図１の道路標識判断部３２は、車両が右折又は左折したか否かを判断する（図５のステップＳＴ０９）。車両が右折又は左折する時に、道路標識判断部３２は、過去のステップＳＴ０６で更新された協調確度の程度が閾値を超えているか否かを判断する（図５のステップＳＴ１０）。協調確度の程度が閾値を超える時に、道路標識判断部３２は、他の条件が満たされているか否かを判断する（図５のステップＳＴ１１）。他の条件が何も設定されてない時に、道路標識判断部３２は、例えば現在の道路リンクで取得された現在の第２の道路規制標識を選択し、或いは、過去の道路リンクで報知された道路規制標識の継続を選択し、報知部４４は、現在の最終的な道路規制標識を出力する（ステップＳＴ０８）。

他の条件として、以下の何れか１つの条件又はすべての条件が道路標識判断部３２に設定されることが好ましい。
（条件Ａ）地図情報取得部２４によって前回の道路リンクで取得された前回の規制速度が地図情報取得部２４によって現在の道路リンクで取得された現在の規制速度と一致すること。
（条件Ｂ）地図情報取得部２４によって前回の道路リンクで取得された前回の道路種別が地図情報取得部２４によって現在の道路リンクで取得された現在の道路種別と一致すること。
（条件Ｃ）画像認識部１４又は地図情報取得部２４によって前回の道路リンクで検出又は取得された前回の車線の数が画像認識部１４又は地図情報取得部２４によって現在の道路リンクで検出又は取得された現在の車線の数と一致すること。
例えば条件Ａ、条件Ｂ、条件Ｃ等の条件を考慮することによって、道路標識判断部３２は、現在の最終的な道路規制標識をより正確に判断することができる。

加えて、ステップＳＴ０９〜ステップＳＴ１１を介してステップＳＴ０８が実行される時に、以下の条件が道路標識判断部３２に設定されることが好ましい。
（条件Ｄ）車両が現在の道路リンクを走行していること。
従って、車両が右折した後の現在の道路リンクを通過した後、道路標識判断部３２は、協調確度を利用して、次の最終的な道路規制標識を判断することができる。言い換えれば、現在の道路リンクに後続する次の道路リンクで画像認識部１４が道路規制標識（第１の道路規制標識）を検出しない時に、道路標識判断部３２は、次の最終的な道路規制標識の判断を中止することができる。これに応じて、報知部４４は、ステップＳＴ０９〜ステップＳＴ１１を介してステップＳＴ０８で実行していた現在の最終的な道路規制標識の出力を中止することができる。道路標識判断部３２は、次の道路リンクでの次の最終的な道路規制標識の報知に誤りが存在する確率の上昇を想定し、報知部４４は、安全サイドで、次の道路リンクでの次の最終的な道路規制標識の出力を中止することができる。

なお、条件Ｄは、車両が現在の道路リンク及び次の道路リンクを走行していることであってもよい。現在の道路リンクに後続する次の道路リンクで画像認識部１４が道路規制標識を検出せず、且つ次の道路リンクに後続する更なる次の道路リンクで画像認識部１４が道路規制標識を検出しない時に、道路標識判断部３２は、次の最終的な道路規制標識として、例えば次の道路リンクで取得された現在の第２の道路規制標識を選択し、或いは、現在の道路リンクで報知された道路規制標識の継続を選択し、その後、更なる次の最終的な道路規制標識の判断を中止してもよい。

言い換えれば、条件Ｄは、車両が所定距離（例えば、数百［ｍ］）内を走行していることを意味し、例えば車両が交差点を通過してから数百［ｍ］よりも多く走行する時には、道路標識判断部３２は、最終的な道路規制標識の判断を中止することができる。国によっては、例えば数百［ｍ］毎に道路規制標識が設けられているので、道路標識判断部３２は、最終的な道路規制標識の報知に誤りが存在する確率の上昇を想定し、安全サイドで、最終的な道路規制標識の判断を中止することができる。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１２・・・撮像部、１４・・・画像認識部、２２・・・地図データ記憶部、２４・・・地図情報取得部、３２・・・道路標識判断部、４２・・・位置情報取得部、４４・・・報知部、５０・・・車載ネットワーク、１００・・・道路標識判断装置。

Claims (7)

1. 車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、第１の道路規制標識を検出する画像認識部と、
   前記車両の位置を用いて、地図を構成する道路に関する道路リンク情報を含む地図データを記憶する地図データ記憶部から、前記車両の前記位置での第２の道路規制標識を含む道路リンクを取得する地図情報取得部と、
   前記車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識および、前記現在の道路リンクにおける現在の第２の道路規制標識に基づき、前記現在の道路リンクでの現在の最終的な道路規制標識を判断する道路標識判断部と、
   を備えることを特徴とする道路標識判断装置。
2. 前記過去の道路リンクは、少なくとも前回の道路リンクを含み、
   前記前回の道路リンクで検出された前回の第１の道路規制標識が前記前回の道路リンクで取得された前回の第２の道路規制標識と一致し、前記過去の第２の道路規制標識が前記現在の第２の道路規制標識と一致していることを条件に、前記道路標識判断部は、前記現在の最終的な道路規制標識の判断を実行することを特徴とする請求項１に記載の道路標識判断装置。
3. 前記道路標識判断部は、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識との一致率を取得し、前記一致率および、前記現在の道路リンクにおける現在の第２の道路規制標識に基づき、前記現在の最終的な道路規制標識の判断を実行することを特徴とする請求項１に記載の道路標識判断装置。
4. 前記過去の道路リンクは、少なくとも前回の道路リンクを含み、
   前記過去の道路リンクは、前記前回の道路リンクよりも以前の道路リンクを複数含み、
   前記以前の道路リンクで検出された以前の第１の道路規制標識が前記以前の道路リンクで取得された以前の第２の道路規制標識と一致する時に、前記道路標識判断部は、前記一致率を上昇させることを特徴とする請求項３に記載の道路標識判断装置。
5. 前記現在の道路リンクに後続する後続の道路リンクで後続の第１の道路規制標識が検出されない時に、前記道路標識判断部は、後続の最終的な道路規制標識の判断を中止することを特徴とする請求項１乃至４の何れか１項に記載の道路標識判断装置。
6. 前記現在の道路リンクでの車線の数が変化している時に、前記道路標識判断部は、前記現在の最終的な道路規制標識の判断を中止することを特徴とする請求項１乃至５の何れか１項に記載の道路標識判断装置。
7. 車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、第１の道路規制標識を検出すること、
   前記車両の位置を用いて、地図を構成する道路に関する道路リンク情報を含む地図データを記憶する地図データ記憶部から、前記車両の前記位置での第２の道路規制標識を含む道路リンクを取得すること、
   前記車両が右折又は左折した後の現在の道路リンクで現在の第１の道路規制標識が検出されない時に、前記車両が右折又は左折する前である過去の第１の道路規制標識と過去の第２の道路規制標識との一致率に基づき、前記現在の道路リンクでの現在の最終的な道路規制標識として、前記現在の道路リンクで取得された現在の第２の道路規制標識を選択できるか否かを判断すること、を特徴とする道路標識判断方法。

Images