JP6200333B2 - 道路標識認識装置および道路標識認識方法 - Google Patents

Description

本発明は、道路標識を認識する装置（道路標識認識装置）及び道路標識を認識する方法（道路標識認識方法）に関し、特に、道路標識は、撮像画像に起因するものである。

例えば特許文献１は、車両用表示装置を開示し、車両用表示装置は、重要度の順位に応じて表示内容をヘッドアップディスプレイ、メータ内ディスプレイ、センターディスプレイに表示することができる。

次に、例えば特許文献２は、ナビゲーションデバイスを開示し、ナビゲーションデバイスは、複数の道路標識を表示することができる。

特開２００８−１６８７９９号公報 米国特許出願公開第２０１２／０２２３８４５号明細書

しかしながら、特許文献１の車両用表示装置、特許文献２のナビゲーションデバイス等の従来の装置又はデバイスは、車両の運転者等の乗員に複数の表示内容又は道路標識に認識させ難い。言い換えれば、本発明者らは、従来の装置又はデバイスでは、運転者にとって最も必要とされる道路標識を適切に表示できないことを認識した。

本発明の１つの目的は、道路標識を乗員に適切に伝達可能な道路標識認識装置を提供することである。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

第１の態様において、道路標識認識装置は、
車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、道路標識を検出する画像認識部と、
前記道路標識の重要度を判断する判断部と、
少なくとも２つの表示内容を並べて画面に表示可能な表示部と、
を備え、
少なくとも２つの道路標識が検出されて、前記少なくとも２つの道路標識のうちの第１の道路標識が第２の重要度よりも高い第１の重要度を有し、且つ前記少なくとも２つの道路標識のうちの第２の道路標識が前記第２の重要度を有する時に、前記少なくとも２つの表示内容のうちの第１の表示内容として、前記第１の道路標識を前記画面に固定される所定の領域に常に表示するとともに、前記少なくとも２つの表示内容のうちの第２の表示内容として、前記第２の道路標識を前記画面の他の領域に必要なタイミングで表示し、
前記他の領域での前記第２の道路標識の表示は、所定の期間だけ継続され、
少なくとも３つの道路標識が検出されて、前記少なくとも３つの道路標識のうちの第３の道路標識が前記第１の重要度よりも低い第３の重要度を有する時に、前記第２の道路標識及び前記第３の道路標識を、前記他の領域に繰り返し入れ替えて表示する。

第１の態様では、高い重要度を有する道路標識（第１の道路標識）は、画面に固定される所定の領域に常に表示される一方、他の道路標識（高い重要度を有しない第２の道路標識）は、画面に固定される所定の領域に表示されず、画面の他の領域に表示される。従って、車両の運転者等の乗員は、高い重要度を有する道路標識（第１の道路標識）を認識し易い。また、乗員は、必要に応じて、第１の道路標識と並べて表示される他の道路標識（第２の道路標識）を認識することができる。このように、道路標識認識装置は、道路標識（第１及び第２の道路標識を含む）を例えば運転者等の乗員に適切に伝達することができる。

なお、仮に、高い重要度を有する道路標識が表示される位置が変更される場合、乗員は、その道路標識が画面のどこに表示されるのかを予測し難くなってしまう。
加えて、検出される他の道路標識（高い重要度を有しない第２及び第３の道路標識）の数が複数である時に、道路標識認識装置は、他の道路標識（高い重要度を有しない第２及び第３の道路標識）を画面の他の領域に順次に表示することができる。これにより、他の道路標識（高い重要度を有しない第２及び第３の道路標識）が同時に表示されることがなく、運転者は、他の道路標識（高い重要度を有しない第２及び第３の道路標識）をより一層認識し易い。

第１の態様に従属する第２の態様において、
次の第１の道路標識が検出される時に、現在の第１の道路標識は、前記次の第１の道路標識に置き換えられて、前記次の第１の道路標識が前記所定の領域に表示されてもよく、
前記現在の第１の道路標識及び前記次の第１の道路標識の各々は、速度標識又は一時停止標識であってもよい。

第２の態様では、高い重要度を有する次の道路標識（次の第１の道路標識）が検出される時に、次の道路標識（次の第１の道路標識）が所定の領域に表示される。ここで、高い重要度を有する現在の道路領域（現在の第１の道路標識）及び次の道路標識（次の第１の道路標識）の各々は、速度標識又は一時停止標識である。従って、現在の速度標識（現在の第１の道路標識）及び次の速度標識（次の第１の道路標識）が、それぞれ、例えば５０［ｋｍ／ｈ］及び７０［ｋｍ／ｈ］を示す時に、画面に固定される所定の領域には、５０［ｋｍ／ｈ］の代わりに、７０［ｋｍ／ｈ］が表示される。このように、道路標識認識装置は、最新の速度標識を所定の領域に表示し続けるので、例えば運転者は、速度標識を認識し易い。これにより、車両の速度が速度標識に適用するように、運転者は、車両を運転することができる。

なお、画面に固定される所定の領域に一時停止標識が表示される時には、車両が一時的に停止するように、運転者は、車両を運転することができる。言い換えれば、一時停止標識は、実質的に、例えば０［ｋｍ／ｈ］を示すので、車両の速度が０［ｋｍ／ｈ］まで低下するように、運転者は、車両を運転することができる。

第１又は第２の態様に従属する第３の態様において、
前記第２の道路標識は、天気に起因する速度標識を含んでもよい。

第３の態様では、天気に起因する速度標識（第２の道路標識）は、画面の他の領域に表示される。即ち、画面は、例えば速度標識、一時停止標識等の高い重要度を有する道路標識（第１の道路標識）を表示するとともに、他の標識（第２の道路標識）として、天気に起因する速度標識を表示することができる。天気に起因する速度標識が検出される時に、運転者は、画面の他の領域に表示される天気に起因する速度標識を認識することができる。従って、運転者は、車両を運転している時の天気を考慮しながら、車両をより安全に運転することができる。

第１乃至第３の態様の何れか１つに従属する第４の態様において、
前記第２の道路標識は、前記車両の所定の状態を禁止する禁止標識及び前記車両の乗員に注意を喚起する注意標識を含んでもよい。

第４の態様では、車両の所定の状態を禁止する禁止標識（例えば進入禁止標識、駐車禁止標識、追い越し禁止標識）が検出される時に、運転者は、画面の他の領域に表示されるその禁止標識（第２の道路標識）を認識することができる。また、車両の乗員に注意を喚起する注意標識（例えば動物飛び出し注意標識、子供飛び出し注意標識）が検出される時に、運転者は、画面の他の領域に表示されるその注意標識（第２の道路標識）を認識することができる。

特に、車両が所定の状態にならないように、例えば車両が進入禁止に対応する道路に進入しないように、運転者は、車両を運転すればよく、運転者がその進入禁止標識（第２の道路標識）を認識できるように、進入禁止標識等の禁止標識（第２の道路標識）の表示は、所定の期間だけ継続すればよい。同様に、運転者は、注意標識（第２の道路標識）を認識できるように、注意標識（第２の道路標識）の表示は、所定の期間だけ継続すればよい。

なお、駐車禁止標識、追い越し禁止標識等の禁止標識（第２の道路標識）は、一般に、長距離有効であるので、所定の期間は、長く設定することができる。言い換えれば、所定の期間は、一定の期間であってもよいが、他の道路標識（高い重要度を有しない第２の道路標識）毎に設定することができる。

第５の態様において、道路標識認識方法は、
画像認識部が、車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、道路標識を検出し、
判断部が、前記道路標識の重要度を判断し、
少なくとも２つの道路標識が検出されて、前記少なくとも２つの道路標識のうちの第１の道路標識が第２の重要度よりも高い第１の重要度を有し、且つ前記少なくとも２つの道路標識のうちの第２の道路標識が前記第２の重要度を有する時に、少なくとも２つの表示内容を並べて表示可能な画面に、前記少なくとも２つの表示内容のうちの第１の表示内容として、前記第１の道路標識を前記画面に固定される所定の領域に常に表示するとともに、前記少なくとも２つの表示内容のうちの第２の表示内容として、前記第２の道路標識を前記画面の他の領域に必要なタイミングで表示し、
前記他の領域での前記第２の道路標識の表示は、所定の期間だけ継続され、
少なくとも３つの道路標識が検出されて、前記少なくとも３つの道路標識のうちの第３の道路標識が前記第１の重要度よりも低い第３の重要度を有する時に、前記第２の道路標識及び前記第３の道路標識を、前記他の領域に繰り返し入れ替えて表示する。

第５の態様では、高い重要度を有する道路標識（第１の道路標識）は、画面に固定される所定の領域に常に表示される一方、他の道路標識（第１の道路標識と異なる第２の道路標識）は、画面に固定される所定の領域に表示されず、画面の他の領域に表示される。従って、車両の運転者等の乗員は、高い重要度を有する道路標識（第１の道路標識）を認識し易い。また、乗員は、必要に応じて、第１の道路標識と並べて表示される他の道路標識（第２の道路標識）を認識することができる。このように、道路標識認識方法は、道路標識（第１及び第２の道路標識を含む）を例えば運転者等の乗員に適切に伝達することができる。

特に、高い重要度を有する第１の道路標識が所定の領域に表示される時に、例えば運転者は、その道路標識を認識し易い。これにより、車両が標識に適用するように、運転者は、車両を運転することができる。また、画面に固定される所定の領域に第２の道路標識が表示される時には、車両が第２の道路標識に適用するように、運転者は、車両を運転することができる。従って、運転者は、車両をより安全に運転することができる。

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図１（Ａ）は、本発明に従う道路標識認識装置の構成例を示し、図１（Ｂ）は、表示部の表示例を示す。 図２（Ａ）、図２（Ｂ）、図２（Ｃ）及び図２（Ｄ）は、車両が第１の区間を走行する時に変化する一連の画面（第１の動作例）の説明図を示す。 図３（Ａ）、図３（Ｂ）、図３（Ｃ）及び図３（Ｄ）は、車両が第１の区間を走行する時に変化する他の一連の画面第（第２の動作例）の説明図を示す。 図４（Ａ）及び図４（Ｂ）は、車両が第２の区間を走行する時に変化する一連の画面（第３の動作例）の説明図を示す。 図１（Ａ）の道路標識認識装置の動作を表すフローチャートを示す。 図６（Ａ）、図６（Ｂ）、図６（Ｃ）、図６（Ｄ）、図６（Ｅ）及び図６（Ｆ）は、図１（Ａ）の道路標識認識装置が認識可能な複数の道路標識を示す。

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

図１（Ａ）は、本発明に従う道路標識認識装置の構成例を示し、図１（Ｂ）は、表示部の表示例を示す。図１（Ａ）に示されるように、道路標識認識装置１００は、画像認識部１４及び判断部３２を備えている。また、図１（Ａ）の道路標識認識装置１００は、撮像部１２及び表示部４４を更に備えることができる。もちろん、道路標識認識装置１００は、これらの構成要素の一部を備えなくてもよく、また、道路標識認識装置１００は、図示せぬ他の構成要素を更に備えてもよい。加えて、図１（Ａ）の道路標識認識装置１００は、車載ネットワーク５０上の情報又はデータを入力し、或いは、車載ネットワーク５０上に情報又はデータを出力することができる。

図１（Ａ）の撮像部１２は、車両に設けられている。ここで、撮像部１２は、車両の例えば室内に配置され、車両の前方（進行方向）を撮像する撮像画像を生成することができる。もちろん、撮像部１２は、室内のミラー（リアビューミラー）の前方に設けられてもよく、さらに、撮像部１２は、例えばドライブレコーダに利用される共用の撮像部であってもよい。加えて、撮像部１２は、車両の例えば室外に配置されてもよく、撮像部は、例えばフロントグリルの前部等に設けられてもよい。

このように、撮像部１２が車両の前方（進行方向）を撮像できるように、例えばカメラで構成される撮像部１２は、車両の任意の位置に配置される。撮像部１２は、例えばＣＣＤ、ＣＭＯＳ等の撮像センサ（撮像素子）を有し、デジタル形式の撮像画像を生成することが好ましい。また、撮像部１２は、被写体（車両の前方に位置する例えば道路標識）の像を撮像センサの撮像面に形成する撮像レンズを有し、撮像レンズの位置は、例えばオートフォーカスモータによって自動的に駆動又は調整されることが好ましい。加えて、撮像部１２は、例えばリアルタイムの撮像画像を画像認識部１４に出力し続けてもよく、或いは、所定のタイミングで定期的に又は不定期的に撮像画像を画像認識部１４に出力してもよい。

図１（Ａ）の画像認識部１４は、例えばデジタル形式の撮像画像を入力し、撮像画像に画像認識処理を実行する。画像認識部１４は、撮像画像に文字、図形等の所定のパターンが存在するか否かを判断し、道路標識を検出することができる。図１（Ａ）の画像認識部１４は、道路標識のうちの例えば道路規制標識を検出し、道路規制標識は、特定の交通方法を車両に禁止させ、又は特定の方法に従って車両が通行するように車両に指定している。道路規制標識は、例えば規制速度である速度標識を含み、規制速度は、例えば車両が表示された速度（最高速度）を超えて走行することを禁止することができる。このように、画像認識部１４は、撮像画像から規制速度等の道路規制標識を検出し、その道路規制標識を判断部３２に出力することができる。

図１（Ａ）の判断部３２は、画像認識部１４によって検出された例えば規制速度（第１の道路標識）の重要度を判断する。言い換えれば、例えば規制速度が検出される時に、その規制速度の重要度は、高く、好ましくは最も高く、規制速度（第１の道路標識）は、画面に固定される所定の領域に常に表示される。図１（Ｂ）に示されるように、表示部４４は、画面の例えば右半分に４０［ｋｍ／ｈ］の規制速度を表示内容として表示する。なお、例えば４０［ｋｍ／ｈ］の規制速度を示す表示内容は、道路に実際に設置されている道路標識と同じ（相似形）である又は類似する文字、図形等であることが好ましく（図１（Ｂ）参照）、運転者は、その規制速度をより一層認識し易い。もちろん、表示内容は、数字を表す文字（例えば「４０」）だけであってもよく、或いは、数字と説明文とを表す文字（例えば「４０（最高速度）」）であってもよい。

ところで、規制速度は、天気に依存して変化することがある。即ち、例えば雨が降っている時に、規制速度（最高速度）は、小さく設定されていることがある。従って、天気に起因する規制速度（第２の道路標識）が画像認識部１４によって検出された時に、表示部４４は、画面の例えば左半分に天気に起因する規制速度を表示内容として表示することができる。これにより、例えば雨が実際に降っていない時に、運転者は、画面に固定される所定の領域（例えば右半分）で現在の規制速度を認識できる一方、例えば雨が実際に降っている時に、画面の他の領域（例えば左半分）で現在の規制速度を認識できる。従って、運転者は、車両を運転している時の天気を考慮しながら、車両をより安全に運転することができる。

規制速度（第１の道路標識）の重要度より低い重要度を有する道路標識（第２の道路標識）は、例えば天気に起因する規制速度である速度標識だけでなく、車両の所定の状態を禁止する禁止標識（例えば進入禁止標識、駐車禁止標識、追い越し禁止標識）も含むことが好ましい。図１（Ｂ）に示されるように、表示部４４は、画面の左半分に例えば追い越し禁止を表示内容として表示することができる。追い越し禁止を示す表示内容は、道路に実際に設置されている道路標識と同じ（相似形）である又は類似する文字、図形等であることが好ましい。なお、画面に表示される表示内容（道路標識）は、車両が存在する国又は車両が製造又は輸入される国に適合するものであることが好ましい。

また、規制速度（第１の道路標識）の重要度より低い重要度を有する道路標識（第２の道路標識）は、車両の乗員に注意を喚起する注意標識（例えば動物飛び出し警戒標識、子供飛び出し警戒標識）を更に含むことが好ましい。運転者は、画面の他の領域（例えば左半分）に表示される警戒標識（第２の道路標識）を認識しながら、車両をより安全に運転することができる。

図１（Ａ）の表示部４４は、例えばディスプレイで構成され、表示部４４は、画面を有することができる。また、ディスプレイ（表示部４４）は、例えばインストルメントパネルに配置されるメータを表示する共用のディスプレイであってもよい。即ち、メータを表示するディスプレイの画面の一部である領域を例えば図１（Ｂ）で示すような画面で構成してもよい。或いは、ディスプレイ（表示部４４）は、専用のディスプレイであってもよい。なお、表示部４４は、例えばヘッドアップディスプレイのプロジェクターで構成されてもよく、表示部４４は、例えばフロントガラス（ウインドシールド）である画面を有しなくてもよい。

表示部４４の画面は、少なくとも２つの領域を有し、少なくとも２つの領域のうちの１つの領域は、画面に固定される所定の領域（第１の道路標識）である。少なくとも２つの領域のうちのもう１つの領域も、画面に固定される所定の領域（第２の道路標識）であることが好ましく、これにより、運転者は、第２の道路標識をより一層認識し易い。また、例えば図１（Ｂ）に示されるように、表示部４４の画面は、現在の時刻、現在の気温、走行距離（例えばトリップメータ）等を表示する領域を更に有してもよい。

また、図１（Ａ）の道路標識認識装置１００は、例えばナビゲーション装置を構成してもよい。言い換えれば、ナビゲーション装置の処理部が例えば判断部３２の機能を有してもよい。代替的に、撮像部１２と接続されるナビゲーション装置の処理部が例えば画像認識部１４の機能及び判断部３２の機能を有してもよい。加えて、道路標識認識装置１００は、例えばドライブレコーダを構成してもよい。言い換えれば、撮像部１２は、ドライブレコーダのカメラであってもよい。

図２（Ａ）、図２（Ｂ）、図２（Ｃ）及び図２（Ｄ）は、車両が第１の区間を走行する時に変化する一連の画面（第１の動作例）の説明図を示す。図２（Ａ）において、車両１０が道路の第１の区間を走行する時に、車両１０は、道路標識ｍ１の手前に位置している。即ち、車両１０が次の道路標識ｍ１（第１の道路標識）を通過する前に、図示されない現在の道路標識（第１の道路標識）を通過し、これにより、表示部４４は、画面の右側に例えば５０［ｋｍ／ｈ］の規制速度を表示内容として表示している（図２（Ａ）参照）。

次に、図２（Ｂ）において、車両１０は、道路標識ｍ１を通過する。この時に、表示部４４は、画面の右側に例えば７０［ｋｍ／ｈ］の規制速度を表示内容として表示している（図２（Ｂ）参照）。現在の速度標識（現在の第１の道路標識）及び次の速度標識（次の第１の道路標識）が、それぞれ、例えば５０［ｋｍ／ｈ］及び７０［ｋｍ／ｈ］を示す時に、画面に固定される所定の領域には、５０［ｋｍ／ｈ］の代わりに、７０［ｋｍ／ｈ］が表示される（図２（Ｂ）参照）。このように、表示部４４は、高い重要度を有する道路標識（第１の道路標識）を、画面に固定される所定の領域に常に表示することができる。また、道路標識認識装置１００は、最新の規制速度である速度標識（第１の道路標識）を所定の領域に表示し続けることができる。従って、車両１０の運転者等の乗員は、高い重要度を有する道路標識（第１の道路標識）を認識し易い。

次に、図２（Ｃ）において、車両１０は、道路標識ｍ２（高い重要度を有しない第２の道路標識）を通過する。この時に、表示部４４は、画面の左側に例えば追い越し禁止を表示内容として表示している（図２（Ｃ）参照）。他の道路標識（第２の道路標識）は、画面に固定される所定の領域に表示されず、画面の他の領域に表示される。言い換えれば、画面に固定される所定の領域には、７０［ｋｍ／ｈ］の代わりに、追い越し禁止が表示されない。従って、車両１０の運転者等の乗員は、画面に固定される所定の領域に常に表示され、且つ高い重要度を有する道路標識（第１の道路標識）を認識し易い。また、乗員は、必要に応じて、他の道路標識（第２の道路標識）を認識することができる。このように、道路標識認識装置１００は、道路標識（第１及び第２の道路標識）を例えば運転者等の乗員に適切に伝達することができる。

加えて、表示部４４は、画面に第１及び第２の道路標識を並べて表示することができる（図２（Ｃ）参照）。言い換えれば、第２の道路標識は、常に表示される第１の道路標識の隣に必要なタイミングで表示される。従って、道路標識認識装置１００は、道路標識（第１及び第２の道路標識を含む）を例えば運転者等の乗員により一層適切に伝達することができる。なお、図２（Ｃ）において、表示部４４は、第２の道路標識（追い越し禁止）を第１の道路標識（７０［ｋｍ／ｈ］の規制速度）の左側に表示しているが、表示部４４は、第２の道路標識を第１の道路標識の右側、上側、下側等に表示してもよい。

次に、図２（Ｄ）において、車両１０は、道路標識ｍ３（高い重要度を有しない第２の道路標識）を通過する。ここで、表示部４４は、画面の左側に例えば雨が降る時に５０［ｋｍ／ｈ］の規制速度を表示内容として表示している（図２（Ｄ）参照）。他の道路標識（第２の道路標識）は、画面に固定される所定の領域に表示されず、画面の他の領域に表示される。言い換えれば、画面の他の領域には、追い越し禁止の代わりに、雨が降る時に５０［ｋｍ／ｈ］の規制速度（最新の第２の道路標識）が表示される。このように、表示部４４は、最大で例えば２つの道路標識（第１及び第２の道路標識）を表示することができる。

図３（Ａ）、図３（Ｂ）、図３（Ｃ）及び図３（Ｄ）は、車両１０が第１の区間を走行する時に変化する他の一連の画面（第２の動作例）の説明図を示す。図２（Ａ）及び図２（Ｂ）と同様に、図３（Ａ）及び図３（Ｂ）の表示部４４は、それぞれ、画面の右側に例えば５０［ｋｍ／ｈ］及び７０［ｋｍ／ｈ］の規制速度を表示内容として表示している。また、図２（Ｃ）と同様に、図３（Ｃ）の表示部４４は、それぞれ、画面の左側に例えば追い越し禁止を表示内容として表示している。

但し、図３（Ｃ）において、道路標識ｍ２（高い重要度を有しない第２の道路標識）の最長表示可能期間Ｔ１は、例えば図１（Ａ）の判断部３２によって設定されている。最長表示可能期間Ｔ１は、例えば５［ｍｉｎ］である。追い越し禁止を示す禁止標識である道路標識ｍ２（第２の道路標識）は、一般に、長距離有効であるので、最長表示可能期間Ｔ１（所定の期間）は、長く設定することができる。仮に、道路標識ｍ３（高い重要度を有しない第３の道路標識）が存在しない時に、１例として、表示部４４は、例えば車両１０が道路標識ｍ２を通過した時点から例えば５［ｍｉｎ］が経過するまでの間、追い越し禁止（第２の道路標識）の表示を継続することができる。

もちろん、表示部４４は、車両１０が道路標識ｍ２を通過する前（例えば、車両１０が道路標識ｍ２の例えば２０〜３０［ｍ］だけ手前を通過する時点、道路標識ｍ２が例えば図１（Ａ）の画像認識部１４によって検出された時点等）から、追い越し禁止（第２の道路標識）の表示を開始してもよい。特に、第２の道路標識が一時停止標識、進入禁止標識等である時に、車両１０の運転者は、早期に又は事前に開始される第２の道路標識の表示を認識し易い。或いは、表示部４４は、車両１０が例えば図３（Ｃ）の道路標識ｍ２を通過した後（例えば、道路標識ｍ２が例えば図１（Ａ）の画像認識部１４によって検出されなくなった時点等）から、追い越し禁止（第２の道路標識）の表示を開始してもよい。また、判断部３２は、最長表示可能期間Ｔ１を設定しなくてもよく、表示部４４は、例えば車両１０が道路標識ｍ３（高い重要度を有しない第３の道路標識）を通過するまでの間だけ、追い越し禁止（第２の道路標識）の表示を継続してもよい。

次に、図３（Ｄ）において、車両１０は、道路標識ｍ３（高い重要度を有しない第３の道路標識）を通過する。表示部４４は、例えば３つの道路標識（第１、第２及び第３の道路標識）を表示することができる。従って、表示部４４は、画面の左側に、例えば雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）及び追い越し禁止（第２の道路標識）を交互に表示する。具体的には、雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）の表示は、継続期間ｔ１（所定の期間）だけ継続され、その後、追い越し禁止（第２の道路標識）の表示は、継続期間ｔ２（所定の期間）だけ継続される。その後、雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）の表示は、再び、継続期間ｔ３（所定の期間）だけ継続される。

画面の左側に、例えば２つの道路標識ｍ２，ｍ３（第２及び第３の道路標識）が交互に表示される時に、継続期間ｔ１，ｔ２，ｔ３（所定の期間）の各々は、同じ期間であってもよい。なお、画面の左側に最初に表示される表示内容（例えば雨が降る時に５０［ｋｍ／ｈ］の規制速度）は、強調されてもよい。これにより、車両１０の運転者は、画面の左側に最初に表示される表示内容（例えば第３の道路標識）をより一層認識し易い。具体的には、継続期間ｔ１は、継続期間ｔ３よりも長く設定されてもよい。或いは、継続期間ｔ１に対応する表示内容（例えば第３の道路標識）は、一時的に大きく表示されてもよい。

図３（Ｄ）において、道路標識ｍ３（高い重要度を有しない第３の道路標識）の最長表示可能期間Ｔ２は、例えば図１（Ａ）の判断部３２によって設定されている。最長表示可能期間Ｔ２は、例えば車両１０が２２０［ｍ］だけ走行した時の時刻に対応する。１例として、判断部３２は、所定の速度で車両１０が２２０［ｍ］だけ走行するために必要な時間を算出することができる。或いは、判断部３２は、図示しない例えばメータＥＣＵから走行距離情報を例えば車載ネットワーク５０を介して入力して、車両１０が２２０［ｍ］だけ実際に走行した時に、最長表示可能期間Ｔ２の終点を設定してもよい。もちろん、最長表示可能期間Ｔ２，Ｔ１の各々は、同じ期間であってもよい。また、判断部３２は、最長表示可能期間Ｔ２を設定しなくてもよい。

図３（Ｄ）において、最長表示可能期間Ｔ２の終点に対応する時刻まで、表示部４４は、例えば雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）及び例えば追い越し禁止（第２の道路標識）を画面の左側に交互に表示可能である。その後、表示部４４は、例えば雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）の表示を終了させることができる。また、最長表示可能期間Ｔ１の終点に対応する時刻まで、表示部４４は、例えば追い越し禁止（第２の道路標識）を画面の左側に表示可能であり、その後、その規制速度（第２の道路標識）の表示を終了させることができる。

図４（Ａ）及び図４（Ｂ）は、車両１０が第２の区間を走行する時に変化する一連の画面（第３の動作例）の説明図を示す。ここで、例えば図４（Ａ）の第２の区間は、例えば図３（Ｄ）の第１の区間に後続するものである。但し、図４（Ａ）及び図４（Ｂ）において、最長表示可能期間Ｔ１，Ｔ２が設定されていない。代替的に、図４（Ａ）及び図４（Ｂ）において、車両１０又は判断部３２は、最長表示可能期間Ｔ１の終点に対応する時刻及び最長表示可能期間Ｔ２の終点に対応する時刻の双方の到来を待っている。

図４（Ａ）において、表示部４４は、例えば３つの道路標識（第１、第２及び第３の道路標識）を表示することができ、画面の左側に、例えば２つの道路標識ｍ２，ｍ３（第２及び第３の道路標識）が交互に表示されている。図３（Ｄ）及び図４（Ａ）の継続期間ｔ１，ｔ２，ｔ３，ｔ４（所定の期間）の各々は、同じ期間であってもよい。なお、例えば２つの道路標識ｍ２，ｍ３（第２及び第３の道路標識）が最初に交互に表示される表示内容は、強調されてもよい。具体的には、例えば、継続期間ｔ１は、継続期間ｔ３よりも長く設定されてもよい、また、継続期間ｔ２は、継続期間ｔ４よりも長く設定されてもよい。

次に、図４（Ｂ）において、車両１０は、道路標識ｍ４（高い重要度を有しない第４の道路標識）を通過する。表示部４４は、例えば４つの道路標識（第１、第２、第３及び第４の道路標識）を表示することができる。従って、表示部４４は、画面の左側に、例えば雪が降る時に３０［ｋｍ／ｈ］の規制速度（第４の道路標識）、雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）及び追い越し禁止（第２の道路標識）を順次に表示する。具体的には、雪が降る時に３０［ｋｍ／ｈ］の規制速度（第４の道路標識）の表示は、継続期間ｔ５（所定の期間）だけ継続される。その後、雨が降る時に５０［ｋｍ／ｈ］の規制速度（第３の道路標識）の表示及び追い越し禁止（第２の道路標識）の表示は、それぞれ、継続期間ｔ３（所定の期間）及び継続期間ｔ４（所定の期間）だけ継続される。その後、雪が降る時に３０［ｋｍ／ｈ］の規制速度（第４の道路標識）の表示は、再び、継続期間ｔ６（所定の期間）だけ継続される。

図４（Ｂ）の継続期間ｔ３，ｔ４，ｔ５，ｔ６（所定の期間）の各々は、同じ期間であってもよい。なお、例えば雪が降る時に３０［ｋｍ／ｈ］の規制速度（第４の道路標識）が最初に表示される表示内容は、強調されてもよい。具体的には、例えば、継続期間ｔ５は、継続期間ｔ６よりも長く設定されてもよい。

図５は、図１（Ａ）の道路標識認識装置１００の動作を表すフローチャートを示す。図１（Ａ）の画像認識部１４は、撮像部１２によって撮像された撮像画像に画像認識処理を実行して、道路標識を検出する一方、判断部３２は、検出された道路標識が例えば規制速度（最高速度）、即ち速度標識であるか否かを判断する（図５のステップＳＴ０１）。検出された道路標識が速度標識である時に、判断部３２は、その道路標識（速度標識）の重要度を高く設定する。ここで、重要度の個数は、例えば２つ（高い又は低い）であり、道路標識（速度標識）の重要度は、例えば高い又は例えば「１」に固定されている。

なお、検出された道路標識が速度標識でない時に、判断部３２は、検出された道路標識が一時停止標識であるか否かを判断する（図５のステップＳＴ０１）。検出された道路標識が一時停止標識である時に、判断部３２は、その道路標識（一時停止標識）の重要度を高く設定する。ここで、道路標識（一時停止標識）の重要度も、例えば高い又は例えば「１」に固定されている。一時停止標識は、実質的に、例えば０［ｋｍ／ｈ］を示すので、高い重要度を有する道路標識（第１の道路標識）は、速度標識だけでなく、一時停止標識も含んでいる。

図５のステップＳＴ０１は、高い重要度を有する道路標識（第１の道路標識）が最初に検出されるまで、繰り返される。言い換えれば、例えば車両１０のエンジン又は道路標識認識装置１００が始動した後、高い重要度を有する道路標識（第１の道路標識）が検出されるまでの間、表示部４４は、画面に固定される所定の領域に何も表示しない。一方、図５のステップＳＴ０１において、高い重要度を有する道路標識（第１の道路標識）が検出された時に、表示部４４は、画面に固定される所定の領域に速度標識（例えば図３（Ａ）参照））又は一時停止標識の何れか一方を表示する（図５のステップＳＴ０２）。

次に、判断部３２は、次の道路標識が検出されたか否かを判断する（図５のステップＳＴ０３）。言い換えれば、撮像部１３によって撮像された撮像画像がステップＳＴ０１で検出された道路標識を含まなくなった後に、判断部３２は、新しい道路標識が検出されたか否かを判断する（図５のステップＳＴ０３）。次の道路標識又は新しい道路標識が検出された後に、判断部３２は、検出された道路標識が速度標識又は一時停止標識であるか否かを判断する（図５のステップＳＴ０４）。

図５のステップＳＴ０４において、高い重要度を有する道路標識（第１の道路標識）が検出された時に、表示部４４は、画面に固定される所定の領域に速度標識（例えば図３（Ｂ）参照））又は一時停止標識の何れか一方を表示する（図５のステップＳＴ０５）。次に、判断部３２は、表示部４４の表示を中止するか否か、言い換えれば、例えば車両１０のイグニッションスイッチがＯＦＦされた否かを判定することができる（図５のステップＳＴ０６）。

表示部４４の表示が中止されない時に、道路標識認識装置１００は、再びステップＳＴ０３，０４を実行する。図５のステップＳＴ０４において、新しい道路標識は、高い重要度を有する道路標識（第１の道路標識）だけでなく、高い重要度を有しない道路標識（例えば第２〜第４の道路標識）を含んでいる。なお、図５において、道路標識認識装置１００は、例えば４つの道路標識（第１〜第４の道路標識）を表示することができるが、道路標識認識装置１００は、例えばステップＳＴ０７，ＳＴ０９，ＳＴ１０，ＳＴ１１を省略して、例えば２つの道路標識（第１〜第２の道路標識）だけを表示してもよい。或いは、道路標識認識装置１００は、例えば画面に表示される道路標識の数を制限しないで、例えばステップＳＴ０９とステップＳＴ１１との間に複数のステップを追加してもよい。

図５のステップＳＴ０４において、高い重要度を有する道路標識（第１の道路標識）が検出されず、且つ高い重要度を有しない道路標識（例えば第２〜第４の道路標識）が検出される時に、判断部３２は、検出された道路標識（例えば第２〜第４の道路標識）の数を判断することができる。例えば、検出された道路標識（例えば第２〜第４の道路標識）の数が１を示す時に、第２の道路標識だけが検出されて、第３の道路標識が検出されない。従って、表示部４４は、画面の他の領域に第２の道路標識（例えば図３（Ｃ）参照））を表示することができる（図５のステップＳＴ０７，ＳＴ０８）。

次に、検出された道路標識（例えば第２〜第４の道路標識）の数が例えば２を示す時に、第２及び第３の道路標識だけが検出されて、第４の道路標識が検出されない。従って、表示部４４は、画面の他の領域に第２及び第３の道路標識（例えば図３（Ｄ）参照））を順次に表示することができる（図５のステップＳＴ０９，ＳＴ１０）。次に、検出された道路標識（例えば第２〜第４の道路標識）の数が例えば３を示す時に、第２、第３及び第４の道路標識が検出される。従って、表示部４４は、画面の他の領域に第２、第３及び第４の道路標識（例えば図４（Ｂ）参照））を順次に表示することができる（図５のステップＳＴ１１）。

図６（Ａ）、図６（Ｂ）、図６（Ｃ）、図６（Ｄ）、図６（Ｅ）及び図６（Ｆ）は、図１（Ａ）の道路標識認識装置１００が認識可能な複数の道路標識を示す。図６（Ａ）に示されるように、図１（Ａ）の画像認識部１４は、例えば４０［ｋｍ／ｈ］の規制速度（最高速度）を示す速度標識（第１の道路標識）及び例えば追い越し禁止を示す禁止標識（第２の道路標識）を認識することができる。このように、例えば第１の道路標識及び第２の道路標識が実質的に同時に検出されてもよい。

また、図６（Ｂ）に示されるように、図１（Ａ）の画像認識部１４は、例えば「止まれ」を示す一時停止標識（第１の道路標識）及び例えば駐車禁止を示す禁止標識（第２の道路標識）を認識することができる。加えて、画像認識部１４は、道路標識のうちの例えば補助標識も検出して、例えば４０［ｋｍ／ｈ］の規制速度（最高速度）の終わりを示す１組の道路標識を認識することができる。言い換えれば、画像認識部１４は、道路標識のうちの例えば道路規制標識及び補助標識を考慮して、例えば「止まれ」を示す一時停止標識（第１の道路標識）をより一層適切に認識することができる。

また、高い重要度を有しない道路標識（例えば第２〜第４の道路標識）は、例えば車両進入禁止標識を示す禁止標識（図６（Ｃ））、例えば動物が飛び出すおそれありを示す警戒標識である注意標識又は動物飛び出し注意標識（図６（Ｄ））、例えば横断歩道を示す指示標識である注意標識又は子供飛び出し注意標識（図６（Ｅ））、例えば学校、幼稚園、保育所等ありを示す警戒標識である注意標識又は子供飛び出し注意標識（図６（Ｆ））等を含むことができる。

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

１０・・・車両、１２・・・撮像部、１４・・・画像認識部、３２・・・判断部、４４・・・表示部、５０・・・車載ネットワーク、１００・・・道路標識認識装置。

Claims (5)

1. 車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、道路標識を検出する画像認識部と、
   前記道路標識の重要度を判断する判断部と、
   少なくとも２つの表示内容を並べて画面に表示可能な表示部と、
   を備え、
   少なくとも２つの道路標識が検出されて、前記少なくとも２つの道路標識のうちの第１の道路標識が第２の重要度よりも高い第１の重要度を有し、且つ前記少なくとも２つの道路標識のうちの第２の道路標識が前記第２の重要度を有する時に、前記少なくとも２つの表示内容のうちの第１の表示内容として、前記第１の道路標識を前記画面に固定される所定の領域に常に表示するとともに、前記少なくとも２つの表示内容のうちの第２の表示内容として、前記第２の道路標識を前記画面の他の領域に必要なタイミングで表示し、
   前記他の領域での前記第２の道路標識の表示は、所定の期間だけ継続され、
   少なくとも３つの道路標識が検出されて、前記少なくとも３つの道路標識のうちの第３の道路標識が前記第１の重要度よりも低い第３の重要度を有する時に、前記第２の道路標識及び前記第３の道路標識を、前記他の領域に繰り返し入れ替えて表示することを特徴とする道路標識認識装置。
2. 次の第１の道路標識が検出される時に、現在の第１の道路標識は、前記次の第１の道路標識に置き換えられて、前記次の第１の道路標識が前記所定の領域に表示され、
   前記現在の第１の道路標識及び前記次の第１の道路標識の各々は、速度標識又は一時停止標識であることを特徴とする請求項１に記載の道路標識認識装置。
3. 前記第２の道路標識は、天気に起因する速度標識を含むことを特徴とする請求項１又は２に記載の道路標識認識装置。
4. 前記第２の道路標識は、前記車両の所定の状態を禁止する禁止標識及び前記車両の乗員に注意を喚起する注意標識を含むことを特徴とする請求項１乃至３の何れか１項に記載の道路標識認識装置。
5. 画像認識部が、車両に設けられる撮像部によって前記車両の前方が撮像された撮像画像に画像認識処理を実行して、道路標識を検出し、
   判断部が、前記道路標識の重要度を判断し、
   少なくとも２つの道路標識が検出されて、前記少なくとも２つの道路標識のうちの第１の道路標識が第２の重要度よりも高い第１の重要度を有し、且つ前記少なくとも２つの道路標識のうちの第２の道路標識が前記第２の重要度を有する時に、少なくとも２つの表示内容を並べて表示可能な画面に、前記少なくとも２つの表示内容のうちの第１の表示内容として、前記第１の道路標識を前記画面に固定される所定の領域に常に表示するとともに、前記少なくとも２つの表示内容のうちの第２の表示内容として、前記第２の道路標識を前記画面の他の領域に必要なタイミングで表示し、
   前記他の領域での前記第２の道路標識の表示は、所定の期間だけ継続され、
   少なくとも３つの道路標識が検出されて、前記少なくとも３つの道路標識のうちの第３の道路標識が前記第１の重要度よりも低い第３の重要度を有する時に、前記第２の道路標識及び前記第３の道路標識を、前記他の領域に繰り返し入れ替えて表示することを特徴とする道路標識認識方法。

Images