JP6445024B2 - 交通標識認識方法と装置 - Google Patents

Description

本発明は、独立請求項に記載されているプレアンブルに係る交通標識の内容を認識するための方法と装置に関する。

最近のドライバー・アシスタント・システムには、例えば、法的制限速度を超過した場合などに、ドライバーに警告するために、電子式交通標識認識システムが装備されるようになってきている。この際、典型的には、カメラが、車両周辺部を撮影し、対応する画像データを、交通標識を認識するためにアルゴリズムを用いて該画像データを分析し分類する画像評価手段に、供給する。このような方法は、例えば、特許文献１より既知である。

このように認識された交通標識からの情報は、続いて、例えば、車両の複合計器に、その時点の法的制限速度が表示されるなど、ドライバー・アシスタント機能に提供される。

特許文献２は、例えば、レーン認識機能と交通標識認識機能など、夜間、異なる露出要求を有する二つのドライバー・アシスタント機能を、一台のカメラで実現することを可能にする、車搭カメラ用の照明制御の方法を、開示している。この方法によれば、特に、走行速度が高速である場合に、交通標識認識システムにおいて、所謂「ｍｏｔｉｏｎ−ｂｌｕｒ」、即ち、「動きによる不鮮明さ」を回避乃至最小限に抑えるのに十分に短い露出時間が選択でき、交通標識の内容を認識することができる。

道路交通に設置されている交通標識には、或いは、道路標識の多くには、一枚、或いは、複数枚の、本標識の意味を具体化する、或いは、状況に応じてそれを制限する補助標識が取り付けられている。

特許文献３は、補助標識が、パターン認識方法によって可能な限りクラス分類され、補助標識テキストが、文字認識方法によって読まれ、解釈され、該クラス分類が、まだ、或いは、完全には実施できなかった場合において重要性（関連性）推定が実施される場合は、認識されたテキストが、状況データと比較される交通標識を認識するための方法を開示している。

交通標識のテキスト内容や、特に、バリアブルなテキストエレメントを読み取る場合における根本的な困難さは、十分な解像度と鮮明さ（シャープネス）を備えた画像が必要とされることである。

独国特許出願公開第１９８５２６３１号明細書 国際公開第２００９／１３５４６０号 国際公開第２０１３／０１７１２５号

Ｔ． Ｓ． Ｃｈｏ， Ｓ． Ｐａｒｉｓ， Ｗ． Ｔ． Ｆｒｅｅｍａｎ， Ｂ． Ｈｏｒｎ：Ｂｌｕｒ ｋｅｒｎｅｌ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｔｈｅ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ， ２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ） Ｍ． Ｉｒａｎｉ， Ｓ． Ｐｅｌｅｇ：Ｉｍｐｒｏｖｉｎｇ ｒｅｓｏｌｕｔｉｏｎ ｂｙ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ， ＣＶＧＩＰ： Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ． ５３， Ｎｏ． ３， Ｓ． ２３１−２３９， １９９１ Ｔ． Ｓ． Ｃｈｏ， Ｓ． Ｐａｒｉｓ， Ｗ． Ｔ． Ｆｒｅｅｍａｎ， Ｂ． Ｈｏｒｎ：Ｂｌｕｒ ｋｅｒｎｅｌ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｔｈｅ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ， ２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）

よって、本発明の課題は、この困難さと向き合い、迅速かつ信頼性の高い、バリアブルなテキスト要素を包含する交通標識の内容を認識する方法を提供することである。

本発明によれば、上記目的は、独立請求項に記載されている特徴によって達成される。本発明の好ましい発展形態は、従属請求項に記載されているが、各好ましい特徴を組み合わせること、並びに、これらの発展形態も可能であることは言うまでもない。

本発明の出発点は、以下の様な考察であった：
昨今、カメラは、基本的には、良好な解像度と鮮明さを提供できるが、走行する車両においてカメラを用いると言う条件下では、（特に暗闇においての）露出時間、採用されているレンズや組レンズのクオリティ、画像撮影センサーの選択されている解像度などの全てが、交通標識を完全に認識するために常に十分であるとは言い難い。

経済的理由から、車載カメラの画像クオリティ、即ち、レンズのクオリティ、イメージャの解像度や感度を、バリアブルなテキスト要素を含む交通標識や掲示板の解読が、近い将来において可能になるほど急速に改善されることは不可能であると考えられるため、本発明では、交通標識の動きによる不鮮明さを、画像或いは画像シーケンスにおいて割り出そうと言うアプローチを追及している。

本発明に係る走行中の車両からカメラによって交通標識を認識するための方法は、以下のステップを包含している：
−車両周辺部において少なくとも一枚の画像をカメラで撮影するステップ、
−該撮影された少なくとも一枚の車両周辺部の画像内に、少なくとも一枚の交通標識が存在するか否かを割り出すステップ、
−存在が確認された交通標識がある画像領域における動きによる不鮮明さを割り出すステップ、
−該画像領域の動きによる不鮮明さを計算し、画像領域を鮮明化するステップ、並びに、
−鮮明化された画像領域を考慮して、交通標識を認識するステップ。

該カメラは、特に、前方に向けられたモノカメラ、例えば、フロントガラスの後ろの内部ミラー付近に配置される、カラー解像度を有する画像撮影センサー（ＣＭＯＳやＣＣＤ）であることが好ましい。代案的には、ステレオ・カメラが、車両周辺部の空間的情報も得られると言う利点を有している。

該一枚の画像、或いは、画像シーケンスからは、好ましくは、交通標識認識機能に加え、他のカメラベースのドライバー・アシスタント機能、例えば、レーン逸脱警告、レーン維持サポート、自動ハイビーム制御、衝突警告、降水認識、自動クルーズ・コントロール、駐車サポート、自動緊急ブレーキ、及び／或いは、非常操舵システムなども実施できる。

動きによる不鮮明さの割り出しには、動きによる不鮮明さの推定だけでなく、動きによる不鮮明さの計算、特に、動きによる不鮮明さの核（「ｂｌｕｒ ｋｅｒｎｅｌ」）や点像不鮮明関数／点像分布関数（「ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ」）なども包含される。続いて、動きによる不鮮明さの撮影された画像への影響を、不鮮明な画像、或いは、不鮮明な画像領域の歪みを補正（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）することにより、割り出すことができる。これにより、画像（領域）が、鮮明化される。

鮮明化された画像領域を考慮した交通標識の認識は、パターン認識、クラス分類、或いは、テキスト認識（ＯＣＲ）によって、実施できる。

本発明に係る方法は、動きによる不鮮明さの走行中の車両のカメラの交通標識を包含する周辺領域画像への影響が、緩和され、場合によっては、抹消され、交通標識の信頼性高い、完全な認識が可能になると言う長所を提供する。

ある好ましい実施形態においては、「鮮明化された画像領域を考慮して、交通標識を認識する」ステップは、鮮明化された画像領域のテキスト認識も包含している。これにより、交通標識内のバリアブルなテキスト要素の完全な認識が可能になる。

尚、動きによる不鮮明さの割り出しにおいては、車両自らの動きを示すデータが評価されることが好ましい。走行中に撮影された交通標識の動きによる不鮮明さは、カメラの動き、即ち、車両内部に固定されたカメラの場合、車両固有運動にのみ起因している。この原因は、リアルタイムな車両固有運動に関する情報から、更には、オプションとしてカメラ・システムの撮影特性やカメラと交通標識間の幾何学的関係とを組み合わせることで計算上考慮することができる。この様なデータは、例えば、車両運動センサーから得ることができる。画像データ評価からも、とくにステレオ・カメラの場合、車両固有運動を割り出す手掛かりが得られる。

ある好ましい実施形態によれば、存在が確認された交通標識が写っている画像領域内の動きによる不鮮明さを割り出すために、該画像領域のエッジが割り出され、評価される。不鮮明な画像内のエッジから動きによる不鮮明さを推定するアプローチとしては、Ｔ． Ｓ． Ｃｈｏ， Ｓ． Ｐａｒｉｓ， Ｗ． Ｔ． ＦｒｅｅｍａｎとＢ． Ｈｏｒｎが、非特許文献１の「”Ｂｌｕｒ ｋｅｒｎｅｌ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｔｈｅ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ“， ２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）」に、開示している。

交通標識の不変的要素が、撮影された画像から交通標識を部分的に認識するために用いられることが好ましい。即ち、部分的に認識された交通標識に相当する予め定められたテンプレート・交通標識が、該画像領域の動きによる不鮮明さの割り出しに用いられる。続いて、鮮明化された画像領域を考慮した上で、交通標識の変わり得る要素を認識する。これにより、交通標識、特に、本標識は、動きによる不鮮明さを推定している時には既に、部分的に、場合によっては、完全に認識されている、即ち、動きによる不鮮明さを除いた概観（テンプレート・交通標識）は、既知であることから、動きによる不鮮明さを割り出す際にこれを考慮することができる。

好ましい発展形態においては、該不変的要素には、本標識の形状と枠も包含される。よって、変わり得る要素とは、本標識の枠に囲まれた画像領域の内容である。

画像領域は、少なくとも本標識と該本標識に帰属する全ての補助標識を包含するように形成されることが好ましい。言うまでもなく、該本標識に一枚の補助標識のみが帰属している場合は、補助標識は一枚のみである。不変的要素としては、少なくとも一枚の本標識が完全に認識され、変わり得る要素としては、該一枚の或いは複数枚の補助標識の内容が認識される。これは、補助標識の枠（明確なエッジ）が、頻繁に認識しにくいこと、また、補助標識には、全てを予めトレーニングして置くことは不可能な変更され得る要素が含まれることから、有利な方法である。

代案的な好ましい実施形態では、画像内の各々の交通標識（本標識や補助標識）用に個別の画像が作成される。続いて、少なくとも二枚の交通標識が、特に、それらの幾何学的位置関係に基づいて、互いに関連付けられる。第一と第二、場合によっては、更なる画像領域内において二枚の交通標識の帰属関係が認識された場合、動きによる不鮮明さは、第一画像領域用にのみ割り出され、第二並びに他の画像領域にもそれが転用される。第一画像領域は、本標識を包含している、特に、テキスト認識無しに、完全に認識できる本標識を包含していることが好ましい。

鮮明でない領域において補助標識を認識することは、困難な場合が多い。動きによる不鮮明さを、まだ判明していない補助標識に対してではなく、それに帰属している本標識（例えば、制限速度や追い越し禁止の標識）に対して計算することで、計算は、著しく容易、且つ、正確になる。その理由としては、本標識の方が大きく、鮮明な赤い枠を有しているため、より良好に検出可能であることが挙げられる。本標識と補助標識は、直接的に、上下、或いは、左右に配置されており、同じ画像内で捕捉できるため、双方の標識に対する動きによる不鮮明さのパラメータは、略同じであるため、本標識のものを補助標識に転用することができる。

鮮明化された画像領域を考慮しても交通標識の認識に成功しなかった、或いは、不確かな場合は、カメラによって連続して撮影され、同一の交通標識が写っている、複数の画像から抽出され、鮮明化された画像領域を合成して非常に鮮明な画像領域を作成することが好ましい。即ち、「鮮明化された画像領域を考慮して、交通標識を認識する」ステップまでの全てのメインステップを連続する画像に対して反復する。続いて、同一の交通標識が映っている複数の鮮明化された画像領域から、合成によって非常に鮮明な画像領域が算出される。この様な、より高解像度の合成画像を作成するための方法は、例えば、非特許文献２「”Ｉｍｐｒｏｖｉｎｇ ｒｅｓｏｌｕｔｉｏｎ ｂｙ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ“、Ｍ． Ｉｒａｎｉ， Ｓ． Ｐｅｌｅｇ著、ＣＶＧＩＰ： Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ． ５３， Ｎｏ． ３， Ｓ． ２３１−２３９， １９９１」等から既知である。低クオリティの例えば補助標識が映っている連続する複数のカメラによる実写からでも、高クオリティの、テキスト認識によって読み取ることが可能な合成画像を計算することができる。

このように、交通標識は、合成された非常に鮮明な画像領域を考慮することにより、認識されることができるが、この方法によれば、交通標識認識機能の信頼性と稼働率も向上している。

更に本発明は、走行中の車両から車両周辺部の少なくとも一枚の画像を撮影するためのカメラと画像評価ユニットを包含する装置であって、該画像評価ユニットが、撮影された画像から一枚の或いは複数枚の交通標識（Ｈｚ， Ｚｚ）の存在を認識し、存在が認識された交通標識（Ｈｚ， Ｚｚ）が映っている画像領域の動きによる不鮮明さを割り出し、該画像領域内の動きによる不鮮明さを算出し、該画像領域を鮮明化し、該鮮明化された画像領域を考慮することにより交通標識（Ｈｚ， Ｚｚ）認識し、対応する出力シグナルを作成することのできる交通標識を認識するための装置にも関する。

本発明の他の長所は、明細書内の説明、及び、図によって開示される。実施例を図に簡略的に示し、以下に詳しく説明する。

可変的要素の交通標識の例であり、（ａ）は、本標識を示す図である。 可変的要素の交通標識の例であり、（ｂ）は、補助標識を示す図である。 バリアブルなテキスト内容を有する本標識を示す図である。 速度を制限する本標識とフランス語のテキストが書かれた補助標識を示す図である。 本標識とそれに帰属する補助標識を示す図である。

図１は、可変的要素、特に、バリアブルなテキスト内容の交通標識を示している：図１ａは、バリアブルなテキスト内容の本標識、即ち（左から順に）、実重５．５トン以上の車両の、実幅（アウターミラーを含む）２メートル以上の車両の、並びに、実軸荷重８トン以上の車両の進入を禁止する標識を示している。

図２ｂは、帰属している本標識（図示せず）の有効範囲、即ち、本標識から６００メートルまでの範囲においてのみ、８時から１１時と１６時から１８時の時間帯のみ、並びに、実重７．５トン以上の車両に対してのみ、有効であると言うことを定めたバリアブルなテキスト内容の補助標識を示している。図１の交通標識では、特に数値が、「バリアブルなテキスト内容」である。この様な交通標識の、特にパターン認識による、完全な認識は、困難である。しかし、テキスト認識（例えば、ＯＣＲ）には、これら標識の十分な解像度と鮮明さを有する撮影画像が必要である。走行中の車両から車載カメラによって撮影された画像には、車両の動き、即ち、カメラの交通標識に対する相対的な動きに起因する不明瞭さが伴う。動きによる不鮮明さは、英語では、「ｍｏｔｉｏｎ ｂｌｕｒ」と呼ばれている。カメラ画像の撮影の際に、露出時間が短ければ短いほど、動きによる不鮮明さは、僅かになる。しかし暗所では、撮影された画像データにおいて、少なくとも何某かを認識するためには、相応の最短露出時間が必要である。

図１に例示した交通標識（Ｈｚ， Ｚｚ）などでは特に、画像撮影時の動きによる不鮮明さから、カメラベースのドライバー・アシスタント・システムによって、これらは、常に完全には認識し得ない。これに対処するため、本発明に係る実施例では、カメラによって撮影された車両周辺部の画像において、先ず交通標識（Ｈｚ， Ｚｚ）の存在が検索される。ある画像領域に交通標識（Ｈｚ， Ｚｚ）が割り出された場合、該画像領域の動きによる不鮮明さが割り出される（算出される、或いは、少なくとも推定される）。この計算や推定は、特に、携帯電話用のカメラや手持ちされ、撮影時にブレた画像になりやすい写真用のカメラにおける最新の研究対象である。該動きによる不鮮明さは、「ｂｌｕｒ ｋｅｒｎｅｌ」（動きによる不鮮明さの核）や「ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ」（点像分布関数）として割り出される。そして、これらを用いることによってのみ、不鮮明な画像を、正しく歪み補正（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）して、鮮明な画像に変換できる。

不鮮明な画像内のエッジから核を推定するアプローチの例としては、非特許文献３「”Ｂｌｕｒ ｋｅｒｎｅｌ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｔｈｅ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ” Ｔ． Ｓ． Ｃｈｏ， Ｓ． Ｐａｒｉｓ， Ｗ． Ｔ． Ｆｒｅｅｍａｎ， Ｂ． Ｈｏｒｎ， ２０１１ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）」が挙げられる。

交通標識認識機能のためには、二つの、このアプローチが有利であると思われる事情がある：交通標識（Ｈｚ， Ｚｚ）は、明確なエッジを有している、そして（可変的要素（Ｖ）を除けば）不変的な交通標識要素（Ｓ）の鮮明な映像は、既知であり、例えば、一般的な禁止標識は、特別な禁止標識のテンプレートとしてみなすことができる。これら双方が、非特許文献３の著者Ｃｈｏらが提案している動きによる不鮮明さを推定し、歪み補正するためのソリューションを効果的に用いることを可能にしている。

続いて、割り出された動きによる不鮮明さの影響を、該画像領域から差し引き、鮮明化された画像領域を得る。交通標識（Ｈｚ， Ｚｚ）の完全な認識、特に、テキスト認識を用いたバリアブルなテキストの解読は、上記のごとく鮮明化された画像領域を考慮して実施される。

図２から４により、本発明の好ましい実施例を詳しく説明する。

図２は、図１ａの第一の交通標識：「実重５．５トン以上の車両の進入禁止」を示している。

この交通標識は、不変的要素（Ｓ）、即ち、禁止標識において典型的な、形状と枠、要するに、本質的に赤いリングと、可変的要素（Ｖ）、即ち、ここでは、「５．５ｔ」に分割することができる。カメラベースの交通標識認識機能においては、撮影された動きによる不鮮明さのある画像データからでも、この交通標識（Ｈｚ）が、禁止標識であることは、認識可能であることが多い。一方、何を禁止しているのか、或いは、誰に対しての禁止なのかは、撮影された動きによる不鮮明さのある画像データからは、テキスト認識が成功するにはノイズが多過ぎるため、直接的に認識できないことが多い。よって、交通標識（Ｈｚ）が写っている画像領域用の動きによる不鮮明さを割り出す、或いは、推定する。禁止標識の円形と赤色の枠は、認識しやすいため、そして、動きによる不鮮明さを推定する時点では既に、それが認識できていることから、動きによる不鮮明さを差し引いたその外観は既知である。そして、動きによる不鮮明さの推定は、円形の赤い枠内の画像領域（Ｖ）を、動きによる不鮮明さを差し引くことで鮮明化するために用いられる。続いて、画像領域（Ｖ）の内部の認識、即ち、テキスト認識が可能になり、その内容である文字「５．５ｔ」が、得られる。これにより、該交通標識の規制内容が、即ち、実重５．５トン以上の車両は進入禁止であることが、完全に捕捉される。この情報は、車両のドライバーに伝達される（例えば、複合計器内に対応するシンボルを表示する）、或いは、車両の現在の実質重量、或いは、最大重量と比較して、関係ない場合（例えば、乗用車の場合）破棄される、或いは、交通標識認識手段から車両ナビゲーション装置や自律的車両制御装置へ出力されることができる。

図３は、法的制限速度を５０ｋｍ／ｈに制限する本標識（Ｈｚ）と、フランス語で「ｐａｒ ｔｅｍｐｓ ｄｅ ｐｌｕｉｅ」と書かれた、即ち、帰属する本標識の制限速度が、雨天、乃至、路面が濡れている場合にのみ有効であることを意味する補助標識（Ｚｚ）とを示している。厳密にいえば、このテキストは、フランスでは、バリアブルではないが、できるだけ多くの国々、乃至、できるだけ多くの言語において、補助標識の内容を認識し、解釈できる交通標識認識機能を得るためには、このようなテキストを、テキスト内容に関する予備知識を持つことなく、個々のアルファベットとして解読できる方が望ましい。そのためこれは、本発明の範囲では、認識されるべき、バリアブルなテキスト要素（Ｖ）として扱われる。バリアブルなテキスト要素を認識すれば、少なくとも、このテキストを制限速度に対する付加的情報として、ドライバーのために、複合計器内に表示すること、或いは、車両データベースやクラウドにおいて、認識された言葉の意味や翻訳を検索することは、可能である。

本方法のある実施形態によれば、主標識（Ｈｚ）と帰属されている夫々の補助標識（Ｚｚ）を包含する様に、該画像領域が作成される。この様にすることで、この画像領域全体に対する動きによる不鮮明さを、本標識（Ｈｚ）の動きによる不鮮明さから割り出すことが可能になる。尚、制限速度の値の種類は、それほどは多くないため、本標識全体を、不変的要素（Ｓ）として扱うことも可能である。続いて、図２でのやり方と同様に、可変的要素（Ｖ）を、ここでは、補助標識（Ｚｚ）を、割り出された動きによる不鮮明さを考慮して鮮明化された画像領域から、認識、乃至、解読する。

図４は、本標識（Ｈｚ）、即ち、「野獣横断注意」の危険標識と、これに帰属する該危険標識の有効区間を「区間３ｋｍ」に制限する補助標識（Ｚｚ）を示している。

ある有利な実施形態によれば、本標識（Ｈｚ）と補助標識（Ｚｚ）は、二枚の独立した交通標識として認識され、これに相当する二か所の独立した画像領域が作成される。続いて、双方の交通標識（Ｈｚ， Ｚｚ）が、互いに帰属しているか否かが検証される。ここでは、本標識が、補助標識の真上にあると言う配置から帰属関係が認識される。先ず、動きによる不鮮明さが、該画像領域（Ｈｚ）が写っている第一領域に関して割り出される。これは、テキスト認識を必要とすることなく、完全に認識可能である：実際は、撮影された（不鮮明な）画像からでも、認識は、可能かもしれないが、ここでは、動きによる不鮮明さの推定と、これに続く歪み補正後に、認識が成功すると仮定する。いずれにせよ、本標識（Ｈｚ）の画像領域用の動きによる不鮮明さの計算／推定は、格段に容易、且つ、正確である。その理由としては、本標識の方が大きく、ここでは三角形の、鮮明な赤い枠を有しているため、良好に検出可能であることが挙げられる。本標識（Ｈｚ）と補助標識（Ｚｚ）は、直接的に、上下、或いは、左右に配置されており、同じ画像内で捕捉できるため、双方の標識に対する動きによる不鮮明さのパラメータは、略同じであるため、本標識（Ｈｚ）のものを補助標識（Ｚｚ）に転用することができる。これにより、補助標識（Ｚｚ）が写っている画像領域の歪み補正が、直接的に実施でき、続いて、補助標識（Ｚｚ）の内容を鮮明化された画像領域内で認識、乃至、解読できる。

これでも補助標識（Ｚｚ）を完全に解読できない場合、本方法の発展的形態では、更に、カメラによって連続して撮影され、該補助標識（Ｚｚ）が写っている、複数の画像から、上記同様に抽出され、鮮明化された画像領域を合成して非常に鮮明な画像領域が作成される。この合成された非常に鮮明な画像領域により、補助標識（Ｚｚ）の完全な認識と、本標識（Ｈｚ）と補助標識（Ｚｚ）の組み合わせによる規制内容が、解読される。

Claims (9)

1. −車両周辺部において少なくとも一枚の画像をカメラで撮影するステップ、
   −該撮影された少なくとも一枚の車両周辺部の画像内に、少なくとも一枚の交通標識（Ｈｚ，Ｚｚ）が存在するか否かを割り出すステップ、
   −存在が確認された交通標識（Ｈｚ，Ｚｚ）がある画像領域における動きによる不鮮明さを割り出すステップ、
   −該画像領域の動きによる不鮮明さを計算し、画像領域を鮮明化するステップ、並びに、−鮮明化された画像領域を考慮して、交通標識（Ｈｚ，Ｚｚ）を認識するステップ、
   を有する、走行中の車両からカメラによって交通標識を認識するための方法において、
   交通標識（Ｈｚ，Ｚｚ）の不変的要素（Ｓ）を、撮影された画像から割り出された交通標識の部分的認識のために用い、
   該部分的に認識された画像に相当するテンプレート・交通標識を、該画像領域内の動きによる不鮮明さの割り出しの際に考慮し、
   鮮明化された画像領域を考慮して、交通標識（Ｈｚ，Ｚｚ）の可変的要素（Ｖ）を、割り出された交通標識について認識する、
   ことを特徴とする方法。
2. 鮮明化された画像領域の考慮下での交通標識（Ｈｚ，Ｚｚ）の認識に、鮮明化された画像領域内でのテキスト認識が包含されることを特徴とする請求項１に記載の方法。
3. 動きによる不鮮明さを割り出すために、車両の自己運動を示すデータが、評価されることを特徴とする請求項１或いは２に記載の方法。
4. 動きによる不鮮明さを割り出すために、存在が確認された交通標識（Ｈｚ，Ｚｚ）が写っている画像領域内においてエッジが割り出され、評価されることを特徴とする請求項１乃至３のうち何れか一項に記載の方法。
5. 不変的要素（Ｓ）が、本標識（Ｈｚ）の形状と枠を包含していることを特徴とする請求項１乃至４のうち何れか一項に記載の方法。
6. 該画像領域が、少なくとも一枚の本標識（Ｈｚ）と、この本標識に帰属する全ての補助標識（Ｚｚ）を包含するように作成されるが、不変的要素としては、少なくとも一枚の本標識（Ｈｚ）全体が認識され、可変的要素としては、該一枚の或いは複数枚の補助標識（Ｚｚ）の内容が認識されることを特徴とする請求項１乃至５のうち何れか一項に記載の方法。
7. 各々の交通標識（Ｈｚ乃至Ｚｚ）用に、独立した画像領域が作成されるが、続いて、少なくとも二枚の交通標識（Ｈｚ，Ｚｚ）が互いに帰属しているか否かが確かめられ、帰属が確認された場合、本標識を包含する第一画像領域用にのみ動きによる不鮮明さが割り出され、これに帰属する他の画像領域にもそれが転用されることを特徴とする請求項５に記載の方法。
8. 鮮明化された画像領域を考慮しても交通標識（Ｈｚ，Ｚｚ）の認識に成功しなかった、或いは、不確かな場合に、カメラによって連続して撮影され、同一の交通標識（Ｈｚ，Ｚｚ）が写っている、複数の画像から抽出され、鮮明化された画像領域を合成して非常に鮮明な画像領域を作成し、この非常に鮮明な画像領域を考慮して交通標識（Ｈｚ，Ｚｚ）を認識することを特徴とする請求項１乃至７のうち何れか一項に記載の方法。
9. 走行中の車両から車両周辺部の少なくとも一枚の画像を撮影するためのカメラと画像評価ユニットを包含する装置であって、該画像評価ユニットが、撮影された画像から一枚の或いは複数枚の交通標識（Ｈｚ，Ｚｚ）の存在を認識し、存在が認識された交通標識（Ｈｚ，Ｚｚ）が映っている画像領域の動きによる不鮮明さを割り出し、該画像領域内の動きによる不鮮明さを算出し、該画像領域を鮮明化し、該鮮明化された画像領域を考慮することにより交通標識（Ｈｚ，Ｚｚ）認識し、対応する出力シグナルを作成することができる交通標識を認識するための装置において、
   交通標識（Ｈｚ，Ｚｚ）の不変的要素（Ｓ）を、撮影された画像から割り出された交通標識の部分的認識のために用い、
   該部分的に認識された画像に相当するテンプレート・交通標識を、該画像領域内の動きによる不鮮明さの割り出しの際に考慮し、
   鮮明化された画像領域を考慮して、交通標識（Ｈｚ，Ｚｚ）の可変的要素（Ｖ）を、割り出された交通標識について認識する、
   ことを特徴とする装置。

Images