JP6069650B2 - 交通標識認識方法 - Google Patents

Description

本発明は、少なくとも本標識とそれに帰属する少なくとも一つの補助標識を包含する交通標識の認識方法、並びに、それに対応する手段に関する。

最近のドライバー・アシスタント・システムには、例えば、制限最高速度を超過した際に、ドライバーに警告するために、電子式交通標識認識システムが装備されるようになってきている。この際、カメラが、車両周辺部を撮影し、対応する画像データを、交通標識を認識するためにアルゴリズムを用いて該画像データを分析し分類する画像評価手段に、供給する。このような方法は、例えば、ドイツ公開特許公報ＤＥ １９８ ５２ ６３１ Ａ１より既知である。

このように認識された交通標識からの情報は、続いて、例えば、車両の複合計器に、その時点の最高許容速度が表示されるなど、ドライバー・アシスタント機能に提供される。

道路交通に設置されている交通標識、或いは、道路標識の多くには、一つ、或いは、複数の、本標識の意味を具体化する、或いは、状況に応じてそれを制限する補助標識が取り付けられている。

ＷＯ ２００８／１４５５４５ Ａ１には、カメラセンサーのデータとナビゲーション・システムの地図データを解釈することで交通に関連する情報を認識する方法が開示されている。補助標識は、ナビゲーション・システムの地図データにその内容が包含されている場合には、考慮される。

ＤＥ １０ ２００８ ０５７ ６７５ Ａ１には、その方法において、交通標識が認識された場合、（認識された交通標識を基準にして）予め定められた場所で、該交通標識に帰属する補助標識を探すことが記載されている。補助標識の分類は、保存されている補助標識の画像との、例えば、ラジアル基底関数を使って比較することで実施している。

この方法の欠点は、例えば、時間を制限する補助標識には、無数のバリエーションがあるため、全てを保存する、或いは、補助標識の内容を認識できないため、補助的情報として「この交通標識には、時間制限がある」と言う一般的なメッセージにとどめるしかない。

このような交通標識認識システムは、補助標識を、単にピクトグラムとしてしか扱わないため、該補助標識は、全体として、即ち、画像パターンとして、観察、分類される。よって、例えば、全ての「時間表示」は、例えば、ナビゲーション・システムからの付加的情報が無ければ、同じクラスに分類され、より詳細に分類することはできない。

ドイツ公開特許公報ＤＥ １９８ ５２ ６３１ Ａ１ ＷＯ ２００８／１４５５４５ Ａ１ ＤＥ １０ ２００８ ０５７ ６７５ Ａ１

よって本発明の課題は、交通標識の補助標識の迅速かつ信頼性の高い認識を可能にし、且つ、上記の如き欠点を有さない交通標識の認識方法を提供することである。

本発明によれば、上記目的は請請求項１に記載の：
以下のステップ：
−車両周辺部において少なくとも一枚の画像をカメラで撮影し、
−一つの或いは複数の本標識の存在及びクラスを撮影された画像データから認識し、
−一つの、或いは、複数の、認識された本標識（複数可）に帰属する、補助標識の存在を認識し、
−パターン認識方法によって補助標識を可能な限り分類し、
−分類が出来なかった、或いは、完全にできなかった場合には、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、テキスト認識ユニットによって補助標識のテキストを読み、解釈し、
−認識されたテキストが状況データと比較される重要性（関連性）推定を包含する交通標識を認識する方法によって解決される。
さらに、本発明によれば、上記目的は請請求項２に記載の：
以下のステップ：
−車両周辺部において少なくとも一枚の画像をカメラで撮影し、
−一つの或いは複数の本標識の存在及びクラスを撮影された画像データから認識し、
−一つの、或いは、複数の、認識された本標識（複数可）に帰属する、補助標識の存在を認識し、
−補助標識が、バリアブルなテキストを包含しているかを判断し、包含している場合、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、補助標識のテキストをテキスト認識ユニットによって読み、解釈し、
−補助標識が、更なる情報を包含しているかを判断し、包含している場合、パターン認識方法によって該更なる情報を分類し、
−認識されたテキストが状況データと比較される重要性（関連性）推定を包含する交通標識を認識する方法によって解決される。
さらに、本発明によれば、上記目的は請請求項１２に記載の：
車両周辺部において少なくとも一枚の画像を撮影するカメラ、画像評価ユニット、並びに、重要性（関連性）を推定するユニットを包含する交通標識認識用の装置であって、該画像評価ユニットが、一つの或いは複数の本標識の存在及びクラス、並びに、該認識された本標識（複数可）に帰属する一つの或いは複数の補助標識を、撮影された画像データから認識し、該画像評価ユニットが、パターン認識ユニットとテキスト認識ユニットを有しており、該テキスト認識ユニットによって、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、補助標識上のバリアブルなテキスト情報を読み、解釈することができ、且つ、該重要性（関連性）推定ユニットが、認識されたテキストと状況データを比較することを特徴とする交通標識認識用の装置によって解決される。
本発明の更なる実施形態は、従属請求項から得られるが、各特徴を組み合わせること、更には各特徴の更なる形態も可能である。

本発明に係る交通標識認識の方法は、以下のステップを包含している：
少なくとも一枚の車両周辺の画像をカメラで撮影する。

カメラで撮影した画像のデータから一つの、或いは、複数の本標識の存在、及び、そのクラスを認識する。

一つの、或いは、複数の、認識された本標識（複数可）に帰属する、補助標識の存在を認識する。

その補助標識（複数可）をパターン認識方法によって可能な限り分類する。このステップでは、例えば、該補助標識が、距離（メートル、或いは、キロメートル）を包含しているかは、認識されるが、該パターン認識方法では、距離値は、認識されない。

パターン認識方法による分類ができなかった、或いは、該分類が、不完全であった場合、包含情報を割り出すために、テキスト認識方法によって、補助標識テキストが、読まれる、或いは、解釈される。ここで言う「読む」とは、一つ一つの文字、或いは、数字を捉えることを意味し、「解釈」とは、テキストのメッセージ、或いは、内容を認識することを意味している。尚、これら双方をまとめて、「読む」或いは「解釈する」のどちらかの用語を用いることもできる。

内容に（部分的に）バリエーションがある補助標識においては、その変化する内容は、一般的に文書情報であり、よって該変化する内容は、自動的に、装置を用いて解釈できると言うのが本発明のもとになったアイデアである。変化する、或いは、バリアブルなテキストとは、特に、時間、距離、重量などの表示である。これらは、さまざまな補助標識においてバリエーションが有り得る。

本件方法のあるバリエーションでは、上の最初の３ステップ（上記参照）の後に、存在している補助標識が、バリアブルなテキストを包含しているか否かが判断される。該判断は、例えば、付加的な情報も考慮できる予備分類をベースに下されることができる。付加的な情報とは、例えば、ある特定の本標識が、ある特定の補助標識と組み合わされることが多いと言うことが知られているなどと言った情報を意味する。例えば、アウトバーン（ドイツの高速道路）上の「工事現場」と言う標識には、帰属する補助標識に、例えば、「２ｋｍ先から」と言う距離表示が記載されていることが多い。補助標識が、バリアブルなテキストを包含していると判断された場合、補助標識テキストが、テキスト認識方法によって、読まれ、解釈される。

加えて、補助標識が、更なる情報を包含しているか否かも判断される。これは、特に、バリアブルなテキストに付随する他の情報、或いは、バリアブルなテキストを包含しない標識上の更なる情報であることができる。更なる情報が存在する場合、該更なる情報は、パターン認識方法によって分類される。逆に更なる情報が存在しない場合、補助標識には、テキスト認識によって読まれるバリアブルなテキストしか存在しないため、パターン認識は、実施されない。

但し、双方の、それぞれ判断が下されるステップの順番は、決められていない。よって、例えば、パターン認識が実施される時に、バリアブルなテキストが、補助標識上に包含されているかが、認識され、該バリアブルなテキストは、テキスト認識に具されることもできる。

本発明に係る方法は、例えば、ティーチングされている交通標識とはテキストの内容によってのみ異なる交通標識を、信頼性高く、完全に認識できると言う長所を有している。テキスト内容の認識は、様々な国の異なる交通標識内容に依存せず、補助標識のフォントや大きさが異なっていても実施可能である。よって、非常に高いフレキシビリティが提供される。

本発明の好ましい形態では、後続のステップにおいて、認識されたテキストを、例えば、時間、曜日、認識された補助標識を備えた交通標識を通り過ぎてから走行した距離、車両の重量、路面の濡れ具合、外気温、走行レーンの位置、ウインカーのオン／オフ、及び／或いは、作動中のガイダンスが指示している方向などの状況データと比較することによる重要性（関連性）推定が実施される。これにより、該補助標識が帰属している本標識の重要性（関連性）は、その時点の走行シチュエーションに応じて判断されることができる。

状況データが、帰属する補助標識の認識されたテキストの有効範囲外である場合、重要性（関連性）推定に基づいて本標識は、非重要（非関連）と認識される。例えば、制限速度が、騒音防止の観点から、２０時〜６時まで有効である場合、その時点の時刻が、１４時３５分であれば、その標識は、非重要（非関連）であるため、無視することができる。

本発明のある好ましい形態では、状況データが補助標識の認識されたテキストの有効範囲内である場合、重要性（関連性）推定を基に、少なくとも一つの本標識は、重要である（関連する）と判断される。

好ましい実施形態によれば、状況データの予想される変化に対して該重要性（関連性）推定が維持されるか、維持されないかの検証も実施される。例えば、１９時５９分に上記の制限速度を通過した場合、２０時には、状況データが変わることが予期され、該重要性（関連性）推定も変わり得る。このようなケースでは、状況データが変わった時点に、該重要性（関連性）推定を再実施することが好ましい。

尚、該状況データには、同一のカメラの画像シーケンスから既知の方法に従って割出すことができるその時点の車両の速度が包含されていることが好ましい。車両速度の経過から、認識された補助標識を備えた交通標識を通過してからの距離は、割り出すことができる。これにより、補助標識によって、一定の距離が経過してから有効となる、或いは、一定の距離の間有効である交通標識の重要性（関連性）を推定することができる。例えば、「２００ｍ先」と言う補助標識を備えた「止まれ」標識が認識された場合、これが、交通標識認識がこの距離分離れた場所に止まれ標識を「探す」ことに、用いられることは好ましい。

好ましい実施形態では、道路の両側に類似する標識が認識された場合、双方の補助標識の認識されたテキストの首尾一貫性検証が実施される。これらの本標識の同一のクラスに分類された場合、道路の両側において、補助標識の内容が異なるとは、考えにくい。認識されたテキストのどちらの内容が正しいかの判定は、（パターンおよびテキスト）認識の信頼性に依存する、或いは、首尾一貫性検証によって、或いは、双方の認識された内容の融合によって実施されることができる。

更なる情報は、デジタル地図、ポジショニング装置、及び／或いは、車載センサー、例えば、雨センサー、走行ダイナミクス・センサー、レーダー、ライダーなどから得られることが好ましい。

本発明は更に、車両周辺部において少なくとも一枚の画像を撮影するカメラ、画像評価ユニット、並びに、重要性（関連性）を推定するユニットを包含する交通標識認識用の装置にも関する。該画像評価ユニットは、一つの或いは複数の本標識の存在及びクラス、並びに、該認識された本標識（複数可）に帰属する一つの或いは複数の補助標識を、撮影された画像データから認識することができる。このために、該画像評価ユニットは、パターン認識ユニットとテキスト認識ユニットを有している。テキスト認識ユニットによれば、補助標識上の特にバリアブルなテキスト情報を読み、解釈することができる。また、重要性（関連性）推定ユニットは、認識されたテキストと状況データを、本標識の現時点の走行状況に対する重要性（関連性）を割出すために比較する。

本発明の他の長所は、明細書内の説明、及び、図によって開示される。実施例を図に簡略的に示し、以下に詳しく説明する。

は、ピクトグラム（絵文字）を有する補助標識の例。 は、バリアブルなテキストを有する補助標識の例。 は、バリアブルなテキストを有する補助標識の例。

図１は、ピクトグラム（絵文字）を有する二つの補助標識、即ち、「危険個所の方向、右側」、並びに、「予期しない凍結の危険性」である。これらの補助標識は、パターン認識によって分類することができる。これは、変化しないテキストを包含する、例えば、「オイル漏れ」、「道路損傷」、「雨天」（図示されず）などでも有効である。これらも、文字は一定であり、パターンとして認識可能であるため、パターン認識によって完全に分類可能である。

一方図２は、バリアブルなテキスト内容の補助標識を示している：距離（図２ａ）、時間／曜日（図２ｂ）、並びに、重量（図２ｃ）。これらでは、様々な値や、例えば、曜日と時間など、非常に多くの組み合わせが可能である。よってこのような補助標識は、通常、パターン認識では、完全に分類することはできない。但し、例えば、図２ｂの補助標識は全て「時間」に関する表示を有しているなどと部分的に分類することは可能である。そこで本発明に係るテキスト認識が、図２ｂの左の補助標識の時間表示が、１６〜１８時であると言う情報を提供する。

図３の補助標識は、ピクトグラムとバリアブルなテキスト表示の組み合わせを包含している。図３の左と中央の補助標識は、それが帰属している本標識を順守するべき範囲、或いは、距離を示しているが、図３の右の補助標識は、パーキング・ディスクを使用することによって、駐車してもよい時間を示している。ここで、パターン認識は、例えば、上矢印（左、中央）、並びに、パーキング・ディスク（右）を認識する。そしてテキスト認識は、それぞれの有効範囲（８００ｍ，３ｋｍ，２時間）を割出す。このようにして、該交通標識認識は、補助標識の完全な情報を得、その重要性（関連性）を検証できる。

例えば、図３の左の補助標識は、本発明に係る交通標識認識の範疇では完全に認識される、即ち、ピクトグラムである矢印をパターン認識によって認識し、バリアブルなテキスト「８００ｍ」をテキスト認識によって、読み、解釈することで、「ここから８００メートル」と分類される。即ち、該交通標識認識は、この補助標識が帰属している本標識（複数可）が、該主標識と補助標識の地点から８００メートルの間有効であると言う情報を得た。

この情報は、重要性（関連性）推定において、状況データ、即ち、該認識した、補助標識を有する、交通標識を通過してからの距離と比較されることができる。自動車が走行する限り、その距離が変化することは明らかなので、重要性（関連性）推定は、反復される。走行距離が８００メートル未満の場合、本標識は、重要である（関連している）ため、これは、ドライバーに対して表示することができる。８００メートルに達した、或いは、これを超えた場合、重要性（関連性）推定は、本標識が、重要でなくなった（関連しなくなった）ことを割出し、例えば、表示を消すことができる。

Claims (12)

1. 以下のステップ：
   −車両周辺部において少なくとも一枚の画像をカメラで撮影し、
   −一つの或いは複数の本標識の存在及びクラスを撮影された画像データから認識し、
   −一つの、或いは、複数の、認識された本標識（複数可）に帰属する、補助標識の存在を認識し、
   −パターン認識方法によって補助標識を可能な限り分類し、
   −分類が出来なかった、或いは、完全にできなかった場合には、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、テキスト認識ユニットによって補助標識のテキストを読み、解釈し、
   −認識されたテキストが状況データと比較される重要性（関連性）推定を包含する交通標識を認識する方法。
2. 以下のステップ：
   −車両周辺部において少なくとも一枚の画像をカメラで撮影し、
   −一つの或いは複数の本標識の存在及びクラスを撮影された画像データから認識し、
   −一つの、或いは、複数の、認識された本標識（複数可）に帰属する、補助標識の存在を認識し、
   −補助標識が、バリアブルなテキストを包含しているかを判断し、包含している場合、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、補助標識のテキストをテキスト認識ユニットによって読み、解釈し、
   −補助標識が、更なる情報を包含しているかを判断し、包含している場合、パターン認識方法によって該更なる情報を分類し、
   −認識されたテキストが状況データと比較される重要性（関連性）推定を包含する交通標識を認識する方法。
3. 状況データが、帰属する補助標識の認識されたテキストの有効範囲外である場合、重要性（関連性）推定に基づいて本標識が、非重要（非関連）と認識されることを特徴とする請求項１あるいは２に記載の方法。
4. 状況データの予想される変化に対して該重要性（関連性）推定が維持されるか、維持されないかの検証が実施され、維持されない場合、状況データが変わった時に、該重要性（関連性）推定が再実施されることを特徴とする請求項３に記載の方法。
5. 状況データが、現在の時間を包含していることを特徴とする請求項１〜４のいずれか１項に記載の方法。
6. 状況データが、現在の曜日を包含していることを特徴とする請求項１〜５のいずれか１項に記載の方法。
7. 状況データが、現在の速度を包含していることを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 現在の速度がカメラの画像シーケンスから割り出されることを特徴とする請求項７に記載の方法。
9. 状況データが、車両の重量を包含していることを特徴とする請求項１〜８のいずれか１項に記載の方法。
10. 道路の両側に類似する標識が認識された場合、双方の補助標識の認識されたテキストの首尾一貫性検証が実施されることを特徴とする請求項１〜９のいずれか１項に記載の方法。
11. デジタル地図、ポジショニング装置、車載センサー、及び／或いは、他の車両センサー類からの更なる情報も考慮されることを特徴とする請求項１〜１０のいずれか１項に記載の方法。
12. 車両周辺部において少なくとも一枚の画像を撮影するカメラ、画像評価ユニット、並びに、重要性（関連性）を推定するユニットを包含する交通標識認識用の装置であって、該画像評価ユニットが、一つの或いは複数の本標識の存在及びクラス、並びに、該認識された本標識（複数可）に帰属する一つの或いは複数の補助標識を、撮影された画像データから認識し、該画像評価ユニットが、パターン認識ユニットとテキスト認識ユニットを有しており、該テキスト認識ユニットによって、ある特定の本標識が、ある特定の補助標識と頻繁に組み合されていることを既知であることを意味する付加的な情報が考慮されて、補助標識上のバリアブルなテキスト情報を読み、解釈することができ、且つ、該重要性（関連性）推定ユニットが、認識されたテキストと状況データを比較することを特徴とする交通標識認識用の装置。

Images