JP6676784B2 - 交通標識の検出方法 - Google Patents

Description

本発明は、交通標識の内容および設置位置の検出に関する。

電子的な道路マップを即時的に表示するために、かつ／または生成ならびに更新するために、カメラによって交通標識を検出することは、今日では既に従来技術である。しかしながら、特にカメラおよびジオロケーションによって検出された交通標識が車両外部のデータベースに送信される場合には、比較的簡単に、検出された車両の現在の走行方向および位置を特定することが可能であり、また場合によっては将来の位置または走行区間を推定することが可能である。このことを、検出を行う車両のドライバが、プライバシーの侵害または制限と解釈する可能性があり、したがってその種の機能を受け入れない可能性があり、これによって車両外部のデータベースには、最新のデータがそれ程頻繁に供給されなくなる。

問題
交通標識検出のための現在一般的なカメラ装置は、走行方向において前方に存在する交通標識しか識別できない。その上、多くの車両ドライバは、走行中に検出された交通標識から、また他の道路特性から、個人的な走行プロフィールが作成されること、または頻繁に訪れる場所が突き止められることを回避しようとし、またそのような検出に関与することに反対する可能性もある。この課題に関する１つの考えられる解決手段が、独国特許明細書第１０２０１６２０７９８４．０号に記載されているが、この解決手段は、その都度一方の方向に対してのみ有効な交通標識が検出される場合には限定的にしか機能しないか、またはその場合には、道路データがもはや最新のものではなくなるほどに、道路データの伝送の遅延が長くなる可能性がある。

用語の定義
本明細書の文脈において、車両の地理的位置の周期的な特定とは、車両位置の周期的な検出を行う時点または場所が、ディジタルマップにおける走行区間の記録のために十分に近接しており、その時点間または場所間の車両位置を必要に応じて補間することによって求めることができるような車両位置の特定を表す。この場合には例えば、特に走行計または回転計のデータおよび位置特定が行われる１つまたは複数の時点までの期間のデータを使用して補間を行うことができる。地理的位置の継続的な特定またはほぼ継続的な特定を、十分に短い時間間隔での車両位置の周期的な特定およびそれに続く補間によって行うこともできる。

本発明の課題は、車両に設けられている別のセンサを電子的な道路マップの作成および更新のために使用し、車両外部のデータベースに伝送される対応するデータから走行プロフィールが作成されることを阻止することである。

車両視界から後方に向けられたカメラ、例えば車両のリアビューカメラが前進中も動作し、それによって逆方向に対して有効な、識別時点では車両の後方に存在する交通標識およびその位置も検出し、そこから生成されたデータセットが、フロントカメラによって生成されたデータセットと共に、データベースに送信されることによって、車両視界から前方に向けられたカメラによる交通標識の従来の検出において、検出が、走行方向において前方に存在する交通標識の検出に限定されること、また一方の方向に対してのみ有効な交通標識と検出を行う車両の走行方向とが一義的に関連付けられることがなくなる。前方に向けられたカメラに関して公知である、交通標識を検出および捕捉する方法を、後方に向けられたカメラの画像内の交通標識の検出および捕捉にも同様に利用することができ、また同様に公知である車両の地理的位置を特定する公知の方法も利用することができる。

走行する車両によって交通標識およびその設置位置を検出する本発明による方法の第１の態様によれば、車両の地理的位置が周期的または継続的に検出され、車両視界から後方に向けられた第１のカメラが画像を記録する。第１のカメラの画像は、交通標識識別部に供給される。交通標識が識別された場合には、識別された交通標識を表す情報および所属の地理的位置がデータベースに記憶される。交通標識を表す情報は、少なくとも、交通標識の意味論的な内容、すなわち車両のドライバにとっての交通標識の意味を含んでいる。

交通標識の設置位置は、例えば、カメラの連続する画像内で交通標識が結像されている場所の変化、車両の位置および速度、ならびにカメラの既知の取り付け位置および既知の光学的な特性から特定することができる。交通標識がカーブに位置している場合には、位置を特定する際に操舵角も考慮することができる。何故ならば、曲率半径およびカーブの方向に応じて、同じ速度であっても、連続する画像内での交通標識の位置が大きく変化する可能性があるからである。車線から交通標識までの側方の距離および交通標識の高さも求めることができる。

第１のカメラは、例えば、車両にいずれにせよ設けられている、後退を監視するためのカメラであってよく、その画像は、後退時に表示部においてドライバに表示される。前進中にカメラを本発明に従い使用する場合には、とりわけ、ドライバの注意が逸らされないようにするために、カメラの画像は表示部には表示されない。

方法の第２の態様によれば、車両視界から前方に向けられた、車両の第２のカメラが、走行中に画像を記録し、それらの画像が、画像識別部に供給される。画像識別部は、逆方向の車線の領域内にある画像領域を、交通標識の典型的な形状を有している物体について解析する。交通標識の内容は、必ずしもその形状とは一義的には関連付けられないので、特に交通標識が裏側から識別される場合には、車両のドライバにとって重要な交通標識の内容を常に推定することはできない。第１のカメラの画像における候補の再度の識別を容易にするために、また交通標識の識別を高速化するために、どの時点で候補が第１のカメラの検出領域に出現するか、また画像のどの位置に出現するかが推定される。

方法の第２の態様の１つの構成によれば、推定のために、形状に基づいて識別された、交通標識に関する候補がマークされ、また、車両がさらにその候補に接近している間、その候補の位置が第２のカメラの画像内で追跡される。検出領域、前方に向けられた第２のカメラおよび後方に向けられた第１のカメラの取り付け場所および光学的な特性は既知であるので、例えば、目下の走行速度、また必要に応じて操舵角を利用して、第２のカメラの検出領域から離れた候補が、どの時点で第１のカメラの検出領域に出現するかを推定することができる。推定を、上記で説明した、設置位置の求め方について説明したやり方に類似するやり方で行うことができる。交通標識の側方の距離および高さが推定によって既知である場合には、候補が第１のカメラの検出領域に出現した際に結像されると見込まれる画像内の位置も推定することができる。したがって、リアビューカメラによって記録された画像における候補の再度の識別を、画像内の正確な位置において既に開始することができるので、識別を高速化することができ、また候補が交通標識であることの確認および交通標識の内容の識別をより早期の時点で開始することができる。これは特に、車両の走行速度が速い場合には有利である。何故ならば、不動の交通標識から車両までの距離が長くなることによって、リアビューカメラの連続的な画像内では、交通標識の結像される画素が常に減少していき、これによって、識別精度が低下する虞があるからである。このことは、候補が複数の画像のうちの幾つかにおいて、逆方向の交通の車両によって完全にまたは部分的に覆い隠されている場合には、一層有効である。この構成においても、カーブ走行では異なる、第２のカメラの検出領域を離れてから第１のカメラの検出領域に出現するまでの期間を考慮するために、操舵角を検出することができる。つまり、候補は、右側通行の場合、例えば右方向のカーブでは、左方向のカーブを走行する場合よりも早期の時点に、後方に向けられたカメラの検出領域に出現する。

方法の第２の態様の１つの構成によれば、第１のカメラは、候補がその第１のカメラの検出領域に出現した時点以降になって初めて、画像の記録および／または交通標識識別の実施を開始する。ここで、「時点以降に」という表現には、候補が第１のカメラの検出領域に出現する直前に、カメラの起動または交通標識識別も行われていることが含まれる。候補が検出領域に出現した際に、カメラ、また必要に応じて交通標識識別装置が遅延なく動作できる状態にあり、かつ完全に機能することを保証するために、本方法に関与するコンポーネントが完全に動作可能になるために要求される時間に依存して、先行して行われるカメラの起動が必要になると考えられる。方法のこの態様は、カメラおよび交通標識識別装置の起動ならびに交通標識識別の実施に必要とされる時間が、後方に向けられたカメラの検出領域に２つの候補が連続して出現する際に経過する期間よりも短い場合には、有利であると考えられる。これによって、カメラまたは交通標識識別装置を、実際に交通標識を識別できる場合にのみ作動させることができ、また、カメラまたは識別装置を休止状態に移行させることによって、エネルギを節約することができる。

前述の態様の１つの構成によれば、カメラの他に、車両の地理的位置の特定も、第２のカメラおよび画像識別によって候補が識別されたときに初めて作動される。この態様は、位置特定が、起動後に十分に早期の時点に行われる場合に適用することができる。第１のカメラの画像に関する画像識別によって識別された交通標識について位置特定が行われると、または位置特定が終了すると、位置特定のための装置を再度停止させることができるか、またはエネルギ節約運転モードに移行させることができる。

方法の第２の態様の１つの構成によれば、候補が第２のカメラの検出領域内にも第１のカメラの検出領域内にも位置していなかった期間から、確認された交通標識の実際の設置位置が特定される。この特定のために、第１のカメラおよび第２のカメラの既知の光学的な特性、車両におけるカメラの取り付け場所、カメラの取り付け場所間の既知の距離、走行速度、および走行中に求められた車両の地理的位置が使用される。この態様は、車両の地理的位置が既知となった際に、車両の真横に存在する物体の位置を、物体が車両の斜め前または斜め後ろに存在する場合よりも正確に特定することができるという事実を利用する。物体が車両の斜め前または斜め後ろに存在する場合には、車両の長手方向軸線と物体とが成す角度が誤って算出される可能性があることから、また車両と物体との間の距離が正確に特定されない可能性があることから、車両の既知の位置に基づいて物体の位置を特定する際にさらなる誤差が生じる。

方法の第１の態様または第２の態様の１つの構成によれば、識別された交通標識を表す情報および所属の地理的位置の、車両内部または車両外部のデータベースへの記憶が行われる。車両外部のデータベースに記憶する場合には、無線通信コネクションを介する車両外部のデータベースとの通信が行われる。

方法の第１の態様による、車両に配置されている、交通標識およびその設置位置を検出する装置は、車両の地理的位置を周期的または継続的に特定する手段と、車両視界から後方に向けられた第１のカメラと、第１のカメラの画像に関して交通標識識別を実施する手段と、交通標識を表す情報および所属の地理的位置を記憶する手段と、を有している。

方法の第２の態様による、車両に配置されている、交通標識およびその設置位置を検出する装置は、前述の装置の他に、車両視界から前方に向けられた第２のカメラと、第２のカメラの画像の、逆方向の車線の領域内にある画像領域において画像識別を実施する手段と、どの時点で候補が第１のカメラの検出領域に出現するか、また画像のどの位置に出現するかを推定する手段と、を有している。画像識別を実施する手段は、交通標識の典型的な形状を有している物体を候補としてマークするように構成されている。

装置の１つの実施形態では、車両の前進中、第１のカメラに接続されている表示ユニットには、第１のカメラの画像は表示されない。これに対して、後退時には、第１のカメラが後退の監視のためにも車両に設けられている場合には、その第１のカメラの画像が表示される。

基本的に、後方に向かって延びる区間に沿って交通標識が設置されている場合には、本方法を車両の後退時にも実施することができる。この場合、第１のカメラの画像に関する交通標識識別が行われ、また場合によっては、第１のカメラの画像の、その第１のカメラに接続されている表示ユニットにおける表示も行われる。

本方法によって、自車線に対して有効な交通標識も、逆方向の車線に対して有効な交通標識も、検出することができる。２つの走行方向に対して有効な交通標識を検出することによって、１回の走行で全体のデータセットが得られ、この全体のデータセットによって、適切な処理のもとで、個々の走行の再構成を困難にすることができる。

以下では、本発明の態様を、図面を参照しながら説明する。

車両視界から前方に向けられたカメラの、逆方向に対して有効な交通標識についての例示的な画像を示す。 図１に図示した交通標識の通過後における、車両視界から後方に向けられたカメラの、その交通標識についての例示的な画像を示す。 本発明による方法の１つの態様の例示的な方法経過を示す。 本発明による方法の１つまたは複数の態様を実施する装置の例示的な概略図を示す。 ａ）〜ｄ）は、本発明による方法の１つの態様の実施中の所定の時点における、交通標識を備えた道路の概略図を示す。

図面の各図において、同一または類似の要素には、同一の参照番号を付している。

図１は、車両視界から前方に向けられたカメラの、逆方向に対して有効な交通標識１０１についての例示的な画像１００を示す。図面には図示していない車両は、道路１０２の右側の車線を走行している。走行方向は、矢印１０３によって示唆されている。多くの交通標識は円形の基本形状を有しているので、この交通標識１０１の内容を、その形状だけから正確に特定することはできない。しかしながら、その交通標識を、考えられる交通標識の候補として、例えば図５を参照しながらより詳細に説明する本発明の態様に従って識別することはできる。

図２は、図１に図示した交通標識１０１の通過後における、車両視界から後方に向けられたカメラの、その交通標識１０１についての例示的な画像２００を示す。車両は、画像内で、この画像の考察者にとっては道路１０２の左側に位置する車線を移動しており、この移動は矢印１０３によって示唆されている。交通標識１０１の内容は、この時点で明確に識別することができる。つまり、この交通標識１０１は、制限速度が８０ｋｍ／ｈであることを示している。したがって、画像に適用される、交通標識識別プロセスは、逆方向に対して有効な交通標識を識別することができ、またその識別された交通標識を、車両の通過中に検出された設置位置と結合させることができる。続いて、このデータセットをデータベースに記憶して、さらに処理することができる。

図３は、本発明による方法３００の１つの態様の例示的な方法経過を示す。ステップ３０２では、前方に向けられたカメラ３０２が、少なくとも１つの画像を記録する。ステップ３０４では、その画像がパターン識別部に供給される。パターン識別部は、その画像を、自車線とは反対側に位置する車線に設置されている、逆方向に対して有効な交通標識について検査する。考えられる候補が識別された場合には、ステップ３０６から「Ｙｅｓ」に分岐して、続くステップ３０８で、カメラによって、１つまたは複数の別の画像が記録され、さらにステップ３１０で、その別の画像の中から上述の候補が検出され、また画像部分におけるその候補の位置のその都度の変化が追跡（トラッキング）される。候補が識別されなかった場合には、ステップ３０６から「Ｎｏ」に分岐して、同様に、カメラによって別の画像が記録されるが、それらの画像はステップ３０４でパターン識別部に供給される。ステップ３０６で候補が識別された際に、例えば先行して識別された１つまたは複数の候補を追跡しながら別の候補を識別するために、別の画像をステップ３０４でパターン識別部に供給することもできることを言及しておく。前方に向けられたカメラの検出領域内に候補がもはや存在しなくなるまでは、ステップ３１２から「Ｎｏ」に分岐して、各候補についての別の画像の記録およびトラッキングが継続され、候補がもはや存在しなくなると、ステップ３１２から「Ｙｅｓ」に分岐する。「Ｙｅｓ」に分岐すると、ステップ３１４では、前方に向けられたカメラの検出領域を離れた地理的位置および時点が記憶され、また後方に向けられたカメラの検出領域に候補が出現する地理的位置および時点が推定される。推定に従い、候補が、後方に向けられたカメラの検出領域に出現すると、ステップ３１６から「Ｙｅｓ」に分岐して、少なくとも１つの画像が、後方に向けられたカメラによって記録され、その記録された画像が、ステップ３２０でパターン識別部に供給される。候補が、後方に向けられたカメラの検出領域に出現するまでは待機する（図面には図示せず）。候補が交通標識であることをパターン識別部３２０が確認した場合には、その時点で明らかになった交通標識の内容が識別され、所属の設置位置に対応付けられる（図面には図示せず）。設置位置を特定するため、また別の目的のために、交通標識の識別後にトラッキングを継続することもできる。

図４は、本発明による方法の１つまたは複数の態様を実施する装置４００の例示的な概略図を示す。車両の地理的位置を周期的または継続的に特定する手段４０２と、車両視界から後方に向けられた第１のカメラ４０４と、第１のカメラ４０４の画像に関する交通標識識別を実施する手段４０６と、交通標識を表す情報および所属の地理的位置を記憶する手段４０８とが、少なくとも１つのデータバス４１０によって相互に通信を行うように接続されている。装置は、オプションとして、方法の幾つかの態様に関して、車両視界から前方に向けられた第２のカメラ４１２と、第２のカメラの画像の、反対車線の領域内の画像領域において画像識別を実施する手段４１４と、どの時点で候補が第１のカメラの検出領域に出現するか、また画像のどの位置に出現するかを推定する手段４１６と、を有している。オプションとして設けられているそれらの手段は、図中に破線で表されている。

前述の１つまたは複数の手段は、相応のメインメモリ、また必要に応じて不揮発性のメモリに接続されている、１つまたは複数のマイクロプロセッサを有することができる。不揮発性のメモリは、コンピュータプログラム命令を記憶しており、それらのコンピュータプログラム命令が、マイクロプロセッサによってメインメモリにアクセスした際に実行されると、上述の手段の機能を提供するか、または上述の手段によって実行されるべき方法ステップを実施する。上述の手段のうちの複数を、同一のマイクロプロセッサによって実行される、コンピュータプログラム命令の各セットによって形成することができる。第１のカメラの画像および第２のカメラの画像に対して同様に適用されるか、またはそれらの画像に対して実施される方法ステップを、このために適した単一の手段においても、例えば個々の部分ステップまたは部分画像の逐次的な処理または交番的な処理によって実施することができる。

図５ａ）〜５ｄ）の個々の画像は、本発明による方法の１つの態様の実施中の種々の時点における道路を、車両および交通標識と共に示している。

図５ａ）では、車両１０４が、道路１０２の右側の車線を走行している。走行方向は、矢印１０３によって示唆されており、矢印１０３の横の添字ｖは、車両１０４の走行速度を表している。灰色で覆われた領域１０６および１０８は、走行方向においてそれぞれ前方または後方に向けられた、車両の図面には図示していないカメラの検出領域を示唆している。検出領域１０６および１０８は、図示されている灰色で覆われた領域を超えて、側方の境界線の延伸方向にも広がっている。前方に向けられたカメラの検出領域１０６内には、逆方向に対して有効である交通標識１０１が車線脇に設置されており、その内容は、裏側から見ても一義的に特定することはできない。本方法の１つの態様によれば、この交通標識が候補としてマークされ、後続の画像内で追跡される。つまり、その都度最新の画像における、交通標識のその都度の位置が特定される。

図５ｂ）では、交通標識１０１が前方に向けられたカメラの検出領域１０６内にもはや完全には存在しないほどに、車両１０４が交通標識１０１に接近している。前方に向けられたカメラの画像において、交通標識１０１の位置をさらに追跡することは、もはや不可能であるか、または短時間の後に不可能になる。前方に向けられたカメラの画像内での交通標識１０１の追跡のこれまでの経過から、またカメラの光学的な特性および取り付け場所から、どの時点で、後方に向けられたカメラの検出領域１０８に交通標識１０１が出現するか、また画像のどの位置に出現するかを推定することができる。車両の長手方向軸線に関する検出領域１０６および１０８の角度は既知である。同様に既知である２つのカメラ間の距離から、また車両から交通標識までの側方の距離の推定から、交通標識１０１が後方に向けられたカメラの検出領域に出現するまでに通過しなければならない距離Ｄを求めることができる。距離Ｄは、例示的に図５ａ）に示されている。車両１０４から交通標識１０１までの側方の距離を、例えば、前方に向けられたカメラの連続する２つまたはそれ以上の画像にわたる候補の位置の変化、画像間の既知の時間間隔、カメラの既知の光学的な特性、および車両の走行速度から求めることができる。走行路が真っ直ぐ延びていない場合には、対応する操舵角も考慮することができる（図面には図示せず）。

図５ｄ）では、車両１０４が交通標識１０１を通り過ぎており、交通標識１０１は、後方に向けられたカメラの検出領域に入っている。この時点で、交通標識の内容を、交通標識の画像に基づいて識別することができ、また図面には図示していない、交通標識識別装置によって特定することができる。例えば前方に向けられたカメラの検出領域を離れた際の候補に関して、または後方に向けられたカメラの検出領域に出現した際の候補に関して、前方に向けられたカメラの既知の光学的な特性、または後方に向けられたカメラの既知の光学的な特性と、車両の既知の地理的位置とから、交通標識１０１の設置位置を特定することができる。交通標識識別が実施され成功裡に終わると、その時点で確認された候補の位置を、交通標識に対応付けることができる。

図５ｃ）に図示した時点は、図５ｄ）に図示した時点よりも前である。図５ｃ）では、車両１０４が、交通標識１０１の側方通過において漸くその交通標識１０１の位置まで到達しており、また交通標識１０１は、カメラのいずれの検出領域内にも位置していない。しかしながら、交通標識１０１は、前方に向けられたカメラの検出領域から外れる前に、候補として識別されている。（候補であると後に確認された後に）交通標識の正確な位置を確定できるようにするために、前方に向けられたカメラの検出領域を離れてから、後方に向けられたカメラの検出領域に出現するまでに経過した時間が測定される。さらに、その時間中の速度が、平均速度として、または時間にわたる瞬時速度の記録として検出される。２つのカメラの検出領域の画角は既知である。したがって、候補が、車両１０４の側方の位置にある時点を特定することができる。この時点における車両の位置が特定および記憶される。候補が、後方に向けられたカメラの検出領域に出現した後に、有効な交通標識であると確認されると、その候補に、事前に特定および記憶された位置を対応付けることができる。

Claims (8)

1. 走行する車両によって交通標識および該交通標識の設置位置を検出する方法であって、
   前記車両の地理的位置を周期的または継続的に特定するステップと、
   車両視界から後方に向けられた第１のカメラによって画像を記録するステップと、
   前記第１のカメラの画像に関して交通標識識別を実施するステップと、
   交通標識が識別された場合には、該識別された交通標識を表す情報および所属の地理的位置をデータベースに記憶するステップと、
   を含み、前記方法はさらに、
   車両視界から前方に向けられた第２のカメラによって画像を記録するステップと、
   逆方向の車線の領域内にある画像領域において、交通標識の典型的な形状を有している物体を候補としてマークする画像識別を実施するステップと、
   どの時点で候補が前記第１のカメラの検出領域に出現するか、また前記画像のどの位置に出現するかを推定するステップと、
   を含む方法。
2. どの時点で候補が前記第１のカメラの前記検出領域に出現するかを推定するステップは、
   前記車両が前記候補にさらに接近している間に、前記第２のカメラの画像内で前記候補の位置を追跡するステップと、
   前記第１のカメラの検出領域に出現する時点を、前記車両の速度、必要に応じて前記車両の操舵角、前記第１のカメラおよび前記第２のカメラの光学的な特性、ならびに車両における前記第１のカメラおよび前記第２のカメラの取り付け位置から特定するステップと、
   を含む、請求項１記載の方法。
3. 前記第１のカメラによる画像の記録、および／または前記第１のカメラの画像に関する交通標識識別の実施を、前記第１のカメラの検出領域に前記候補が出現した時点以降に初めて作動させるかまたは実行することを特徴とする、請求項１または２記載の方法。
4. 前記候補が、前記第２のカメラの検出領域にも前記第１のカメラの検出領域にも存在しなかった期間、前記第１のカメラおよび前記第２のカメラの既知の光学的な特性、前記車両における前記第１のカメラおよび前記第２のカメラの取り付け場所、車両速度、ならびに走行中に求められた前記車両の地理的位置から、確認された交通標識の実際の設置位置を特定することを特徴とする、請求項１から３までのいずれか１項記載の方法。
5. 前記記憶を車両内部のデータベースおよび／または車両外部のデータベースにおいて行い、前記車両外部のデータベースとの通信は、無線通信コネクションを介して行う、請求項１から４までのいずれか１項記載の方法。
6. 車両上または車両内に配置されている、交通標識および該交通標識の設置位置を検出する装置であって、
   前記車両の地理的位置を周期的または継続的に特定する手段と、
   車両視界から後方に向けられた第１のカメラと、
   前記第１のカメラの画像に関して交通標識識別を実施する手段と、
   交通標識を表す情報および所属の地理的位置を記憶する手段と、
   車両視界から前方に向けられた第２のカメラと、
   前記第２のカメラの画像の、逆方向の車線の領域内にある画像領域において、交通標識の典型的な形状を有している物体を候補としてマークする画像識別を実施する手段と、
   どの時点で候補が前記第１のカメラの検出領域に出現するか、また前記画像のどの位置に出現するかを推定する手段と、
   を備え、
   当該装置は、請求項１から５までの１つまたは複数記載の方法を実施するように構成されている、
   装置。
7. 前記第１のカメラに接続されている表示ユニットは、前記車両の前進中は、前記第１のカメラの画像を表示しないことを特徴とする、請求項６記載の装置。
8. 前記第１のカメラは、前記車両の後退を監視するために設けられているカメラであることを特徴とする、請求項６または７項記載の装置。

Images