JP5657788B2 - 交通標識認識方法 - Google Patents

Description

本発明は、独立請求項の上位概念に記載の交通標識認識方法、及び請求項１５に記載の対応する装置に関する。

最近の運転者支援システムは、例えば許容最高速度を超過すると運転者に警告するため、電子交通標識認識システムをますます設けられる。このためカメラが車両の前の周辺を記録し、適当な画像データを車載コンピュータへ供給し、コンピュータがアルゴリズムにより画像を分析しかつ分類して、これから交通標識を確認する。このような方法は例えばドイツ連邦共和国特許出願公開第１９８５２６３１号明細書から公知である。

交通標識を認識する公知の方法は、構想に従って動作し、検出段階において、カメラ画像中にあって可能性のある交通標識を含む画像領域が確認される。これらの可能性のある交通標識は、第２の方法段階において、続いて分類器へ与えられ、画像領域中に交通標識が存在するか否か、それがどんな交通標識であるかを、分類器が決定する。

分類器又は分類装置は、例えばドイツ連邦共和国特許出願公開第１０２００５０６２１５４号明細書から公知のように、学習に基いて動作する。ここでは分類器が多数の学習例を介して適当に訓練され、これらの学習例の表現は選ばれる検出方法に関係している。例えばその速度限界を知るために、検出段階において画像処理段階により、カメラ画像中の円を求め、包囲する四角形を部分として分類器へ移すことが公知であり、この特徴“円”が交通標識の特定のクラスを定義する。画像データにおける円形物体を認識するこのような方法は、ドイツ連邦共和国特許出願公開第１０２００５０１７５４１号明細書から公知である。

本発明の基礎になっている課題は、交通標識の速やかで確実な認識を可能にし、制御装置の資源を僅かしか要求しない交通標識認識方法を提示することである。挑戦的な開発目標の１つの使用される方法の僅かな計算負荷は、まさに埋込まれるシステムにおける使用のためである。

この課題は、独立請求項の特徴によって解決される。本発明の有利な展開は従属請求項からわかり、個々の特徴の組合わせ及び展開も考えられる。

本発明による交通標識認識方法では、カメラにより車両周辺が記録される。カメラの画像データが分析され、その際可能性のある交通標識を含む少なくとも１つの画像範囲が求められる。このための例は、画像中の円形物体の追求である。可能性のある交通標識を持つ画像範囲が、第１の分類装置へ与えられ、分類装置が、クラスに特有な少なくとも１つの特徴に基いて、可能性のある交通標識をこの特定のクラスの交通標識であると判定し、交通標識を含む画像部分が更に評価される。第１の分類装置が、可能性のある交通標識を持つ画像範囲において、この交通標識を特定のクラスの交通標識として判定できないと、この画像範囲がなるべく棄却され、別の画像データが分析される。

例えば丸い交通標識が、クラスに特有な特徴として、白い円形の基本面及び赤い外側環を持っていると、交通標識はこのクラスの交通標識と判定される。このクラスには、特に許容最高速度を規定する交通標識が属する。道路交通標識に関するウィーン協定では、欧州の複数の国が部分的に交通標識の統一に合意しているので、例えば速度限界は、赤い外側環と速度限界用の数字を持つ丸い標識から成るようにしている。

存在する交通標識を確認するため、本発明による方法によれば、まず情報保持部分が求められ、続いてこれが内容を求めるため第２の分類装置へ引渡される。交通標識の情報保持部分は、例えば速度限界の数値であってもよい。この値は以下数字ブロックとも称される。その代わりに又はそれに加えて、情報保持部分は文字及び／又はシンボル例えば追越し禁止のシンボルを含んでいる。

交通標識の情報保持部分を求める第１段階において、交通標識の面内の出発点から始まって放射状に延びる走査線に沿って、交通標識の面の明るさ分析又は色強さ分析が行われる。色強さ分析とは、走査線に沿って隣接する画素と比較して画素の１つ又は複数の色強さ値（例えばＲ；Ｇ；Ｂ−又はＣ；Ｍ；Ｙ値）の分析を意味し、それにより例えば赤から白への色移行が求められる。明るさ分析又は色強さ分析は、交通標識の面の出発点から走査線に沿って外方へ延びているのがよい。明るさ分析又は色強さ分析から、交通標識の情報保持部分の可能性のある輪郭点が求められる。換言すれば、情報保持部分又は数字ブロックの輪郭により規定されている明るさ又は色強さの限界が求められる。それに続いて交通標識の面の１つの範囲が、求められるすべての可能性のある輪郭点を含む交通標識の情報保持部分として抽出される。抽出された範囲が、意味論的解釈のため第２の分類装置へ引渡される。この分類装置が、抽出された範囲の内容、例えば交通標識に示されている許容最高速度の値を読出すので、方法の終わりに例えば情報“交通標識の認識、カメラ画像における許容最高速度６０ｋｍ／ｈ”を出力することができる。この情報は、例えば表示装置を介して運転者に表示するか、又は別の支援システムで利用できるようにすることができる。

本発明による方法は、例えばソーベルオペレータ又はキャニーオペレータのような交通標識認識において典型的に使用される二次元縁検出オペレータとは対照的に、計算能力及びメモリに対して著しく少ない要求しか課さない明るさ分析又は色強さ分析という点で、すぐれている。それにより交通標識の確認は一層速く行われる。更にこの方法は非常に強固である。なぜならば、情報保持部分は、その輪郭に基いて求められるからである。交通標識認識のための比較可能な方法は、情報保持部分が常に交通標識内の標準大きさ及び標準位置を持つことをしばしば必要としている。なぜならば、そうしないと、情報保持部分を全く又は正しく認識できないからである。

本発明の有利な構成では、第１の分類装置が明るさ分析又は色強さ分析のための所定の出発点を規定し、この出発点から走査線が外方へ延びているのがよい。可能性にある交通標識を特定のクラスの交通標識と判定する際、第１の分類装置が、このクラスの交通標識の情報保持部分を求めるための適当な出発点を規定することができる。

本発明の有利な構成では、交通標識の面の中心点が求められ、走査線が半径方向に延びるための所定の出発点として使用される。

明るさ分析又は色強さ分析が、走査線に沿う画素の明るさ値又は色強さ値の一次元勾配線形成を含んでいるのがよい。こうして隣接する画素の明るさ又は色強さの相違が、各走査線上で求められる。この場合可能性のある輪郭点は、勾配形成の最大値から求められる。一次元勾配の計算は、二次元縁検出オペレータにより必要でありかつ交通標識認識の際しばしば使用される計算より著しく容易で速い。

好ましい実施形態によれば、第１の分類装置により特定のクラスの交通標識の内側面が求められる。それから走査線に沿う明るさ分析又は色強さ分析が、交通標識の内側面内でのみ行われる。例えば赤い外側環を持つ白い円形の基本面が第１の分類装置により確認されると、明るさ分析又は色強さ分析が、内側の白い円形基本面に限定される。このためこの範囲をマスキングするか、又は走査線の長さを基本面又は内側面の範囲に合わせることができる。

好ましい実施形態では、明るい背景を持つ交通標識の場合、出発点から外方へ行われる明るさ分析の際可能性のある輪郭点が暗−明移行部として求められた範囲が、情報保持部分として抽出される。この場合明るさ分析される範囲が、前の実施形態に従って合わされるようにする。それにより交通標識の完全な数字ブロック又は完全な情報保持部分が抽出されて次へ送られるようにすることができる。中心点から最も大きく離れた可能性のある輪郭点を暗−明移行部から選択することにより、交通標識の重要な画素又は符号／シンボルが抽出されず、交通標識が第２の分類装置により誤って解釈されるか又は認識されないことを防止される。

好ましい実施形態では、暗い背景を持つ交通標識の場合、明るさ分析の際可能性のある輪郭点が走査線に沿って出発点から外方へ明−暗移行部として求められた範囲が、情報保持部分として抽出される。交通標識のこのような表示は、例えば黒い背景を持つ電子表示板において行われる。

交通標識認識方法の有利な実施の際、情報保持部分として抽出される交通標識の範囲が、すべての可能性のある輪郭点を含む最小の四角形である。その際分類のために必要な情報を含む範囲のみが、意味論的解釈のため第２の分類装置へ引渡される。それにより分類のために必要なメモリ及びそのために必要な時間が最小にされる。

交通標識認識方法の好ましい構成では、明るさ分析又は色強さ分析の前に、交通標識の面が、明るさ標準化及び／又は雑音抑制及び／又は面を包囲する範囲のマスキング及び／又は別の処理を受け、この別の処理の際面の周辺又は面自体が、面の明るさ分析又は色強さ分析に不利な影響を及ぼす影響を除かれる。それにより不利な影響を除かれた画像部分が更に送られて、交通標識の情報保持部分の算定を簡単化するだけでなく、支援する。これは、例えば交通標識を含む画像部分の画素がそれぞれ１つの明るさ値に対応せしめられる時与えられ、即ちすべての暗いか又は明るくない画素が特定の暗い明るさ値に対応せしめられ、かつすべての明るいか又は暗くない画素が明るい明るさ値に対応せしめられ、従って例えば２進黒白画像へ画像部分の変換が行われる。

交通標識認識方法の有利な構成では、交通標識の面の明るさ分析又は色強さ分析が、特定数の放射状に延びる走査線に沿って行われ、放射状に延びる走査線の数が、カメラ画像において可能性のある交通標識を持つ画像範囲の求められる数に関係するか、又は第１の分類装置によりカメラ画像において確認される交通標識の数に関係する。それにより交通標識の情報保持部分を求めるために利用可能な計算能力を、カメラ画像において同時に現れる可能性のあるか又は一時的に確認される交通標識に合わせることができる。

方法の別の好ましい構成によれば、最初の実行において、最小数の放射状に延びる走査線が予め定められる。このように抽出される範囲は、内容を解釈するための第２の分類装置へ与えられる。分類装置が抽出された範囲を効果的に分類できない場合、走査線の数が連続的に増大され、例えば数が倍加される。これが車載計算機又は制御装置の必要に応じた稼動による交通標識の分類を有利に可能にする。それにより、（８つ設けられている走査線と比較して）例えば４つの走査線で足りる時、求める時間を更に短縮することができる。

前述した実施形態における走査線の数が規定された最大数までにだけ高められるのがよい。従ってこの方法により、車載計算機又は制御装置の最大出力が規定される。

出発点から放射状に外方へ延びる隣接走査線がそれぞれ同じ角をなしている、交通標識認識方法の構成が有利である。

２４個の走査線が設けられて、隣接する走査線が互いに１５°の角をなしているのが特に好ましい。２４個の走査線により、多くの場合、数字ブロック又は情報保持部分の十分確実な確認が保証される。第２の分類装置のより交通標識の誤った解釈は防止され、交通標識を認識できない事例の数が最小になる。更にメモリ及び車載計算機又は制御装置の可能な最大出力が有利に規定される。

本発明の対象は、更に車両周辺を記録するカメラ及び画像処理装置を含む交通標識認識装置である。第１の分類装置が、カメラの画像データから交通標識の情報保持部分を求める手段を含んでいる。情報保持部分を含む交通標識の範囲の抽出手段、及び意味論的解釈のため第２の分類装置へ送るための手段が設けられている。

本発明のそれ以外の利点は、以下の説明及び図面からわかる。実施例が図面に簡単化して示されており、以下に詳細に説明される。

交通標識の数字情報保持部分の抽出の概略図を示す。 シンボル情報を持つ交通標識の情報保持部分の抽出を示す。 交通標識の情報保持部分の抽出方法の流れ図を示す。 情報保持部分の可能性のある輪郭点を持つマスキングされた交通標識を示す。 放射線に沿う明るさ分析による交通標識の内側面にある情報保持部分の検出を示す。 放射線に沿う明るさ分析による交通標識の内側面にある情報保持部分の検出を示す。 放射線に沿う明るさ分析による交通標識の内側面にある情報保持部分の検出を示す。 放射線に沿う明るさ分析による交通標識の内側面にある情報保持部分の検出を示す。

図１ａは、速度限界用交通標識１である規定標識のクラスの交通標識１を示す。速度を限定する交通標識１のクラスは、円形であり、赤い縁２を持ち、赤い縁２内の内側面１７の理想的には中央に数として許容最高速度を示している。図１ａにおいて交通標識１は例えば“６０”（ｋｍ／ｈ）の速度限界を持っている。この値は交通標識１の情報保持部分３であり、数字ブロックとも称される。図１ａにおいて左に交通標識１がこのようなものとして示され、中央には更に区画枠４が示されて、交通標識１の情報保持部分３を包囲し、右には区画枠４を持つ抽出された情報保持部分３が示されている。

図１ｂは、図１ａと同様に追越し禁止を示す交通標識１用の図を示す。図１ａの速度限界とは異なる、ここでは情報保持部分３がシンボルとして存在する。即ち赤い自動車の背面図が、右の赤い自動車の左横にある。情報保持部分３は文字（例えば３．８ｍ、最大許容実際高さ：ｍ）を含んでいてもよいであろう。

図２の流れ図は、以下抽出方法９と称される、交通標識１の情報保持部分３の抽出方法の経過を示す。交通標識１の情報保持部分３は続いて数字ブロックとも称される。なぜならば、ここでは例えば速度限界が図１ａにおけるように抽出されるか又は認識されるようにするからである。

カメラ画像において交通標識１を持つ領域が確認された後、この完全な交通標識１を含むこの画像部分１０例えば縁２及び数字ブロックが、選択的な第１の方法段階１１において前処理を受ける。画像部分１０は雑音抑制、明るさ標準化又は交通標識の赤い縁２のマスキングを受けることができる。

第２の方法段階１２において、場合によっては前処理された画像部分１０の“走査”が行われる。その際出発点、この場合交通標識１の面の中心点８から始まって、放射状走査線５の集合に沿って、画像部分１０の画素の明るさ値又は色強さ値が走査され、明るさ又は色強さが記憶される。

第２の方法段階１３において、この走査線に沿う明るさ値又は色強さ値の勾配形成が行われる。走査線５に沿う数字ブロックの画素上における一次元勾配形成により、各走査線５上で隣接する画素の明るさ又は色の相違が求められる。走査された画素における明るさ又は色強さの相違は、明るさ又は色強さの相違を求めた後記憶される。

第４の方法段階１４において、求められた明るさ又は色強さの相違から輪郭点仮定が形成される。記憶されている明るさ又は色強さの相違及び記憶されている明るさ又は色強さから、個々の走査線５に沿って、明るさ又は色強さの大きい相違を持つ点における数字ブロックの可能性のある輪郭点６が求められる。その際例えば明るい背景上に暗い数字ブロックを持つ交通標識１の認識のために、暗−明移行部に相当する輪郭点のみが考慮される。

第５の方法段階１５において、数字ブロックの抽出が行われる。この場合輪郭点仮定又は可能性のある輪郭点６から、各走査線５上で最も可能性のある輪郭点６を求めることによって、実際の輪郭点７を求めることができる。その際実際の輪郭点７が交通標識１の内側面１７内にのみにあるのが保証されるようにする。すべての輪郭点７を含む範囲が求められ、この範囲が可能性のあるすべての輪郭点６も含んでいる。この範囲は、輪郭を言い替えて可能性のあるすべての輪郭点６を含む最小の四角形であってもよい。図３，４ｃ及び４ｄにおける区画枠４は、輪郭を言い替える四角形を表す。画像部分１０から成る数字ブロックを中に含む輪郭又は区画枠４が抽出され、続いて情報保持部分３の出力又は数字ブロック出力１６が行われる。抽出された数字ブロックは、抽出方法９後に、運転者のために車両の表示装置に表示するか、又はそれ以外の処理のために更に送り、特に意味論的に解釈することができる。

図３はマスキングされた交通標識１を示す。前処理後、画像部分１０は画素又は有害な影響を除去されているので、（最も内側の破線円の）内側面１７の範囲のみが明るさ分析を受ける。赤い縁２及び交通標識１の外淵は考慮されない（外側の破線の円）、なぜならば、ここでは明るさ分析の際可能性のある誤った輪郭点６が走査線５に沿って求められることがあるからである。

赤い縁２及び更にその外にある画素は、例えば適当な画素と重ね書き可能である。例えば縁２は、交通標識１の数字ブロック又は背景の周囲の画素に応じて、画素を変えることができ、その場合走査線の長さは重要でない。赤い縁の認識は、走査線５に沿う色強さ分析によっても可能である（例えば外側範囲における白−赤移行部として）。

図４ａは、第１の分類装置により、白い円形の基本面又は内側面１７及び環状の赤い縁２に基いて、特徴により交通標識１として確認された交通標識１を含む画像部分１０を示している。内側面１７の位置及び広さについての情報も、第１の分類に基いて得ることができる。情報保持部分３の輪郭を求めるための適当な出発点は、この場合交通標識１の内側面１７の中心点８である。この出発点から８つの走査線５が出て、放射状に外方へ内側面１７の縁まで延び、かつそれぞれ４５°だけずらされている。これらの走査線５に沿って、画像部分１０の底にある画素の明るさが出発点から外方へ求められる。明るさ分析の代わりに、色強さ分析を行うこともできるが、図示した交通標識１では、以下に説明する明るさ分析が提供される。その方法は、数字ブロック又は情報保持部分３が、明るさにおいてそれを包囲する内側面１７の範囲とは相違する、ということから出発している。従って明るさ分析の際、数字ブロックの輪郭により規定されている明るさ限界が求められる。明るさ分析の際、それから隣接する画素の明るさの相違が求められて記憶される。

図４ｂには、求められて記憶されている画像から明るさの相違により生じる可能性のある輪郭点６が示されている。図示した交通標識１では、明るい内側範囲１７（例えば白い画素）及び暗い数字ブロック（例えば黒い画素）が存在するので、可能性のある輪郭点６は、内側から外側へ暗−明移行部を持つ明るさ変化に相当している。

図４ｃは、可能性のある輪郭点６のどれが実際の輪郭点７に相当するか、また求められた輪郭点（６又は７）がどのように続いて数字ブロック抽出のために使用されるかを示している。走査線５上で出発点から最も大きく離れている可能性のある輪郭点７に相当している。なぜならば、これらの可能性のある輪郭点は、この方向において情報保持部分３の輪郭限界を規定しているからである。すべての可能性のある輪郭点６を含む交通標識１の画像部分１０の範囲が抽出される。この範囲は例えば四角形の形状を持つことができ、輪郭点７は四角形の縁にあるか、又は四角形を区画することができる。しかしすべての輪郭点７が四角形の縁に位置していなくてもよい、情報保持部分３の縁範囲が抽出の際しばしば切断されることを、甘受せねばならない。走査線５の数の増大により、この情報損失に抵抗することができる。従ってこの抽出方法９では、交通標識１の値又は符号／シンボルの明白な分類のために必要な一層広い分類範囲のみが与えられる。それにより、明るさの推移が純粋に垂直又は水平に延びるだけでなく湾曲した輪郭も持つ輪郭点を、認識して抽出することもできる。図４ｄに示す抽出された情報保持部分３は、意味論的解釈用の第２の分類装置へ引渡され、この場合分類装置が値“６０”を求め、それにより第１の分類装置の結果を知って、交通標識１が完全に確認される。

Claims (15)

1. 交通標識認識方法であって
   カメラにより車両周辺が記録され、
   カメラの画像データが分析され、その際可能性のある交通標識（１）を含む少なくとも１つの画像範囲（１０）が求められ、
   可能性のある交通標識（１）を持つ画像範囲（１０）が、第１の分類装置へ与えられ、分類装置が、クラスに特有な少なくとも１つの特徴に基いて、可能性のある交通標識（１）をこの特定のクラスの交通標識（１）であると判定する
   ものにおいて、
   交通標識（１）の面の明るさ分析又は色強さ分析が、放射状に延びる走査線（５）に沿って、交通標識の面内の所定の出発点から行われ、
   明るさ分析又は色強さ分析から、交通標識（１）の情報保持部分（３）の可能性のある輪郭点（６）が求められ、
   交通標識（１）の面の１つの範囲が、求められるすべての可能性のある輪郭点（６）を含む交通標識（１）の情報保持部分（３）として抽出され、
   抽出された範囲が、意味論的解釈のため第２の分類装置へ引渡される
   ことを特徴とする方法。
2. 第１の分類装置が明るさ分析又は色強さ分析のための所定の出発点を規定することを特徴とする、請求項１に記載の方法。
3. 交通標識（１）の面の中心点（８）が求められ、所定の出発点として使用されることを特徴とする、請求項１又は２に記載の方法。
4. 明るさ分析又は色強さ分析が、走査線（５）に沿う画素の明るさ値又は色強さ値の一次元勾配線形成を含んでいることを特徴とする、請求項１〜３の１つに記載の方法。
5. 第１の分類装置により特定のクラスの交通標識（１）の内側面が求められ、走査線（５）に沿う明るさ分析又は色強さ分析が、交通標識（１）の内側面内でのみ行われることを特徴とする、請求項１〜４の１つに記載の方法。
6. 明るい背景を持つ交通標識（１）の場合、明るさ分析の際可能性のある輪郭点（６）が走査線（５）に沿って出発点から外方へ暗−明移行部として求められた範囲が、情報保持部分（３）として抽出されることを特徴とする、請求項５に記載の方法。
7. 暗い背景を持つ交通標識の場合、明るさ分析の際可能性のある輪郭点（６）が走査線（５）に沿って出発点から外方へ明−暗移行部として求められた範囲が、情報保持部分（３）として抽出されることを特徴とする、請求項５に記載の方法。
8. 情報保持部分（３）として抽出される交通標識（１）の範囲が、すべての可能性のある輪郭点（６）を含む最小の四角形（４）であることを特徴とする、先行する請求項の１つに記載の方法。
9. 明るさ分析又は色強さ分析の前に、交通標識（１）の面が
   ａ）明るさ標準化及び／又は
   ｂ）雑音抑制及び／又は
   ｃ）面を包囲する範囲のマスキング
   を受けることを特徴とする、先行する請求項の１つに記載の方法。
10. 交通標識（１）の面の明るさ分析又は色強さ分析が、特定数の放射状に延びる走査線（５）に沿って行われ、放射状に延びる走査線（５）の数が、カメラ画像において可能性のある交通標識（１）を持つ画像範囲の求められる数に関係するか、又は第１の分類装置によりカメラ画像において確認される交通標識（１）の数に関係することを特徴とする、先行する請求項の１つに記載の方法。
11. 交通標識（１）の面の明るさ分析又は色強さ分析が、放射状に延びる所定の最小数の走査線に沿って行われ、
    明るさ分析又は色強さ分析に基いて抽出される範囲が、意味論的解釈のため第２の分類装置へ引渡され、
    第２の分類装置が抽出された範囲を効果的に分類できない場合、１つの範囲の再度の明るさ分析又は色強さ分析及び抽出の前に、走査線（５）の数が高められる
    ことを特徴とする、先行する請求項の１つに記載の方法。
12. 走査線（５）の数が規定された最大数までにだけ高められることを特徴とする、請求項１１に記載の方法。
13. 隣接する走査線（５）がそれぞれ同じ角をなしていることを特徴とする、先行する請求項の１つに記載の方法。
14. ２４個の走査線（５）が設けられて、出発点から放射状に外方へ延び、隣接する走査線（５）が互いに１５°の角をなしていることを特徴とする、先行する請求項の１つに記載の方法。
15. 車両周辺を記録するカメラ、及び請求項１〜１２に従ってカメラの画像データから交通標識（１）の情報保持部分（３）を求めるための手段を含み、かつ情報保持部分（３）を含む交通標識（１）の抽出された範囲を意味論的解釈のため第２の分類装置へ引き渡す第１の分類装置を持つ画像処理装置を含んでいる、交通標識を認識する装置。

Images