JP5924538B2 - 車両用標識認識装置 - Google Patents

Description

本発明は、車両用標識認識装置に係わり、特に、車両前方に存在する標識を認識する車両用標識認識装置に関する。

従来より、カメラによって車両前方を撮影し、その撮影画像に基づいて運転支援に必要な情報を取得することが提案されている。
例えば、特許文献１には、カメラによって撮影された画像から道路交通標識の内容を認識する標識認識装置が開示されている。この標識認識装置は、撮像画像から標識の候補領域画像を抽出し、候補領域画像の輝度分布に基づいて、候補領域画像が電光標識の画像かあるいは固定標識（電光標識ではない標識）の画像かを判断する。そして、候補領域画像が電光標識と判断された場合には電光標識用のテンプレートを用いて照合を行い、候補領域画像が固定標識と判断された場合には固定標識用のテンプレートを用いて照合を行うことにより、標識の認識を行う。

特開２０１０−０２６５９１号公報

しかしながら、上述した特許文献１の標識認識装置では、撮影された画像の全体にわたって抽出された全ての候補領域画像の各々について、候補領域画像が電光標識の画像か固定標識の画像かの判断を行い、更に、その判断結果に応じて電光標識用又は固定標識用のテンプレートを用いた照合を実行しなければならないため、処理負担が大きいという問題がある。

本発明は、上述した従来技術の問題点を解決するためになされたものであり、処理負担を増大させることなく、電光標識及び固定標識のどちらも認識することができる車両用標識認識装置を提供することを目的とする。

上記の目的を達成するために、本発明の車両用標識認識装置は、車両前方に存在する標識を認識する車両用標識認識装置において、車両前方を撮影する撮影手段と、撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する輝度差算出手段と、輝度差算出手段により算出された輝度差が所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、を有し、標識判定手段は、内側判定枠によって囲まれる文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下である場合、探索ウィンドウ内に固定標識の画像が含まれていると判定し、文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下ではない場合、探索ウィンドウ内に電光標識の画像が含まれていると判定することを特徴とする。
このように構成された本発明においては、標識の外周に沿った縁取りと他の部分（縁取りによって囲まれる領域又は標識の背景）との輝度差に基づいて標識を認識することができる。即ち、標識が固定標識か電光標識かに関わらず、共通の処理によって標識の認識を行うことができるので、処理負担を増大させることなく、固定標識及び電光標識のどちらも認識することができる。
また、固定標識と電光標識とを容易且つ確実に判別することができる。
また、本発明の車両用標識認識装置は、車両前方に存在する標識を認識する車両用標識認識装置において、車両前方を撮影する撮影手段と、撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する輝度差算出手段と、輝度差算出手段により算出された輝度差が所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、探索ウィンドウ内の画像を白黒２値化する白黒２値化手段と、を有し、画像抽出手段は、白黒２値化された抽出画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出し、さらに、エッジ検出ウィンドウが標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、エッジ検出ウィンドウが標識の外周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、各パターンが検出された場合におけるエッジ検出ウィンドウの位置から標識の中心に向かう方向及び距離とを記憶する記憶手段を有し、標識判定手段は、エッジ検出ウィンドウ内の画像の各画素における白黒２値のパターンと、記憶手段に記憶されている各パターンの何れかとが一致した場合、エッジ検出ウィンドウの位置と、一致したパターンに対応付けて記憶手段に記憶されている方向及び距離とに基づき、探索ウィンドウ内の標識画像の中心座標を推定し、推定された中心座標と探索ウィンドウ内の画像の中心座標とが一致する場合、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、標識の外周に沿った縁取りと他の部分（縁取りによって囲まれる領域又は標識の背景）との輝度差に基づいて標識を認識することができる。即ち、標識が固定標識か電光標識かに関わらず、共通の処理によって標識の認識を行うことができるので、処理負担を増大させることなく、固定標識及び電光標識のどちらも認識することができる。
また、円形の標識を容易且つ確実に認識することができる。

また、本発明において、好ましくは、輝度差算出手段は、仮想円の円周に沿って配置された４組又は８組の外側判定枠と内側判定枠との各組について、抽出画像の外側判定枠内における輝度と内側判定枠内における輝度との輝度差を算出し、標識判定手段は、輝度差算出手段により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、街路樹や電柱等の障害物の画像が標識の画像の一部に重複している場合においても、これらの障害物が重複していない範囲における標識の外周に沿った縁取りと他の部分との輝度差に基づいて確実に標識の認識を行うことができる。

また、本発明において、好ましくは、標識判定手段は、輝度差算出手段により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、探索ウィンドウ内に標識の画像が含まれていると判定する。
このように構成された本発明においては、探索ウィンドウ内の画像が標識の外周に沿った連続的な縁取りに相当する画像か否かを確実に判別することができるので、一層確実に標識の認識を行うことができる。

本発明による車両用標識認識装置によれば、処理負担を増大させることなく、固定標識及び電光標識のどちらも認識することができる。

本発明の実施形態による車両用標識認識装置の電気的構成を示すブロック図である。 本発明の実施形態による車両用標識認識装置がカメラにより撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する順序を示す概略図である。 本発明の実施形態による車両用標識認識装置が標識を認識する標識認識処理のフローチャートである。 本発明の実施形態による車両用標識認識装置が実行する縁判定処理のフローチャートである。 本発明の実施形態による車両用標識認識装置が縁判定処理において標識の縁取りに相当する画像が探索ウィンドウ内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。 本発明の実施形態による車両用標識認識装置が実行する縁判定処理において使用される、標識の画像を含む探索ウィンドウを示す図であり、図６（ａ）は昼間の固定標識の画像を含む探索ウィンドウを示す図、図６（ｂ）は昼間の電光標識の画像を含む探索ウィンドウを示す図、図６（ｃ）は夜間の電光標識の画像を含む探索ウィンドウを示す図である。 本発明の実施形態による車両用標識認識装置が実行する文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。 本発明の実施形態による車両用標識認識装置が実行する文字領域判定処理のフローチャートである。 本発明の実施形態による車両用標識認識装置が実行する円形判定処理において、標識候補の画像の輪郭が円形か否かを判定するために使用されるテンプレートを示す図であり、図９（ａ）は白黒２値化した探索ウィンドウ内の画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出する順序を示す概略図、図９（ｂ）は標識の縁取りの内周縁を検出するために使用されるテンプレートを示す図、図９（ｃ）は標識の外周縁を検出するために使用されるテンプレートを示す図である。 本発明の実施形態による車両用標識認識装置が実行する円形判定処理のフローチャートである。 本発明の実施形態の第１変形例による縁判定処理のフローチャートである。 本発明の実施形態の第２変形例による縁判定処理において縁取りに相当する画像が探索ウィンドウ内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。 本発明の実施形態の第３変形例による文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウを示す図である。

以下、添付図面を参照して、本発明の実施形態による車両用標識認識装置を説明する。
まず、図１により、本発明の実施形態による車両用標識認識装置の構成を説明する。
図１は、本発明の実施形態による車両用標識認識装置の電気的構成を示すブロック図である。

図１に示すように、車両用標識認識装置１は、車両前方を撮影するカメラ２と、カメラ２により撮影された画像の処理を行う画像処理部４と、画像処理部４による処理結果を使用して画像に標識が含まれているか否かを判定する標識判定部６と、標識判定部６が標識の有無を判定する際に用いるデータを記憶する記憶部８とを有する。

カメラ２は、車両用標識認識装置１が搭載された車両の前方に向けて車両に設置され、撮影した画像データを画像処理部４に出力する。このカメラ２としては、例えば撮像素子としてＣＭＯＳイメージセンサやＣＣＤイメージセンサを使用したカメラが使用される。

画像処理部４は、カメラ２により撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する画像抽出部１０と、探索ウィンドウ内に配置された複数の判定枠内に含まれる各々の抽出画像間の輝度差を算出する輝度差算出部１２と、探索ウィンドウ内の画像を白黒２値化する白黒２値化部１４とを備える。
画像処理部４及び標識判定部６は、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを記憶するためのＲＯＭやＲＡＭの如き内部メモリを備えるコンピュータにより構成される。

記憶部８は、画像に含まれる標識候補の外形が円形か否かを標識判定部６が判定する際に用いるテンプレート１６を記憶する。この記憶部８は、ハードディスクドライブやソリッドステートドライブ等の不揮発性記憶装置を用いて構成される。

ここで、図２により、本発明の実施形態による車両標識認識装置が行う標識認識処理の基本的な概念を説明する。
図２は、本発明の実施形態による車両用標識認識装置１がカメラ２により撮影された画像から所定の大きさの探索ウィンドウ内の画像を抽出する順序を示す概略図である。
図２に示すように、車両標識認識装置は、カメラ２により撮影された画像１８から所定の大きさの探索ウィンドウ２０内の画像を抽出し、探索ウィンドウ２０内に標識の画像が含まれているか否かを判定する。
具体的には、車両標識認識装置は、まず、カメラ２により撮影された画像１８の左上角に所定の大きさ（例えば２０画素角）の探索ウィンドウ２０を設定し、この探索ウィンドウ２０内に標識の画像が含まれているか否かを判定する。次に、探索ウィンドウ２０の位置を、標識の有無を判定した探索ウィンドウ２０から右方向に、予め設定した画素数だけずらすように変更する（図２における探索ウィンドウ２０ａ）。そして、位置変更した探索ウィンドウ２０ａ内に標識の画像が含まれているか否かを判定する。以降同様に、カメラ２により撮影された画像１８の左から右に向かう方向に探索ウィンドウ２０の位置を変更しながら標識の有無を判定する。
さらに、車両標識認識装置は、カメラ２により撮影された画像１８の右上角において探索ウィンドウ２０内の標識の有無を判定した後、探索ウィンドウ２０の位置を、左上角に設定した探索ウィンドウ２０から下方向に、予め設定した画素数だけずらすように変更する（図２における探索ウィンドウ２０ｂ）。このように探索ウィンドウ２０の位置をカメラ２により撮影された画像１８の右下角に至るまで順次変更することにより、画像１８の中に標識が含まれているか否かを判定する。
次に、車両標識認識装置は、探索ウィンドウ２０の大きさを変更し（例えば３０画素角）、上述したようにカメラ２により撮影された画像１８の左上角から右下角まで探索ウィンドウ２０の位置を順次変更しながら標識の有無を判定する。
車両標識認識装置は、予め設定されている全ての大きさ（例えば２０画素角、３０画素角及び４０画素角）の探索ウィンドウ２０を用いてカメラ２により撮影された画像１８の中に標識が含まれているか否かを判定した後、標識認識処理を終了する。

次に、図３乃至図９により、車両標識認識装置が行う各処理について説明する。
図３は、本発明の実施形態による車両用標識認識装置１が標識を認識する標識認識処理のフローチャートである。
この標識認識処理は、車両のイグニッションがオンにされ、車両用標識認識装置１に電源が投入された場合に起動され、繰り返し実行される。

図３に示すように、標識認識処理が開始されると、ステップＳ１において、カメラ２は車両前方を撮影し、撮影した画像データを画像処理部４に出力する。

次に、ステップＳ２において、標識判定部６は、全ての大きさの探索ウィンドウ２０による標識の有無の判定が完了したか否かを判定する。その結果、標識の有無の判定が完了した場合、標識認識処理を終了する。

一方、標識の有無の判定が完了していない場合、ステップＳ３に進み、標識判定部６は、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了したか否かを判定する。

その結果、標識の有無の判定が完了していない場合、ステップＳ４に進み、標識判定部６は、縁判定処理を実行する。この縁判定処理において、標識判定部６は、標識の外周に沿った所定幅の縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定する。その結果、縁取りに相当する画像が存在する場合、探索ウィンドウ２０内の画像は標識の可能性のある画像（以下「標識候補」）であると判定し、縁取りに相当する画像が存在しない場合には、探索ウィンドウ２０内の画像は標識候補ではないと判定する。縁判定処理の詳細な内容については後述する。

ステップＳ４の縁判定処理の後、ステップＳ５に進み、標識判定部６は、縁判定処理の結果に基づき、探索ウィンドウ２０内の画像が標識候補であるか否かを判定する。

その結果、探索ウィンドウ２０内の画像が標識候補である場合、ステップＳ６に進み、標識判定部６は、文字領域判定処理を実行する。この文字領域判定処理において、標識判定部６は、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定する。その結果、文字領域である場合、探索ウィンドウ２０内の画像は標識候補であると判定し、文字領域ではない場合には、探索ウィンドウ２０内の画像は標識候補ではないと判定する。文字領域判定処理の詳細な内容については後述する。

ステップＳ６の文字領域判定処理の後、ステップＳ７に進み、標識判定部６は、文字領域判定処理の結果に基づき、探索ウィンドウ２０内の画像が標識候補であるか否かを判定する。

その結果、探索ウィンドウ２０内の画像が標識候補である場合、ステップＳ８に進み、標識判定部６は、円形判定処理を実行する。この円形判定処理において、標識判定部６は、標識候補の画像の輪郭が円形か否かを判定する。その結果、円形である場合、探索ウィンドウ２０内の画像は標識であると判定し、円形ではない場合には、探索ウィンドウ２０内の画像は標識ではないと判定する。円形判定処理の詳細な内容については後述する。

ステップＳ５において、縁判定処理の結果探索ウィンドウ２０内の画像が標識候補ではない場合、ステップＳ７において、文字領域判定処理の結果探索ウィンドウ２０内の画像が標識候補ではない場合、又はステップＳ８の後、標識判定部６は探索ウィンドウ２０の位置を変更し、ステップＳ３に戻る。以降、ステップＳ３において、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了したと判定されるまで、ステップＳ３からＳ９の処理を繰り返す。

ステップＳ３において、現在設定されている大きさの探索ウィンドウ２０により、カメラ２により撮影された画像１８全体について標識の有無の判定が完了した場合、ステップＳ１０に進み、標識判定部６は、探索ウィンドウ２０の大きさを変更し、ステップＳ２に戻る。以降、ステップＳ２において、全ての大きさの探索ウィンドウ２０による標識の有無の判定が完了したと判定されるまで、ステップＳ２からＳ１０の処理を繰り返す。

次に、標識の外周に沿った所定幅の縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定する縁判定処理の内容を詳細に説明する。
図４は、本発明の実施形態による車両用標識認識装置１が実行する縁判定処理のフローチャートである。
図５は、本発明の実施形態による車両用標識認識装置１が縁判定処理において縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図６は、本発明の実施形態による車両用標識認識装置１が実行する縁判定処理において使用される、標識の画像を含む探索ウィンドウ２０を示す図であり、図６（ａ）は昼間の固定標識の画像を含む探索ウィンドウ２０を示す図、図６（ｂ）は昼間の電光標識の画像を含む探索ウィンドウ２０を示す図、図６（ｃ）は夜間の電光標識の画像を含む探索ウィンドウ２０を示す図である。

図４に示すように、縁判定処理が開始されると、ステップＳ２１において、画像抽出部１０は、カメラ２により撮影された画像１８からその時点で設定されている大きさ及び位置の探索ウィンドウ２０内の画像（以下、「抽出画像」）を抽出する。

次に、ステップＳ２２に進み、輝度差算出部１２は、探索ウィンドウ２０内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出する。
図５においてＢ₁乃至Ｂ₈により示す外側判定枠は、正方形の探索ウィンドウ２０の各辺に内接するように配置されている。特に、本実施形態においては、探索ウィンドウ２０の辺に沿って相互に隣接する２枠の外側判定枠の組が、探索ウィンドウ２０の各辺毎に４組配置される（（Ｂ₁，Ｂ₂）（Ｂ₃，Ｂ₄）（Ｂ₅，Ｂ₆）（Ｂ₇，Ｂ₈））。これにより、外側判定枠は、探索ウィンドウ２０の中央を中心とし且つ探索ウィンドウ２０内に包含される仮想円（図５において点線により示す円）の円周に沿って円周の外側に配置されることになる。
また、図５においてＷ₁乃至Ｗ₈により示す内側判定枠は、各外側判定枠の内側（即ち探索ウィンドウ２０の中心側）に隣接するように配置されている。特に、本実施形態においては、外側判定枠の各組に沿って相互に隣接する２枠の内側判定枠の組が、外側判定枠の各組毎に４組配置される（（Ｗ₁，Ｗ₂）（Ｗ₃，Ｗ₄）（Ｗ₅，Ｗ₆）（Ｗ₇，Ｗ₈））。これにより、内側判定枠は、外側判定枠に隣接して、上述した円周の内側に配置される。
ステップＳ２２において、輝度差算出部１２は、上述したように配置された外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）と、外側判定枠の内側に隣接するように配置された内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）との輝度差Ｄ_i＝Ｉ（Ｗ_i）−Ｉ（Ｂ_i） （ｉ＝１，…，８）を算出する。
なお、各外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）は、各外側判定枠内の各画素の輝度の平均値であり、各内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）は、各内側判定枠内の各画素の輝度の平均値である。

次に、ステップＳ２３に進み、標識判定部６は、ステップＳ２２において算出した輝度差のうちの１つ（本実施形態においてはＤ₁）が所定値ｍ以上か否かを判定する。

その結果、輝度差Ｄ₁が所定値ｍ以上である場合、ステップＳ２４に進み、標識判定部６は、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲（本実施形態においては±ｎ）内であるか否かを判定する。即ち、標識判定部６は、輝度差Ｄ_i（ｉ＝２，…，８）がＤ₁−ｎ以上Ｄ₁＋ｎ以下であるか否かを判定する。

その結果、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲内である場合、ステップＳ２５に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
一方、ステップＳ２３において輝度差Ｄ₁が所定値ｍ以上ではない（ｍ未満である）場合、又はステップＳ２４において輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲内ではない場合、ステップＳ２６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
ステップＳ２５又はＳ２６の後、標識判定部６は縁判定処理を終了し、メインルーチンに戻る。

例えば図６（ａ）に示す例においては、探索ウィンドウ２０に昼間の固定標識の画像が含まれており、標識の外周に沿った縁取りが外側判定枠の位置に重なり、且つ、縁取りと標識の文字領域との間の白色部分が内側判定枠の位置に重なっている。
この場合、外側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｂ_i）に対して、内側判定枠内における抽出画像（即ち白色部分）の輝度Ｉ（Ｗ_i）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ₁が所定値ｍ以上であると判定する。
さらに、図６（ａ）に示すように、各外側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｂ_i）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち白色部分）の輝度Ｉ（Ｗ_i）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄ_i（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ａ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。

また、図６（ｂ）に示す例においては、探索ウィンドウ２０に昼間の電光標識の画像が含まれており、標識の外周に沿った縁取りが内側判定枠の位置に重なり、且つ、標識の外側の背景が外側判定枠の位置に重なっている。
この場合、外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂ_i）に対して、内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗ_i）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ₁が所定値ｍ以上であると判定する。
さらに、図６（ｂ）に示すように、各外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂ_i）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗ_i）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄ_i（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ｂ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。

また、図６（ｃ）に示す例においては、探索ウィンドウ２０に夜間の電光標識の画像が含まれており、標識の外周に沿った縁取りが内側判定枠の位置に重なり、且つ、標識の外側の背景が外側判定枠の位置に重なっている。
この場合においても、図６（ｂ）と同様に、外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂ_i）に対して、内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗ_i）が相対的に高く且つその輝度差が大きいため、ステップＳ２３において、標識判定部６は、輝度差Ｄ₁が所定値ｍ以上であると判定する。
さらに、図６（ｃ）に示すように、各外側判定枠内における抽出画像（即ち背景の部分）の輝度Ｉ（Ｂ_i）はそれぞれ同程度であり、各内側判定枠内における抽出画像（即ち縁取りの部分）の輝度Ｉ（Ｗ_i）もそれぞれ同程度であるので、外側判定枠と内側判定枠との各組における輝度差Ｄ_i（ｉ＝１，…，８）はそれぞれ同程度となっている。従って、ステップＳ２４において、標識判定部６は、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲内であると判定する。その結果、図６（ｃ）の例において、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。

次に、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定する文字領域判定処理の内容を詳細に説明する。
図７は、本発明の実施形態による車両用標識認識装置１が実行する文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図８は、本発明の実施形態による車両用標識認識装置１が実行する文字領域判定処理のフローチャートである。

図７においてＲ₁乃至Ｒ₄により示す文字領域判定枠は、内側判定枠によって囲まれる領域に配置されている。特に、本実施形態においては、内側判定枠によって囲まれるほぼ正方形の領域を２行２列に分割した４つの文字領域判定枠が設けられている。

図８に示すように、文字領域判定処理が開始されると、ステップＳ３１において、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒ_j）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｗ_i）｝に所定のマージンｋを加算した値以下か否か、即ちｍａｘ｛Ｉ（Ｒ_j）｝−ｍａｘ｛Ｉ（Ｗ_i）｝がｋ以下か否かを判定する。

その結果、ｍａｘ｛Ｉ（Ｒ_j）｝−ｍａｘ｛Ｉ（Ｗ_i）｝がｋ以下である場合、文字領域判定枠内の輝度が内側判定枠内の輝度よりも低いケース、即ち固定標識の白色部分が内側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられることから、標識判定部６は、ステップＳ３２に進み、探索ウィンドウ２０内の画像が固定標識候補であると判定する。

次に、ステップＳ３３に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒ_j）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）（ｉ＝１，…，８）の平均値ｍｅａｎ｛Ｉ（Ｂ_i）｝から所定のマージンｐを減算した値より大きいか否かを判定する。
ｍａｘ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｐより大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち固定標識の縁取りの部分が外側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍａｘ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｐより大きい場合、ステップＳ３４に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒ_j）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｂ_i）｝より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｂ_i）｝より大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち固定標識の縁取りの部分が外側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｂ_i）｝より大きい場合、ステップＳ３５に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒ_j）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）（ｉ＝１，…，８）の最小値ｍｉｎ｛Ｉ（Ｗ_i）｝より小さいか否かを判定する。
ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｗ_i）｝より小さい場合は、文字領域判定枠内の輝度が内側判定枠内の輝度よりも十分に低いケース、即ち固定標識の白色部分が内側判定枠の位置に重なり且つ固定標識の文字部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｗ_i）｝より小さい場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が高いことから、ステップＳ３６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。

一方、ステップＳ３３においてｍａｘ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｐより大きくない（ｍａｘ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｐ以下である）場合、ステップＳ３４においてｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｂ_i）｝より大きくない（ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｂ_i）｝以下である）場合、又はステップＳ３５においてｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｗ_i）｝より小さくない（ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｗ_i）｝以上である）場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が文字領域である可能性は低いことから、ステップＳ３７に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。

また、ステップＳ３１において、ｍａｘ｛Ｉ（Ｒ_j）｝−ｍａｘ｛Ｉ（Ｗ_i）｝がｋ以下ではない（ｍａｘ｛Ｉ（Ｒ_j）｝−ｍａｘ｛Ｉ（Ｗ_i）｝がｋより大きい）場合、文字領域判定枠内の輝度が内側判定枠内の輝度よりも高いケース、即ち電光標識の縁取りの部分が内側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられることから、標識判定部６は、ステップＳ３８に進み、探索ウィンドウ２０内の画像が電光標識候補であると判定する。

次に、ステップＳ３９に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒ_j）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）（ｉ＝１，…，８）の平均値ｍｅａｎ｛Ｉ（Ｂ_i）｝から所定のマージンｑを減算した値より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｑより大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち電光標識の外側の背景部分が外側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍｉｎ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｑより大きい場合、ステップＳ４０に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最大値ｍａｘ｛Ｉ（Ｒ_j）｝が、各外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）（ｉ＝１，…，８）の最小値ｍｉｎ｛Ｉ（Ｂ_i）｝より大きいか否かを判定する。
ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｂ_i）｝より大きい場合は、文字領域判定枠内の輝度が外側判定枠内の輝度よりも十分に高いケース、即ち電光標識の外側の背景部分が外側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｂ_i）｝より大きい場合、ステップＳ４１に進み、標識判定部６は、各文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）（ｊ＝１，…，４）の最小値ｍｉｎ｛Ｉ（Ｒ_j）｝が、各内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）（ｉ＝１，…，８）の最大値ｍａｘ｛Ｉ（Ｗ_i）｝より大きいか否かを判定する。
ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｗ_i）｝より大きい場合は、文字領域判定枠内の輝度が内側判定枠内の輝度よりも十分に高いケース、即ち電光標識の縁取りの部分が内側判定枠の位置に重なり且つ電光標識の文字発光部分が文字領域判定枠内に重なっているケースと考えられる。

その結果、ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｗ_i）｝より大きい場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が高いことから、ステップＳ３６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。

一方、ステップＳ３９においてｍｉｎ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｑより大きくない（ｍｉｎ｛Ｉ（Ｒ_j）｝がｍｅａｎ｛Ｉ（Ｂ_i）｝−ｑ以下である）場合、ステップＳ４０においてｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｂ_i）｝より大きくない（ｍａｘ｛Ｉ（Ｒ_j）｝がｍｉｎ｛Ｉ（Ｂ_i）｝以下である）場合、又はステップＳ４１においてｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｗ_i）｝より大きくない（ｍｉｎ｛Ｉ（Ｒ_j）｝がｍａｘ｛Ｉ（Ｗ_i）｝以下である）場合、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域である可能性が低いことから、ステップＳ４２に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。
ステップＳ３６、Ｓ３７又はＳ４２の後、標識判定部６は文字領域判定処理を終了し、メインルーチンに戻る。

次に、標識候補の画像の輪郭が円形か否かを判定する円形判定処理の内容を詳細に説明する。
図９は、本発明の実施形態による車両用標識認識装置１が実行する円形判定処理において、標識候補の画像の輪郭が円形か否かを判定するために使用されるテンプレート１６を示す図であり、図９（ａ）は白黒２値化した探索ウィンドウ２０内の画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出する順序を示す概略図、図９（ｂ）は標識の縁取りの内周縁を検出するために使用されるテンプレート１６を示す図、図９（ｃ）は標識の外周縁を検出するために使用されるテンプレート１６を示す図である。
図１０は、本発明の実施形態による車両用標識認識装置１が実行する円形判定処理のフローチャートである。

まず、円形判定処理の基本的な概念について説明する。
図９（ａ）に示すように、白黒２値化部１４は、探索ウィンドウ２０内の画像を白黒２値化する。次に、画像抽出部１０は、白黒２値化した探索ウィンドウ２０内の画像の左上角に所定の大きさ（本実施形態においては３画素角）のエッジ検出ウィンドウ２２を設定し、このエッジ検出ウィンドウ２２内の画像を抽出する。そして、標識判定部６は、抽出した画像の各画素における白黒２値のパターンと、記憶部８に記憶されているテンプレート１６に含まれる各パターンとを比較する。

テンプレート１６は、図９（ｂ）及び図９（ｃ）に示すように、エッジ検出ウィンドウ２２が標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターン（図９（ｂ）に示す）と、エッジ検出ウィンドウ２２が標識の外周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターン（図９（ｃ）に示す）とを有している。さらに、各パターンに対応付けて、そのパターンが検出された場合におけるエッジ検出ウィンドウ２２の位置から標識の中心に向かう方向及び距離が記憶部８に記憶されている。

エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致した場合、標識判定部６は、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。

続いて、標識判定部６は、エッジ検出ウィンドウ２２の位置を、現在のエッジ検出ウィンドウ２２から右方向に、予め設定した画素数だけずらすように変更する。そして、位置変更したエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較する。そして、一致するパターンが存在した場合、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。
以降同様に、探索ウィンドウ２０内の画像の左から右に向かう方向にエッジ検出ウィンドウ２２の位置を変更しながらエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンとテンプレート１６に含まれる各パターンとを比較し、探索ウィンドウ２０内の標識候補の中心座標を推定する。

さらに、標識判定部６は、探索ウィンドウ２０内の画像の右上角においてエッジ検出ウィンドウ２２内の各画素における白黒２値のパターンとテンプレート１６に含まれる各パターンとを比較した後、エッジ検出ウィンドウ２２の位置を、左上角に設定したエッジ検出ウィンドウ２２から下方向に、予め設定した画素数だけずらすように変更する。このようにエッジ検出ウィンドウ２２の位置を探索ウィンドウ２０内の画像の右下角に至るまで順次変更しながら、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較し、探索ウィンドウ２０内の標識候補の中心座標を推定する。
その後、標識判定部６は、探索ウィンドウ２０の中心座標に対応するカウンタが所定数ｒを超えている場合、即ち探索ウィンドウ２０内の標識候補の中心座標が探索ウィンドウ２０の中心座標と一致する場合に、探索ウィンドウ２０内に円形の標識の画像が含まれていると判定する。

次に、円形判定処理の具体的な処理を説明する。
図１０に示すように、円形判定処理が開始されると、ステップＳ５１において、白黒２値化部１４は、所定の２値化フィルタを使用して探索ウィンドウ２０内の画像を白黒２値化する。

次に、ステップＳ５２に進み、標識判定部６は、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較したか否かを判定する。

その結果、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較していない場合、ステップＳ５３に進み、画像抽出部１０は、白黒２値化された探索ウィンドウ２０内の画像からその時点で設定されている位置のエッジ検出ウィンドウ２２内の画像を抽出する。

次に、ステップＳ５４に進み、標識判定部６は、抽出したエッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致するか否かを判定する。

その結果、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンのうちの何れかとが一致した場合、ステップＳ５５に進み、標識判定部６は、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識候補の中心座標を推定し、その中心座標に対応するカウンタを１加算する。

例えば、一致したパターンが図９（ｂ）のパターンＡである場合、エッジ検出ウィンドウ２２が標識の縁取りの内周縁の上端に重なっている可能性が考えられるため、エッジ検出ウィンドウ２２の位置から標識の中心に向かう方向は下方向となっている。また、これに対応する距離は、標識の縁取りの内周縁の半径Ｒ_innerである。
この場合、図９（ｃ）のパターンＢも同じく一致する。このパターンの場合には、エッジ検出ウィンドウ２２が標識の外周縁の下端に重なっている可能性が考えられるため、エッジ検出ウィンドウ２２の位置から標識の中心に向かう方向は上方向となっている。また、これに対応する距離は、標識の外周縁の半径Ｒ_outerである。

ステップＳ５４において、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとが一致しなかった場合、又はステップＳ５５の後、ステップＳ５６に進み、標識判定部６は、エッジ検出ウィンドウ２２の位置を変更する。
以降、ステップＳ５２において、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較したと判定されるまで、ステップＳ５２からＳ５６を繰り返す。

また、ステップＳ５２において、探索ウィンドウ２０内の画像全体について、エッジ検出ウィンドウ２２内の各画素における白黒２値のパターンと、テンプレート１６に含まれる各パターンとを比較した場合、ステップＳ５７に進み、標識判定部６は、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えているか否かを判定する。

その結果、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えている場合、ステップＳ５８に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識であると判定する。
一方、探索ウィンドウ２０内の画像の中心座標に対応するカウンタが所定数ｒを超えていない（ｒ以下である）場合、ステップＳ５９に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識ではないと判定する。

次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態の縁判定処理においては、図４に示したように、ステップＳ２２において算出した輝度差Ｄ₁が所定値ｍ以上であり、且つ、輝度差Ｄ₁とその他の輝度差Ｄ_i（ｉ＝２，…，８）との差が所定の範囲（上述の実施形態においては±ｎ）内である場合に、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定するが、これとは異なる条件により、探索ウィンドウ２０内の画像が標識候補であるか否かを判定してもよい。

図１１は、本発明の実施形態の第１変形例による縁判定処理のフローチャートである。
図１１の各ステップのうちステップＳ７１及びＳ７２は、図４のステップＳ２１及びＳ２２の同様であるので説明を省略する。
ステップＳ７３において標識判定部６は、ステップＳ７２において算出した各輝度差Ｄ_i（ｉ＝１，…，８）の絶対値｜Ｄ_i｜が所定値ｍ以上か否かを判定する。
その結果、各輝度差Ｄ_iの絶対値が所定値ｍ以上である場合、ステップＳ７４に進み、標識判定部６は、隣接する内側判定枠内における抽出画像の輝度差の絶対値｜Ｉ（Ｗ_i）−Ｉ（Ｗ_i+1）｜及び隣接する外側判定枠内における抽出画像の輝度差の絶対値｜Ｉ（Ｂ_i）−Ｉ（Ｂ_i+1）｜が所定値ｎ以下か否かを判定する。
その結果、｜Ｉ（Ｗ_i）−Ｉ（Ｗ_i+1）｜及び｜Ｉ（Ｂ_i）−Ｉ（Ｂ_i+1）｜が所定値ｎ以下である場合、ステップＳ７５に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補であると判定する。
一方、ステップＳ７３において｜Ｄ_i｜が所定値ｍ以上ではない（ｍ未満である）場合、又はステップＳ７４において｜Ｉ（Ｗ_i）−Ｉ（Ｗ_i+1）｜若しくは｜Ｉ（Ｂ_i）−Ｉ（Ｂ_i+1）｜が所定値ｎ以下ではない（ｎより大きい）場合、ステップＳ７６に進み、標識判定部６は、探索ウィンドウ２０内の画像が標識候補ではないと判定する。

図１２は、本発明の実施形態の第２変形例による縁判定処理において縁取りに相当する画像が探索ウィンドウ２０内に存在するか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
図１２に示すように、第２変形例による外側判定枠は、正方形の探索ウィンドウ２０の各辺毎に１枠ずつ内接するように、４枠配置される（Ｂ₁，Ｂ₂，Ｂ₃，Ｂ₄）。
また、第２変形例による内側判定枠は、各外側判定枠の内側（即ち探索ウィンドウ２０の中心側）に１枠ずつ隣接するように、４枠配置される（Ｗ₁，Ｗ₂，Ｗ₃，Ｗ₄）。

輝度差算出部１２は、外側判定枠内における抽出画像の輝度Ｉ（Ｂ_i）と、外側判定枠の内側に隣接するように配置された内側判定枠内における抽出画像の輝度Ｉ（Ｗ_i）との輝度差Ｄ_i＝Ｉ（Ｗ_i）−Ｉ（Ｂ_i） （ｉ＝１，…，４）を算出する。標識判定部６は、算出した各輝度差Ｄ_iが所定値以上である場合に、探索ウィンドウ２０内の画像が標識候補であると判定する。あるいは、標識判定部６は、算出した各輝度差Ｄ_iのうち３つが所定値以上である場合に、探索ウィンドウ２０内の画像が標識候補であると判定するようにしてもよい。

あるいは、探索ウィンドウ２０の辺に沿って相互に隣接する３枠又は４枠の外側判定枠の組が、探索ウィンドウ２０の各辺毎に４組配置される（即ち、合計１２枠又は１６枠の外側判定枠が配置される）と共に、外側判定枠の各組に沿って相互に隣接する３枠又は４枠の内側判定枠の組が、外側判定枠の内側に隣接するように、外側判定枠の各組毎に４組配置される（即ち、合計１２枠又は１６枠の内側判定枠が配置される）ようにしてもよい。

また、上述した実施形態の文字領域判定処理においては、内側判定枠によって囲まれるほぼ正方形の領域を２行２列に分割した４つの文字領域判定枠内における抽出画像の輝度Ｉ（Ｒ_j）と、外側判定枠内の輝度Ｉ（Ｂ_i）又は内側判定枠内の輝度Ｉ（Ｗ_i）とに基づき、縁判定処理において判定された標識の縁取りに相当する画像の内側の領域が、文字領域であるか否かを判定するが、これとは異なる基準により、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定してもよい。

図１３（ａ）及び図１３（ｂ）は、本発明の実施形態の第３変形例による文字領域判定処理において、標識の縁取りに相当する画像の内側の領域が文字領域であるか否かを判定するために使用される判定枠を含む探索ウィンドウ２０を示す図である。
例えば図１３（ａ）に示すように、内側判定枠Ｗ₁とＷ₃との間に、これらの内側判定枠Ｗ₁，Ｗ₃と平行に文字領域判定枠Ｂ₅を設ける。あるいは、図１３（ｂ）に示すように、内側判定枠Ｗ₂とＷ₄との間に、これらの内側判定枠Ｗ₂，Ｗ₄と平行に文字領域判定枠Ｂ₅を設ける。
図１３（ａ）の例においては、標識判定部６は、内側判定枠Ｗ₁，Ｗ₃の輝度Ｉ（Ｗ_i） （ｉ＝１，３）と、文字領域判定枠Ｂ₅の輝度Ｉ（Ｂ₅）とを比較する。探索ウィンドウ２０内の画像が固定標識候補である場合には、Ｉ（Ｗ_i）＞Ｉ（Ｂ₅）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。また、探索ウィンドウ２０内の画像が電光標識候補である場合には、Ｉ（Ｗ_i）＜Ｉ（Ｂ₅）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。
同様に、図１３（ｂ）の例においては、標識判定部６は、内側判定枠Ｗ₂，Ｗ₄の輝度Ｉ（Ｗ_i）（ｉ＝２，４）と、文字領域判定枠Ｂ₅の輝度Ｉ（Ｂ₅）とを比較する。探索ウィンドウ２０内の画像が固定標識候補である場合には、Ｉ（Ｗ_i）＞Ｉ（Ｂ₅）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。また、探索ウィンドウ２０内の画像が電光標識候補である場合には、Ｉ（Ｗ_i）＜Ｉ（Ｂ₅）が成立する場合に、標識の縁取りに相当する画像の内側の領域が文字領域であると判定する。

また、上述した実施形態においては、円形判定処理のステップＳ５１において、白黒２値化部１４が探索ウィンドウ２０内の画像を白黒２値化すると説明したが、標識認識処理のステップＳ１においてカメラ２が車両前方を撮影し、撮影した画像データを画像処理部４に出力した後、この画像を白黒２値化し、白黒２値化した画像データを用いて以降の各処理（即ち、縁判定処理、文字領域判定処理、及び円形判定処理）を行うようにしてもよい。

次に、上述した本発明の実施形態及び本発明の実施形態の変形例による車両用標識認識装置１の効果を説明する。

まず、車両用標識認識装置１の画像抽出部１０は、カメラ２により撮影された画像１８から所定の大きさの探索ウィンドウ２０内の抽出画像を抽出し、輝度差算出部１２は、探索ウィンドウ２０内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における抽出画像の輝度と、外側判定枠に隣接して円周の内側に配置された内側判定枠内における抽出画像の輝度との輝度差を算出し、標識判定部６は、輝度差算出部１２により算出された輝度差が所定値以上の場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、標識の外周に沿った縁取りと他の部分（縁取りによって囲まれる領域又は標識の背景）との輝度差に基づいて標識を認識することができる。即ち、標識が固定標識か電光標識かに関わらず、共通の処理によって標識の認識を行うことができるので、処理負担を増大させることなく、電光標識及び固定標識のどちらも認識することができる。

また、輝度差算出部１２は、仮想円の円周に沿って配置された４組又は８組の外側判定枠と内側判定枠との各組について、抽出画像の外側判定枠内における輝度と内側判定枠内における輝度との輝度差を算出し、標識判定部６は、輝度差算出部１２により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、街路樹や電柱等の障害物の画像が標識の画像の一部に重複している場合においても、これらの障害物が重複していない範囲における標識の外周に沿った縁取りと他の部分との輝度差に基づいて確実に標識の認識を行うことができる。

また、標識判定部６は、輝度差算出部１２により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、探索ウィンドウ２０内の画像が標識の外周に沿った縁取りに相当する画像か否かを確実に判別することができ、一層確実に標識の認識を行うことができる。

また、標識判定部６は、内側判定枠によって囲まれる文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下である場合、探索ウィンドウ２０内に固定標識の画像が含まれていると判定し、文字領域判定枠内における抽出画像の輝度が、内側判定枠内における抽出画像の輝度以下ではない場合、探索ウィンドウ２０内に電光標識の画像が含まれていると判定するので、固定標識と電光標識とを容易且つ確実に判別することができる。

また、記憶部８は、エッジ検出ウィンドウ２２が標識の縁取りの内周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターンと、エッジ検出ウィンドウ２２が標識の外周縁に重なった場合にエッジ検出ウィンドウ２２内の各画素が取りうる白黒２値のパターンと、各パターンが検出された場合におけるエッジ検出ウィンドウ２２の位置から標識の中心に向かう方向及び距離とを記憶し、標識判定部６は、エッジ検出ウィンドウ２２内の画像の各画素における白黒２値のパターンと、記憶部８に記憶されている各パターンの何れかとが一致した場合、エッジ検出ウィンドウ２２の位置と、一致したパターンに対応付けて記憶部８に記憶されている方向及び距離とに基づき、探索ウィンドウ２０内の標識画像の中心座標を推定し、推定された中心座標と探索ウィンドウ２０内の画像の中心座標とが一致する場合、探索ウィンドウ２０内に標識の画像が含まれていると判定するので、円形の標識を容易且つ確実に認識することができる。

１ 車両用標識認識装置
２ カメラ
４ 画像処理部
６ 標識判定部
８ 記憶部
１０ 画像抽出部
１２ 輝度差算出部
１４ 白黒２値化部
１６ テンプレート
１８ 画像
２０ 探索ウィンドウ
２２ エッジ検出ウィンドウ

Claims (4)

1. 車両前方に存在する標識を認識する車両用標識認識装置において、
   車両前方を撮影する撮影手段と、
   上記撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、
   上記探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における上記抽出画像の輝度と、上記外側判定枠に隣接して上記円周の内側に配置された内側判定枠内における上記抽出画像の輝度との輝度差を算出する輝度差算出手段と、
   上記輝度差算出手段により算出された輝度差が所定値以上の場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、を有し、
   上記標識判定手段は、上記内側判定枠によって囲まれる文字領域判定枠内における上記抽出画像の輝度が、上記内側判定枠内における上記抽出画像の輝度以下である場合、上記探索ウィンドウ内に固定標識の画像が含まれていると判定し、上記文字領域判定枠内における上記抽出画像の輝度が、上記内側判定枠内における上記抽出画像の輝度以下ではない場合、上記探索ウィンドウ内に電光標識の画像が含まれていると判定することを特徴とする車両用標識認識装置。
2. 車両前方に存在する標識を認識する車両用標識認識装置において、
   車両前方を撮影する撮影手段と、
   上記撮影手段により撮影された画像から所定の大きさの探索ウィンドウ内の抽出画像を抽出する画像抽出手段と、
   上記探索ウィンドウ内に包含される仮想円の円周に沿ってこの円周の外側に配置された外側判定枠内における上記抽出画像の輝度と、上記外側判定枠に隣接して上記円周の内側に配置された内側判定枠内における上記抽出画像の輝度との輝度差を算出する輝度差算出手段と、
   上記輝度差算出手段により算出された輝度差が所定値以上の場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する標識判定手段と、
   上記探索ウィンドウ内の画像を白黒２値化する白黒２値化手段と、を有し、
   上記画像抽出手段は、白黒２値化された上記抽出画像から所定の大きさのエッジ検出ウィンドウ内の画像を抽出し、
   さらに、上記エッジ検出ウィンドウが標識の縁取りの内周縁に重なった場合に上記エッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、上記エッジ検出ウィンドウが標識の外周縁に重なった場合にエッジ検出ウィンドウ内の各画素が取りうる白黒２値のパターンと、上記各パターンが検出された場合における上記エッジ検出ウィンドウの位置から標識の中心に向かう方向及び距離とを記憶する記憶手段を有し、
   上記標識判定手段は、上記エッジ検出ウィンドウ内の画像の各画素における白黒２値のパターンと、上記記憶手段に記憶されている上記各パターンの何れかとが一致した場合、上記エッジ検出ウィンドウの位置と、一致した上記パターンに対応付けて上記記憶手段に記憶されている上記方向及び距離とに基づき、上記探索ウィンドウ内の標識画像の中心座標を推定し、上記推定された中心座標と上記探索ウィンドウ内の画像の中心座標とが一致する場合、上記探索ウィンドウ内に標識の画像が含まれていると判定することを特徴とする車両用標識認識装置。
3. 上記輝度差算出手段は、上記仮想円の円周に沿って配置された４組又は８組の上記外側判定枠と上記内側判定枠との各組について、上記抽出画像の上記外側判定枠内における輝度と上記内側判定枠内における輝度との輝度差を算出し、
   上記標識判定手段は、上記輝度差算出手段により算出された各輝度差のうち少なくとも１つが所定値以上の場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する、請求項１又は２に記載の車両用標識認識装置。
4. 上記標識判定手段は、上記輝度差算出手段により算出された各輝度差のうち何れか１つの輝度差が所定値以上であり、且つこの輝度差とその他の輝度差との差が所定の範囲内である場合に、上記探索ウィンドウ内に標識の画像が含まれていると判定する、請求項３に記載の車両用標識認識装置。