JP6024328B2 - 交通標識検知方法及び交通標識検知装置 - Google Patents

Description

本発明は、交通標識検知方法および交通標識検知装置に関する。

高度道路交通システム（ＩＴＳ）の技術が日増しに発展し、かつ幅広く応用されているにつれて、交通標識の検知技術への研究が注目されつつある。世界各国の交通標識の標準は略統一されているため、１国の交通標識用に研究された交通標識検知技術は、調整することなく、或いは微小の調整のみで、他の国に適用することができるため、普遍的適用性を有している。

現在、交通標識検知技術分野は一定の進展があり、例えば、多くの特許や特許出願が存在している。従来技術においては、交通標識の色、形状情報や、幾何学的特徴により、交通標識の検知及び識別を行うことが多くなっている。また、交通標識の識別後は、音声や視覚情報の形式で、運転手への通知を行っている。

特許文献１（CN101702197A）には、交通標識検知方法が提案されている。該方法においては、交通標識の基本色と幾何形状を分析し、色と形状とからなる色形状対（ペア）を形成することにより、交通標識の色と幾何形状との関係モデルを構築し、該モデルにより交通標識の検知を行っている。例えば、＜赤色、三角形＞というペアは、「禁止標識グループ」に対応している。該公開には、計７グループの、このような色形状対が構築されている。該方法においては、色と形状の情報が交通標識の検知のみに用いられ、用いられた形状情報は交通標識の外部形状のみに対応し、内部形状情報への利用については何ら言及もない。このため、該方法は、ある交通標識が大体どの交通標識グループに属するかの識別には適用可能であるが、交通標識の正確な識別は不可能である。なお、色及び外部形状の情報のみでは、交通標識と他の類似物を完全に区別することができない。

特許文献2（US2009/0074249A1）には、回転及び尺度不変の特徴によるパターンマッチングを行い、信頼度の算出方法により、候補の交通標識を識別する交通標識の識別方法が提案されている。該方法においては、シーンの複雑性の原因で、パターンマッチング時に、候補交通標識、即ち、識別対象の交通標識が大量に発生することがある。識別対象の交通標識の数が大きすぎると、該方法の処理速度に影響を及ぼし、交通標識識別システムに求められる「リアルタイム性」を達成できないおそれがある。

特許文献３（US2008/0137908A1）には、画像を、色と形状情報による交通標識の検知・識別に用いる部分と、他の補助運転機能を実現するための部分との２部分に分けられる交通標識検知・識別方法が提案されている。該方法は、色と形状情報しか考慮されておらず、円形の速度制限標識の検知にしか適用することができない。

交通標識体系においては、色と形状を他の物体とはっきり区別できるように設計しているものの、実際には、あるシーンにおいては、特に、交通標識の外部輪郭情報のみ用いられる場合は、色と形状のみでは、交通標識と周囲のシーンとを十分に区別することが困難な場合がある。一方、通常、１国の交通標識体系には、１００近くの異なる交通標識が含まれているため、汎用の色と形状による対象識別方法では、具体的な交通標識の識別時に非常に手間が掛かり、交通標識検知の実際の応用時の処理時間への要求を満足することができない。なお、交通標識が識別され、色、通知や警告情報としてそれを運転手に表示させる場合、大半の従来の技術では、交通標識の具体的な意味や警告レベルが考慮されていない。

本発明は、従来技術における前述の問題に鑑みてなされたものである。本発明の目的は、交通標識検知方法及び交通標識検知装置を提供することにある。

本発明の一側面によれば、交通標識検知方法が提供される。この交通標識検知方法は、入力された処理対象画像をＨＳＶ色空間画像に変換する色空間変換ステップと、少なくとも一つの交通標識の標準色のパス範囲により、前記処理対象画像のＨＳＶ色空間画像のフィルタリングを行い、フィルタリング後の画像領域により、連通域を生成するフィルタリングステップと、前記交通標識の標準規則により、生成された前記連通域のうち、交通標識ではないものを除去し、他の連通域を前記交通標識の候補領域とする除去ステップと、前記交通標識の候補領域の特徴に基づいて、前記交通標識を識別する識別ステップと、を有する。

また、本発明の他の側面によれば、交通標識検知装置が提供される。この交通標識検知装置は、入力された処理対象画像をＨＳＶ色空間画像に変換する色空間変換装置と、少なくとも一つの交通標識の標準色のパス範囲により、前記処理対象画像のＨＳＶ色空間画像のフィルタリングを行い、フィルタリング後の画像領域により、連通域を生成するフィルタリング装置と、前記交通標識の標準規則により、生成された前記連通域のうち、交通標識ではないものを除去し、他の連通域を前記交通標識の候補領域とする除去装置と、前記交通標識の候補領域の特徴に基づいて、前記交通標識を識別する識別装置と、を有する。

本発明の実施例は、対象検知及び対象識別分野に属する。一般的には、道路シーンにおいて、交通標識は、特殊な対象グループとされ、独自の特徴を有する。よって、これらの特徴を適切に用いることで、識別工程の加速化のみならず、複雑なシーンにおける誤識別率の低減が可能になる。

また、本発明の実施例による交通標識検知方法及び交通標識検知装置は、従来技術に比べて、融通性及び実用性を有し、運転の安全性を著しく改善することができる。

本発明の実施例を応用できる運転補助システムの応用環境を示した図である。 本発明の実施例における交通標識検知方法の全体フローチャートである。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示す図である。 本発明の実施例において特徴に基づいて標準交通標識を分類したことにより得られた特徴ツリーである。 本発明の実施例における識別ステップのフローチャートである。 本発明の実施例における交通標識検知装置の全体ブロック図である。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の実施例における交通標識検知方法及び交通標識検知装置による運転補助システムを適用可能な環境を示した図である。図１に示されたように、運転補助システム２は、車両１に設けられる。運転補助システム２は、撮像手段４及び処理手段５を有する。撮像手段４は、リアルタイムに現在の環境の画像を取得する。処理手段５は、該画像に対して道路標識検知を行い、道路標識３を検知すると、該道路標識３を識別し、運転手への通知を行う。

図２は、本発明の実施例における交通標識検知方法の全体フローチャートである。図２に示されたように、交通標識検知方法は、入力された処理対象画像をＨＳＶ色空間画像に変換する色空間変換ステップＳ１００と、各交通標識の標準色のパス範囲により、処理対象画像のＨＳＶ色空間画像のフィルタリングを行い、フィルタリング後の画像領域により、連通域を生成するフィルタリングステップＳ２００と、交通標識の標準規則により、生成された連通域のうち、交通標識ではない領域を除去し、他の連通域を交通標識の候補領域とする除去ステップＳ３００と、交通標識の候補領域の特徴から、対応する交通標識を識別する識別ステップＳ４００と、を含む。

図３Ａ〜３Ｆは、本発明の実施例における交通標識検知方法による、車載撮像手段で撮像された処理対象画像の処理工程例を示した図である。なお、図３Ａは、オリジナルの処理対象画像を示した図である。

各交通標識体系においては、色情報が標準化されているので、色情報による、画像中の交通標識の存在し得る領域の検知が可能になっている。しかし、例えば、悪天候条件や、昼間の強烈な光、夜間の照明不足等の、光照明等の条件の影響で、色情報が不安定なものになる恐れがある。このため、HSV（色相-彩度-明度）色空間が、RGB（赤-緑-青）色空間よりも、光照明による色への影響を著しく低減することが可能になることから、前記色空間変換ステップＳ１００により、撮像手段からの撮像画像を、RGB色空間からHSV色空間に変換する。

本発明の実施例においては、交通標識の識別を効率よく行うために、体系中の交通標識の効率的且つ合理的な組織化が必要となる。本発明の実施例には、「特徴ツリー」の組織形式が用いられている。本発明の実施例における交通標識検知方法は、さらに、標準交通標識を外部輪郭の色特徴に応じて大類（large class）に分類し、大類下に、標準交通標識を外部輪郭の形状特徴に応じて小類(small class)に分類し、小類下に、標準交通標識を内部輪郭の形状特徴に応じて子類(sub class)に分類することにより、標準交通標識の特徴ツリーを構築する交通標識特徴ツリー構築ステップを有してもよい。

もちろん、該交通標識特徴ツリー構築ステップは、構築した特徴ツリーを識別ステップＳ４００の前に提供することさえできれば、交通標識検知方法の前述の他のステップと並行に行われてもよい。例えば、交通標識特徴ツリー構築ステップは、オフラインで行われてもよく、例えば、交通標識検知方法の他のステップの実行前に、準備動作として行うことができる。

各国の交通標識体系において、交通標識は、標準の色や形状を有し、例えば、三角形、円形、矩形等の外部形状と、内部形状を有している。設計により、これらの交通標識にユニークな特徴を与え、道路シーンにおいて、運転手による識別及び理解を容易にするために、周囲環境とのコントラス比をできるだけ高くしている。

これらの特徴は、異なる層に分解され、図４に示された特徴ツリーが構築される。図４は、本発明の実施例における特徴による交通標識の分類からなる特徴ツリーである。図４において、ある国の交通標識体系を例にすると、第１の層における主な特徴は、「色」であり、ここでは交通標識の外輪郭色を指している。交通標識は、赤色標識と、青色標識と、黄色標識の３つのグループに分けられ、各色により、特定の意味が表されている。例えば、赤色は、通常、警告や禁止情報を表す。第１の層の異なる種別を「大類」と称することができる。

第２の層における主な特徴は、「外部形状」であり、異なる色で表される大類は、異なる外部形状特徴を有する。例えば、赤色交通標識に関し、あり得る外部形状として、円形、三角系、六角形があり、青色交通標識に関し、あり得る外部形状として、矩形と円形標識のみある。これにより、交通標識の色が決められると、あり得る外部形状も、それに応じてある範囲内に決められる。この特徴により、交通標識の検知及び識別範囲を限定することができる。第２の層の異なる種別は、「小類」と称することができる。

第３の層における主な特徴は、「内部形状」である。各交通標識の内部の輪郭の数に応じて、交通標識をさらに異なるグループに分けることができる。例えば、「単一輪郭グループ」は、ある交通標識の内部に輪郭が１つあることを表す。このように類推すると、「二輪郭グループ」、「三輪郭グループ」等があり得る。ここで構築された特徴ツリーは、以降の検知及び識別工程に用いられ、プログレッシブ形式の操作が可能になり、検索範囲を逐次縮小し、正確な位置決めを行うことにより、効率向上が実現可能になる。第３の層の異なる種別を「子類」と称することができる。図４には、１国の体系における交通標識及び子類の全てが並べられていないが、当業者は、前述の記載から、１国の交通標識体系における全ての交通標識は、基本的に前述の原則による分類が可能で、各交通標識は、いずれもある子類の中に位置決められることが理解できる。

処理対象画像が色空間変換ステップＳ１００の処理により、ＨＳＶ色空間画像に変換されると、フィルタリングステップＳ２００で、ＨＳＶ色空間の処理対象画像に色分割及び連通域生成処理が施される。

フィルタリングステップＳ２００において、各交通標識の標準色の色相と彩度の各々のパス範囲により、処理対象画像のＨＳＶ形式画像の各画素のフィルタリングを行い、該画素の色相と彩度が各々のバス範囲内にある場合のみ、該画素はフィルタをパスすることが可能になる。該画素のフィルタリング工程は、画像分割工程であり、フィルタにより、画像を２つの部分に分割する。フィルタリング規則とは、交通標識体系に規定された標準色により、かつ、異なる状況における交通標識色の統計情報により、ＨＳＶ空間で色閾値（パス範囲）を決定することにより、フィルタによる交通標識の存在可能領域の保留が可能になる。

閾値による分割は、Ｈ（色相）とＳ（彩度）の値により行われてもよく、例えば、先ず、大量のサンプル画像から、各種標準色の各々の色相と彩度に関する集中分布範囲、例えば、色相に関する[h_L,h_H]と彩度に関する[S_L,S_H]を取得し、各々の色相と彩度のパス範囲とする。該色閾値の決定は、当該分野の慣用手段により行われる。

例えば、赤色の外輪郭の交通標識を分割する場合、赤色の色相と彩度のパス範囲を用いることができる。処理対象画像中のある画素につき、該画素の色相が赤色の色相パス範囲[h_L, h_H]にあり、かつ彩度が赤色の彩度パス範囲[S_L,S_H]にあると、該画素はフィルタをパスすることになり、赤色と判断され、高値（例えば１）が付与され、それ以外の場合は、低値（例えば、０）に付与される。

図３Ｂは、図３Ａに示されたオリジナルの道路シーンへの色分割後の画像を示し、そのうち、ライトスポットやライト領域がフィルタパス後の画素からなる領域となる。同様の操作は、青、黄色や他の色の交通標識の分割にも用いられる。

色分割は、図４に示された特徴ツリーの第１の層である色特徴層で行われる。前述の処理により、フィルタパスされたある領域が交通標識のある大類に位置することが判定でき、例えば、赤色に関するフィルタをパスすると、赤色の大類に属すると判定することができる。もちろん、最終に交通標識でないと判断されることもあるが、交通標識であると、該大類に属すべきである。

次に、特徴ツリーの第２の層の特徴である外部形状特徴を用いて、色フィルタをパスした領域をある小類に分類する。

本発明の実施例によるフィルタリングステップＳ２００は、「連通域解析法(connected component analysis, CCA)」により、連通域を生成することができる。このような手段により、画像中の連通域を生成し、外部形状特徴を抽出することができる。連通域の生成により得られる結果がより正確となるように、ＣＣＡ処理前に、画像への平滑化処理を選ぶことで、画像中のノイズ影響を除去することができる。図３Ｃは、図３Ｂに示された分割画像から連通域が生成された画像を示し、図３Ａのオリジナル画像上に各連通域が示されている。ここで、交通標識の連通域以外に、道端の花草の色が交通標識の輪郭の色と同じである等のことから色フィルタをパスした非交通標識連通域もある。各ステップによる処理結果（画素値）は、全て記録可能であるとともに、以降の処理の需要に応じて、前の画素データとの組み合わせも可能である。

次に、除去ステップＳ３００に処理が進み、除去ステップＳ３００において、以下の交通標識の標準規則のいずれか或いは複数により、生成された連通域のうち、交通標識でない領域を除去する。
（ａ）連通域のアスペクト比
（ｂ）連通域の処理対象画像における位置
（ｃ）連通域の面積
（ｄ）連通域の色パターン
（ｅ）連通域の形状複雑度
（ｆ）連通域のテクスチャ複雑度
フィルタリングステップＳ２００で生成された連通域のデータはシーンの複雑度に関連するが、一般的には、画像中は、小部分の連通域のみが真の交通標識であり、その他はすべて「ノイズ」である「非交通標識」領域である。これらの「非交通標識」領域を除去すると、以降のステップにおける処理すべき候補アイテム（検知・識別対象の交通標識）の数を減らし、以降の誤検知率を低減することができる。

除去ステップＳ３００においては、交通標識自体の特有の特徴から、交通標識の標準規則を構築し、前述の（ａ）〜（ｆ）規則により、明らかに交通標識ではない連通域を除去する。以下、規則（ａ）〜（ｆ）を順番に説明する。

（ａ）連通域のアスペクト比
交通標識は、設計時、標準的な形状とサイズがあり、そのアスペクト比は、ある特定の範囲を満たす必要があるため、連通域が該範囲を超えた場合は、該連通域を除去してもよい。

（ｂ）連通域の処理対象画像中の位置
実際の道路シーンを考慮すると、画像中の交通標識の位置は、ある領域内に限定されるべきである。このため、連通域の処理画像中の位置をチェックすることにより、交通標識が略出現しない箇所に位置する連通域を除去することができる。例えば、画像の最下部に位置した連通域は、除去してもよい。例えば、車載撮像手段の場合、撮像手段により撮像されたものは、車両の前のシーンであり、車両と一定の距離があり且つ一定の高さを有する交通標識こそ、運転手に意味のあるものである。画像の最下部の位置が車両と非常に近くなる場合は、交通標識が出現する位置となるはずがない。

（ｃ）連通域の面積
画像中の面積が過度に大きいか小さい連通域は、交通標識のはずがないため、サンプルや経験により、所定の面積範囲を決定し、ある連通域の面積が該所定の面積範囲以外であれば、該連通域を除去してもよい。

（ｄ）連通域の色パターン
交通標識には、標準的な色と模様の設計があり、該設計を満たさない連通域が検出されると、交通標識ではないため、除去してよい。ここで、前述の色パターンとは、交通標識の内部色パターンを指し、交通標識の赤色に近い他の赤色物体が色フィルタをパスしたとしても、内部色が交通標識にあるべき白色や黒色等のような標準色ではないため、色パターンによる判断をパスすることができない。同様に、連通域の色パターンにより、青色や黄色等の他の交通標識の標準外輪郭色を有するものの、明らかに交通標識ではない連通域を除去することができる。

例えば、「赤色のレンガや壁」も色が赤色の交通標識に類似しているため、色フィルタリング後に保留される可能性があるが、交通標識に比べて、このような領域は、内部色も完全に赤色であり、交通標識のように内部が他の色と外輪郭と区別可能な白色や黒色等ではないため、内部色を用いて、「非交通標識」領域を除去することができる。

（ｅ）連通域の形状複雑度
交通標識は、通常、円形、矩形、三角形等、簡単で分かり易い形状に設計され、複雑すぎる形状構造はあまり見られないことから、下記式（１）により、連通域の形状複雑度を算出し、形状が不規則で且つ複雑すぎる連通域は除去してもよい。

ここで、Rは、連通域面積を表し、Lは、連通域の周囲の寸法を表し、連通域の形状複雑度contour_Complexityが形状複雑度閾値contour_thresholdを超えた場合は、該連通域を除去する。該形状複雑度閾値contour_thresholdは、サンプル訓練により得られる。

（ｆ）連通域のテクスチャ複雑度
交通標識の模様は、通常、簡単で分かり易く設計され、テクスチャが複雑すぎることはない。下記式（２）により、グレーレベルの同時生起マトリクスを算出することで、連通域のテクスチャ複雑度が得られ、テクスチャが複雑すぎる連通域は除去されてもよい。

P（i，j）は、グレースレベルの同時生起マトリックスにおける１要素であり、原画像f（x，y）のグレーレベルがNであると、該グレーレベルの同時生起マトリックスPの大きさがN*Nとなる。#（x）は、集合xにおける要素の数を表し、#Sは、画像f中の要素の数を表し、分子
は、画像f中の１画素（x₁，y₁）のグレーレベルがiであり、他の１画素（x₂，y₂）のグレーレベルがjであり、このような画素対の総数を表す。

以上の規則（ａ）〜（ｆ）におけるいずれかまたは複数の規則により、連通域をチェックするとともに、明らかに交通標識ではない連通域を除去することができる。また、同一画像中の異なる連通域に異なる規則や、規則の組み合わせを用いてもよく、複数の規則が用いられる場合は、任意の順に異なる規則のチェックを行うことができる。除去後の他の連通域が交通標識候補領域となる。

図３Ｄは、図３Ｃに示された連通域を含む画像から、除去ステップＳ３００により、「非交通標識」を除去した後の結果を示した図である。該ステップにより、交通標識ではない連通域（例えば、実際は、道端の花くさいである連通域）が除去され、交通標識の可能性のある連通域のみ保留される。実施工程においては、規則チェックは、低複雑度から高複雑度の順に行われることが好ましく、例えば、前述の規則（ａ）から（ｆ）の順に行われ、ある規則に反することが見つかれば、チェック工程を終了し、現連通域を排除することができる。該方法により、大半の「誤判断」結果が除去され、以降の工程の処理効率が著しく向上することが可能になる。

除去ステップＳ３００の処理後は、識別ステップＳ４００により、交通標識候補領域が具体的な交通標識に識別される。図５は、本発明の実施例における識別ステップＳ４００のフローチャートである。図５に示したように、識別ステップＳ４００は、該交通標識の候補領域に対応する交通標識の標準色により、該交通標識の候補領域の属する大類を決定する大類決定ステップＳ４２０と、予め訓練された分類器を用いて、該交通標識の候補領域の外部輪郭の形状特徴により、該交通標識の候補領域の属する小類を決定する小類決定ステップＳ４４０と、該交通標識の候補領域の内部輪郭の数により、該交通標識の候補領域の属する子類を決定する子類決定ステップＳ４６０と、該交通標識の候補領域と、決められた所属する子類内の全標準交通標識とのマッチングを行うことにより、該交通標識の候補領域を最もマッチングする標準交通標識とする標識マッチングステップＳ４８０をさらに有する。

交通標識候補領域が、フィルタリングステップＳ２００におけるある交通標識の標準色の色相及び彩度に関するパス範囲をパスした連通域に属することから、大類決定ステップＳ４２０では、その外輪郭色（即ち、大類）を容易に決定することができる。

次に、決められた大類のもと、小類決定ステップＳ４４０により、交通標識候補領域の位置する小類を決定する。該ステップの動作は、特徴ツリーの「外部形状」層で行われ、交通標識候補領域の外部形状特徴から、交通標識候補領域が異なるグループに分類される。各外輪郭色には、複数の特定の形状が含まれている。このため、異なる色の領域に対し、限定した若干の形状のみで分類を行ってもよい。

シーンにおける交通標識を正確に識別するために、予めオフラインに回転及び尺度不変のサンプル交通標識の特徴を用いた訓練を行うことができる。ここで、1次元のフーリエ特徴（1-d FD）は、選択可能な特徴であるが、本発明の実施例に用いられる特徴は、これに限らず、例えば、輪郭モーメントのような他の特徴を用いてもよい。

大類決定ステップＳ４２０で大類が決められた交通標識候補領域から、１次元のフーリエ特徴を抽出し、予め訓練された分類器により、交通標識か否かを判断する。例えば、ある青色の交通標識候補領域を例にすると、青色の外輪郭の交通標識の出現可能な形状は、円形と矩形の２種類しか存在しないため、円形と矩形の分類器を用いて判断するだけでよい。赤色の六角形の交通標識候補領域が検知された場合は、実際に、該交通標識候補領域を具体的に識別することができ、即ち、該交通標識候補領域を、「停止」標識と識別することができる。赤色の六角形の交通標識には、この１種しかないからである。しかし、これは特例であり、普遍性を考慮すると、全体的に引き続き処理が行われる。

図３Ｅは、図３Ｄに示された画像に含まれる交通標識候補領域の色と形状をさらに決定した後の結果を示している。図３Ｅに含まれる交通標識候補領域の色と形状は、ここで、赤色の三角形と決定される。特徴ツリーの補助により、漸進式の動作が可能になり、検知・識別すべき範囲を次第に縮小していくことで、処理効率の向上を図ることができる。

次に、小類決定ステップＳ４４０においては、交通標識候補領域の外部形状を決定した後、子類決定ステップＳ４６０により、さらに交通標識候補領域の所属する子類を決定し、即ち、内部輪郭数による交通標識グループを決定する。該識別工程は、特徴ツリーの最下層であり、「内部形状」層で行われる。小類の決定後、本ステップにおける識別動作は、限定した幾つかの子類の中で行われるだけでよい。具体的には、連通域解析方法により、内部輪郭数を決定し、識別すべき交通標識候補領域中の内部輪郭の数を取得することで、単一輪郭、二輪郭、三輪郭等の子類への位置決めが可能になる。

次に、標識マッチングステップＳ４８０において、該交通標識候補領域の内部輪郭特徴と、所属する子類における全標準交通標識の内部輪郭特徴間の特徴距離を算出することで、該交通標識候補領域との該特徴距離が最小となる標準交通標識を、最もマッチングする標準交通標識とすることできる。

該ステップの処理は、子類の決定後に行われ、交通標識候補領域の内部輪郭特徴を抽出し、該子類における各交通標識の標準内部輪郭特徴とのマッチングを行う。採用可能な手段として、特徴間の距離を算出する方法があり、ここでも、前述のフーリエ特徴（ＦＤ）を例として、下記式（３）により、該交通標識の候補領域が識別される。
ここで、
（外１）
は、識別対象の交通標識候補領域candidateのFD特徴を表し、
（外２）
は、該子類における各交通標識
（外３）
のFD特徴を表し、iは、索引で、かつ
（外４）
となり、nは、該子類（例えば、単一輪郭子類）における交通標識の数を表し、d（）は、candidateのFD特徴と交通標識
（外５）
のFD特徴間の距離を算出する関数を表している。ここで、d（）は、オイラー距離の算出に用いられてもよく、Bhattacharyya距離等の他の距離の算出に用いられてもよい。前述の距離は、いずれも算出された特徴間のマッチング度を表すことができる。d（）関数により算出されたnの距離のうち、最小の距離となる交通標識
（外６）
が該交通標識候補領域candidateを識別した結果resultとなる。

２つの特徴間の前述の距離（例えば、オイラー距離やBhattacharyya距離等）の算出方法は、常用の算出方法である。いずれの方法を用いても、交通標識候補領域の特徴と最もマッチングする交通標識が、該交通標識候補領域の交通標識と識別される。図３Ｆは、図３Ｅに示された色と形状が決定された交通標識候補領域の識別結果を示した図である。

交通標識の識別後、従来においては、音声や視覚情報により運転手への通知を行っている。従来技術においては、全交通標識が同等に扱われ、各標識のそれぞれの意味が考慮されていないが、実際に、標識ごとに意味が異なっているため、運転手にとっても重要度が異なってくる。例えば、運転手にとって、危険に陥る恐れがあるため、無視できないような、「禁止」標識や速度制限標識等の警告標識は、危険性が差ほどない「前方にガソリンスタンドあり」等の情報提示標識よりも、より肝心で重要なものとなる。

撮像手段により撮像された画像中の交通標識を具体的に識別してからは、オプション的に、本発明の実施例における交通標識の重要度及び撮像手段との距離に応じて、運転手への通知形式を決定するとともに、該形式による運転手への通知を行うことができる。前述の撮像手段が、車載撮像手段である場合は、該撮像手段と交通標識の距離を、略車両と交通標識の距離と見なすことができ、或いは、撮像手段と車両の前端との距離をさらに測定したうえ、車両と交通標識の距離の決定時に、該要素を考慮してもよい。

本発明の実施例における交通標識検知方法においては、さらに、交通標識の識別後に、該処理対象画像を撮像した撮像手段の焦点距離と、該交通標識の撮像手段の画像センサーにおけるサイズと、該交通標識の実際のサイズにより、該撮像手段と該交通標識との実際の距離を算出する距離算出ステップを有しても良い。

具体的には、下記式（４）より、撮像手段（車両）と交通標識の距離が求められる。

ここで、fは、撮像手段の焦点距離であり、liは、撮像手段の画像センサー（例えば、CCDや、C-MOS）における交通標識のサイズであり、Lは、識別された交通標識の物理世界における実際のサイズであり、現在の撮像手段（車両）と交通標識間の距離dを算出することができる。

本発明の実施例における交通標識検知方法は、さらに、識別された交通標識の意味及び該交通標識との実際の距離により、運転手への通知形式を決定するとともに、該方式による運転手への通知を行う通知ステップをさらに有してもよい。

交通標識が識別されると、その意味も取得可能になる。また、両者の組み合わせによる臨機応変な警告形式を提供してもよい。

具体的には、交通標識の重要度から、以下のように分類することができる。
（α）低重要度の交通標識
（β）中重要度の交通標識
（γ）高重要度の交通標識
また、撮像手段（車両）と交通標識間の距離から、以下のように分けられる。
（ｉ）低危険度の距離
（ｉｉ）高危険度の距離
例えば、下記のように、両者の組み合わせに応じた警告形式の規定を行うことができる。

（α――i）及び（α――ii）の場合
この場合は、視覚情報による運転手への通知を行うことができる。例えば、「前方にガソリンスタンドあり」の標識が検知されると、視覚情報を用いて運転手への通知を行うことができる。該標識の運転手の安全性への影響が低重要度であることから、単なる視覚通知でよい。

（γ――i）及び（α――ii）の場合
この場合は、視覚及び音声（例えば、ブザー音）の２つの形式を同時に用いて、運転手への警告を行うことができる。例えば、遠距離に「停止」標識があることが検知された時には、このような運転手への警告を行うとともに、過分の干渉とはならない通知形式が最も適している。

（γ――ii）及び（β――ii）の場合
この場合は、例えば、車両の減速或いはブレーキを強行して潜在的危険を回避する等の車両を制御する形式により、運転手への警告を行うことができる。例えば、前方から「停止」状態が検知され、かつ現在の車両との距離が非常に近いが、運転手が何ら措置も取っていないことが判明した場合、車両制御を強行して危険を回避することができる。

本発明は、前述の本発明の実施例における交通標識検知方法を実行する交通標識検知装置として実施することもできる。図６は、本発明の実施例における交通標識検知方法の全体ブロック図である。図６に示されたように、交通標識検知装置は、入力された処理対象画像をＨＳＶ色空間画像に変換する色空間変換ステップＳ１００を実行する色空間変換装置１００と、各交通標識の標準色のパス範囲により、処理対象画像のＨＳＶ色空間画像のフィルタリングを行い、フィルタリング後の画像領域により、連通域を生成するフィルタリングステップＳ２００を実行するフィルタリング装置２００と、交通標識の標準規則により、生成された連通域のうち、交通標識ではない領域を除去し、他の連通域を交通標識の候補領域とする除去ステップＳ３００を実行する除去装置３００と、交通標識の候補領域の特徴から、該当する交通標識を識別する識別ステップＳ４００を実行する識別装置４００と、を有する。

前記交通標識検知装置は、標準交通標識を外部輪郭の色特徴に応じて大類に分類し、大類下に、標準交通標識を外部輪郭の形状特徴に応じて小類に分類し、小類下に、標準交通標識を内部輪郭の形状特徴に応じて子類に分類することにより、交通標識の特徴ツリーを構築する交通標識特徴ツリー構築ステップを実行する交通標識特徴ツリー構築装置をさらに有するようにしてもよい。

前記識別装置４００が、該交通標識の候補領域に対応する交通標識の標準色により、該交通標識の候補領域の属する大類を決定する大類決定ステップＳ４２０を実行する大類決定装置と、予め訓練された分類器を用いて、該交通標識の候補領域の外部輪郭の形状特徴により、該交通標識の候補領域の属する小類を決定する小類決定ステップＳ４４０を実行する小類決定装置と、該交通標識の候補領域の内部輪郭の数により、該交通標識の候補領域の属する子類を決定する子類決定ステップＳ４６０を実行する子類決定装置と、該交通標識の候補領域と、決められた所属する子類内の全標準交通標識とのマッチングを行うことにより、該交通標識の候補領域を、最もマッチングする標準交通標識とする標識マッチングステップＳ４８０を実行する標識マッチング装置をさらに有するようにしてもよい。

前記標識マッチング装置が、該交通標識の候補領域の内部輪郭特徴と、所属する子類中の全標準交通標識の内部輪郭特徴との特徴距離を算出することにより、該交通標識の候補領域との該特徴距離が最小となる標準交通標識を最もマッチングする標準交通標識とするようにしてもよい。

前記分類器が、回転及び尺度不変のサンプル交通標識の特徴を用いた訓練を行うようにしてもよい。

前記交通標識検知装置が、交通標識の識別後に、該処理対象画像を撮像した撮像手段の焦点距離と、撮像手段の画像センサーにおける該交通標識のサイズと、該交通標識の実際のサイズにより、該撮像手段の該交通標識までの実際の距離を算出する距離算出ステップを実行する距離算出装置をさらに有するようにしてもよい。

前記交通標識検知装置が、識別された交通標識の意味及び該交通標識までの実際の距離により、運転手への通知方式を決定するとともに、該方式により運転手への通知を行う通知ステップを実行する通知装置をさらに有するようにしてもよい。

前記フィルタリング装置２００が、各交通標識の標準色の色相と彩度の各々のパス範囲により、処理対象画像のＨＳＶ形式画像の各画素をフィルタリングし、画素の色相と彩度が各々のパス範囲内にある画素のみ、フィルタをパスするようにしてもよい。

前記除去装置３００が、下記の交通標識の標準規則のうちのいずれかまたは複数により、生成された連通域のうちの交通標識ではない領域を除去するようにしてもよい。
（ａ）連通域のアスペクト比
（ｂ）連通域の処理対象画像中の位置
（ｃ）連通域の面積
（ｄ）連通域の色パターン
（ｅ）連通域の形状複雑度
（ｆ）連通域のテクスチャ複雑度
本発明の実施例による交通標識検知方法及び交通標識検知装置においては、交通標識の特有の特性を用いた、検知された「非交通標識」の候補の除去を行うことから、ノイズ情報の影響を極力低減し、以降の検知・識別工程の加速化とともに、誤検知率の低減を実現することができる。

また、本発明の実施例による交通標識検知方法及び交通標識検知装置においては、交通標識の特徴の階層化により、漸進式の検知・識別が可能になる。特徴ツリーの構築により、特徴ツリーの各層における検知や識別動作の特定の範囲内への限定が可能になり、各段階における一部の交通標識パターンの関与のみで、従来のような「全カバー」式のパターンマッチングが不要となる。これにより、より正確な位置決め及び交通標識の識別が可能になり、範囲の限定により、動作時間の大幅な低減と効率の向上が可能になる。

なお、本発明の実施例による交通標識検知方法及び交通標識検知装置においては、交通標識の意味及び現在の車両との距離から、運転手への警告を行うことにより、より臨機応変な実用が可能になるとともに、運転手への干渉をできる限り減らすことができる。

上述の一連の動作は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせで実行することができる。ソフトウェアによる該一連の動作の実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。

例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピ、ＣＤ−ＲＯＭ、MO、ＤＶＤ、磁気ディスク、又は半導体メモリ等のような移動記録媒体に記憶（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術範囲に属する。

Claims (9)

1. 入力された処理対象画像をＨＳＶ色空間画像に変換する色空間変換ステップと、
   少なくとも一つの交通標識の標準色のパス範囲により、前記処理対象画像のＨＳＶ色空間画像から、候補領域を生成する生成ステップと、
   前記交通標識の標準規則により、生成された前記候補領域のうち、交通標識ではない候補領域を除去する除去ステップと、
   前記候補領域の特徴に基づいて、前記交通標識を識別する識別ステップと、
   標準交通標識を色特徴に応じて大類に分類し、大類下に、前記標準交通標識を外部輪郭の形状特徴に応じて小類に分類し、小類下に、前記標準交通標識を内部輪郭の形状特徴に応じて子類に分類することにより、前記標準交通標識の特徴ツリーを構築する交通標識特徴ツリー構築ステップと、を有する、交通標識検知方法。
2. 前記識別ステップは、
   前記候補領域に対応する前記交通標識の標準色により、前記候補領域の属する大類を決定する大類決定ステップと、
   予め訓練された分類器を用いて、前記候補領域の外部輪郭の形状特徴により、前記候補領域の属する小類を決定する小類決定ステップと、
   前記候補領域の内部輪郭の数により、前記候補領域の属する子類を決定する子類決定ステップと、
   前記候補領域と、決められた所属する子類内の全ての標準交通標識とのマッチングを行うことにより、前記候補領域を最もマッチングする標準交通標識とする標識マッチングステップを有する、請求項１に記載の交通標識検知方法。
3. 前記標識マッチングステップにおいて、
   前記候補領域の内部輪郭特徴と、所属する子類中の全ての標準交通標識の内部輪郭特徴との特徴距離を算出することにより、前記候補領域との該特徴距離が最小となる標準交通標識を最もマッチングする標準交通標識とする、請求項２に記載の交通標識検知方法。
4. 前記分類器は、回転及び尺度不変のサンプル交通標識の特徴を用いた訓練を行う、請求項２に記載の交通標識検知方法。
5. 前記交通標識の識別後に、前記処理対象画像を撮像した撮像手段の焦点距離と、該撮像手段の画像センサーにおける前記交通標識のサイズと、前記交通標識の実際のサイズとにより、該撮像手段の前記交通標識までの実際の距離を算出する距離算出ステップをさらに有する、請求項１に記載の交通標識検知方法。
6. 識別された前記交通標識の意味及び算出された前記交通標識までの実際の距離により、運転手への通知方式を決定するとともに、該通知方式により運転手への通知を行う通知ステップをさらに有する、請求項５に記載の交通標識検知方法。
7. 前記生成ステップにおいて、
   前記交通標識の標準色の色相と彩度の各々のパス範囲により、前記処理対象画像のＨＳＶ形式画像の各画素をフィルタリングし、色相と彩度が該パス範囲内にそれぞれある画素のみをフィルタをパスさせる、請求項１に記載の交通標識検知方法。
8. 前記候補領域は、連通域であり、
   前記交通標識の標準規則は、（ａ）連通域のアスペクト比、（ｂ）連通域の処理対象画像中の位置、（ｃ）連通域の面積、（ｄ）連通域の色パターン、（ｅ）連通域の形状複雑度、及び（ｆ）連通域のテクスチャ複雑度を含み、
   前記除去ステップにおいて、
   前記交通標識の標準規則のうちのいずれか又は複数により、生成された前記候補領域のうちの交通標識ではない候補領域を除去する、請求項１に記載の交通標識検知方法。
9. 入力された処理対象画像をＨＳＶ色空間画像に変換する手段と、
   少なくとも一つの交通標識の標準色のパス範囲により、前記処理対象画像のＨＳＶ色空間画像から、候補領域を生成する手段と、
   前記交通標識の標準規則により、生成された前記候補領域のうち、交通標識ではない候補領域を除去する手段と、
   前記候補領域の特徴に基づいて、前記交通標識を識別する手段と、
   標準交通標識を色特徴に応じて大類に分類し、大類下に、前記標準交通標識を外部輪郭の形状特徴に応じて小類に分類し、小類下に、前記標準交通標識を内部輪郭の形状特徴に応じて子類に分類することにより、前記標準交通標識の特徴ツリーを構築する手段と、を有する、交通標識検知装置。