JP7206082B2 - 交通標識を認識するためのシステムおよび方法 - Google Patents

Description

本開示は、画像処理の分野に関する。より具体的には、本開示は、交通標識を認識するためのシステムおよび方法に関する。

人口の増加に伴い、車両の数も大幅に増加してきている。車両数のこうした増加により、事故件数が大幅に増加している。事故件数が増加している原因の多くは、車両の運転者にあると言うことができる。ほとんどの場合、事故は、車両運転者側の無知、過失、集中力の欠如、無謀さまたは単なる判断の誤りを原因とする車両の不適切な速度によって発生する。人が制御するファクタに依存する事故は、交通標識を検出しかつ認識できるシステムの実装により提供される早期の警告によって減らすことができる。交通標識の認識は、運転者の目にはっきりと残るように堅固に位置合わせされる交通標識の特徴的な形状および色に基づくものであり得る。

交通標識を検出するための既存のソリューションは、画像処理に基づく幾つかの技術を利用する。これらの技法の中には、画像のグレースケールデータに依存するものもあれば、色情報を用いるものもある。ある既存の技法は、２段階の方策を利用し、第１に、赤、緑、青（ＲＧＢ）等の色表現に対する閾値化演算によるプレセグメンテーションが使用され、ＲＧＢ表現の線形変換または非線形変換が実行される。続いて、事前にセグメント化された領域にのみ適用される形状ベースの特徴から、最終的な検出判定が得られる。さらに、コーナおよびエッジ特徴、遺伝的アルゴリズムおよびテンプレートマッチングが使用される。しかしながら、上記技術を用いれば、より多くの処理電力が必要となることからシステムに対する計算負荷が増加し、ひいては、システムの全体性能に影響が出る。色ベースのセグメンテーションにおいて固定閾値を利用する別の既存技術は、昼光および反射による色の変化を理由に、非効率的であると判明する場合がある。

したがって、当技術分野では、既存のソリューションにおける上述の、および他の制限事項を克服し、かつ堅牢で正確、高速、効率的かつ単純な技術を利用する、交通標識、特には制限速度交通標識を認識するためのシステムおよび方法を開発することが必要とされている。

以下、本明細書に記載する少なくとも１つの実施形態が叶える本開示の目的の幾つかを列挙する。

本開示の１つの目的は、交通標識を認識するためのシステムおよび方法を提供することである。

本開示の１つの目的は、照明状態の変化による性能への影響が最小限に抑えられる、交通標識を認識するためのシステムおよび方法を提供することである。

本開示の１つの目的は、プロセッサに対する計算負荷を最小限に抑える技術を利用する、交通標識を認識するためのシステムおよび方法を提供することである。

本開示の１つの目的は、自己学習能力を有する、交通標識を認識するためのシステムおよび方法を提供することである。

本開示の１つの目的は、本物の円形オブジェクトのみが処理されるように、茂みおよび樹木の間に形成されることもある擬似の円形オブジェクトの除去を可能にする、交通標識を認識するためのシステムおよび方法を提供することである。

本開示は、画像処理の分野に関する。より具体的には、本開示は、交通標識を認識するためのシステムおよび方法に関する。

本開示の一態様によれば、車両内に実装される交通標識認識システムは、車両の運転者の視界を画像化するための画像センサと、メモリと結合されるプロセッサとを備え、前記メモリは、プロセッサが、画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定するためであって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更されるためと、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出するためであって、前記水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得されるためと、畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器を使用し、検出される円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出するため、に実行可能な命令を記憶する。

ある実施形態において、プロセッサは、多段事前分類器を用いて、画像フレームセットの少なくとも１つの画像フレームに含まれる少なくとも１つの誤検出オブジェクトを分類しかつ除外する。

ある実施形態において、プロセッサは、画像フレームセットの各画像フレームにおける前記円形オブジェクトの検出を分析することにより、状態の決定に基づいて、検出された円形オブジェクトを追跡する。

ある実施形態において、前記状態は、アイドル状態、追跡前状態、追跡状態およびキャンセル状態のうちの何れかであり、前記状態は、画像フレームセットの１つまたは複数の連続する画像フレームにおける円形オブジェクトの検出に基づいて、第１の状態から第２の状態へ変更される。

ある実施形態では、追跡状態において、画像フレームセットの１つまたは複数の連続する画像フレームにおける検出された円形オブジェクトの位置を推定しかつ更新するために、フィルタが利用される。

ある実施形態において、第１の解像度画像は、遠距離領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の２分の１に関係し、第２の解像度画像は、近傍領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の４分の１に関係する。

ある実施形態において、プロセッサは、円形オブジェクト（ｃｉｒｃｕｌａｒ ｏｂｊｅｃｔ）を多重スケール多重半径円形オブジェクト検出器によって検出し、前記多重スケール多重半径円形オブジェクト検出器は、第１の解像度画像および第２の解像度画像の各々の予め規定された１つまたは複数の半径に投票（ｖｏｔｉｎｇ）手法を利用し、前記投票手法は、個々のピクセルの勾配値を基礎とする。

ある実施形態において、多重スケール多重半径円形オブジェクト検出器は、円形オブジェクトを効果的に検出しかつ処理負荷を最小限に抑えるために、重なり合う半径を有する多重スケールを用いる１つまたは複数の予め規定された半径の検出を促進する。

ある実施形態において、１つまたは複数の予め規定された半径のうちの少なくとも１つの半径に対する投票手法は、個々のピクセルの勾配値を取得することであって、各勾配値は、勾配の大きさと勾配方向とを含むことと、正の影響点と負の影響点とを含む少なくとも２つの勾配影響点を決定することであって、前記正の影響点は、中心点から勾配方向に沿って少なくとも１つの半径の距離にあり、かつ前記負の影響点は、中心点における勾配の方向と反対方向へ少なくとも１つの半径の距離にあることと、前記少なくとも２つの勾配影響点の正の影響点および負の影響点の各々における勾配方向に基づいて投票値を増分することと、正の影響点および負の影響点の各々へ中心点の勾配の大きさを加算すること、によって実行される。

ある実施形態において、プロセッサは、検出された少なくとも１つの制限速度交通標識を認識しかつラベリングする。

本開示の別の態様によれば、車両に実装されるコンピュータに記憶される命令に従って実行される方法は、車両と作動的に結合される画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定することであって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更されることと、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出することであって、前記水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得されることと、畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器（ｃｌａｓｓｉｆｉｅｒ）を使用し、検出される円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出すること、を含む。

本開示の様々な目的、特徴、態様および利点は、好適な実施形態に関する以下の詳細な説明、ならびに添付の図面から、より明らかとなるであろう。添付の図面において、類似の数字は、類似の特徴を表す。

本出願の範囲内で、先行する段落において、特許請求の範囲において、かつ／または以下の説明および図面において記載される様々な態様、実施形態、実施例および代替物、および具体的には、その個々の特徴が、独立して、または任意の組合せで理解され得ることは、明確に想定される。１つの実施形態に関連して述べる特徴は、そうした特徴同士が矛盾するものでない限り、全ての実施形態に適用可能である。

添付の図面は、本開示の理解を深めるために包含されるものであって、本明細書に組み込まれかつその一部を構成する。これらの図面は、本開示の例示的な実施形態を示し、明細書本文と共に、本開示の原理を説明する働きをする。これらの図は、単に例示を目的とし、よって、本開示を限定するものではない。

本開示の一実施形態による交通標識認識システムの、その全体的動作を示すための例示的なアーキテクチャを示す。

本開示の一実施形態による、処理ユニットの例示的なモジュールを示す。

本開示の一実施形態による、前処理モジュールの全体的動作を示す。

本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。 本開示の一実施形態による、円形オブジェクト検出モジュールの例示的な実装を示す。

本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。 本開示の一実施形態による、事前分類モジュールの例示的な実装を示す。

本開示の一実施形態による、追跡モジュールの例示的な実装を示す。

本開示の一実施形態による、交通標識分類モジュールの例示的な実装を示す。 本開示の一実施形態による、交通標識分類モジュールの例示的な実装を示す。

本開示の一実施形態による、提案するシステムの例示的な動作を表す高レベルフロー図を示す。 同上

本開示の例示的な一実施形態による、提案するシステムの動作方法を示す。

以下は、添付の図面に描かれている開示の実施形態の詳細な説明である。実施形態の記述は、開示内容を明確に伝えることができる詳細さである。しかしながら、提供する詳細さの程度は、実施形態の予想される変形例を限定するためのものではなく、反対に、その意図は、添付の特許請求の範囲により規定される本開示の精神および範囲内にあるすべての変更、等価物および代替物を包含することにある。

以下の説明では、本発明の実施形態を完全に理解できるように、多くの具体的詳細について述べる。当業者には、これらの具体的詳細のうちの一部がなくても本発明の実施形態を実施し得ることが明らかであろう。

本発明の実施形態は、様々なステップを含み、以下、これらについて説明する。これらのステップは、ハードウェアコンポーネントによって実行されても、機械実行可能命令において具現されてもよく、前記機械実行可能命令は、これらの命令でプログラムされる汎用または専用プロセッサにステップを実行させるために使用されてもよい。あるいは、ステップは、ハードウェア、ソフトウェアおよびファームウェアの組合せおよび／または人であるオペレータによって実行されてもよい。

本明細書に記述する様々な方法は、本発明によるコードを含む１つまたは複数の機械可読記憶媒体を、内部に含まれるコードを実行するための適切な標準コンピュータハードウェアと組み合わせることによって実施されてもよい。本発明の様々な実施形態を実施するための装置は、１つまたは複数のコンピュータ（または、単一のコンピュータ内の１つまたは複数のプロセッサ）と、本明細書に記述する様々な方法に従ってコード化されるコンピュータプログラムへのネットワークアクセスを含む、または有する記憶システムとを含んでもよく、かつ本発明の方法ステップは、コンピュータ・プログラム・プロダクトのモジュール、ルーチン、サブルーチンまたはサブパーツによって達成される可能性もある。

明細書に、あるコンポーネントまたは特徴が、含まれ「てもよい（ｍａｙ）」、含まれ「得る（ｃａｎ）」、含まれる「可能性もある（ｃｏｕｌｄ）」または含まれる「場合もある（ｍｉｇｈｔ）」、あるいは、ある特性を有し「てもよい（ｍａｙ）」、有し「得る（ｃａｎ）」、有する「可能性もある（ｃｏｕｌｄ）」または有する「場合もある（ｍｉｇｈｔ）」という記述があれば、その特定のコンポーネントまたは特徴は、含まれる必要はなく、あるいは、その特性を有する必要はない。

本明細書における記述および添付の特許請求の範囲を通して用いる「ある、１つの（不定冠詞ａ，ａｎ）」および「その（定冠詞ｔｈｅ）」の意味は、文脈上別段で明確な指摘のない限り、複数の言及を含む。また、本明細書において用いる「の中に（ｉｎ）」の意味は、文脈上別段で明確な指摘のない限り、「の中に（ｉｎ）」および「の上に（ｏｎ）」を含む。

以下、例示的な実施形態を示す添付の図面を参照して、例示的な実施形態をより完全に説明する。これらの例示的な実施形態は、単に例示を目的として提供するものであり、よって、本開示は完全かつ完璧であって、一般的な当業者に本発明の範囲を完全に伝えるであろう。しかしながら、開示する本発明は、多くの異なる形態で具現化されてもよく、よって、本明細書に記載する実施形態に限定されるものと解釈されるべきではない。当業者には、様々な変更が容易に明らかであろう。本明細書で規定する一般原理は、本発明の精神および範囲を逸脱することなく、他の実施形態および用途に適用されてもよい。さらに、本発明の実施形態およびその特定の実施例を記載する本明細書におけるすべての記述は、その構造的および機能的等価物の双方を包含することが意図されている。さらに、このような等価物は、現時点で知られている等価物ならびに将来開発される等価物（すなわち、構造に関わらず同じ機能を実行する任意の開発される要素）の双方を含むことが意図される。また、使用する用語および表現は、例示的な実施形態を説明するためのものであって、限定的なものとみなされるべきではない。したがって、本発明には、開示する原理および特徴に一致する多くの代替物、変更および等価物を含む最も広い範囲が与えられるべきである。明瞭さのために、本発明に関連する技術分野において知られる技術項目に関する詳細については、本発明を不必要に不明瞭にしないように詳述を省いている。

したがって、例えば、一般的な当業者には、図面、略図、図解およびこれらに類似するものが、本発明を具現するシステムおよび方法を示す概念上の図またはプロセスを表すことが認識されるであろう。図面に示す様々な要素の機能は、専用のハードウェアならびに関連するソフトウェアを実行できるハードウェアの使用を介して提供されてもよい。同様に、図に示すスイッチは、どれも単に概念的なものである。その機能は、プログラム論理の動作を介して、専用の論理を介して、プログラム制御と専用論理との相互作用を介して、または手動で実行されてもよく、具体的な技術は、本発明を実装する実体物によって選択可能である。一般的な当業者には、さらに、本明細書に記述する例示的なハードウェア、ソフトウェア、プロセス、方法および／またはオペレーティングシステムが例示を目的とするものであり、よって、記述される如何なる具体的な要素にも限定されるべきものでないことが理解される。

本発明の実施形態は、媒体上に命令を実体的に具現する機械可読記憶媒体を包含し得るコンピュータプログラム製品として提供されてもよく、前記命令は、プロセスを実行すべくコンピュータ（または他の電子デバイス）をプログラムするために使用されてもよい。「機械可読記憶媒体」または「コンピュータ可読記憶媒体」という用語には、固定（ハード）ドライブ、磁気テープ、フロッピーディスケット、光ディスク、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）および光磁気ディスク、ＲＯＭ、ＰＲＯＭ、ランダム・アクセス・メモリ（ＲＡＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）等の半導体メモリ、フラッシュメモリ、磁気または光学カード、または電子命令（例えば、ソフトウェアまたはファームウェア等のコンピュータ・プログラミング・コード）の記憶に適する他のタイプの媒体／機械可読媒体が含まれてもよいが、この限りではない。機械可読媒体は、データが記憶され得る、かつ無線式に、または有線接続を介して伝播する搬送波および／または一時的電子信号を含まない固定媒体を含んでもよい。固定媒体の例には、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル・バーサタイル・ディスク（ＤＶＤ）等の光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスが含まれてもよいが、これらに限定されない。コンピュータ・プログラム・プロダクトは、手順、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスを表し得るコードおよび／または機械実行可能命令、または命令、データ構造またはプログラムステートメントの任意の組合せを含んでもよい。コードセグメントは、情報、データ、引数、パラメータまたはメモリコンテンツをパスしかつ／または受信することによって、別のコードセグメントまたはハードウェア回路へ結合されてもよい。情報、引数、パラメータ、データ、他は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信、他を含む任意の適切な手段を介して、パスされ、転送され、または送信されてもよい。

さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語またはこれらの任意の組合せによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードに実装される場合、必要なタスク（例えば、コンピュータ・プログラム・プロダクト）を実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に記憶されてもよい。これらの必要なタスクは、プロセッサが実行してもよい。

一部の図面に示すシステムは、様々な構成で提供されてもよい。実施形態によっては、システムは、システムの１つまたは複数のコンポーネントがクラウド・コンピューティング・システム内の１つまたは複数のネットワークに渡って分散される分散システムとして構成されてもよい。

添付の請求項の各々は、別個の発明を規定し、これは、侵害を目的として、特許請求の範囲に明記される様々な要素または限定事項に対する等価物を含むものとして認識される。文脈に依存して、以後、「本発明」という言及は全て、事例によっては、所定の特異な実施形態のみを指し得る。他の事例において、「本発明」という言及は、特許請求の範囲における１つまたは複数の、但し必ずしも全てではない、請求項に記載された主題を指すことが認識されるであろう。

本明細書に記載する方法は全て、本明細書において別段の指摘のない限り、または文脈により別段の明らかな反駁のない限り、任意の適切な順序で実行されてもよい。本明細書における所定の実施形態に関連して提供される任意の、および全ての例、または例示的な文言（例えば、「等」）の使用は、単に本発明をより良く示すためのものであって、別段で請求する発明の範囲を限定するものではない。本明細書における如何なる文言も、本発明の実施に不可欠である請求の範囲に記載されていない如何なる要素をも示すものとして解釈されるべきではない。

以下、本明細書で使用する様々な用語を示す。特許請求の範囲で使用されている用語が以下で定義されていない場合、その用語には、出願時点における印刷された公報および発行された特許に反映されているものとして関連当業者がその用語に与えている最も広義の定義が与えられるものとする。

本開示は、画像処理の分野に関する。より具体的には、本開示は、交通標識を認識するためのシステムおよび方法に関する。

本開示の一態様によれば、車両内に実装される交通標識認識システムは、車両の運転者の視界を画像化するための画像センサと、メモリと結合されるプロセッサとを備え、前記メモリは、プロセッサが、画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定するためであって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更されるためと、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出するためであって、前記水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得されるためと、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）を用いる１つまたは複数の分類器を使用し、検出される円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出するため、に実行可能な命令を記憶する。

ある実施形態において、プロセッサは、多段事前分類器を用いて、画像フレームセットの少なくとも１つの画像フレームに含まれる少なくとも１つの誤検出オブジェクト（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ ｏｂｊｅｃｔ）を分類しかつ除外する。

ある実施形態において、プロセッサは、画像フレームセットの各画像フレームにおける前記円形オブジェクトの検出を分析することにより、状態の決定に基づいて、検出された円形オブジェクトを追跡する。

ある実施形態において、前記状態は、アイドル状態、追跡前状態、追跡状態およびキャンセル状態のうちの何れかであり、前記状態は、画像フレームセットの１つまたは複数の連続する画像フレームにおける円形オブジェクトの検出に基づいて、第１の状態から第２の状態へ変更される。

ある実施形態では、追跡状態において、画像フレームセットの１つまたは複数の連続する画像フレームにおける検出された円形オブジェクトの位置を推定しかつ更新するために、フィルタが利用される。

ある実施形態において、第１の解像度画像は、遠距離領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の２分の１に関係し、第２の解像度画像は、近傍領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の４分の１に関係する。

ある実施形態において、プロセッサは、円形オブジェクトを多重スケール多重半径円形オブジェクト検出器（ｍｕｌｔｉ－ｓｃａｌｅ ｍｕｌｔｉ－ｒａｄｉｕｓ ｃｉｒｃｕｌａｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）によって検出し、前記多重スケール多重半径円形オブジェクト検出器は、第１の解像度画像および第２の解像度画像の各々の予め規定された１つまたは複数の半径に投票手法を利用し、前記投票手法は、個々のピクセルの勾配値を基礎とする。

ある実施形態において、多重スケール多重半径円形オブジェクト検出器は、円形オブジェクトを効果的に検出しかつ処理負荷を最小限に抑えるために、重なり合う半径を有する多重スケールを用いる１つまたは複数の予め規定された半径の検出を促進する。

ある実施形態において、１つまたは複数の予め規定された半径のうちの少なくとも１つの半径に対する投票手法は、個々のピクセルの勾配値を取得することであって、各勾配値は、勾配の大きさと勾配方向とを含むことと、正の影響点と負の影響点とを含む少なくとも２つの勾配影響点を決定することであって、前記正の影響点は、中心点から勾配方向に沿って少なくとも１つの半径の距離にあり、かつ前記負の影響点は、中心点における勾配の方向と反対方向へ少なくとも１つの半径の距離にあることと、前記少なくとも２つの勾配影響点の正の影響点および負の影響点の各々における勾配方向に基づいて投票値を増分することと、正の影響点および負の影響点の各々へ中心点の勾配の大きさを加算すること、によって実行される。

ある実施形態において、プロセッサは、検出された少なくとも１つの制限速度交通標識を認識しかつラベリングする。

本開示の別の態様によれば、車両に実装されるコンピュータに記憶される命令に従って実行される方法は、車両と作動的に結合される画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定することであって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更されることと、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出することであって、前記水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得されることと、畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器を使用し、検出される円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出すること、を含む。

図１は、本開示の一実施形態による交通標識認識システムの、その全体的な動作を示すためのアーキテクチャを示す。

ある実施形態によれば、交通標識認識システム１００（以後、同義でシステム１００と称する）は、車両内に実装される。システム１００は、入力ユニット１０２と、処理ユニット１０４と、出力ユニット１０６とを備える。入力ユニット１０２は、車両の視野画像を捕捉するために車両内に構成される１つまたは複数の画像センサまたはカメラを備えてもよい。ある実装において、画像センサまたはカメラは、外部ミラーの位置または車両のフロント部分に置かれてもよい。処理ユニット１０４は、プロセッサと、メモリとを備えてもよく、かつ／または車両の既存のシステムおよび制御装置に統合されて先進運転者支援システム（ＡＤＡＳ）を形成しても、既存のＡＤＡＳを補強してもよい。例えば、処理ユニット１０４により発生される信号は、車両のエンジン制御ユニット（ＥＣＵ）へ送信されてもよく、かつ車両の駐車を補助してもよい。出力ユニット１０６は、様々な制限速度交通標識の検出および認識に基づいて、制限速度を超えると運転者に警告を与えるディスプレイデバイスまたは他の任意の視聴覚デバイスであってもよい。

ある実施形態によれば、前処理１０８の間、処理ユニット１０４は、入力ユニット１０２の画像センサから１つまたは複数の画像フレームを受信して、前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの画像フレーム毎に、関心領域（ＲＯＩ）を画定する。ＲＯＩは、各画像フレームの１つのセクションに基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像にサイズ変更される。

ある実施形態において、第１の解像度画像は、遠距離領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の２分の１に関係し、第２の解像度画像は、近傍領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の４分の１に関係する。

ある実施形態において、円形検出１１０の間、処理ユニット１０４は、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出する。水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得される。

ある実施形態において、処理ユニット１０４は、円形オブジェクトを多重スケール多重半径円形オブジェクト検出器によって検出し、前記多重スケール多重半径円形オブジェクト検出器は、第１の解像度画像および第２の解像度画像の各々の予め規定された１つまたは複数の半径に対して、個々のピクセルの勾配値を基礎とする投票手法を利用する。多重スケール多重半径円形オブジェクト検出器は、円形オブジェクトを効果的に検出しかつ処理負荷を最小限に抑えるために、重なり合う半径を有する多重スケールを用いる１つまたは複数の予め規定された半径の検出を促進する。

ある実施形態において、１つまたは複数の予め規定された半径のうちの少なくとも１つの半径に対する投票手法は、個々のピクセルの勾配値を取得することであって、各勾配値は、勾配の大きさと勾配方向とを含むことと、正の影響点と負の影響点とを含む少なくとも２つの勾配影響点を決定することであって、前記正の影響点は、中心点から勾配方向に沿って少なくとも１つの半径の距離にあり、かつ前記負の影響点は、中心点における勾配の方向と反対方向へ少なくとも１つの半径の距離にあることと、前記少なくとも２つの勾配影響点の正の影響点および負の影響点の各々における勾配方向に基づいて投票値を増分することと、正の影響点および負の影響点の各々へ中心点の勾配の大きさを加算すること、によって実行される。

ある実施形態において、事前分類１１２の間、処理ユニット１０４は、多段事前分類器（ｍｕｌｔｉ－ｓｔａｇｅ ｐｒｅ－ｃｌａｓｓｉｆｉｅｒ）を用いて、画像フレームセットの少なくとも１つの画像フレームに含まれる少なくとも１つの誤検出オブジェクトを分類しかつ除外する。

ある実施形態において、状態および機械追跡１１４の間、処理ユニット１０４は、画像フレームセットの各画像フレームにおける前記円形オブジェクトの検出を分析することにより、状態の決定に基づいて、検出された円形オブジェクトを追跡する。前記状態は、画像フレームセットの１つまたは複数の連続する画像フレームにおける円形オブジェクトの検出に基づいて変更される、アイドル状態、追跡前状態（ｐｒｅ－ｔｒａｃｋ ｓｔａｔｅ）、追跡状態（ｔｒａｃｋｉｎｇ ｓｔａｔｅ）およびキャンセル状態のうちの何れであってもよい。さらに、追跡状態においては、画像フレームセットの１つまたは複数の連続する画像フレームにおける検出された円形オブジェクトの位置を推定しかつ更新するために、フィルタが利用される。

ある実施形態において、多クラス分類１１６の間、処理ユニット１０４は、畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器により、検出された円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出する。

ある実施形態において、処理ユニット１０４は、車両による速度超過に応答して出力ユニット１０６が適切な警告を生成できるように、検出された少なくとも１つの制限速度交通標識を認識しかつラベリングする。

図２は、本開示の一実施形態による、処理ユニットの例示的なモジュールを示す。

ある態様において、処理ユニット１０４は、１つまたは複数のプロセッサ２０２を備えてもよい。１つまたは複数のプロセッサ２０２は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、論理回路、および／または動作命令に基づいてデータを操作する任意のデバイスとして実装されてもよい。他の機能の中でも、前記１つまたは複数のプロセッサ２０２は、処理ユニット１０４のメモリ２０６に記憶されるコンピュータ可読命令をフェッチして実行するように構成される。メモリ２０６は、１つまたは複数のコンピュータ可読命令またはルーチンを記憶してもよく、これらは、ネットワークサービス上でデータユニットを作成または共有するためにフェッチされかつ実行されてもよい。メモリ２０６は、例えば、ＲＡＭ等の揮発性メモリ、またはＥＰＲＯＭ、フラッシュメモリおよびこれらに類似するもの等の不揮発性メモリを含む、任意の固定記憶デバイスを備えてもよい。

処理ユニット１０４は、インタフェース２０４も備えてもよい。インタフェース２０４は、様々なインタフェース、例えば、Ｉ／Ｏデバイスと称されるデータ入力および出力デバイス、記憶デバイスおよびこれらに類似するもののためのインタフェース、を備えてもよい。インタフェース２０４は、処理ユニット１０４と、処理ユニット１０４へ結合された入力ユニット１０２および出力ユニット１０６等の様々なデバイスとの通信を促進してもよい。インタフェース２０４は、処理ユニット１０４の１つまたは複数のコンポーネントのための通信経路も提供してもよい。このようなコンポーネントの例には、処理エンジン２０８およびデータ２１０が含まれるが、これらに限定されない。

処理エンジン２０８は、処理エンジン２０８の１つまたは複数の機能を実装するためのハードウェアとプログラミング（例えば、プログラム可能命令）との組合せとして実装されてもよい。本明細書に記述する例において、ハードウェアとプログラミングとのこのような組合せは、幾つかの異なる方法で実装されてもよい。例えば、処理エンジン２０８のプログラミングは、固定機械可読記憶媒体に記憶されたプロセッサ実行可能命令であってもよく、かつ処理エンジン２０８のハードウェアは、このような命令を実行するための処理リソース（例えば、１つまたは複数のプロセッサ）を備えてもよい。本例において、機械可読記憶媒体は、処理リソースにより実行されると処理エンジン２０８を実装する命令を記憶してもよい。このような例において、処理ユニット１０４は、命令を記憶するための機械可読記憶媒体と、命令を実行するための処理リソースとを備えてもよく、または、機械可読記憶媒体は、別個のものであって、処理ユニット１０４および処理リソースへアクセス可能であってもよい。他の例において、処理エンジン２０８は、電子回路によって実装されてもよい。

データ２１０は、処理エンジン２０８のコンポーネントの何れかにより実装された機能の結果として記憶されるか生成されるかの何れかであるデータを含んでもよい。

ある例示的な実施形態において、処理エンジン２０８は、前処理モジュール２１２と、円形オブジェクト検出モジュール２１４と、事前分類モジュール２１６と、追跡モジュール２１８と、交通標識分類モジュール２１８と、他のモジュール２２２とを含んでもよい。

記述しているモジュールは、単に例示的なモジュールであって、システム１００または処理ユニット１０４の一部として他の任意のモジュールまたはサブモジュールが含まれてもよいことは、認識されると思われる。これらのモジュールも、構成に従って、スーパーモジュールに統合されても、サブモジュールに分割されてもよい。

［前処理モジュール２１２］
図３は、本開示の一実施形態による、前処理モジュール２１２の全体的動作を示す。ある態様において、前処理モジュール２１２は、ブロック３０２において、入力ユニット１０２の画像センサから１つまたは複数の画像フレームを受信する。受信された画像フレームは、ブロック３０４において、さらなる処理のためにグレースケールに変換されてもよい。

さらにブロック３０６において、前処理モジュール２１２は、前記受信された１つまたは複数の画像フレームから選択される画像フレームセットの画像フレーム毎にＲＯＩを画定する。当業者には、実験的観察に基づいて、交通速度標識の大部分が画像の上側部分に生じると推測されていること、が認識されると思われる。したがって、本開示の一実施形態によれば、前処理モジュール２１２は、各画像フレームの１つのセクションに基づいてＲＯＩを画定する。例えば、各画像フレームのＲＯＩは、画像フレームの画像ローの上側３５％および全カラムをカバーするように画定されてもよい。画定されたＲＯＩは、次に、他のモジュールにより、さらなる処理のために利用されてもよい。

ある実施形態において、画定されたＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像にサイズ変更される。第１の解像度画像は、車両の視界の遠距離領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の２分の１に関係し、第２の解像度画像は、車両の視界の近傍領域における少なくとも１つの制限速度交通標識を効果的に検出するためのＲＯＩの解像度の４分の１に関係する。画像のＲＯＩ部分が、画像フレームのより速い処理を保証するために、その全体サイズの２分の１および４分の１にサイズ変更されることは、認識されると思われる。サイズ変更演算ブロック３０６の動作は、ある例を考察すれば明らかとなり得、例えば、前処理モジュール２１２に、サイズ（１２８０×９６０）の入力画像フレームが供給されると、前処理モジュール２１２は、入力された画像フレームの全カラムおよび上側のローを含むサイズ（１２８０×３３６）のＲＯＩについて考察してもよい。さらに、前処理モジュール２１２は、ＲＯＩを、２分の１の解像度、例えば（６４０×１６８）であり得る第１の解像度に、かつ４分の１の解像度、例えば（３２０×８４）であり得る第２の解像度にサイズ変更してもよい。第１の解像度画像および第２の解像度画像は、次に、さらなる処理のために利用されてもよい。

ある実施形態では、より速い処理を保証するために、ブロック３０８において、前処理モジュール２１２がコントラストストレッチングを実行するが、これは、画像品質を向上させるために実施される、効率的かつ計算コストが低い技術である。

当業者には、前処理モジュール２１２が、後続段における処理が他の様々なモジュールの実装にも関わらずより少ない計算時間で実行されることを保証するために、向上に焦点を当て、かつ入力された画像フレームに所定の演算を実行することが認識されると思われる。また、前処理モジュール２１２は、特に悪天候における大部分の交通速度標識の検出を保証する上でも重要な役割を果たす。画像フレームの向上は、浮動小数点演算を行わずにすませるようにさらに最適化される。

［円形オブジェクト検出モジュール２１４］
ある実施形態において、円形オブジェクト検出モジュール２１４は、多重スケール多重半径円形オブジェクト検出器を利用して、第１の解像度画像および第２の解像度画像の各々から取得される水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出する。

図４Ａは、円形オブジェクト検出モジュール２１４の例示的な動作を表すブロック図である。

ブロック４０２において、円形オブジェクト検出モジュール２１４は、前処理モジュール２１２から入力を受信する。ブロック４０４では、勾配抽出のためのプロセスが、画像フレームの勾配情報を取得することによって実行される。図４Ｂおよび４Ｃは、例示的な勾配抽出プロセスを表すブロック図である。図４Ｂを参照すると、ブロック４２２において、前処理された第１の解像度画像が入力として取得される。ブロック４２４では、変形Ｓｏｂｅｌ演算子を用いて、第１の解像度画像からよく目立つエッジが抽出される。したがって、勾配抽出プロセスの出力が水平エッジ画像４２６および垂直エッジ画像４２８となるように、両方向に沿ったエッジが大きさおよび方向の双方の値を伴って取得される。同様に、図４Ｃのブロック図は、ブロック４３４におけるＳｏｂｅｌ演算を用いて、ブロック４３２における第２の解像度画像からブロック４３６における水平エッジ画像およびブロック４３８における垂直エッジ画像を取得することを示す。

ある実施形態において、円形オブジェクト検出モジュール２１２は、ブロック４０６で、第１の解像度画像および第２の解像度画像の各々について、１つまたは複数の予め画定された半径に対する投票プロセス／手法を実行する。投票手法は、個々のピクセルの勾配値を基礎とする。

ある実施形態では、離散値の円半径に対して円の検出が実行され、例えば、予め規定されたこのような１０個の半径値が考察される。車両の視界の遠距離領域にある円は、２分の１解像度画像である第１の解像度画像内で探索されるのに対して、車両の視界の近傍領域にある円は、４分の１解像度画像である第２の解像度画像内で探索される。図４Ｄおよび４Ｅは、各々第１の解像度画像および第２の解像度画像に渡る例示的な半径分布を示す。ある例の文脈において、図４Ｄは、半径ｈ１、ｈ２、ｈ３、ｈ４およびｈ５を有する２分の１解像度画像に属する円を示し、図４Ｅは、半径ｑ１、ｑ２、ｑ３、ｑ４およびｑ５を有する４分の１解像度画像に属する円を示す。

ある実施形態において、第１の解像度画像および第２の解像度画像の水平および垂直エッジ画像は、投票プロセスのための入力として考察される。ある特定の範囲の間の勾配値は、その範囲を超える勾配値をより高い閾値に丸め、より低い値のピクセルは考察しないようにして、考察される。勾配の方向性および大きさは、投票プロセスにおいてピクセル位置へ票を投じるために使用される。

ある実施形態において、投票プロセスは、あらゆる離散値の円半径について実行される。勾配値（大きさおよび方向の双方）は、あらゆるピクセル位置の勾配画像から取得され、２つの影響点が決定される。２つの勾配影響点は、正の影響点と、負の影響点とを含み、正の影響点は、中心点から勾配の方向に沿って考察中の半径の距離にあり、負の影響点は、中心点における勾配とは反対方向に考察中の半径の距離にある。

図４Ｆは、中心点（ｐ）の位置と、中心点における勾配の方向に沿って、かつその反対方向の距離ｎ（半径）に置かれた、その対応する勾配影響位置（ｐ＋ｖｅおよびｐ－ｖｅ）を示す。ピクセルｐ＋ｖｅおよびｐ－ｖｅの位置は、範囲ｎの勾配要素ｇ（ｐ）によって影響される。点線の円は、範囲ｎのｐにおける勾配により影響され得る全てのピクセルを示す。

ある実施形態において、少なくとも２つの勾配影響点の正の影響点および負の影響点の各々における勾配方向を基礎とする投票値（ｖｏｔｅ ｖａｌｕｅ）は、増分される。したがって、勾配に影響される位置について、ピクセルの投票値およびピクセルの勾配の大きさが考察される。勾配方向に沿った点（ｐ＋ｖｅ）および反対方向の点（ｐ－ｖｅ）における投票値は、増分される。これらの変更は、方向性投影画像Ｏｎにおいて実行される。故に、次のように考えることができる。
Ｏｎ（ｐ＋ｖｅ（ｐ））＝Ｏｎ（ｐ＋ｖｅ（ｐ））＋１
Ｏｎ（ｐ－ｖｅ（ｐ））＝Ｏｎ（ｐ－ｖｅ（ｐ））＋１

ある実施形態では、同様にして、中心点の勾配の大きさが、正の影響点および負の影響点の各々に加算される。したがって、大きさ投影画像Ｍｎに、中心点ｐの勾配の大きさが記憶される。勾配の大きさの値（││ｇ（ｐ）││）は、正および負の双方の影響位置における既存の値に加算される。したがって、次のように考えることができる。
Ｍｎ（ｐ＋ｖｅ（ｐ））＝Ｍｎ（ｐ＋ｖｅ（ｐ））＋｜｜ｇ（ｐ）｜｜
Ｍｎ（ｐ－ｖｅ（ｐ））＝Ｍｎ（ｐ－ｖｅ（ｐ））＋｜｜ｇ（ｐ）｜｜

ある実施形態では、高速半径方向対称変換（ＦＲＳＴ）技術が実装され、ここで、範囲ｎにおける点ｐの半径方向対称寄与は、次式で与えられる。
Ｓｎ＝Ｆｎ＊Ａｎ

ここで、項Ｆｎは、次式で与えることができる。
Ｆｎ（ｐ）＝｜｜Ｏｎ（ｐ）｜｜^（α）Ｍｎ（ｐ）
ここで、Ｏｎ（ｐ）およびＭｎ（ｐ）は、投票数および勾配の大きさの正規化された値を含む。項Ａｎは、ピクセルの対称性寄与の影響をその近傍へ拡散するために画像フレームＦｎへ適用されるガウス核を示す。項αは、対称点を検出するために利用される技術の感度の逆数である半径方向の狭義性を示す。

ブロック４０８において、円形オブジェクト検出モジュール２１４は、円中心の票決（選択、ｅｌｅｃｔｉｏｎ）を実行する。ある実施形態では、票決プロセスのために、畳み込まれた画像フレームＳｎ内のピクセルの値が考察される。ある点を中心位置として選択するためには、画像フレームＳｎにおける勾配影響位置の値が特定の閾値より大きいものでなければならない。票決プロセスは、第１の解像度画像および第２の解像度画像における全ての離散値の半径について繰り返される。

ある実施形態では、円中心を発見した後、それらの座標が、第１の解像度画像および第２の解像度画像から、入力される画像フレームであるフル解像度画像へマッピングし直される。図４Ｇおよび４Ｈは、円票決プロセスの概要を示す。図４Ｇに示すように、第１の解像度画像の票決プロセスのために、ブロック４４２において、半径ｈ１～ｈ５のサンプル値のピクセルの値が畳み込み画像において考察され、ブロック４４４において、２分の１解像度における円が検出され、かつブロック４４６において、これらの円が、入力される画像フレームに関連するフル解像度でマッピングされる。図４Ｈを参照すると、ブロック４５２、４５４および４５６において、４分の１解像度画像内のｑ１～ｑ５の間の半径のサンプル値の円中心の票決のために、同様の円選択手順が続く。

当業者には、円検出のプロセスが対称点に対し極めて敏感であることにより、多くの場合、１つの円形オブジェクトについて２つ以上の中心点が選択されることが認識されると思われる。したがって、単一のオブジェクトに対して複数の円が取得されることがある。したがって、円形オブジェクト検出モジュール２１４は、ブロック４１０において、重なり合う円の中から唯一の円を選択する。図４Ｉは、１つの円を選択するための一例を示す。図示されているように、最も大きい半径値を有する円が選択され、さらに処理される。例えば、重なり合う円Ｃ１、Ｃ２、Ｃ３およびＣ４の中で、最大の半径を有する円である円Ｃ３が、さらなる処理のために選択される。

［事前分類モジュール２１６］
ある実施形態において、事前分類モジュール２１６は、多段事前分類器を用いて、画像フレームセットの少なくとも１つの画像フレームに含まれる少なくとも１つの誤検出オブジェクトを分類しかつ除外する。

ある実施形態によれば、事前分類モジュール２１６は、検出された円を有する画像フレームを受信し、かつ固有の解像度を有するサンプルに対して動作する。検出された円を有する入力画像フレームの元の解像度（高さ×幅）に関わらず、入力画像フレームは、さらなる処理に先立って、固有の解像度、例えば（４０×４０）ピクセルにサイズ変更されてもよい。

ある例において、事前分類モジュール２１６に関連づけられる多段事前分類器は、誤検出オブジェクトを除去するための複数の段階を含む。例示的な段階には、誤検出青色標識の除去、誤検出禁止標識の除去、誤検出進入禁止標識の除去、誤検出高さ／幅標識の除去、誤検出重量標識の除去、誤検出発光ダイオード（ＬＥＤ）標識の除去および誤検出高速道路番号の除去、が含まれてもよい。誤検出オブジェクトの検出は、サンプルがその元の解像度で処理され得る誤検出高速道路番号の除去を除いて、多段事前分類器の全段階について、固有の解像度で実行されてもよい。

図５Ａは、本開示の一実施形態による、誤検出青色標識を除去するための例示的な一プロセスを示す。

ある実施形態によれば、青色標識は、ブロック５０４におけるＲＧＢサンプルおよび対応するＲＧＢチャネル情報を用いることによって除去される。ある例では、サンプル画像フレームにおける所与のピクセルについて、その強度レベルが他の２つのチャネル（ブロック５０６に表されている）より支配的な青色チャネル情報を有していれば、その特定のピクセルは、青色ピクセルとみなされ、かつ青ピクセル計数がその特定のサンプルの閾値を超えていれば、これは、（ブロック５０８に表されている）青色標識サンプルとみなされて、このサンプルがさらに追跡されないように除外される。

図５Ｂは、本開示の一実施形態による、誤検出禁止標識を除去するための例示的な一プロセスを示す。

ある実施形態によれば、禁止標識は、ブロック５２４において、標識サンプルの２値画像の使用により除去される。概して、禁止標識は、標識の右上角から始まって左下角で終わる対角クロスである独特のパターンを有する。事前分類モジュール２１６は、ブロック５２６で、全ての標識サンプルについてこの特定のパターンをチェックし、サンプル内にこのようなパターンが存在すれば、それをブロック５２８において禁止標識とみなし、そのサンプルがさらに追跡されないようにこれを除外する。

図５Ｃは、本開示の一実施形態による、誤検出進入禁止標識を除去するための例示的な一プロセスを示す。

ある実施形態によれば、進入禁止標識は、ブロック５３４において、標識サンプルの２値画像の使用により除去される。概して、進入禁止標識は、左から始まって右で終わる水平クロスである独特のパターンを有する。事前分類モジュール２１６は、ブロック５３６で、全ての標識サンプルについてこの特定のパターンを調べ、発見すれば、それをブロック５３８において進入禁止標識とみなし、そのサンプルがさらに追跡されないようにこれを除外する。

図５Ｄは、高さ標識の例示的な一表現を示し、かつ図５Ｅは、本開示の一実施形態による、誤検出高さ標識を除去するための例示的な一プロセスを示す。

図５Ｄに示すように、高さ標識は、画像の上中央部分および下中央部分に垂直ノッチが現出する独特のパターンを有する。ある実施形態によれば、高さ標識は、ブロック５５４において、標識サンプルの２値画像に対し侵食演算を実行することにより除去される。さらに、ブロック５５６においてＲＯＩが設定され、よって、ブロック５５８において、事前分類モジュール２１６は、水平プロファイル分析技術を用いて画像の上側部分および下側部分における水平プロファイルをチェックすることにより、高さ標識の特定のパターンを調べる。ノッチが存在すれば、ブロック５６０において、この特定の標識サンプルは、高さ標識とされて、このサンプルがさらに追跡されないように除外される。

図５Ｆは、本開示の一実施形態による、誤検出幅標識を除去するための例示的な一プロセスを示す。

ある実施形態によれば、幅標識は、ブロック５６４において、標識サンプルの２値画像に対し侵食演算を実行することにより除去される。概して、幅標識は、画像の左右部分に水平ノッチが現出する独特のパターンを有する。ブロック５６６では、ＲＯＩが設定され、よって、ブロック５６８において、事前分類モジュール２１６は、垂直プロファイル分析技術を用いて２値画像の左右部分における垂直プロファイルをチェックすることにより、幅の特定のパターンを調べる。ノッチが存在すれば、ブロック５７０において、この特定の標識サンプルは、幅標識とされて、このサンプルがさらに追跡されないように除外される。

図５Ｇは、本開示の一実施形態による、誤検出重量標識を除去するための例示的な一プロセスを示す。

ある実施形態によれば、重量標識は、ブロック５７４において、標識サンプルの２値画像の使用により除去される。概して、重量標識は、特定の標識サンプルの右下に接尾辞「ｔ」または「ｍ」が現出する独特のブロブを有する。事前分類モジュール２１６は、ブロック５７６において、連結されたコンポーネント分析を用いてこの特定のブロブを調べ、ブロブが存在すれば、ブロック５７８において、この特定の標識サンプルを重量標識とみなし、そのサンプルがさらに追跡されないようにこれを除外する。

図５Ｈは、本開示の一実施形態による、誤検出ＬＥＤ標識を除去するための例示的な一プロセスを示す。

本開示の一実施形態によれば、ＬＥＤ標識は、ブロック５８４において、標識サンプルのカラー画像の使用により除去される。概して、ＬＥＤ標識は、一般的な速度標識より濃い黒色および黄色のピクセル情報を有する。事前分類モジュール２１６は、ブロック５８６において、カラープロファイル分析技術を用いてこの特定のパターンを調べ、閾値が適合すれば、ブロック５８８において、この特定の標識サンプルをＬＥＤ標識とみなし、そのサンプルがさらに追跡されないようにこれを除外する。

図５Ｉは、本開示の一実施形態による、高速道路番号掲示板の例示的な一表現を示す。

ある実施形態によれば、高速道路番号掲示板は、画像内の交通標識の位置、水平および垂直勾配プロファイル、カラー情報およびオブジェクトの重なりのチェックに基づいて誤検出を除去する経験則セットを用いて除去される。

したがって、事前分類モジュール２１６は、制限速度交通標識以外の様々な交通標識を含む画像フレームを捨てる。

［追跡モジュール２１８］
ある実施形態において、追跡モジュール２１８は、画像フレームセットの各画像フレームにおける前記円形オブジェクトの検出を分析することにより、状態の決定に基づいて、検出された円形オブジェクトを追跡する。前記状態は、画像フレームセットの１つまたは複数の連続する画像フレームにおける円形オブジェクトの検出に基づいて変更される、アイドル状態、追跡前状態、追跡状態およびキャンセル状態のうちの何れかである。

図６は、追跡モジュール２１８による検出された円形オブジェクトの状態の決定を可能にする状態マシンを示す。

ある実施形態によれば、状態マシンは、様々なオブジェクトの状態を決定し、かつそれに応じて様々な決定を下すために使用される。ある例において、トラッカは、デフォルトでアイドル状態にあり、オブジェクトが潜在的な交通標識として識別されるとすぐに、（先行一致するアクティブなトラッカが存在していなければ）トラッカの新しいインスタンスが開始され、状態がアイドル状態から追跡前状態へ変更される。この例の文脈では、追跡前のオブジェクトは、予め規定された画像フレーム数、例えば２つの画像フレーム、に渡ってより連続的に検出されている場合にのみ、追跡状態へ移されてもよい。さらに、何らかの決まったフレーム量に渡ってオブジェクトが検出されなければ、状態は、追跡前状態からキャンセル状態に変わる。

本例の文脈では、追跡状態において、画像フレームセットの１つまたは複数の連続する画像フレームにおける検出された円形オブジェクトの位置を推定しかつ更新するために、フィルタが利用される。したがって、追跡状態では、追跡されるオブジェクトについて、例えばカルマンフィルタであるフィルタを用いて連続的な予測および更新が実行される。追跡されるインスタンスが特定の画像フレーム内に見当たらなければ、カルマン予測を用いて境界ボックスが表示されてもよい。さらに、ある特定のオブジェクトが特定数を超えるフレームに渡って見当たらなければ、これは、追跡状態からキャンセル状態に移される。

ある例において、追跡状態に実装されるある典型的なカルマントラッカは、２つの状態、すなわち更新状態および予測状態、を有する。ある特定のインスタンスの更新／測定更新状態は、オブジェクトが検出されると奏効するのに対し、予測状態は、検出が不首尾に終わると関与するようになる。トラッカは、追跡のパラメータとして、オブジェクトの境界ボックス座標を用いる。オブジェクトの動きおよびノイズに関連づけられる不確定性のモデリングを助ける、測定、ノイズ共分散、誤差共分散、一次遷移およびプロセスノイズ共分散等の幾つかの行列が定義されてもよい。行列は、実験結果としての値で初期化されてもよい。更新状態の間、共分散値は、更新され、トラッカがオブジェクトの動きをモデル化することができるようになる。さらに、予測状態の間、カルマントラッカは、あるオブジェクトの位置を推定する手助けをする。

ある例では、キャンセル状態において、検出されたオブジェクトとの何らかの一致が見つかれば、そのオブジェクトは、追跡状態へ移される。しかしながら、一致が見つからず、かつオブジェクトが一定量のフレームに渡って見当たらなければ、そのオブジェクトは、アイドル状態に移されて、対応するトラッカインスタンスが追跡モジュール２１８によって消去される。アクティブ状態にあり、かつ一定数を超えるフレームを出るトラッカデータは、出力ユニット１０６を用いて表示される。

［交通標識分類モジュール２２０］
ある実施形態において、交通標識分類モジュール２２０は、畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器により、検出された円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出する。

ある例によれば、速度標識の検出および分類は、大規模なデータセットを学習する十分に訓練可能なＣＮＮによって実行される。従って、代表的な訓練データセットの収集は、交通標識分類モジュール２２０の認識性能に大きく影響するという理由で、極めて重要である。図７Ａは、ＣＮＮを訓練しかつテストするための例示的な一プロセスを示す。

ブロック７０２では、データセットが、サンプル収集およびデータセット増強に基づいて作成される。ある実施形態において、初期訓練データセットの構築は、調査対象である路上の速度標識クラスの実在の画像を収集するための自動化ツールにより実行される。

ある例では、昼間と夜間とでは色表現が一致しないことから、データセットがグレースケール画像に変換される。さらに、データセットの作成に際しては、以下の要素が考慮されてもよい。
１．２１×２１ピクセル～８８×８８ピクセルの範囲の考察。
２．光度の変更、ピクセル値と［０．８ ０．９ １．０ １．１ １．２］との乗算。
３．ｘおよびｙ位置の［－２ －１ ０ ＋１ ＋２］ピクセル位置シフト。
４．画像スケーリング［０．９３ １ １．０５］。
５．ぼやけた状態および雨の状態の考察。

ある実施形態では、データセットの作成に際して、追跡、すなわち同じ物理的標識の画像セット、に基づいて、以下の要素が考察されてもよい。
１．画像が３０枚未満の追跡の放棄。
２．追跡が９未満のクラスの放棄。
３．残りの追跡に関して：追跡が３０枚超の画像を含んでいれば、３０枚の画像を等距離でサンプリングする。

ある実施形態では、サンプル収集が完了すると、データセットが３部に分割される：
１．訓練データセット：サンプルの８０％を占める。
２．検証データセット：サンプルの１５％を占める。
３．試験データセット：サンプルの５％を占める。

ある実施形態では、訓練および検証のためのデータセット増強の間、自動化ツールから生成される生データセットまたは収集されたサンプルは、誤検出および不正サンプルを除去するために分離される。分離されたデータセットは、訓練および検証に必要な最終データセットを作成するために、Ｍａｔｌａｂ／Ｐｙｔｈｏｎツールを用いて増強されてもよい。増強ツールは、入力画像を平行移動し、回転しかつスケーリングしてもよく、かつ以下のような増強されたデータセットを出力してもよい。
１．平行移動変動［－２ ０ ２］ピクセル。
２．回転変動［－１０ ０ １０］度。
３．スケーリング変動［０．９ １ １．１］比。

ブロック７０６では、ＣＮＮの係数を学習するための訓練が、訓練データの大規模データセットで良好にスケーリングするという理由により誤差逆伝播のオンラインモードで実行される。当業者には、所与の入力パターンの重量の関数における出力誤差の偏導関数を効率的に計算する、という誤差逆伝播の基本的考案が認識されると思われる。これらの偏導関数は、誤差導関数の負の方向への重みに対する小さい補正を実行するために使用される。

ある実施形態において、交通標識分類モジュール２２０の入力は、検出された円形オブジェクトの生のピクセル値であり、出力は、速度標識の可能性を表す直接的な信頼値である。十分に訓練可能なＣＮＮの使用は、この特徴が、データセットに含まれる交通標識画像例のセットを用いる訓練によって特定のオブジェクトを改変することを可能にする。

ある実施形態によれば、ＣＮＮのアーキテクチャは、試行錯誤により設定される多くの構成ブロックによって特徴づけられるが、データによって制約もされる。ＣＮＮは、不変の特徴を学習しかつ各特徴抽出段において学習できる、生物学的に示唆されたアーキテクチャである。特徴抽出の複数段は、多層分類器へ階層的かつ堅牢な表現を提供する。分類器の各段は、畳み込み、非線形性およびサブサンプリングで構成される。伝統的なＣＮＮにおいて使用される非線形性は、ｔａｎｈ（）シグモイド関数である。しかしながら、整流されたシグモイドおよび減法的および除法的な局所正規化等のより洗練された非線形性が利用され、隣接する特徴間の競合が強化される（空間および特徴の双方に関連）。また、複数の段から取られる出力は、分類器へ供給される特徴にマルチスケール成分を混入するために組み合わされてもよい。

図７Ｂは、本開示の一実施形態による、例示的なＣＮＮアーキテクチャを示す。

当業者には、本開示の実施形態が、速度標識画像から成る大規模な訓練データセットを収集しかつラベリングするための区別化手法と、速度標識認識アプリケーションのためのＣＮＮの設計およびオフライン訓練と、認識アルゴリズムの、毎秒２０－２５フレーム（ｆｐｓ）でリアルタイム検出を実行し得るグラフィック処理ユニット（ＧＰＵ）へのマッピングと、を利用することが認識されると思われる。

ある例において、入力画像は、１つのグレースケールチャネルを有する３２×３２サイズであってもよい。図７Ｂを参照すると、訓練に使用されるＣＮＮアーキテクチャは、下記の通りであってもよい。
１．層Ｃ１は、畳み込み層であって、６つの特徴マップと、各特徴マップにつき１つの５×５カーネルを有する。
２．層Ｓ１は、サブサンプリング層であって、６つの特徴マップと、各特徴マップにつき１つの２×２カーネルを有する。
３．層Ｃ２は、畳み込み層であって、１６個の特徴マップと、各特徴マップにつき１つの５×５カーネルを有する。
４．層Ｓ２は、サブサンプリング層であって、１６個の特徴マップと、各特徴マップにつき１つの２×２カーネルを有する。
５．層ｎ１は、畳み込み層であって、１２０個の特徴マップと、各特徴マップにつき１つの５×５カーネルを有する。
６．層ｎ２は、完全連結層加算バイアスであり、各層の後にｔａｎｈ非線形性が使用される。

ネットワークの層Ｃ１～Ｓ２が訓練可能な特徴抽出器として機能することは、認識されると思われる。全てのネットワーク層は、古典的な多層パーセプトロン（ＭＬＰ）ネットワークの場合のようにニューロンモデルを含む。特徴抽出層Ｃ１～Ｓ２は、局所連結性および重み共有等の固有の制約を有し、これらの制約により、これらの層は、２次元形状から位置不変特徴を抽出することができる。さらに、出力側の分類層ｎ１およびｎ２は、完全連結型ＭＬＰである。抽出された局所特徴を利用する分類層は、入力画像の分類を実行する。

ある実施形態において、ＣＮＮアーキテクチャは、畳み込み層と、サブサンプル層と、ニューロン層とを含む。Ｃ１およびＣ２等の畳み込み層の特徴マップは、そのシナプス入力を局所受容野から取るニューロンを含み、これにより、局所特徴を検出する。１つの特徴マップ内の畳み込みニューロンの重みは共有され、よって、その局所特徴の位置はさほど重要でなくなり、よって、シフト不変性が生じる。畳み込みニューロンの出力を計算する式は、次のように定義され得る。
［式１］

（１）
ここで、ｙは、特徴マップの出力を指し、
ｍ、ｎは、特徴マップの位置指数であり、
ｂは、訓練可能なバイアス値であり、
Ｋは、カーネルサイズを指し、
ｖは、畳み込みカーネルを指し、
ｘは、入力画像を指す。

方程式（１）の式は、畳み込みカーネルｖを用いた入力画像ｘに対する畳み込み演算を記述している。標準的な畳み込みとの唯一の相違は、得られた結果に閾値ｂが加算されることにある。

ある実施形態では、畳み込み層にサブサンプリング層が続き、畳み込み層の結果のデータ整理演算が実行される。データ整理の演算は、予め画定された［重なり合っていないウィンドウ全体に渡る局所平均化によって実行される。平均化ウィンドウのサイズは、サブサンプル係数Ｓによって記述されてもよい。サブサンプルニューロンの計算式は、
［式２］

［式３］

によって定義されてもよく、ここで、
ｙは、サブサンプリングされた画像を指し、
ｍ、ｎは、特徴マップの位置指数であり、
Ф（ｐ）は、シグモイド活性化関数を指し、
ｕは、訓練可能な係数であり、
Ｓは、サブサンプリング係数を指し、
ｂは、バイアス値を指し、
ｘは、入力される特徴マップを指す。

ある実施形態では、ＣＮＮの入力画像の分類が、ｎ１およびｎ２等のニューロン層によって実行される。これらの層において、全てのニューロンは、固有の重みセットを有し、これによりニューロンは、複雑な特徴を検出して分類を実行することができる。古典的なパーセプトロンの計算式は、
［式４］

によって定義されてもよく、ここで、
ｙは、ニューロン層の出力を指し、
ｎは、位置指数を指し、
ｂは、バイアス値を指し、
Ｋは、重みの数を指し、
ｗは、重み行列を指し、
ｘは、先行層の入力を指し、
Ф（ｐ）は、シグモイド活性化関数を指す。

当業者には、ＣＮＮアーキテクチャの重要な特性は、全てのシナプス重みおよびバイアス値を、訓練サンプルを通して誤差逆伝播アルゴリズムの単純かつ効率的な確率的モードを循環させることにより訓練できる点にあることが、認識されると思われる。ＣＮＮが訓練されると、ブロック７０８でオフライン試験が実行され、よって、試験サンプルに関して所望される結果が達成されると、ブロック７１０でＣＮＮアーキテクチャが統合され、制限速度交通標識が検出される。

ある実施形態では、上述の規定されたＣＮＮアーキテクチャを用いて実行される検出および分類に基づいて、交通標識分類モジュール２２０は、出力ユニット１０６において適切な警告を生成できるように、検出された少なくとも１つの制限速度交通標識を認識してラベルづけする。

図８は、本開示の一実施形態による、提案するシステムの例示的な動作を表す高レベルフロー図を示す。

ある実施形態では、ブロック８０２において、前処理モジュール２１２は、画像センサにより捕捉された一連の画像フレームを含む入力ビデオを読み込む。ブロック８０４では、画像フレーム内に、受信された画像の上側部分をカバーし得るＲＯＩが画定される。例えば、各画像フレームのＲＯＩは、画像フレームの画像ローの上側３５％および全カラムをカバーするように画定されてもよい。したがって、入力画像フレームのサイズが（１２８０×９６０）であれば、ＲＯＩは、画像フレームの上側部分を包含するサイズ（１２８０×３３６）で画定されてもよい。ブロック８０８において、画像フレームは、さらなる処理のためにグレースケールに変換されてもよい。ブロック８０８では、グレースケール画像に対する画像サイズ変更を実行することにより、第１の（例えば、２分の１）解像度画像が得られる。したがって、サイズ（１２８０×３３６）のグレースケール画像が、サイズ（６４０×１６８）のグレースケール画像へサイズ変換される。ブロック８１０では、より速い処理を保証するために、コントラストストレッチングが実行される。第１の解像度は、ブロック８１２でさらにサイズ変更され、サイズ（３２０×８４）であり得る第２の（例えば、４分の１）解像度画像が取得される。

ある実施形態において、円形オブジェクト検出モジュール２１４は、ブロック８１４および８１６において、各々第１の解像度画像および第２の解像度画像の各々の勾配情報を取得することにより、勾配抽出を実行する。さらに、ブロック８１８および８２０では、第１の解像度画像および第２の解像度画像の各々について１つまたは複数の既定の半径に対する投票処理／手法を実行することにより、各々第１の解像度画像および第２の解像度画像から多重半径円が検出される。ブロック８２２および８２４では、円中心の座標が、各々第１の解像度画像および第２の解像度画像から、入力画像フレームであるフル解像度画像へマッピングし直される。さらに、１つのオブジェクトに対して複数の円が取得され得ることから、各々第１の解像度画像および第２の解像度画像から、重なり合う円のうちの１つが選択されてもよい。さらに、ブロック８２６では、１つのオブジェクトに対する複数の候補を除去しかつ各オブジェクトにつき関連する唯一の円を取得するように、フル解像度画像内の円が結合される。ブロック８２８において、事前分類モジュール２１６は、多段事前分類器を用いて、青色標識、禁止標識、進入禁止標識、高さ／幅標識、重量標識、発光ダイオード（ＬＥＤ）標識および高速道路番号等の様々な誤検出オブジェクトにタグづけしかつ分類する。さらに、ブロック８３０では、オブジェクトマッチングおよび関連づけが実行され、検出されたオブジェクトに出現回数が与えられる。

ある実施形態において、追跡モジュール２１８は、トラッカを用いて、検出されたオブジェクトの出現回数を分析することにより、条件をチェックして状態を決定する。状態は、各々ブロック８３４、８３６および８３８に表されているような追跡状態、追跡前状態またはキャンセル状態であってもよい。さらに、状態は、トラッカのデフォルト状態であるアイドル状態であってもよい。ある例では、オブジェクトが潜在的な交通標識として識別されるとすぐに、トラッカの新しいインスタンスが開始され、状態がアイドル状態から追跡前状態へ変更される。３つの画像フレームという予め規定された閾値が考察されてもよく、よって、追跡前のオブジェクトは、ブロック８３４において、それが予め規定された閾値３に渡ってより連続的に検出されている場合にのみ、追跡状態へ移されてもよい。また、何らかの決まったフレーム量に渡ってオブジェクトが検出されなければ、ブロック８３８において、状態は、キャンセル状態に変わってもよい。ブロック８４０、８４２および８４４では、例えばカルマンフィルタであるフィルタを利用して、検出された円形オブジェクトの位置が推定されかつ更新される。

ある実施形態において、交通標識分類モジュール２２０は、ブロック８４６において、畳み込みニューラルネットワーク（ＣＮＮ）を用いて制限速度交通標識を検出し、速度標識の可能性および関連するクラスＩＤを表す信頼スコアを提供する。ブロック８４８では、信頼スコアが、例えば０．９である閾値より大きいかどうかが決定される。信頼スコアが０．９より大きければ、ブロック８５０において、オブジェクトクラスＩＤおよび座標割当てのために、クラスＩＤが提供される。さらに、ブロック８５０では、クラスＩＤおよび座標を割り当てるために、トラッカおよびＣＮＮからの全ての出力が利用されてもよい。

ある実施形態では、ブロック８５２において、表示および決定論理が利用され、ブロック８５４において、運転者に対し、警告生成論理を用いて警告が与えられる。例えば、制限速度交通標識の検出に関する警告は、運転者が制限速度を超えると提供されることが可能である。ブロック８５６では、条件をチェックして、ビデオが終わりであるかどうかが決定され、例えば、ビデオまたは一連の画像フレームのうちの最後の画像フレームにおいて検出が行われているかどうかが決定されてもよい。最後の画像フレームにおいて検出が実行されれば、プロセスは停止され、そうでなければ、システムは、引き続き、後続の画像フレームにおいて検出を実行してもよい。

図９は、本開示の例示的な一実施形態による、提案するシステムの動作方法を示す。

ある態様において、提案している方法は、コンピュータ実行可能命令の一般的コンテキストにおいて説明され得る。概して、コンピュータ実行可能命令には、特定の機能を実行する、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、関数、他が含まれ得る。また、本方法は、通信ネットワークを介してリンクされるリモート処理デバイスにより機能が実行される分散コンピューティング環境において実施されることも可能である。分散コンピューティング環境において、コンピュータ実行可能命令は、メモリ記憶デバイスを含むローカルおよびリモート双方のコンピュータ記憶媒体に位置決めされてもよい。

方法が記述されている順序は、限定として解釈されるべきものではなく、また、記述されている方法ブロックの数は、本方法または代替方法を実装すべく任意の順序で組み合わされてもよい。さらに、個々のブロックは、本明細書に記述している発明対象の精神および範囲を逸脱することなく、本方法から削除されてもよい。さらに、本方法は、任意の適切なハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにおいて実装されてもよい。しかしながら、説明を容易にするために、後述の実施形態において、本方法は、上述のシステムにおいて実施されるべきものと考えられてもよい。

ある態様において、本開示が詳述する、交通標識を認識するための方法は、ブロック９０２において、車両と作動的に結合される画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定することを含む。ＲＯＩは、各画像フレームの１つのセクションに基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像にサイズ変更される。

ある態様において、本方法は、さらに、ブロック９０４において、水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームのＲＯＩにおける円形オブジェクトを検出することを含む。水平エッジ画像および垂直エッジ画像は、第１の解像度画像および第２の解像度画像の各々から取得される。

ある態様において、本方法は、さらに、ブロック９０６において、畳み込みニューラルネットワーク（ＣＮＮ）を含む１つまたは複数の分類器を使用し、検出された円形オブジェクトに基づいて、少なくとも１つの制限速度交通標識を検出することを含む。

当業者には、本開示の実施形態が、交通標識を認識するための様々な新規特徴を利用し、例えば、多重スケール多重半径オブジェクト検出器は、埋込み性能のために最適化されることが認識されると思われる。重なり合う半径を有する複数のスケールを用いる手順は、特定の円形オブジェクトが全て検出され、かつ処理負荷が最小限に保たれることを保証する。最適化とは別に、この手法は、解像度が縮小サイズになると、画像フレームにおける円境界がより均一になる、ノイズが低減される、解像度の変更によって交通標識の傾きによる影響が大幅に低減される、といった幾つかの利点も提供する。例えば、本システムは、交通標識を、それが車両のカメラまたは画像センサに対する向きによって正確に円形でないときでも認識し得る。したがって、本システムは、交通標識が極めて近くに存在し、このように傾いた交通標識は無視される可能性が高い場合でも、効率的に機能する。

さらに、本開示の実施形態は、投票値が、円形検出の回数を増加する双方の投影画像、すなわち勾配の投影画像および大きさの投影画像、の正および負双方の影響位置において増分されることから、円形検出のための独自の投票プロセスを利用する。また、本開示の実施形態は、多重解像度画像をＣＮＮへの入力として利用する従来技術とは異なり、多重解像度画像を前処理モジュールへの入力として使用し、遠距離および近傍領域内の標識を効果的に検出する（例えば、２分の１解像度画像および４分の１解像度画像が、円形オブジェクト検出モジュール２１４への入力として使用される）。

さらに、本開示の実施形態は、関心対象でない円形オブジェクトを全て除外して、性能を失うことなく分類器にかかる処理負荷を減らす多段事前分類器を利用する。除外される標識は、形状が同じでも制限速度標識以外の情報を含む青色標識、禁止標識、進入禁止、高さ、幅、重さ、ＬＥＤおよび高速道路番号である。さらには、トラッカを備える状態マシンを利用して、茂みおよび樹木の間に形成される擬似の円形オブジェクトを除去し、本物の円形オブジェクトのみが処理されることを保証する。また、ＣＮＮを用いる多クラス分類器も利用され、これは、異なる交通標識を超高精度で識別し、かつ１つのフレームにおける複数の交通標識（例えば、８つの交通標識）を合わせて、全くの性能喪失なしに処理しかつＤＳＰ上で約３０ＦＰＳの実用性能を達成することができる。

当業者には、色は、昼光および反射率の変化によって変わることから、様々な技術により使用される閾値が全てのシナリオで奏効するわけではなく、したがって、本開示の実施形態は、照明条件の変化による性能への影響が最小限に抑えられる勾配ベースの形状検出技術を使用することが、認識されると思われる。さらに、勾配方向ヒストグラム（ＨＯＧ）等のハンドクラフト特徴を用いるサポート・ベクトル・マシン（ＳＶＭ）等の浅い分類器を使用する既存の技術とは異なり、本開示の実施形態は、特徴の抽出および認識の双方を実行し得る深層学習ＣＮＮアーキテクチャを利用する。

本開示の様々な実施形態の結果を検証するために、多くの実験が行われたことは、認識されると思われる。表１は、道路上の７つの速度標識を検出しかつ認識するために、本明細書に開示しているシステムを様々な条件下で利用して得た例示的な実験結果を示す。

表１から明らかであるように、本開示の実施形態は、高値の感度および精度を提供し、よって、効率および信頼性を高める。

本明細書で使用する「へ結合される」という言い回しは、文脈による別段の指摘のない限り、直接結合（２つの要素が互いに結合される、または互いに接触している）および間接結合（２つの要素間に少なくとも１つの追加的な要素が位置決めされる）の双方を含むことが意図される。したがって、「へ結合される」および「と結合される」という言い回しは、同義的に使用される。本明細書の文脈において、「へ結合される」および「と結合される」という言い回しは、ネットワーク上で「と通信可能に結合される」ことを婉曲に意味するためにも使用され、この場合、２つ以上のデバイスは、ネットワーク上で、おそらくは１つまたは複数の中間デバイスを介してデータを交換することができる。

さらに、明細書および特許請求の範囲の双方を解釈するにあたり、すべての用語は、文脈に沿って可能な限り最も広範に解釈されるべきである。具体的には、「を備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」という用語は、要素、コンポーネントまたはステップに非排他的に言及するものとして解釈されるべきであり、言及される要素、コンポーネントまたはステップが、明示的に言及されていない他の要素、コンポーネントまたはステップと共に存在し、または利用され、または組み合わされ得ることを示す。明細書および特許請求の範囲がＡ、Ｂ、Ｃ、．．．、Ｎより成るグループから選択される少なくともどれか１つに言及する場合、この文章が要求するものは、そのグループの中の１つの要素だけであって、ＡプラスＮでも、ＢプラスＮでも、その他でもないと解釈されるべきである。

本開示の幾つかの実施形態について示しかつ説明してきたが、これらは、事実上、全くの例示である。本開示は、単に本明細書で詳述している実施形態に限定されるものではなく、よって、当業者には、本明細書に記載する発明概念を逸脱することなく、既に説明したものの他に多くの改変が可能であることが明らかであると思われる。このような改変、変更、変形、置換および等価物は全て、完全に本開示の範囲に含まれる。したがって、本発明の主題は、専ら添付の特許請求の範囲の精神により限定される。

［開示の利点］
本開示は、交通標識を認識するためのシステムおよび方法を提供する。

本開示は、照明条件の変化による性能への影響が最小限に抑えられる、交通標識を認識するためのシステムおよび方法を提供する。

本開示は、プロセッサに対する計算負荷を最小限に抑える技術を利用する、交通標識を認識するためのシステムおよび方法を提供する。

本開示は、自己学習能力を有する、交通標識を認識するためのシステムおよび方法を提供する。

本開示は、本物の円形オブジェクトのみが処理されるように、茂みおよび樹木の間に形成されることもある擬似の円形オブジェクトのフィルタリングを可能にする、交通標識を認識するためのシステムおよび方法を提供する。

Claims (10)

1. 車両内に実装される交通標識認識システムであって、前記システムは、
   車両の運転者の視界を画像化するための画像センサと、
   メモリと結合されるプロセッサと、を備え、
   前記メモリは、
   前記画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定する工程であって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更される、工程と、
   水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームの前記ＲＯＩにおける円形オブジェクトを検出する工程であって、前記水平エッジ画像および前記垂直エッジ画像は、前記第１の解像度画像および前記第２の解像度画像の各々から取得される、工程と、
   畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器を使用し、検出される前記円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出する工程を前記プロセッサによって実行可能な命令を記憶し、
   前記第１の解像度画像は、遠距離領域における前記少なくとも１つの制限速度交通標識を効果的に検出するための前記ＲＯＩの解像度の２分の１に関係し、前記第２の解像度画像は、近傍領域における前記少なくとも１つの制限速度交通標識を効果的に検出するための前記ＲＯＩの解像度の４分の１に関係する、交通標識認識システム。
2. 前記プロセッサは、多段事前分類器を用いて、前記画像フレームセットの少なくとも１つの画像フレームに含まれる少なくとも１つの誤検出オブジェクトを分類しかつ除外する、請求項１に記載の交通標識認識システム。
3. 前記プロセッサは、前記画像フレームセットの各画像フレームにおける前記円形オブジェクトの検出を分析することにより、状態の決定に基づいて、検出された前記円形オブジェクトを追跡する、請求項１に記載の交通標識認識システム。
4. 前記状態は、アイドル状態、追跡前状態、追跡状態およびキャンセル状態のうちの何れかであり、前記状態は、前記画像フレームセットの１つまたは複数の連続する画像フレームにおける前記円形オブジェクトの検出に基づいて、第１の状態から第２の状態へ変更される、請求項３に記載の交通標識認識システム。
5. 前記追跡状態においては、前記画像フレームセットの前記１つまたは複数の連続する画像フレームにおける検出された前記円形オブジェクトの位置を推定しかつ更新するためにフィルタが利用される、請求項４に記載の交通標識認識システム。
6. 前記プロセッサは、前記円形オブジェクトを多重スケール多重半径円形オブジェクト検出器によって検出し、前記多重スケール多重半径円形オブジェクト検出器は、前記第１の解像度画像および前記第２の解像度画像の各々の予め規定された１つまたは複数の半径に投票手法を利用し、前記投票手法は、前記個々のピクセルの勾配値を基礎とする、請求項１に記載の交通標識認識システム。
7. 前記多重スケール多重半径円形オブジェクト検出器は、前記円形オブジェクトを効果的に検出しかつ処理負荷を最小限に抑えるために、重なり合う半径を有する多重スケールを用いる前記１つまたは複数の予め規定された半径の検出を促進する、請求項６に記載の交通標識認識システム。
8. 前記１つまたは複数の予め規定された半径のうちの少なくとも１つの半径に対する投票手法は、
   前記個々のピクセルの勾配値を取得することであって、各勾配値は、勾配の大きさと勾配方向とを含むことと、
   正の影響点と負の影響点とを含む少なくとも２つの勾配影響点を決定することであって、前記正の影響点は、中心点から勾配方向に沿って前記少なくとも１つの半径の距離にあり、かつ前記負の影響点は、前記中心点における勾配の方向と反対方向へ前記少なくとも１つの半径の距離にあることと、
   前記少なくとも２つの勾配影響点の前記正の影響点および前記負の影響点の各々における勾配方向に基づいて投票値を増分することと、
   前記正の影響点および前記負の影響点の各々へ前記中心点の勾配の大きさを加算すること、によって実行される、請求項６に記載の交通標識認識システム。
9. 前記プロセッサは、検出された前記少なくとも１つの制限速度交通標識を認識しかつラベリングする、請求項１に記載の交通標識認識システム。
10. 車両に実装されるコンピュータに記憶される命令に従って実行される方法であって、
    前記車両と作動的に結合される画像センサから１つまたは複数の画像フレームを受信し、かつ前記受信される１つまたは複数の画像フレームから選択される画像フレームセットの各画像フレームについて、関心領域（ＲＯＩ）を画定する工程であって、前記ＲＯＩは、各画像フレームの一部分に基づいて画定され、かつ各ＲＯＩは、少なくとも第１の解像度画像および第２の解像度画像へサイズ変更される、工程と、
    水平エッジ画像および垂直エッジ画像の個々のピクセルの勾配値を分析することにより、対称点の決定に基づいて、各画像フレームの前記ＲＯＩにおける円形オブジェクトを検出する工程であって、前記水平エッジ画像および前記垂直エッジ画像は、前記第１の解像度画像および前記第２の解像度画像の各々から取得される、工程と、
    畳み込みニューラルネットワーク（ＣＮＮ）を用いる１つまたは複数の分類器を使用し、検出される前記円形オブジェクトに基づいて少なくとも１つの制限速度交通標識を検出する工程と、を含み、
    前記第１の解像度画像は、遠距離領域における前記少なくとも１つの制限速度交通標識を効果的に検出するための前記ＲＯＩの解像度の２分の１に関係し、前記第２の解像度画像は、近傍領域における前記少なくとも１つの制限速度交通標識を効果的に検出するための前記ＲＯＩの解像度の４分の１に関係する、方法。

Images