JP6400117B2

JP6400117B2 - 交通標識を認識する方法及び装置

Info

Publication number: JP6400117B2
Application number: JP2016559945A
Authority: JP
Inventors: ヂフイハオ; ニンワン; レイミンゲ
Original assignee: バイドゥオンラインネットワークテクノロジー（ベイジン）カンパニーリミテッド
Priority date: 2015-03-31
Filing date: 2015-12-25
Publication date: 2018-10-03
Anticipated expiration: 2035-12-25
Also published as: KR20160132331A; KR101856584B1; CN104700099B; CN104700099A; JP2017516197A; WO2016155371A1

Description

優先権要求

本出願は２０１５年０３月３１日に提出された、中国特許出願番号が「２０１５１０１５０５２５．８」である優先権を主張し、当該特許出願の全文を援用するように本願に組み込んだ。

本出願はコンピュータ技術分野に関し、具体的にコンピュータターゲット認識技術分野に関し、特に交通標識を認識する方法及び装置に関する。

正確で全面的なナビゲーションデータを提供するために、交通道路網における交通標識を認識する必要がある。

従来の交通標識を認識する方法は、主に人工処理に依存して、予め特定のプログラムソフトウェアとベースマップデータを収集車に配置し、訓練されたフィールドワーカーにより車に追従して操作し、交通標識を見ると、作業者はタイプと目視距離を手動的にソフトウェアに入力し、フィールドの収集が終了した後に、更に屋内労働者により作業前後のベースマップを比較して、有効な情報を道路網データベースに更新する。この過程は多種のソフトウェアツールのサポートを必要とするが、データ成果の正確さは主に作業者の個人の能力及び集中度によって決められ、同時に、複雑な収集プロセスは道路網データの更新効率を低下させる。

本出願は、以上の背景技術に記載された技術問題を解決するために、交通標識を認識する方法及び装置を提供することを目的とする。

一様態において、本出願は交通標識を認識する方法を提供し、この方法は、全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するステップと、前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するステップと、予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得するステップと、を含んでおり、ここで、前記予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られ、前記予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られる。

他の様態において、本出願は交通標識を認識する装置を提供し、この装置は、全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するための特徴値取得モジュールと、前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するための交通標識検出モジュールと、予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得するための交通標識認識モジュールと、を備えており、ここで、前記予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られ、前記予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られる。

本出願による交通標識を認識する方法及び装置は、全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得して、続いて、前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得し、その後、予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得することによって、予め訓練された検出分類器モデルによって確認しようとする交通標識ウィンドウ画像を検出して、予め訓練された畳み込みニューラルネットワークモデルによって交通標識種類を認識することを実現し、パノラマ画像での交通標識を検出して認識する正確さを向上させるとともに、道路網データの更新効率を向上させる。

以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、及び利点は、より明らかになる。
本出願の実施例による交通標識を認識する方法を示す例示的なフローチャートである。本出願の実施例による予め訓練された検出モデルを訓練する方法を示す例示的なフローチャートである。本出願の実施例による確認しようとする交通標識ウィンドウ画像を取得する方法を示す例示的なフローチャートである。本出願の実施例による予め訓練された畳み込みニューラルネットワークモデルを訓練する方法を示す例示的なフローチャートである。本出願の実施例による所定の畳み込みニューラルネットワークモデルを示す例示的な構造図である。本出願の実施例による交通標識を認識する装置を示す構造模式図である。本出願の実施例による検出分類器モデル訓練装置を示す例示的な構造図である。確認しようとする交通標識ウィンドウ画像を取得するための装置を示す例示的な構造図である。本出願の実施例による予め訓練された畳み込みニューラルネットワークモデルを訓練するための装置を示す例示的な構造図である。本出願の実施例によるコンピュータシステムを示す構造模式図である。

以下、図面及び実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。

ただし、衝突がない限り、本願における実施例、及び実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。

図１は本出願の実施例による交通標識を認識する方法を示す例示的なフローチャートである。

図１に示すように、交通標識を認識する方法１００は、以下のステップを含んでもよい。

ステップ１１０：全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得する。

ここで、まず交通標識を認識する必要がある全天球画像を取得し、次に、所定のサイズのウィンドウによって全天球画像をスキャンして、それによりスキャンウィンドウ画像を取得し、その後、更にスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得する。

全天球画像とは複数枚の魚眼画像により接合してなるパノラマを表示できる画像である。所定のサイズのウィンドウは一般的に対象物体のサイズに基づいて所定のウィンドウである。

なお、スキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得する際に、所定の積分チャンネルは画像処理分野における従来技術においていずれか１種又は多種の積分チャンネルであってもよく、又は将来の技術において発展する可能性があるいずれか１種又は多種の積分チャンネルであってもよく、所定の特徴アルゴリズムは画像処理分野における従来技術においていずれか１種又は多種の特徴アルゴリズムであってもよく、将来の技術において発展する可能性があるいずれか１種又は多種の特徴アルゴリズムであってもよい。本出願では、具体的な特徴値を取得する方式に制限されなく、ユーザにより実際の使用需要に応じて選択することができる。例えば、グレースケール画像チャネルにハールアルゴリズムによってハール（ｈａａｒ）特徴値を取得することができ、異なる角度パラメータの勾配画像チャンネルにヒストグラム特徴値アルゴリズムによってヒストグラム特徴値を取得し、同時に、赤、緑、青モノクロ画像チャンネルにおいてランダムペア特徴値アルゴリズムによってランダムペア特徴値などを取得する。

スキャンウィンドウ画像の特徴値を取得する速度を更に向上させるために、積分画像によってスキャンウィンドウ画像の特徴値を取得することができ、選択的に、上記実施例において、ステップ１１０は、全天球画像により所定の積分チャンネルの積分画像で分割して得られたスキャンウィンドウ画像の積分画像を取得するステップ１１１、及びスキャンウィンドウ画像の積分画像に基づいて、スキャンウィンドウ画像の特徴値を取得するステップ１１２を含んでもよい。

上記の全天球画像の積分画像を使用してスキャンウィンドウ画像の特徴値を計算することによって、スキャンウィンドウ画像の特徴値の計算を加速して、スキャンウィンドウ画像の特徴値の計算効率を向上させることができる。

選択的に、スキャンウィンドウ画像の特徴値と、予め訓練された監視分類器モデルにおける交通標識ウィンドウ画像のサンプルの特徴値との比較を加速するために、交通標識の種類によって、交通標識ウィンドウ画像のサンプルの特徴値及びスキャンウィンドウ画像の特徴値を取得する所定の積分チャンネル及び所定の特徴アルゴリズムを確定することができる。例えば速度制限などのような禁止類標識に対して、赤色チャンネルにおける説明を強化することができる。好ましくは、所定の積分チャンネルは、グレースケール画像チャネル、赤、緑、青モノクロ画像チャンネル、異なる角度パラメータの勾配画像チャンネル、及びエッジ検出画像チャンネルなどの１項又は複数項を含んでもよく、そして、所定の特徴アルゴリズムは、ハール特徴アルゴリズム、ローカルバイナリパターン特徴アルゴリズム、ヒストグラム特徴アルゴリズム及びランダムペア特徴アルゴリズムなどの１項又は複数項を含んでもよい。スキャンウィンドウ画像を検出することに必要な特徴値を取得するように、上記実施例における所定の積分チャンネルと所定の特徴アルゴリズムを必要に応じて組み合わせてよいことを、当業者が理解すべきである。

上記の交通標識の種類によって確定された交通標識ウィンドウ画像のサンプルの特徴値及びスキャンウィンドウ画像の特徴値を取得する所定の積分チャンネル及び所定の特徴アルゴリズムによれば、複数の異なる角度から対象の特性を説明することができ、それにより対象が異なる角度と光照による変化を吸収する。

ステップ１２０：スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得し、ここで、予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られる。

ここで、予め訓練された検出分類器モデルは、まず手動マーキングを受信して、スキャンウィンドウ画像において交通標識を含むスキャンウィンドウ画像と交通標識を含まないスキャンウィンドウ画像を交通標識ウィンドウ画像のサンプルとして確定し、その後サンプルの特徴値を取得してから、サンプル及びその特徴値を使用して、実際の需要に応じて設定された分類器モデルのパラメータを訓練して、それにより予め訓練された検出分類器モデルを取得する。

上記ステップ１１０においてスキャンウィンドウ画像の特徴値が取得された後に、スキャンウィンドウ画像の特徴値と上記予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出し、交通標識と思われるウィンドウ画像を取得して確認しようとする交通標識ウィンドウ画像とすることができる。

ステップＳ１３０：予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得し、ここで、予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られる。

ここで、予め訓練された畳み込みニューラルネットワークモデルは、まず手動マーキングを受信して、検出分類器モデルが検出してきた確認しようとする交通標識ウィンドウ画像のサンプルを分類して、具体的な交通標識種類又は非交通種類にマーキングし、その後確認しようとする交通標識ウィンドウ画像のサンプル及びその交通標識種類によって、実際の需要に応じて設定された畳み込みニューラルネットワークモデルを訓練して、それにより予め訓練された畳み込みニューラルネットワークモデルを取得する。

上記のステップ１２０において確認しようとする交通標識ウィンドウ画像が取得された後に、確認しようとする交通標識ウィンドウ画像と上記予め訓練された畳み込みニューラルネットワークモデルとに基づいて、確認しようとする交通標識ウィンドウ画像を認識することができ、確認しようとする交通標識ウィンドウ画像に対応する確率が最大の交通標識種類を認識された交通標識種類とする。

本出願の上記実施例の交通標識を認識する方法によれば、パノラマ画像に交通標識を検出して認識する正確さを向上させるとともに、道路網データの更新効率を向上させる。

以下、図２を参照して予め訓練された検出モデルを訓練する方法を説明する。

図２は本出願の実施例による予め訓練された検出モデルを訓練する方法を示す例示的なフローチャートである。

図２に示すように、予め訓練された検出分類器モデルを訓練する方法２００は以下のステップを含んでもよい。

ステップ２０１において、スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルを取得し、ここで、陽性サンプルは交通標識のウィンドウ画像を含むか又は交通標識とその周囲に所定の画素が拡張されたウィンドウ画像を含み、陰性サンプルは陽性サンプルを除外したスキャンウィンドウ画像を含む。

ここで、スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルについては、まずスキャンウィンドウ画像からサンプルを取得して、その後に受信した手動マーキングに従って、上記スキャンウィンドウ画像のサンプルにおいて交通標識を含むウィンドウ画像又は交通標識とその周囲に所定の画素が拡張されたウィンドウ画像を陽性サンプルとして、サンプルにおける陽性サンプルを除外したスキャンウィンドウ画像を陰性サンプルとする。

上記陽性サンプルが交通標識のウィンドウ画像のみを含む際に、陽性サンプルの特徴値を計算する効率を向上させることができる。対象物体の周囲の画素も対象物体の自身を効果的に説明することができるのを考慮すれば、陽性サンプルが交通標識及びその周囲に所定の画素を拡張するウィンドウ画像を含む際に、陽性サンプルの特徴値を説明する正確さを向上させることができる。

ステップ２０２において、陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得する。

ここで、陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得する際に、所定の積分チャンネルは画像処理分野における従来技術においていずれか１種又は多種の積分チャンネルであってもよく、又は将来の技術において発展する可能性があるいずれか１種又は多種の積分チャンネルであってもよく、所定の特徴アルゴリズムは画像処理分野における従来技術においていずれか１種又は多種の特徴アルゴリズムであってもよく、将来の技術において発展する可能性があるいずれか１種又は多種の特徴アルゴリズムであってもよい。本出願では、具体的な特徴値を取得する所定の積分チャンネル及び所定の特徴アルゴリズムに制限されなく、ユーザにより実際の使用需要に応じて選択することができる。例えば、グレースケール画像チャネルにハールアルゴリズムによって取得されたハール（ｈａａｒ）特徴値、異なる角度パラメータの勾配画像チャンネルにヒストグラム特徴値アルゴリズムによって取得されたヒストグラム特徴値、赤、緑、青モノクロ画像チャンネルにランダムペア特徴値アルゴリズムによって取得されたランダムペア特徴値などである。

選択的に、サンプルの特徴値を具体的に計算する際に、陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を迅速で効果的に取得するために、交通標識の種類によって、交通標識ウィンドウ画像のサンプルの所定の積分チャンネル及び所定の特徴アルゴリズムを確定することができる。例えば速度制限などのような禁止類標識に対して、赤色チャンネルに対する説明を強化することができる。好ましくは、所定の積分チャンネルは、グレースケール画像チャネル、赤、緑、青モノクロ画像チャンネル、異なる角度パラメータの勾配画像チャンネル、及びエッジ検出画像チャンネルなどのうちの１項又は複数項を含んでもよく、及び所定の特徴アルゴリズムは、ハール特徴アルゴリズム、ローカルバイナリパターン特徴アルゴリズム、ヒストグラム特徴アルゴリズム及びランダムペア特徴アルゴリズムなどのうちの１項又は複数項を含んでもよい。陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するように、上記実施例における所定の積分チャンネルと所定の特徴アルゴリズムとを必要に応じて組み合わせてもよいことを、当業者が理解すべきである。

ステップ２０３において、陽性サンプル及び陰性サンプルと、陽性サンプル及び陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値とに基づいて、ｂｏｏｓｔｉｎｇアルゴリズムによって検出分類器モデルを訓練して、予め訓練された検出分類器モデルを取得する。

ここで、上記ステップ２０２において陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得した後に、ｂｏｏｓｔｉｎｇアルゴリズムによって検出分類器モデルを訓練することができ、それにより高い正確さの結果分類器を予め訓練された検出分類器モデルとして取得する。

以下、図３を参照して、上記実施例をもとにして確認しようとする交通標識ウィンドウ画像を取得する方法を説明する。

図３は本出願の実施例による確認しようとする交通標識ウィンドウ画像を取得する方法を示す例示的なフローチャートである。

図３に示すように、確認しようとする交通標識ウィンドウ画像を取得する方法３００は、以下のステップを含む。

ステップ３０１：全天球画像を連続的にダウンサンプリングして、画像ピラミッドを取得する。

ここで、全天球画像に対してピラミッド変換、例えばラプラスピラミッド変換などを行うことができ、全天球画像を元のサイズから異なるサイズに変換し、それにより多段画像を含む画像ピラミッドを取得する。

ステップ３０２：画像ピラミッドにより所定の積分チャンネルの積分画像で分割して得られた画像ピラミッドにおける各段画像のスキャンウィンドウ画像の積分画像を取得する。

上記ステップ３０１において画像ピラミッドが取得された後に、まず画像ピラミッドの各段画像を所定の積分チャンネルにおいて積分して、画像ピラミッドの積分画像を取得することができ、その後所定のサイズのウィンドウによって画像ピラミッドの積分画像を分割して、各段画像のスキャンウィンドウ画像の積分画像を取得する。

ステップ３０３：各段画像のスキャンウィンドウ画像の積分画像に基づいて、各段画像のスキャンウィンドウ画像の特徴値を取得する。

上記ステップ３０２において各段画像のスキャンウィンドウ画像の積分画像が取得された後に、各段画像のスキャンウィンドウ画像の積分画像に基づいて、各段画像のスキャンウィンドウ画像の積分画像で演算し、各段画像のスキャンウィンドウ画像の特徴値を迅速に取得することができる。

ステップ３０４：各段画像のスキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、各段画像のスキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得する。

上記ステップ３０３において各段画像のスキャンウィンドウ画像の特徴値が取得された後に、各段画像のスキャンウィンドウ画像の特徴値に基づいて、予め訓練された検出分類器モデルによって各段画像のスキャンウィンドウ画像を検出することができ、その中の交通標識と思われるウィンドウ画像を取得して確認しようとする交通標識ウィンドウ画像とし、それにより画像ピラミッドにおける全ての確認しようとする交通標識ウィンドウ画像を取得する。

本出願の上記実施例の確認しようとする交通標識ウィンドウ画像を取得する方法によれば、全天球画像においてピラミッド変換によって得られたピラミッド画像からスキャンウィンドウ画像を取得し、その後、確認しようとする交通標識ウィンドウ画像を取得するように、各段画像のスキャンウィンドウ画像を検出して、全天球画像において確認しようとする交通標識ウィンドウを欠落する可能性を減少するため、確認しようとする交通標識ウィンドウを取得する正確さを向上させる。また、積分画像を採用して各段画像のスキャンウィンドウ画像の特徴値を取得するため、特徴値の取得速度を向上させる。

以下、図４を参照して、予め訓練された畳み込みニューラルネットワークモデルを訓練する方法を説明する。

図４は、本出願の実施例による予め訓練された畳み込みニューラルネットワークモデルを訓練する方法を示す例示的なフローチャートである。

図４に示すように、予め訓練された畳み込みニューラルネットワークモデルを訓練する方法４００は、以下のステップを含む。

ステップ４０１：ガウス分布に従って、所定の畳み込みニューラルネットワークモデルの畳み込み層と全結合層の両者の重みを初期化し、所定の畳み込みニューラルネットワークモデルは順次に接続された畳み込み層、抽出層、全結合層及び正規化層を含む。

ここで、順次に接続された畳み込み層、抽出層、全結合層及び正規化層は、１つの畳み込み層、１つの抽出層、１つの全結合層及び１つの正規化層を含んでもよく、複数の畳み込み層及び畳み込み層に一対一対応した抽出層、１つの以上の全結合層及び１つの正規化層を含んでもよい。

ここで、設置された畳み込み層は、畳み込み演算によって、原信号特徴を強化して、且つ雑音を低減することができ、設置された抽出層は、画像局所相関性の原理を利用して、画像をサブサンプリングすることができ、データ処理量を減少するとともに有用な情報を保留する。

以下、図５を例として、所定の畳み込みニューラルネットワークモデルを説明する。

図５は本出願の実施例による所定の畳み込みニューラルネットワークモデルを示す例示的な構造図である。

図５に示すように、所定の畳み込みニューラルネットワークモデル５００は、順次に接続された畳み込み層ｃｏｎｖ１、抽出層ｐｏｏｌ１、畳み込み層ｃｏｎｖ２、抽出層ｐｏｏｌ２、畳み込み層ｃｏｎｖ３、抽出層ｐｏｏｌ３、全結合層ｆｃ１、全結合層ｆｃ２を含む。

ここで、ｃｏｎｖ１は１６個のサイズが５*５*３の畳み込みカーネルを有し、ｃｏｎｖ２は３２個のサイズが５*５*１６の畳み込みカーネルを有し、ｃｏｎｖ３は６４個のサイズが５*５*３２の畳み込みカーネルを有する。２つの全結合層はそれぞれ５１２と１２０個のニューロンを有する。

図４に戻し、ステップ４０２において、確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて、誤差逆伝搬ＢＰアルゴリズムによって畳み込み層と全結合層の両者の重みを反復する。

ここで、確認された交通標識ウィンドウ画像のサンプルは、確認しようとする交通標識ウィンドウ画像から抽出されたサンプルにおいて、受信された手動マーキングに基づいて確認した後の、交通標識を含むウィンドウ画像のサンプルである。

更に、確認された交通標識ウィンドウ画像のサンプルは、交通標識ウィンドウ画像が確認できたオリジナルサンプル、及び交通標識ウィンドウ画像が確認できたオリジナルサンプルに対して回転、並進及びスケーリングのうちの１項又は複数項の処理を行った後に所定のウィンドウサイズに正規化する画像を含んでもよい。サンプルを拡張することによって、サンプル認識の正確率を向上させることができる。

その後、ステップＳ４０３又はステップＳ４０４によって最適な重みの畳み込みニューラルネットワークモデルを確定することができる。

ステップＳ４０３：現在に反復された重みと前回に反復された重みとの差が所定の値より小さい場合に、現在に反復された重みを最適な重みとして確定する。

ステップＳ４０４：誤り率の最低の反復された重みが出現する場合に、誤り率の最低の反復された重みを最適な重みとして確定する。

ステップＳ４０５：最適な重みを含む畳み込みニューラルネットワークモデルを予め訓練された畳み込みニューラルネットワークモデルとする。

予め訓練された畳み込みニューラルネットワークモデルが訓練された後に、図１におけるステップ１３０においては、確認しようとする交通標識ウィンドウ画像を畳み込みニューラルネットワークモデルに入力して、正規化層によって出力された、重みが最大の交通標識種類を取得するステップと、重みが最大の交通標識種類を認識して得られた交通標識種類とするステップとを含んでもよい。

図６は本出願の実施例による交通標識を認識する装置を示す構造模式図である。

図６に示すように、前記交通標識を認識する装置６００は、特徴値取得モジュール６１０、交通標識検出モジュール６２０及び交通標識認識モジュール６３０を備えてもよい。

特徴値取得モジュール６１０は、全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得することに用いられる。

選択的に、特徴値取得モジュール６１０は、全天球画像により所定の積分チャンネルの積分画像で分割して得られたスキャンウィンドウ画像の積分画像を取得するための第１積分画像取得サブモジュール６１１と、スキャンウィンドウ画像の積分画像に基づいて、スキャンウィンドウ画像の特徴値を取得するための第１特徴値取得サブモジュール６１２と、を備えてもよい。

交通標識検出モジュール６２０は、スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得することに用いられ、ここで、予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られる。

交通標識認識モジュール６３０は、予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得することに用いられ、ここで、予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られる。

本出願の上記実施例の交通標識を認識する装置によれば、パノラマ画像に交通標識を検出して認識する正確さを向上させるとともに、道路網データの更新効率を向上させる。

選択的に、上記の予め訓練された検出分類器モデルは、以下のような方法によって取得されてもよく、即ち、スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルを取得し、陽性サンプルは交通標識のウィンドウ画像を含むか又は交通標識及びその周囲に所定の画素が拡張されたウィンドウ画像を含み、陰性サンプルは陽性サンプルを除外するスキャンウィンドウ画像を含み、陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得し、陽性サンプル及び陰性サンプルと、陽性サンプル及び陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値とに基づいて、ｂｏｏｓｔｉｎｇアルゴリズムによって検出分類器モデルを訓練して、予め訓練された検出分類器モデルを取得する。

上記の予め訓練された検出分類器モデルを取得する方法は、図７に示すような検出分類器モデル訓練装置によって実現できる。

図７は本出願の実施例による検出分類器モデル訓練装置の例示的な構造図を示す。

図７に示すように、検出分類器モデル訓練装置７００は、サンプル取得モジュール７０１、サンプル特徴値取得モジュール７０２及び検出モデル訓練モジュール７０３を備えてもよい。

サンプル取得モジュール７０１は、スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルを取得することに用いられ、ここで、陽性サンプルは交通標識のウィンドウ画像を含むか又は交通標識及びその周囲に所定の画素が拡張されたウィンドウ画像を含み、陰性サンプルは陽性サンプルを除外するスキャンウィンドウ画像を含む。

サンプル特徴値取得モジュール７０２は、陽性サンプルと陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得することに用いられる。

所定の積分チャンネルは、グレースケール画像チャネル、赤、緑、青モノクロ画像チャンネル、異なる角度パラメータの勾配画像チャンネル、及びエッジ検出画像チャンネルのうちの１項又は複数項を含み、及び所定の特徴アルゴリズムは、ハール特徴アルゴリズム、ローカルバイナリパターン特徴アルゴリズム、ヒストグラム特徴アルゴリズム及びランダムペア特徴アルゴリズムのうちの１項又は複数項を含む。

検出モデル訓練モジュール７０３は、陽性サンプル及び陰性サンプルと、陽性サンプル及び陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値とに基づいて、ｂｏｏｓｔｉｎｇアルゴリズムによって検出分類器モデルを訓練して、予め訓練された検出分類器モデルを取得することに用いられる。

以下、図８を参照して、上記実施例をもとにして、確認しようとする交通標識ウィンドウ画像を取得する装置を説明する。

図８は確認しようとする交通標識ウィンドウ画像を取得するための装置の例示的な構造図を示す。

図８に示すように、確認しようとする交通標識ウィンドウ画像を取得するための装置８００は、ダウンサンプリングサブモジュール８０１、第２積分画像取得サブモジュール８０２、第２特徴値取得サブモジュール８０３及び多段検出サブモジュール８０４を含んでもよい。

ダウンサンプリングサブモジュール８０１は、全天球画像を連続的にダウンサンプリングして、画像ピラミッドを取得することに用いられる。

第２積分画像取得サブモジュール８０２は、画像ピラミッドにより所定の積分チャンネルの積分画像で分割して得られた画像ピラミッドの中で各段画像のスキャンウィンドウ画像の積分画像を取得することに用いられる。

第２特徴値取得サブモジュール８０３は、各段画像のスキャンウィンドウ画像の積分画像に基づいて、各段画像のスキャンウィンドウ画像の特徴値を取得することに用いられる。

多段検出サブモジュール８０４は、各段画像のスキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、各段画像のスキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得することに用いられる。

本出願の実施例の上記した確認しようとする交通標識ウィンドウ画像を取得する装置によれば、更に確認しようとする交通標識ウィンドウ画像を取得する正確率を向上させるとともに確認しようとする交通標識ウィンドウ画像を検出する速度を向上させることができる。

選択的に、上記図６における予め訓練された畳み込みニューラルネットワークモデルは以下のような方法によって取得されてもよく、ガウス分布に従って、所定の畳み込みニューラルネットワークモデルの畳み込み層と全結合層の両者の重みを初期化し、ここで、前記所定の畳み込みニューラルネットワークモデルは順次に接続された畳み込み層、抽出層、全結合層及び正規化層を備え、確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて、誤差逆伝搬ＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みを反復し、現在に反復された重みと前回に反復された重みとの差が所定の値より小さい場合に、現在に反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとし、又は誤り率の最低の反復された重みが出現する場合に、誤り率の最低の反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとする。

確認された交通標識ウィンドウ画像のサンプルは、確認しようとする交通標識ウィンドウ画像から抽出されたサンプルにおいて、受信された手動マーキングに基づいて確認した後の、交通標識を含むウィンドウ画像のサンプルである。

更に、確認された交通標識ウィンドウ画像のサンプルは、交通標識ウィンドウ画像が確認できたオリジナルサンプル、及び交通標識ウィンドウ画像が確認できたオリジナルサンプルに対して回転、並進及びスケーリングのうちの１項又は複数項の処理を行った後に所定のウィンドウサイズに正規化する画像を含んでもよい。

ここで、順次に接続された畳み込み層、抽出層、全結合層及び正規化層は複数の畳み込み層及び畳み込み層に一対一対応した抽出層、１つの以上の全結合層及び１つの正規化層を備える。

更に、所定の畳み込みニューラルネットワークモデルは損失関数層を更に備えてもよい。

所定の畳み込みニューラルネットワークモデルに対応して損失関数層を更に含み、誤差逆伝搬ＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みを反復するステップにおいては、損失関数とＢＰアルゴリズムによって畳み込み層と全結合層の両者の重みをそれぞれ反復するステップを含んでもよい。

上記の予め訓練された畳み込みニューラルネットワークモデルを取得する方法は図９に示した予め訓練された畳み込みニューラルネットワークモデルを訓練する装置によって実現できる。

図９は本出願の実施例による予め訓練された畳み込みニューラルネットワークモデルを訓練するための装置を示す例示的な構造図である。

図９に示すように、予め訓練された畳み込みニューラルネットワークモデルを訓練するための装置９００は、以下のモジュールを備える。

初期化モジュール９０１は、ガウス分布に従って、所定の畳み込みニューラルネットワークモデルの畳み込み層と全結合層の両者の重みを初期化することに用いられ、ここで、所定の畳み込みニューラルネットワークモデルは順次に接続された畳み込み層、抽出層、全結合層及び正規化層を備える。

順次に接続された畳み込み層、抽出層、全結合層及び正規化層は複数の畳み込み層及び畳み込み層に一対一対応した抽出層、１つの以上の全結合層及び１つの正規化層を備える。

選択的に、所定の畳み込みニューラルネットワークモデルは損失関数層を更に備える。

重み反復モジュール９０２は、確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて、誤差逆伝搬ＢＰアルゴリズムによって畳み込み層と全結合層の両者の重みを反復することに用いられる。

第１最適な重み確定モジュール９０３は、現在に反復された重みと前回に反復された重みとの差が所定の値より小さい場合に、現在に反復された重みを最適な重みとして確定することに用いられる。

第２最適な重み確定モジュール９０４は、誤り率の最低の反復された重みが出現する場合に、誤り率の最低の反復された重みを最適な重みとして確定することに用いられる。

モデル設定モジュール９０５は、最適な重みを含む畳み込みニューラルネットワークモデルを予め訓練された畳み込みニューラルネットワークモデルとすることに用いられる。

所定の畳み込みニューラルネットワークモデルに対応して損失関数層を更に備え、重み確定モジュール９０２は更に損失関数とＢＰアルゴリズムによって畳み込み層と全結合層の両者の重みをそれぞれ反復することに用いられる。

予め訓練された畳み込みニューラルネットワークモデルを訓練するための装置９００によって予め訓練された畳み込みニューラルネットワークモデルが訓練された後に、図６における交通標識認識モジュール６３０は、確認しようとする交通標識ウィンドウ画像を畳み込みニューラルネットワークモデルに入力して、正規化層によって出力された、重みが最大の交通標識種類を取得するための最大重み認識モジュール（図示せず）、及び重みが最大の交通標識種類を認識して得られた交通標識類として設定する標識種類設定モジュール（図示せず）を備えてもよい。

装置６００に記載の各ユニットは図１を参照しながら説明した方法における各ステップに対応する。装置７００に記載の各ユニットは図２を参照しながら説明した方法における各ステップに対応する。装置８００に記載の各ユニットは図３を参照しながら説明した方法における各ステップに対応する。装置９００に記載の各ユニットは図４を参照しながら説明した方法における各ステップに対応することを理解すべきである。それにより、以上で交通標識を認識する方法に対して説明した操作及び特徴は同様に装置６００及びその中に含まれたユニットに適用し、以上で予め訓練された検出モデルを訓練する方法に対して説明した操作及び特徴は同様に装置７００及びその中に含まれたユニットに適用し、以上で確認しようとする交通標識ウィンドウ画像を取得する方法に対して説明した操作及び特徴は同様に装置８００及びその中に含まれたユニットに適用し、以上で予め訓練された畳み込みニューラルネットワークモデルを訓練する方法に対して説明した操作及び特徴は同様に装置９００及びその中に含まれたユニットに適用するので、ここで省略する。本出願の実施例の案を実現するように、装置６００、７００、８００及び９００における対応するユニットを端末機器及び／又はサーバーにおけるユニットに互いに合わせてもよい。

本発明の実施例に記載されたモジュールは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたモジュールは、プロセッサに設定されてもよく、例えば、「特徴値取得モジュール、検出モジュール、及び認識モジュールを備えるプロセッサ」として記載されてもよい。その中でも、これらのモジュールの名称は、ある場合において当該モジュールその自体を限定するものではなく、例えば、特徴値取得モジュールは、「全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するためのモジュール」として記載されてもよい。

図１０は本出願の実施例によるコンピュータシステムを示す構造模式図である。

本出願の実施例の機器に適用されるコンピュータシステム１０００の構造模式図である図１０を参照する。

図１０に示すように、コンピュータシステム１０００は、読み出し専用メモリ（ＲＯＭ）１００２に記憶されているプログラム又は記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたプログラムに基づいて様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）１００１を備える。ＲＯＭ１００２に記憶されているプログラム又は記憶部１００８からＲＡＭ１００３にロードされたプログラムがＣＰＵ１００１により実行される場合に、ＣＰＵ１００１が本出願に記載されている方法を実施する。ＲＡＭ１００３には、システム１０００の操作に必要な様々なプログラム及びデータがさらに記憶されている。ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、バス１００４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース１００５もバス１００４に接続されている。

キーボード、マウスなどを含む入力部１００６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む出力部１００７、ハードディスクなどを含む記憶部１００８、及びＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部１００９は、Ｉ／Ｏインターフェース１００５に接続されている。通信部１００９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ１０１０は、必要に応じてＩ／Ｏインターフェース１００５に接続される。リムーバブルメディア１０１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ１０１０に取り付けられ、したがって、ドライバ１０１０から読み出されたコンピュータプログラムが必要に応じて記憶部１００８にインストールされる。

特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部１００９を介してネットワークからダウンロードされてインストールされてもよく、及び／又はリムーバブルメディア１０１１からインストールされてもよい。

図面におけるフローチャート及びブロック図は、本発明の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各枠は、１つのモジュール、プログラムセグメント、又はコードの一部を代表してもよく、前記モジュール、プログラムセグメント、又はコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図及び／又はフローチャートにおける各枠と、ブロック図及び／又はフローチャートにおける枠の組合せは、規定された機能又は操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。

一方、本発明は、コンピュータ読み取り可能な記憶媒体をさらに提供し、当該コンピュータ読み取り可能な記憶媒体は、上記実施例の前記装置に含まれるコンピュータ読み取り可能な記憶媒体であってもよく、独立に存在して端末に組み立てられていないコンピュータ読み取り可能な記憶媒体であってもよい。前記コンピュータ読み取り可能な記憶媒体には、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つ以上のプロセッサで本出願に記載されている交通標識を認識する方法を実行するために用いられている。

以上の記載は、本発明の好ましい実施例、及び使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴又は同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。

Claims

全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するステップと、
前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するステップと、
予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得するステップと、を含んでおり、
ここで、前記予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られて、前記予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られており、
以下のような方法によって前記予め訓練された検出分類器モデルを取得し、即ち、
スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルを取得し、ここで、前記陽性サンプルは交通標識のウィンドウ画像を含むか又は交通標識及びその周囲に所定の画素が拡張されたウィンドウ画像を含み、前記陰性サンプルは前記陽性サンプルを除外するスキャンウィンドウ画像を含み、
前記陽性サンプルと前記陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得し、
前記陽性サンプル及び前記陰性サンプルと、前記陽性サンプル及び前記陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値とに基づいて、ｂｏｏｓｔｉｎｇアルゴリズムよって検出分類器モデルを訓練して、前記予め訓練された検出分類器モデルを取得する
ことを特徴とする交通標識を認識する方法。
前記の全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルに所定の特徴アルゴリズムによって得られた特徴値を取得するステップにおいては、
全天球画像により所定の積分チャンネルの積分画像で分割して得られたスキャンウィンドウ画像の積分画像を取得するステップと、
前記スキャンウィンドウ画像の積分画像に基づいて、前記スキャンウィンドウ画像の特徴値を取得するステップと、を含む
ことを特徴とする請求項１に記載の方法。
前記の全天球画像により所定の積分チャンネルの積分画像で分割して得られたスキャンウィンドウ画像の積分画像を取得するステップにおいては、前記全天球画像を連続的にダウンサンプリングして、画像ピラミッドを取得するステップと、画像ピラミッドにより所定の積分チャンネルの積分画像で分割して得られた画像ピラミッドにおける各段画像のスキャンウィンドウ画像の積分画像を取得するステップと、を含み、
前記の前記スキャンウィンドウ画像の積分画像に基づいて、前記スキャンウィンドウ画像の特徴値を取得するステップにおいては、前記各段画像のスキャンウィンドウ画像の積分画像に基づいて、各段画像のスキャンウィンドウ画像の特徴値を取得するステップを含み、及び
前記の前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するステップにおいては、前記各段画像のスキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、前記各段画像のスキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するステップを含む
ことを特徴とする請求項２に記載の方法。
以下のような方法によって前記予め訓練された畳み込みニューラルネットワークモデルを取得し、即ち、
ガウス分布に従って、所定の畳み込みニューラルネットワークモデルの畳み込み層と全結合層の両者の重みを初期化し、前記所定の畳み込みニューラルネットワークモデルは順次に接続された畳み込み層、抽出層、全結合層及び正規化層を備え、
確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて、誤差逆伝搬ＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みを反復し、現在に反復された重みと前回に反復された重みとの差が所定の値より小さい場合に、現在に反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとし、又は誤り率の最低の反復された重みが出現する場合に、誤り率の最低の反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとする
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
前記所定の畳み込みニューラルネットワークモデルは損失関数層を更に備え、及び
前記の誤差逆伝搬ＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みを反復するステップにおいては、損失関数とＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みをそれぞれ反復するステップ含む
ことを特徴とする請求項４に記載の方法。
前記の予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得するステップにおいては、
前記確認しようとする交通標識ウィンドウ画像を前記畳み込みニューラルネットワークモデルに入力して、正規化層によって出力された、重みが最大の交通標識種類を取得するステップと
前記重みが最大の交通標識種類を認識して得られた交通標識類として設定するステップと、を含む
ことを特徴とする請求項４に記載の方法。
全天球画像により分割して得られたスキャンウィンドウ画像の、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得するための特徴値取得モジュールと、
前記スキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、スキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するための交通標識検出モジュールと、
予め訓練された畳み込みニューラルネットワークモデルに基づいて、確認しようとする交通標識ウィンドウ画像を認識して、交通標識種類を取得するための交通標識認識モジュールと、を備えており、
ここで、前記予め訓練された検出分類器モデルはスキャンウィンドウ画像のサンプル及びその特徴値に基づいて訓練して得られ、前記予め訓練された畳み込みニューラルネットワークモデルは確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて訓練して得られており、
前記予め訓練された検出分類器モデルは以下のような方法によって取得し、即ち
スキャンウィンドウ画像のサンプルにおける陽性サンプルと陰性サンプルを取得し、ここで、前記陽性サンプルは交通標識のウィンドウ画像を含むか又は交通標識及びその周囲に所定の画素が拡張されたウィンドウ画像を含み、前記陰性サンプルは前記陽性サンプルを除外するスキャンウィンドウ画像を含み、
前記陽性サンプルと前記陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値を取得し、
前記陽性サンプル及び前記陰性サンプルと、前記陽性サンプル及び前記陰性サンプルの、所定の積分チャンネルにおいて所定の特徴アルゴリズムによって得られた特徴値とに基づいて、ｂｏｏｓｔｉｎｇアルゴリズムよって検出分類器モデルを訓練して、前記予め訓練された検出分類器モデルを取得する
ことを特徴とする交通標識を認識する装置。
前記特徴値取得モジュールは、
全天球画像により所定の積分チャンネルの積分画像で分割して得られたスキャンウィンドウ画像の積分画像を取得するための第１積分画像取得サブモジュールと、
前記スキャンウィンドウ画像の積分画像に基づいて、前記スキャンウィンドウ画像の特徴値を取得するための第１特徴値取得サブモジュールと、を備えること
を特徴とする請求項７に記載の装置。
前記第１積分画像取得サブモジュールは、前記全天球画像を連続的にダウンサンプリングして、画像ピラミッドを取得するためのダウンサンプリングサブモジュールと、画像ピラミッドにより所定の積分チャンネルの積分画像で分割して得られた画像ピラミッドにおける各段画像のスキャンウィンドウ画像の積分画像を取得するための第２積分画像取得サブモジュールと、を備え、
前記第１特徴値取得サブモジュールは、前記各段画像のスキャンウィンドウ画像の積分画像に基づいて、各段画像のスキャンウィンドウ画像の特徴値を取得するための第２特徴値取得サブモジュールを備え、
前記検出モジュールは、前記各段画像のスキャンウィンドウ画像の特徴値と予め訓練された検出分類器モデルとに基づいて、前記各段画像のスキャンウィンドウ画像を検出して、確認しようとする交通標識ウィンドウ画像を取得するための多段検出サブモジュールを備える
ことを特徴とする請求項８に記載の装置。
前記予め訓練された畳み込みニューラルネットワークモデルは以下のような方法によって取得し、即ち、
ガウス分布に従って、所定の畳み込みニューラルネットワークモデルの畳み込み層と全結合層の両者の重みを初期化し、前記所定の畳み込みニューラルネットワークモデルは順次に接続された畳み込み層、抽出層、全結合層及び正規化層を備え、
確認された交通標識ウィンドウ画像のサンプル及びその交通標識種類に基づいて、誤差逆伝搬ＢＰアルゴリズムによって前記畳み込み層と前記全結合層の両者の重みを反復し、現在に反復された重みと前回に反復された重みとの差が所定の値より小さい場合に、現在に反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとし、又は誤り率の最低の反復された重みが出現する場合に、誤り率の最低の反復された重みを最適な重みとして確定し、最適な重みを含む畳み込みニューラルネットワークモデルを前記予め訓練された畳み込みニューラルネットワークモデルとする
ことを特徴とする請求項７〜９のいずれか１項に記載の装置。
前記所定の畳み込みニューラルネットワークモデルは損失関数層を更に備え、
前記重み確定モジュールは更に損失関数とＢＰアルゴリズムとによって前記畳み込み層と前記全結合層の両者の重みをそれぞれ反復することに用いられる
ことを特徴とする請求項１０に記載の装置。
前記交通標識認識モジュールは、
前記確認しようとする交通標識ウィンドウ画像を前記畳み込みニューラルネットワークモデルに入力して、正規化層によって出力された、重みが最大の交通標識種類を取得するための最大重み認識モジュールと、
前記重みが最大の交通標識種類を認識して得られた交通標識類として設定するための標識種類設定モジュールと、を備える
ことを特徴とする請求項１０に記載の装置。
プロセッサ、及び
メモリを備え、
前記メモリに前記プロセッサによって実行可能なコンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が実行される際に、前記プロセッサは請求
項１〜６のいずれか１項に記載の方法を実行する
ことを特徴とする機器。
プロセッサによって実行可能なコンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令がプロセッサによって実行される際に、前記プロセッサは請求項１〜６のいずれか１項に記載の方法を実行する
ことを特徴とする不揮発性コンピュータ記憶媒体。