JP7111827B2 - 交通信号灯検出方法、インテリジェントドライブ方法及び装置、車両並びに電子機器 - Google Patents

Description

＜関連出願の相互参照＞
本願は、２０１８年６月２９日に中国特許局に提出された、出願番号ＣＮ２０１８１０６９７６８３．９、発明の名称「交通信号灯検出方法、インテリジェントドライブ方法及び装置、車両並びに電子機器」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示は、コンピュータビジョン技術に関し、特に、交通信号灯検出方法、インテリジェントドライブ方法及び装置、車両並びに電子機器に関する。

交通信号灯の検出及びその状態判定は、インテリジェントドライブの分野での重要な課題です。交通信号灯は重要な交通信号であって、現代交通システムにおける代替不可能な作用を有する。交通信号灯の検出及びその状態判定は、自動運転中に車両の停止または進行を指示して車両の安全的な走行を保証することができる。

本開示の実施形態には、交通信号灯検出及びインテリジェントドライブの技術を提供する。

本開示の実施形態の一態様には、交通信号灯検出方法を提供し、検出ネットワークは、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークを含み、
前記交通信号灯検出方法は、
交通信号灯を含むビデオストリームを取得し、
前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、
前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定することを含む。

本開示の実施形態の別の態様には、インテリジェントドライブ方法を提供し、
前記インテリジェントドライブ方法は、車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得し、
前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、
前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定し、
前記画像における交通信号灯の少なくとも２種の属性に基づいて前記交通信号灯の状態を決定し、
前記交通信号灯の状態により前記車両に対してインテリジェント制御を実行することを含む。

本開示の実施形態の更に別の態様には、交通信号灯検出装置を提供し、
前記交通信号灯検出装置は、ビデオストリーム取得ユニットと、領域決定ユニットと、属性認識ユニットとを含み、
前記ビデオストリーム取得ユニットは、交通信号灯を含むビデオストリームを取得するために用いられ、
前記領域決定ユニットは、前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定するために用いられ、
前記属性認識ユニットは、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定するために用いられる。

本開示の実施形態のまた１つの態様には、インテリジェントドライブ装置を提供し、
前記インテリジェントドライブ装置は、ビデオストリーム取得ユニットと、領域決定ユニットと、属性認識ユニットと、状態決定ユニットと、インテリジェント制御ユニットとを含み、
前記ビデオストリーム取得ユニットは、車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得するために用いられ、
前記領域決定ユニットは、前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定するために用いられ、
前記属性認識ユニットは、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定するために用いられ、
前記状態決定ユニットは、前記画像における交通信号灯の少なくとも２種の属性に基づいて前記交通信号灯の状態を決定するために用いられ、
前記インテリジェント制御ユニットは、前記交通信号灯の状態により前記車両に対してインテリジェント制御を実行するために用いられる。

本開示の実施形態の更にまた１つの態様には、以上のいずれか一項に記載の交通信号灯検出装置又は以上のいずれか一項に記載のインテリジェントドライブ装置を含む車両を提供する。

本開示の実施形態の更にまた１つの態様には、プロセッサを含む電子機器を提供し、前記プロセッサは、以上のいずれか一項に記載の交通信号灯検出装置又は以上のいずれか一項に記載のインテリジェントドライブ装置を含む。

本開示の実施形態の別の態様には、メモリと、プロセッサとを含む電子機器を提供し、前記メモリは、実行可能コマンドを記憶するために用いられ、前記プロセッサは、前記メモリと通信して前記実行可能コマンドを実行して以上のいずれか一項に記載の交通信号灯検出方法の操作を完成するか、又は以上のいずれか一項に記載のインテリジェントドライブ方法の操作を完成するために用いられる。

本開示の実施形態の更に別の態様には、コンピュータ読取可能コマンドを記憶するためのコンピュータ読取可能記憶媒体を提供し、前記コンピュータ読取可能コマンドが機器で実行されると、前記機器のプロセッサは、以上のいずれか一項に記載の交通信号灯検出方法又は以上のいずれか一項に記載のインテリジェントドライブ方法の操作を実行するためのコマンドを実行する。

本開示の実施形態の別の態様には、コンピュータ可読コードを含むコンピュータプログラム製品を提供し、前記コンピュータ可読コードが機器上で実行されると、前記機器中のプロセッサは以上のいずれか一項に記載の交通信号灯検出方法又は以上のいずれか一項に記載のインテリジェントドライブ方法を実現するためのコマンドを実行する。

本開示の上記実施形態で提供された交通信号灯検出方法、インテリジェントドライブ方法及び装置、車両並びに電子機器によれば、交通信号灯を含むビデオストリームを取得し、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定し、交通信号灯の少なくとも２種の属性を取得することにより信号灯の多種の情報の認識を実現する。これにより、認識時間が少なくなり、交通信号灯の認識の正確率が高められる。

以下、図面及び実施形態を通じて本開示の技術的手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本発明の実施形態を説明し、その説明と共に本発明の原理を解釈することに用いられる。
図面を参照し、以下の詳細な説明により本発明をより明瞭に理解することができる。
本開示により提供された交通信号灯検出方法のフローチャートである。 本開示により提供された交通信号灯検出装置の構造模式図である。 本開示により提供されたインテリジェントドライブ方法のフローチャートである。 本開示により提供されたインテリジェントドライブ装置の構造模式図である。 本開示の実施形態の端末装置又はサーバを実現するのに適する電子機器の構造模式図である。

ここで、図面を参照しながら本発明の様々な例示的な実施形態を詳細に説明する。なお、特に断らない限り、これらの実施形態で記述した部材及びステップの相対的配置、数式及び値は本発明の範囲を限定するものではないことに注意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施形態に対する説明は、実際に単なる例示に過ぎず、本発明及びその適用または使用を何ら限定するものではない。

関連分野の当業者に既知の技術、方法及び機器は、詳細に説明されない場合があるが、適切な場合によって、前記技術、方法及び機器は明細書の一部と見なされるべきである。

なお、類似する符号及び英文字は以下の図面における類似項目を表し、従って、ある一項が一つの図面における定義されれば、以降の図面におけるそれをさらに説明する必要がないことに注意すべきである。

本発明の実施形態はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作することができる。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境における記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境における実施でき、分散型クラウドコンピューティング環境における、タスクは通信ネットワークを介してリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境における、プログラムモジュールは記憶機器を含むローカル計算システムまたは遠隔計算システムの記憶媒体に存在してもよい。

図１は本開示により提供された交通信号灯検出方法のフローチャートである。この方法は、例えば端末装置、サーバ、携帯機器、車載機器等の任意の電子機器により実行することができる。図１に示すように、この実施形態の方法は、以下のステップを含む。

ステップ１１０で、交通信号灯を含むビデオストリームを取得する。

あるいは、交通信号灯の認識は、一般的には車両走行中記録される車載ビデオに基づいて、車載ビデオを解析して少なくとも１つのフレームの画像を含むビデオストリームを取得する。例えば、車両に取り付けられた撮影装置により車両進行方向又は周囲環境を撮影することができる。車両進行方向又は周囲環境に交通信号灯が存在する場合、撮影装置により撮影されることが、撮影したビデオストリームが交通信号灯を含むビデオストリームとなる。このビデオストリームのフレームごとの画像は交通信号灯の画像を含んでもよいし、または少なくとも１つのフレームの画像は交通信号灯の画像を含んでもよい。

任意の一例では、このステップ１１０はプロセッサによりメモリに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサにより作動するビデオストリーム取得ユニット２１によって実行されてもよい。

ステップ１２０で、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する。

あるいは、ビデオストリームにおける交通信号灯を含む画像から候補領域を決定し、この候補領域は、画像に交通信号灯を含む可能性がある領域を指す。

交通信号灯の領域の検出は、ニューラルネットワーク又は他の種類の検出モデルに基づいて実行することができる。

１つ又は複数の任意の実施形態では、領域に基づく完全畳み込みネットワークを用いて、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する。領域に基づく完全畳み込みネットワーク（ｒｅｇｉｏｎ－ｂａｓｅｄ、ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ、Ｒ－ＦＣＮ）により信号画像を検出して交通信号灯を含む可能性がある候補領域を取得し、Ｒ－ＦＣＮは高速畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ）を改良したものと見なしてよく、検出速度がＦａｓｔｅｒ ＲＣＮＮと比べて速くなった。

任意の一例では、このステップ１２０はプロセッサによりメモリに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサにより作動する領域決定ユニット２２によって実行されてもよい。

ステップ１３０で、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定する。

交通信号灯の属性は、交通信号灯を記述するためのものであり、実際の要求に応じて定義してよく、例えば、交通信号灯の絶対位置又は相対位置を記述するための位置領域属性、交通信号灯の色（例えば、赤、緑、黄等）を記述するための属性、交通信号灯の形状（例えば、円形、直線矢印、折り線矢印等）を記述するための属性、及び交通信号灯の他の方面を記述するための他の属性等を含んでよい。

あるいは、交通信号灯の少なくとも２種の属性は、位置領域、色及び形状の任意の２種又は２種以上を含む。

あるいは、交通信号灯の色は赤、黄、緑という３種を含み、形状は矢印、円形又は他の形状等を含み、異なる形状の交通信号灯は、その位置のみを認識する場合、信号を精度よく認識できない可能性があるので、本実施形態では、位置領域、色及び形状の少なくとも２種を認識することにより、例えば、交通信号灯の位置領域と色を決定する場合に、現在の交通信号灯が画像のどの位置にあるか（車両のどの方向に対応するか）を決定でき、色により交通信号灯が表示する状態を決定でき（赤、緑又は黄がそれぞれ異なる状態に対応し）、交通信号灯の異なる状態の認識により運転支援又は自動運転を実現でき、また、交通信号灯の位置領域と形状を決定する場合に、現在の交通信号灯が画像のどの位置にあるか（車両のどの方向に対応するか）を決定でき、形状により交通信号灯が表示する状態を決定でき（例えば、異なる方向を指す矢印は異なる状態を示し、又は異なる形状の人体アイコンは異なる状態を示す）、また、交通信号灯の色と形状を決定する場合に、色と形状の両方を基に現在の交通信号灯の状態を決定でき（例えば、左方向を指す緑矢印は左折通行を示し、前を指す赤矢印は前方通行禁止を示す）、また、交通信号灯の位置領域、色及び形状を決定する場合に、交通信号灯が画像のどの位置にあるかを分かった上で、色と形状の両方を基に現在の交通信号灯の状態を決定でき、本実施形態では、これらの３種の属性のうちの２種又は２種以上を組み合わせることにより、交通信号灯の属性特徴を更に明らかにすることができ、検出、認識等の処理の効果が高められることに有利である。

任意の一例では、このステップ１３０はプロセッサによりメモリに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサにより作動する属性認識ユニット２３によって実行されてもよい。

本開示の上記実施形態で提供された交通信号灯検出方法によれば、交通信号灯を含むビデオストリームを取得し、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定し、交通信号灯の少なくとも２種の属性を取得することにより信号灯の多種の情報の認識を実現する。認識時間が少なくなり、交通信号灯の認識の正確率が高められる。

交通信号灯の少なくとも２種の属性の決定は、ニューラルネットワーク又は他の種類の認識モデルに基づいて実行することができる。１つ又は複数の任意の実施形態では、操作１３０は、マルチタスク認識ネットワークを用いて、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定するステップを含んでよい。

本実施形態では、１つのネットワークにより交通信号灯の少なくとも２種の属性の認識を実現する。それぞれ少なくとも２つのネットワークに基づいて少なくとも２種の属性を認識する場合と比べて、ネットワークの大きさが小さくなり、交通信号灯の属性認識の効率が高められる。

マルチタスク認識ネットワークにより交通信号灯を含む可能性がある候補領域を認識する認識プロセスは、特徴抽出と属性認識という２つの部分を含んでよく、この２部分の機能を実現するために、マルチタスク認識ネットワークは、特徴抽出ブランチと、それぞれ特徴抽出ブランチに接続される少なくとも２つのタスクブランチとを含んでよく、異なるタスクブランチは、交通信号灯の様々の属性を決定するために用いられる。

すべての属性認識タスクは、いずれも候補領域に対して特徴抽出を実行する必要があり、本実施形態では、特徴抽出ブランチをそれぞれ少なくとも２つのタスクブランチに接続して、少なくとも２つのタスクブランチの特徴抽出操作を同じ特徴抽出ブランチで合わせて実行することにより、少なくとも２つのタスクブランチのそれぞれについての特徴抽出が必要とされなく、マルチタスク認識ネットワークの構造が縮減され、属性認識の速度が速くなった。

あるいは、少なくとも２種の属性を取得することは、
特徴抽出ブランチに基づいて候補領域に対して特徴抽出を実行して候補特徴を取得し、
それぞれ少なくとも２つのタスクブランチに基づいて候補特徴を処理して画像における交通信号灯の少なくとも２種の属性を取得することを含んでよい。

あるいは、特徴抽出ブランチは、少なくとも１層の畳み込み層を含んでよく、候補領域を入力画像として、特徴抽出ブランチにより候補領域に対して特徴抽出を実行して候補領域の候補特徴（特徴マップ又は特徴ベクトル）を取得し、この候補特徴に基づいて、少なくとも２つのタスクブランチにより交通信号灯の位置と色、又は交通信号灯の位置と形状、又は交通信号灯の色と形状を取得することができる。より良い効果の実施形態では、マルチタスクブランチにより信号灯の色、位置及び形状が同時に取得され、信号灯位置を検出すると共に、信号灯の色により現在の信号灯状態を認識することが実現される。これは、自動運転分野に好適に適用することができ、信号灯形状の認識により信号灯認識の正確率が高められることができる。

あるいは、少なくとも２つのタスクブランチは、検出ブランチ、認識ブランチ及び分類ブランチを含むが、それらに限定されなく、この方法は、
それぞれ少なくとも２つのタスクブランチに基づいて候補特徴を処理して画像における交通信号灯の少なくとも２種の属性を取得し、
検出ブランチにより候補特徴に対して位置検出を実行して交通信号灯の位置領域を決定し、
分類ブランチにより候補特徴に対して色の分類を実行して、交通信号灯の所在する位置領域の色を決定して、交通信号灯の色を決定し、
認識ブランチにより候補特徴に対して形状認識を実行して、交通信号灯の所在する位置領域の形状を決定して、交通信号灯の形状を決定することを含む。

本実施形態では、異なるブランチにより交通信号灯の位置領域、色、形状の任意２種又は３種の属性の認識を同時に実現することにより、マルチタスク認識の時間が節約され、検出ネットワークの大きさが縮小され、マルチタスク認識ネットワークがトレーニングと応用プロセスですべて速くなる。先に交通信号灯の位置領域を取得する場合に、交通信号灯の色と形状をより速く得ることができ、信号灯の色が通常３種（赤、緑及び黄）しかないので、色の認識はトレーニングされた分類ブランチ（一般マルチタスク認識ネットワークの畳み込み層以外の他のネットワーク層）を用いて実現することができる。

実際のシーンでの交通信号灯検出及びその状態判定が非常に困難となっており、まず、光照射、天気等の環境因子に影響されて、交通信号灯の色判定が非常に困難となっており、また、複雑な現実的シーンにおける例えば、車両のライト、街灯等の多くの類似的な妨害要素が存在して交通信号灯の検出に影響を及ぼす。本開示の上記実施形態に基づいて、交通信号灯の位置領域、色、形状の２種以上を同時に検出することにより、検出時間が節約され、検出の正確度が高められる。

１つ又は複数の任意の実施形態では、ステップ１２０の前に、この方法は、
ビデオストリームの少なくとも１つのフレームの画像に対してキーポイント認識を実行して、画像における交通信号灯のキーポイントを決定し、
ビデオストリームの交通信号灯のキーポイントを追跡して追跡結果を取得し、
追跡結果に基づいて交通信号灯の位置領域を調整することを更に含んでもよい。

ビデオストリームの連続したフレームの間に存在する差異が小さいことがあり、少なくとも１つのフレームの画像における交通信号灯の候補領域のみに基づいて交通信号灯の位置認識を実行する場合に、連続したフレーム中の位置領域を同様の位置領域と認識して、認識された位置領域が不精確になる可能性がある。本実施形態では、画像に対してキーポイント認識を実行し、キーポイントに基づいて交通信号灯の画像における位置領域を決定し、このキーポイントの位置領域に基づいてマルチタスク認識ネットワークが取得した交通信号灯の位置を調整することにより、位置領域認識の正確率が高められる。

キーポイント認識及び／又は追跡は、従来技術におけるキーポイント認識及び／又は追跡を実現する可能な任意の技術に基づいて実現することができる。あるいは、静的キーポイント追跡技術に基づいてビデオストリームの交通信号灯のキーポイントの追跡を実現することで、ビデオストリームにおける交通信号灯のキーポイントが存在する可能な領域を取得する。

検出ブランチにより取得される交通信号灯の位置領域には、連続した画像の間の微細の差と閾値の選択によってはあるフレームの検出漏れが発生しやすく、静的キーポイント追跡技術を利用することにより、検出ネットワークによる車載ビデオの検出効果が高められる。

画像の特徴点は、画像における比較的著しい点、例えば角点、暗い領域における輝点等と簡単に理解できる。まず特徴検出と記述（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ、ＯＲＢ）特徴点を認識し、ＯＲＢ特徴点は特徴点の周囲の画像の階調値に基づいて定義され、検出する時に、候補特徴点の周囲の一回りの画素値を考慮し、候補点の周囲領域に、十分な画素点と候補特徴点の間の階調値の差が所定値に達した場合、この候補点が１つのキー特徴点見なされる。本実施形態では、交通信号灯のキーポイントを認識するので、キーポイントが交通信号灯のキーポイントであり、この交通信号灯のキーポイントによりビデオストリームでの交通信号灯の静的追跡を実現する。交通信号灯は、通常、画像内の1つの画素点を占用するだけでなく、即ち、本実施形態では、取得される交通信号灯のキーポイントは少なくとも１つの画素点を含み、交通信号灯のキーポイントが１つの位置領域に対応すると理解してもよい。

あるいは、ビデオストリームの交通信号灯のキーポイントを追跡することは、
連続した２つのフレームの画像における交通信号灯のキーポイントの間の距離を基礎とし、
交通信号灯のキーポイントの間の距離に基づいてビデオストリームの交通信号灯のキーポイントを追跡することを含む。

本実施形態では、いわゆる連続した２つのフレームは、ビデオストリームにおけるタイミングが連続した２つの収集フレームであってもよく、ビデオストリームにおけるタイミングが連続した２つの検出フレームであってもよく（ビデオストリームにおけるフレームごとに検出することも可能であって、サンプリングして検出することも可能であるので、検出フレームと収集フレームの両方の意味は完全に同様であるというわけではない）、ビデオストリームにおける複数の連続した２つのフレームの画像の交通信号灯のキーポイントを関連付けることにより、ビデオストリームにおける交通信号灯のキーポイントを追跡することを実現することができ、追跡結果に基づいてビデオストリームの少なくとも１つのフレームの画像に対して位置領域の調整を実行することができる。あるいは、交通信号灯のキーポイントの間のハミング距離、ユークリッド距離、結合ベイズ距離又はコサイン距離等に基づいて、ビデオストリームにおける交通信号灯のキーポイントを追跡することを実現することができる。本実施には、具体的に交通信号灯のキーポイントの間のどのような距離を限定するものではない。

ここで、ハミング距離はデータ伝送誤り制御コードに用いられるものであり、ハミング距離は概念であり、（等しい文字数を持つ）２つの文字列の中で、対応する位置にある異なった文字の個数を示し、２つの文字列に対して排他的論理和演算を実行して結果が１である個数を計測してこの個数がハミング距離となり、２つの画像の間のハミング距離は２つの画像の間の異なったデータビットの数である。２つのフレームの信号画像における少なくとも１つの交通信号灯のキーポイントの間のハミング距離に基づいて２つの信号画像の間で信号灯が移動する距離を知ることができ、即ち交通信号灯のキーポイントの追跡を実現することができる。

あるいは、交通信号灯のキーポイントの間の距離に基づいてビデオストリームの交通信号灯のキーポイントを追跡することは、
交通信号灯のキーポイントの間の距離に基づいて、連続した２つのフレームの画像における同じ交通信号灯のキーポイントの位置領域を決定し、
同じ交通信号灯のキーポイントが連続した２つのフレームの画像に所在する位置領域により、ビデオストリームにおける交通信号灯のキーポイントを追跡することを含む。

交通信号灯は、一般的には単独して現れるものではなく、且つ画像における１つのキーポイントにより表示することができないため、画像に少なくとも１つの交通信号灯のキーポイントを含み、異なる交通信号灯（例えば、同じ画像における進行交通信号灯、左折交通信号灯同時に表示することができる）についてはそれぞれ追跡する必要がある。本実施形態では、同じ交通信号灯のキーポイントに基づいて連続したフレームにおける追跡することにより、異なる交通信号灯の追跡が混乱に陥るという問題が克服される。

あるいは、連続した２つのフレームの画像における同じ交通信号灯のキーポイントの位置領域の決定は、少なくとも１つの交通信号灯のキーポイントの間のハミング距離のより小さい値（例えば、最小値）に基づいて実行することができる。

例えば、力まかせ（Ｂｒｕｔｅ Ｆｏｒｃｅ）アルゴリズムにより前後の２つのフレームにおける画像の座標系のハミング距離の小さい特徴点（交通信号灯のキーポイント）記述子をマッチングし、即ち交通信号灯のキーポイントペアごとにその特徴記述子の距離を計算し、距離がより小さい（例えば、最も小さい）交通信号灯のキーポイントに基づいて前後のフレーム中のＯＲＢ特徴点のマッチングを実現することにより、静的特徴点の追跡を実現することができる。また、交通信号灯のキーポイントのピクチャの座標系が信号灯の候補領域内にあるので、この交通信号灯のキーポイントが信号灯検出の静的キーポイントであると判定される。力まかせ（Ｂｒｕｔｅ Ｆｏｒｃｅ）アルゴリズムは、一般的なパターンマッチングアルゴリズムであり、Ｂｒｕｔｅ Ｆｏｒｃｅアルゴリズムの構想は、目標文字列Ｓの１番目の文字とパターン文字列Ｔの１番目の文字をマッチングする。これらが等しい場合は、Ｓの２番目の文字とＴの２番目の文字を比較し続け、等しくない場合、Ｓの２番目の文字とＴの１番目の文字を比較し、最後のマッチング結果が取得されるまでそれらを順番に比較する。Ｂｒｕｔｅ Ｆｏｒｃｅアルゴリズムは力まかせアルゴリズムである。

１つ又は複数の任意の実施形態では、追跡結果に基づいて信号灯の位置領域を調整することは、
追跡結果と信号灯の位置領域とが重なり合うか否かを比較して比較結果を取得し、
比較結果に基づいて信号灯の位置領域を調整することを含む。

追跡結果に基づいて信号灯の位置領域を調整した後、信号灯の位置領域がより安定的になり、ビデオシーンへの応用にさらに適するようになった。

本実施形態では、追跡結果に基づいてビデオストリームの少なくとも１つのフレームの画像における交通信号灯のキーポイントに対応する位置領域を決定し、追跡結果中の位置領域と信号灯の位置領域とが重なり合う部分が信号灯の位置領域に占める割合は設定された割合を超えた場合に、追跡結果と信号灯の位置領域とが重なり合うことを決定し、そうでない場合、追跡結果と信号灯の位置領域とが重なり合わないことを決定する。

あるいは、比較結果に基づいて信号灯の位置領域を調整することは、
交通信号灯のキーポイントに対応する位置領域と信号灯の位置領域とが重なり合わないことに応答して、信号灯の位置領域を交通信号灯のキーポイントに対応する位置領域に置換することを含む。

信号画像における交通信号灯のキーポイントに対応する位置領域と信号灯の位置領域とが重なり合うか否かを比較した比較結果は、以下の３種の場合を含んでよい。
交通信号灯のキーポイントに対応する位置領域と信号灯の位置領域とがマッチングする場合（重なり合う場合）、即ち前後の２つのフレームにおけるマッチングする交通信号灯のキーポイントの位置領域の移動は検出された信号灯の位置領域と同様である場合、修正しなくてもよい。交通信号灯のキーポイントの位置領域と検出された信号灯の位置領域とが大体マッチングする場合、前後のフレームにおける交通信号灯のキーポイントの位置領域のずれにより、検出信号灯の幅や高さが変わらないことを前提として交通信号灯のキーポイントの位置領域の移動に基づいて現在のフレームの検出枠の位置領域を計算する。現在のフレームから交通信号灯の位置領域が検出されないが、前の１フレームから交通信号灯の位置領域が検出された場合、交通信号灯のキーポイントにより現在のフレームの信号灯の位置領域がカメラの範囲を超えていないことを決定し、範囲を超えていない場合、交通信号灯のキーポイントにより計算した結果に基づいて現在のフレームの交通信号灯の位置領域を決定し、検出漏れを減少する。

１つ又は複数の任意の実施形態では、操作１２０の前に、この方法は、
収集されたトレーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークをトレーニングし、トレーニング画像の集合は、ラベル付け属性を有する複数のトレーニング画像を含み、
トレーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークのパラメータを調整することを更に含んでもよい。

現実的なシーンにおいて、交通信号灯うちの黄信号は赤信号と緑信号の間の過渡状態に過ぎないので、存在する時間が赤信号と緑信号より短い。従来技術において、Ｒ－ＦＣＮによる検出枠に、１回に限定的な画像のみが入力されるので、画像中の黄信号の数が赤信号と緑信号より非常に少なくて、検出ネットワークを効果的にトレーニングしてモデルの黄信号に対する感知度が高められることができなく、従って、本開示は、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークをトレーニングすることによって信号灯の位置、色及び／又は形状を同時に認識する。

検出ネットワークの黄信号に対する感知度が高められるために、あるいは、トレーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークのパラメータを調整するステップの前に、この方法は、
トレーニング画像の集合に基づいて交通信号灯の色の割合が所定割合に合致する新しいトレーニング画像の集合を取得し、
新しいトレーニング画像の集合に基づいて、交通信号灯の色に基づいてトレーニング画像を分類するための分類ネットワークをトレーニングすることを更に含んでもよい。

あるいは、この分類ネットワークは、従来技術における検出ネットワークから候補領域ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）とプロポーザル（ｐｒｏｐｏｓａｌ）層を除去して取得されるものである。あるいは、この分類ネットワークは、マルチタスク認識ネットワークの特徴抽出ブランチと分類ブランチを含んでよく、単独して所定割合の新しいトレーニング画像の集合に基づいて分類ネットワークをトレーニングすることで、分類ネットワークによる交通信号灯の色の分類の正確率が高められることができる。

トレーニングするネットワークのトレーニング画像の集合を収集を通じて取得し、収集されたトレーニング画像の集合によりＲ－ＦＣＮ、即ち領域に基づく完全畳み込みネットワークをトレーニングし、収集されたトレーニング画像の集合における交通信号灯と黄信号の数を調整する。あるいは、所定割合において異なった色の交通信号灯の数が同様であるか、又は数量の差が許容閾値より小さい。
交通信号灯の色は赤、黄及び青を含む。

実際には黄信号が現れる確率が赤信号と緑信号より遥かに低いので、収集されたトレーニング画像における黄信号が占める割合は赤信号と緑信号より遥かに小さい。本実施形態では、分類ネットワークの正確性が高められるために、赤、黄、緑の３種の色の割合を同じな割合（例えば、赤：黄：緑１：１：１）に設定し、赤、黄、緑の３種の色の数量差を許容閾値より小さくして３種の色の割合を１：１：１に近づけさせるようにしてもよい。トレーニング画像の集合から交通信号灯の画像を対応する色のトレーニング画像として抽出することより、新しいトレーニング画像の集合を構成するか、または黄信号画像の数と赤信号画像および緑信号画像の数が所定割合に合致するようにトレーニング画像の集合中の黄信号画像を繰り返して呼び出し、この調整された新しいトレーニング画像の集合により分類ネットワークをトレーニングすることにより、黄信号画像の数が交通信号灯の画像データより遥かに小さいという欠点が克服され、分類ネットワークの黄信号の認識の正確率を高める。

あるいは、トレーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークのパラメータを調整するステップの前に、この方法は、トレーニングされた分類ネットワークのパラメータに基づいてマルチタスク認識ネットワークの少なくとも一部のパラメータを初期化することを更に含む。

あるいは、トレーニングされた分類ネットワークのパラメータに基づいてマルチタスク認識ネットワークの一部又は全部のパラメータを初期化してもよく、例えば、トレーニングされた分類ネットワークのパラメータによりマルチタスク認識ネットワークの特徴抽出ブランチと分類ブランチを初期化し、ここで、パラメータは、例えば畳み込みカーネルの大きさ、畳み込みの接続の重み等を含んでよい。

黄信号についての認識の正確率が高められる分類ネットワークを得た後、初期のトレーニング画像の集合により領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークをトレーニングし、トレーニングする前に、トレーニングされた分類ネットワークのパラメータにより検出ネットワークの一部のパラメータを初期化する。この時に取得される特徴抽出ブランチと分類ブランチは交通信号灯の色の分類に好ましい効果を有する。更に、黄信号分類の正確率が高められる。

本開示の交通信号灯検出方法は、インテリジェントドライブ、高精度地図等の分野に利用することができる。
車載ビデオを入力とし交通信号灯の位置とその状態を出力して車両の安全的な走行を支援することができる。

更に、高精度地図を生成して交通信号灯の位置を検出することに利用することができる。

１つ又は複数の任意の実施形態では、この方法は、
画像における交通信号灯の少なくとも２種の属性に基づいて交通信号灯の状態を決定し、
交通信号灯の状態により車両に対してインテリジェントドライブ制御を実行することを更に含む。

本実施形態では、交通信号灯の少なくとも２種の属性が自動的に認識され、ビデオストリームの交通信号灯の状態が取得され、運転者は運転中交通信号灯を観察するために注意が散漫することがなく、車両走行の安全性が高められ、人為的な誤動作による交通危険が減少された。

あるいは、インテリジェントドライブ制御は、通知情報又は警告情報を送信する及び／又は交通信号灯の状態による車両走行状態を制御することを含む。

交通信号灯の少なくとも２種の属性を認識することにより、インテリジェントドライブに基礎を提供することができ、インテリジェントドライブは、自動運転と支援運転を含み、自動運転の場合に、交通信号灯の状態により車両の走行状態（例えば、停車、減速、転向等）を制御すると共に、通知情報又は警告情報を送信して運転者に現在の交通信号灯の状態を通知することができ、支援運転の場合に、一般的には通知情報又は警告情報の送信のみを実行し、車両を制御する権限が依然として運転者に属し、運転者は通知情報又は警告情報により車両に対して対応の制御を実行する。

あるいは、この方法は、交通信号灯の属性、状態及び対応する画像を記憶することを更に含む。

本実施形態では、交通信号灯の属性、状態及び対応する画像を記憶し、より多い交通信号灯の情報（属性、状態及び対応する画像）を取得することにより、インテリジェントドライブに操作の根拠をより多く提供する。さらに記憶された交通信号灯に対応する時間と位置に基づいて高精度地図を生成し、記憶された交通信号灯に対応する画像に基づいて高精度地図における交通信号灯の位置を決定することができる。

あるいは、交通信号灯の状態は、通行許可状態、通行禁止状態又は待ち状態を含むが、それらに限定されなく、この方法は、
画像における交通信号灯の少なくとも２種の属性に基づいて交通信号灯の状態を決定し、
交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、交通信号灯の状態が通行許可状態であると決定し、
交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、交通信号灯の状態が通行禁止状態であると決定し、
交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、交通信号灯の状態が待ち状態であると決定することの少なくとも１つを含む。

現行の交通法規によれば分かるように、交通信号灯の色は赤、緑及び黄を含み、異なる色は異なる通行状態に対応し、赤は車両及び／又は歩行者の通行が禁止されることを示し、緑は車両及び／又は歩行者の通行が許可されることを示し、黄は車両及び／又は歩行者が暫く待つ必要があることを示し、また、色を支援するために、交通信号等の形状を更に含んでもよく、例えば、＋形状（任意の第１の所定形状）は通行許可を示し、×形状（任意の第２の所定形状）は通行禁止を示し、－形状（任意の第３の所定形状）は待ち状態を示すなどのことになっている。異なった交通信号灯の状態に応じて異なった対策を提供することで、自動、半自動のインテリジェントドライブが実現され、運転の安全性が高められる。

あるいは、交通信号灯の状態により車両に対してインテリジェントドライブ制御を実行することは、
交通信号灯の状態が通行許可状態であることに応答して、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯、車両の通行を制御する過程に必要な他の制御等の１種又は複数種の操作を実行するように車両を制御し、
交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、停車、減速、ブレーキランプの点灯、車両の通行禁止を制御する又は待ち状態で車両を制御する過程に必要な他の制御の１種又は複数種の操作を実行するように車両を制御することを含む。

例えば、交通信号灯の色が緑であり且つ形状が左向きの矢印である時に、自動的に（左へ）転向し及び／又は自動的にウインカー（左折ランプ）を点灯するように車両を制御することができ、交通信号灯の色が緑であり且つ形状が前を指す矢印である時に、減速して交差点を通過するように車両を制御することができる。もちろん、具体的にどのように車両の走行を制御することは、現在の車両に設定される目的地と現在の交通信号灯の状態を総合した結果に基づいて考える。交通信号灯の状態に対応する操作を実行するように車両を自動的に制御することにより、安全性がより高いインテリジェントドライブが実現可能になり、運転の安全性が高められ、人為的な誤動作による安全上の問題が少なくなる。

当業者であれば、上記方法の実施形態を実現する全てまたは一部のステップは、プログラム命令に関連するハードウェアによって完成することができることを理解できる。前記プログラムは、コンピュータ読み取り可能記憶媒体に記憶することができる。当該プログラムが実行される時に、上記の方法の実施形態を含むステップを実行する。上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶する様々な媒体を含む。

図２は本開示の交通信号灯検出装置の実施形態の構造模式図である。この実施形態の交通信号灯検出装置は、本開示の上記の各交通信号灯検出方法の実施形態を実現するために用いられることができる。図２に示すように、この実施形態の装置は、ビデオストリーム取得ユニット２１と、領域決定ユニット２２と、属性認識ユニット２３と、を含む。

ビデオストリーム取得ユニット２１は、交通信号灯を含むビデオストリームを取得するために用いられる。

あるいは、交通信号灯の認識は、一般的には車両走行中記録される車載ビデオに基づいて、車載ビデオを解析して少なくとも１つのフレームの画像を含むビデオストリームを取得し、例えば、車両に取り付けられた撮影装置により車両の進行方向又は周囲環境を撮影してビデオを取得する。車両の進行方向又は周囲環境に交通信号灯が存在する場合、交通信号灯を撮影装置より撮影することができ、撮影したビデオストリームが交通信号灯を含むビデオストリームとなる。このビデオストリームの各フレームの画像は交通信号灯を含んでもよいし、少なくとも１つのフレームの画像は交通信号灯を含んでもよい。

領域決定ユニット２２は、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定するために用いられる。

あるいは、ビデオストリームにおける交通信号灯を含む画像から候補領域を決定し、この候補領域は、画像に交通信号灯を含む可能性がある領域を指す。

交通信号灯の領域の検出は、ニューラルネットワーク又は他の種類の検出モデルに基づいて実行することができる。１つ又は複数の任意の実施形態では、領域に基づく完全畳み込みネットワークを用いて、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する。領域に基づく完全畳み込みネットワーク（Ｒ－ＦＣＮ）により信号画像を検出して交通信号灯を含む可能性がある候補領域が取得され、Ｒ－ＦＣＮはＦａｓｔｅｒ ＲＣＮＮを改良したものと見なしてよく、検出速度がＦａｓｔｅｒ ＲＣＮＮと比べて速くなった。

属性認識ユニット２３は、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定するために用いられる。

交通信号灯の属性は、交通信号灯を記述するためのものであり、実際の要求に応じて定義してよく、例えば、交通信号灯の絶対位置又は相対位置を記述するための位置領域属性、交通信号灯の色（例えば、赤、緑、黄等）を記述するための属性、交通信号灯の形状（例えば、円形、直線矢印、折り線矢印等）を記述するための属性、及び交通信号灯の他の方面を記述するための他の属性等を含んでよい。

本開示の上記実施形態で提供された交通信号灯検出装置によれば、交通信号灯の少なくとも２種の属性を取得することにより信号灯の多種の情報の認識が実現され、認識時間が少なくなり、交通信号灯の認識の正確率が高められる。

あるいは、交通信号灯の少なくとも２種の属性は、位置領域、色及び形状の任意の２種又は２種以上を含む。

交通信号灯の少なくとも２種の属性の決定は、ニューラルネットワーク又は他の種類の認識モデルに基づいて実行することができる。１つ又は複数の任意の実施形態では、属性認識ユニット２３は、マルチタスク認識ネットワークを用いて、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定するために用いられる。

本実施形態は１つのネットワークにより交通信号灯の少なくとも２種の属性の認識を実現し、それぞれ少なくとも２つのネットワークに基づいて少なくとも２種の属性を認識する場合と比べて、ネットワークの大きさが小さくなり、交通信号灯の属性認識の効率が高められる。

あるいは、マルチタスク認識ネットワークは、特徴抽出ブランチと、それぞれ前記特徴抽出ブランチに接続される少なくとも２つのタスクブランチとを含み、異なるタスクブランチは、交通信号灯の様々の属性を決定するために用いられ、
属性認識ユニット２３は、特徴抽出モジュールと、ブランチ属性モジュールと、を含み、
特徴抽出モジュールは、特徴抽出ブランチに基づいて前記候補領域に対して特徴抽出を実行して候補特徴を取得するために用いられ、
ブランチ属性モジュールは、それぞれ少なくとも２つのタスクブランチに基づいて候補特徴を処理して画像における交通信号灯の少なくとも２種の属性を取得するために用いられる。

あるいは、少なくとも２つのタスクブランチは、検出ブランチ、認識ブランチ及び分類ブランチを含むが、それらに限定されなく、
ブランチ属性モジュールは、検出ブランチにより候補特徴に対して位置検出を実行して交通信号灯の位置領域を決定し、分類ブランチにより候補特徴に対して色の分類を実行して、交通信号灯の所在する位置領域の色を決定して、交通信号灯の色を決定し、認識ブランチにより候補特徴に対して形状認識を実行して、交通信号灯の所在する位置領域の形状を決定して、交通信号灯の形状を決定するために用いられる。

１つ又は複数の任意の実施形態では、この装置は、キーポイント決定ユニットと、キーポイント追跡ユニットと、位置調整ユニットとを更に含み、
キーポイント決定ユニットは、ビデオストリームの少なくとも１つのフレームの画像に対してキーポイント認識を実行して、画像における交通信号灯のキーポイントを決定するために用いられ、
キーポイント追跡ユニットは、ビデオストリームの交通信号灯のキーポイントを追跡して追跡結果を取得するために用いられ、
位置調整ユニットは、追跡結果に基づいて交通信号灯の位置領域を調整するために用いられる。

ビデオストリームの連続したフレームの間に存在する差異が小さいことがあり、各フレーム画像における交通信号灯の候補領域のみに基づいて交通信号灯の位置認識を実行する場合、連続したフレーム中の位置領域を同様の位置領域と認識して、認識された位置領域が不精確になる可能性がある。本実施形態では、画像に対してキーポイントを認識し、キーポイントに基づいて交通信号灯の画像における位置領域を決定し、このキーポイントの位置領域に基づいてマルチタスク認識ネットワークにより得た交通信号灯の位置を調整することにより、位置領域認識の正確率が高められる。

キーポイント認識及び／又は追跡は、従来技術におけるキーポイントの認識及び／又は追跡を実現可能な任意の技術に基づいて実現することができる。あるいは、静的キーポイント追跡技術に基づいてビデオストリームの交通信号灯のキーポイントの追跡を実現することで、ビデオストリームにおける交通信号灯のキーポイントが存在する可能な領域を取得する。

あるいは、キーポイント追跡ユニットは、連続した２つのフレームの画像における交通信号灯のキーポイントの間の距離を基礎とし、交通信号灯のキーポイントの間の距離に基づいてビデオストリームの交通信号灯のキーポイントを追跡するために用いられる。

本実施形態でいわゆる連続した２つのフレームはビデオストリームにおけるタイミングが連続した２つの収集フレームであってもよく、ビデオストリームにおけるタイミングが連続した２つの検出フレームであってもよく（ビデオストリームにおけるフレームごとに検出することも可能であって、サンプリングして検出することも可能であるので、検出フレームと収集フレームの両方の意味は完全に同様であるというわけではない）、ビデオストリームにおける複数の連続した２つのフレームの画像の交通信号灯のキーポイントを関連付けることにより、ビデオストリームにおける交通信号灯のキーポイントを追跡することを実現でき、追跡結果に基づいてビデオストリームの各フレーム画像に対して位置領域の調整を実行することができる。あるいは、交通信号灯のキーポイントの間のハミング距離、ユークリッド距離、結合ベイズ距離又はコサイン距離等に基づいて、ビデオストリームにおける交通信号灯のキーポイントを追跡することを実現できる。本実施形態では具体的に交通信号灯のキーポイントの間のどのような距離を限定するものではない。

あるいは、キーポイント追跡ユニットは、交通信号灯のキーポイントの間の距離に基づいてビデオストリームの交通信号灯のキーポイントを追跡する時に、交通信号灯のキーポイントの間の距離に基づいて、連続した２つのフレームの画像における同じ交通信号灯のキーポイントの位置領域を決定し、同じ交通信号灯のキーポイントが連続した２つのフレームの画像に所在する位置領域により、ビデオストリームにおける交通信号灯のキーポイントを追跡するために用いられる。

１つ又は複数の任意の実施形態では、位置調整ユニットは、追跡結果と信号灯の位置領域とが重なり合うか否かを比較して比較結果を取得し、比較結果に基づいて信号灯の位置領域を調整するために用いられる。

追跡結果に基づいて信号灯の位置領域を調整した後、信号灯の位置領域がより安定的になり、ビデオシーンへの応用にさらに適するようになった。

本実施形態では、追跡結果に基づいてビデオストリームの少なくとも１つのフレームの画像における交通信号灯のキーポイントに対応する位置領域を決定し、追跡結果中の位置領域と信号灯の位置領域との重なり合う部分が信号灯の位置領域に占める割合が設定割合を超えた場合に、追跡結果と信号灯の位置領域とが重なり合うと決定でき、そうでなければ、追跡結果と信号灯の位置領域とが重なり合わないと決定する。

あるいは、位置調整ユニットは、比較結果に基づいて信号灯の位置領域を調整する時に、交通信号灯のキーポイントに対応する位置領域と信号灯の位置領域とが重なり合わないことに応答して、信号灯の位置領域を交通信号灯のキーポイントに対応する位置領域に置換するために用いられる。

１つ又は複数の任意の実施形態では、この装置は、事前トレーニングユニットと、トレーニングユニットと、を更に含んでもよく、
事前トレーニングユニットは、収集された、ラベル付け属性を有する複数のトレーニング画像を含むトレーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークをトレーニングするために用いられ、
トレーニングユニットは、レーニング画像の集合に基づいて、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークのパラメータを調整するために用いられる。

現実的なシーンにおける、交通信号灯うちの黄信号は赤信号と緑信号の間の過渡状態に過ぎないので、存在する時間が赤信号と緑信号より短い。従来技術における、Ｒ－ＦＣＮに基づく検出仕組みは、１回に限定的な画像のみが入力されるので、画像中の黄信号の数が赤信号と緑信号より非常に少なくて、検出ネットワークを効果的にトレーニングしてモデルの黄信号に対する感知度が高められることができなる。従って、本開示では、領域に基づく完全畳み込みネットワークとマルチタスク認識ネットワークをトレーニングすることによって信号灯の位置、色及び／又は形状を同時に認識する。

検出ネットワークの黄信号に対する感知度が高められるために、あるいは、この装置は、事前トレーニングユニットとトレーニングユニットの間に、分類トレーニングユニットを更に含んでもよく、
分類トレーニングユニットは、トレーニング画像の集合に基づいて交通信号灯の色の割合が所定割合に合致する新しいトレーニング画像の集合を取得し、新しいトレーニング画像の集合に基づいて分類ネットワークをトレーニングするために用いられ、この分類ネットワークは、交通信号灯の色に基づいてトレーニング画像を分類するために用いられる。

あるいは、所定割合において異なった色の交通信号灯の数が同様であるか又は数量差が許容閾値より小さく、
交通信号灯の色は赤、黄及び青を含む。

実際には黄信号が現れる確率が赤信号と緑信号より遥かに低いので、収集されたトレーニング画像における黄信号が占める割合が赤信号と緑信号より遥かに小さく、本実施形態では、分類ネットワークの正確性が高められるために、赤、黄、緑の３種の色の割合を同じな割合（例えば、赤：黄：緑１：１：１）に設定しておくか、赤、黄、緑の３種の色の数量差を許容閾値より小さくして３種の色の割合を１：１：１に近づけさせるようにしてもよい。トレーニング画像の集合から交通信号灯を対応する色のトレーニング画像として抽出して新しいトレーニング画像の集合を構成するか、または、黄信号画像の数と赤信号画像、緑信号画像の数が所定割合に合致するようにトレーニング画像の集合中の黄信号画像を繰り返して呼び出して、この調整された新しいトレーニング画像の集合により分類ネットワークをトレーニングすることにより、黄信号画像の数が交通信号灯画像データより遥かに小さいという欠点が克服され、分類ネットワークの黄信号認識の正確率が高められる。

あるいは、分類トレーニングユニットの後に、この装置は、初期化ユニットを更に含んでもよく、
初期化ユニットは、トレーニングされた分類ネットワークのパラメータに基づいてマルチタスク認識ネットワークの少なくとも一部のパラメータを初期化するために用いられる。

１つ又は複数の任意の実施形態では、本実施形態の装置は、状態決定ユニットと、インテリジェント制御ユニットと、を更に含んでもよく、
状態決定ユニットは、画像における交通信号灯の少なくとも２種の属性に基づいて交通信号灯の状態を決定するために用いられ、
インテリジェント制御ユニットは、交通信号灯の状態により車両に対してインテリジェントドライブ制御を実行するために用いられる。

本実施形態では、交通信号灯の少なくとも２種の属性が自動的に認識され、ビデオストリームの交通信号灯の状態が取得され、運転者は運転中交通信号灯を観察するために注意が散漫することがなく、車両走行の安全性が高められ、人為的な誤動作による交通危険が減少される。

あるいは、インテリジェントドライブ制御は、通知情報又は警告情報を送信する及び／又は交通信号灯の状態による車両走行状態を制御することを含む。

あるいは、本実施形態の装置は、記憶ユニットと、状態決定ユニットと、インテリジェント制御ユニットとを更に含み、記憶ユニットは、交通信号灯の属性、状態及び対応する前記画像を記憶するために用いられる。

あるいは、交通信号灯の状態は、通行許可状態、通行禁止状態又は待ち状態を含むが、それらに限定されなく、
状態決定ユニットは、交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、交通信号灯の状態が通行許可状態であると決定し、
交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、交通信号灯の状態が通行禁止状態であると決定し、
交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、交通信号灯の状態が待ち状態であると決定するために用いられる。

あるいは、インテリジェント制御ユニットは、交通信号灯の状態が通行許可状態であることに応答して、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯の１種又は複数種の操作を実行するように車両を制御するために用いられ、
交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、停車、減速、ブレーキランプの点灯の１種又は複数種の操作を実行させるように車両を制御するために用いられる。

本開示の実施形態で提供された交通信号灯検出装置のいずれか１つの実施形態の動作プロセス及び配置形態については、全て本開示の上記の対応方法の実施形態の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。

図３は本開示のインテリジェントドライブ方法の一実施形態のフローチャットである。図３に示すように、この実施形態の方法は、以下のステップを含む。

ステップ３１０で、車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得する。

あるいは、車両走行中記録される車載ビデオに基づいて、車載ビデオを解析して少なくとも１つのフレームの画像を含むビデオストリームを取得する。例えば、車両に取り付けられた撮影装置により車両進行方向又は周囲環境を撮影してビデオを取得する。車両進行方向又は周囲環境に交通信号灯が存在する場合、撮影装置により撮影されることが可能であり、撮影したビデオストリームが交通信号灯を含むビデオストリームとなる。このビデオストリームの各フレームの画像は交通信号灯を含んでもよいし、少なくとも１つのフレームの画像は交通信号灯を含んでもよい。

任意の一例では、このステップ３１０はプロセッサによりメモリに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサにより作動するビデオストリーム取得ユニット２１によって実行されてもよい。

ステップ３２０で、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する。

任意の一例では、このステップ３２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する領域決定ユニット２２によって実行されてもよい。

ステップ３３０で、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定する。

交通信号灯の属性は、交通信号灯を記述するためのものであり、実際の要求に応じて定義してよく、例えば、交通信号灯の絶対位置又は相対位置を記述するための位置領域属性、交通信号灯の色（例えば、赤、緑、黄等）を記述するための属性、交通信号灯の形状（例えば、円形、直線矢印、折り線矢印等）を記述するための属性、及び交通信号灯の他の方面を記述するための他の属性等を含んでよい。

あるいは、交通信号灯の少なくとも２種の属性は、位置領域、色及び形状の任意の２種又は２種以上を含む。

あるいは、交通信号灯の色は赤、黄、緑という３種を含み、形状は矢印、円形又は他の形状等を含み、異なる形状の交通信号灯は、その位置のみを認識する場合、信号を精度よく認識できない可能性がある。本実施形態では、位置領域、色及び形状の少なくとも２種を認識することにより、例えば、交通信号灯の位置領域と色を決定する場合に、現在の交通信号灯が画像のどの位置にあるか（車両のどの方向に対応するか）を決定し、色により交通信号灯が表示している状態を決定し（赤、緑又は黄がそれぞれ異なる状態に対応）、交通信号灯の異なる状態の認識により支援運転又は自動運転を実現することができる。また、交通信号灯の位置領域と形状を決定する場合に、現在の交通信号灯が画像のどの位置にあるか（車両のどの方向に対応するか）を決定し、形状により交通信号灯が表示している状態を決定し（例えば、異なる方向に向ける矢印は異なる状態を示し、又は異なる形状の人体アイコンは異なる状態を示す）。また、交通信号灯の色と形状を決定する場合に、色と形状の両方を基に現在の交通信号灯の状態を決定する（例えば、左側を指す緑矢印は左折通行を示し、前方を指す赤矢印は前方通行禁止を示す）。また、交通信号灯の位置領域、色及び形状を決定する場合に、交通信号灯が画像のどの位置にあるかを分かった上で、色と形状の両方を基に現在の交通信号灯の状態を決定することができる。

任意の一例では、このステップ３３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する属性認識ユニット２３によって実行されてもよい。

ステップ３４０で、画像における交通信号灯の少なくとも２種の属性に基づいて交通信号灯の状態を決定する。

既存の画像処理方法では、一般的に１種のタスクしか処理できなく（例えば、位置認識又は色の分類のうちの１種）、しかし、交通信号灯は位置領域、色及び形状等の情報を含み、交通信号灯の状態を決定する必要がある時に、交通信号等の位置領域を決定することが必要とされるだけでなく、少なくとも色又は形状を決定しなければならない。従って、通常の画像処理方法を用いる場合、現在の交通信号灯の状態を決定するために、ビデオストリームを処理するための少なくとも２つのニューラルネットワークが必要とされ、更に処理結果を総合することが必要とされる。本実施形態は、交通信号灯の少なくとも２種の属性を同時に取得して、少なくとも２種の属性により交通信号灯の状態を決定して、交通信号灯の状態を高速且つ精度よく認識する。

任意の一例では、このステップ３４０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態決定ユニット４４によって実行されてもよい。

ステップ３５０で、交通信号灯の状態により車両に対してインテリジェントドライブ制御を実行する。

任意の一例では、このステップ３５０はプロセッサによりメモリに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサにより作動するインテリジェント制御ユニット４５によって実行されてもよい。

本実施形態は、車両における画像収集装置によりリアルタイムでビデオストリームを取得して交通信号灯の属性のリアルタイムな認識を実現して、交通信号灯の状態を決定し、交通信号灯の状態に基づいてインテリジェントドライブを実現することができる。運転者は運転中交通信号灯を観察するために注意が散漫することがなく、交通安全上の問題が減少され、人為的な誤動作による交通危険がある程度で低減された。インテリジェントドライブは支援運転と自動運転を含んでよく、一般的には、支援運転は信号灯を用いて警報通知を実行し、自動運転は信号灯を用いて運転制御を実行する。

あるいは、インテリジェントドライブ制御は、通知情報又は警告情報を送信する及び／又は交通信号灯の状態による車両走行状態を制御することを含む。

通信号灯の少なくとも２種の属性を認識することにより、インテリジェントドライブに基礎を提供することができる。インテリジェントドライブは、自動運転と支援運転を含む。自動運転の場合に、交通信号灯の状態により車両の走行状態（例えば、停車、減速、転向等）を制御すると共に、通知情報又は警告情報を送信して運転者に現在の交通信号灯の状態を通知することができる。運転支援の場合に、一般的には通知情報又は警告情報の送信のみを実行し、車両制御権限が依然として運転者に属し、運転者は通知情報又は警告情報により車両に対して対応の制御を実行する。

あるいは、本願の実施形態で提供されたインテリジェントドライブ方法は、交通信号灯の属性、状態及びそれらに対応する画像を記憶することを更に含む。

本実施形態は、交通信号灯の属性、状態及び対応する画像を記憶し、より多い交通信号灯の情報（属性、状態及びそれらに対応する画像）を取得することにより、インテリジェントドライブに操作の根拠をより多く提供する。さらに記憶された交通信号灯に対応する時間と位置に基づいて高精度地図を生成し、記憶された交通信号灯に対応する画像に基づいて高精度地図における交通信号灯の位置を決定することができる。

あるいは、交通信号灯の状態は、通行許可状態、通行禁止状態及び待ち状態を含むが、それらに限定されなく、
ステップ３４０は、
交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、交通信号灯の状態が通行許可状態であると決定し、
交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、交通信号灯の状態が通行禁止状態であると決定し、
交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、交通信号灯の状態が待ち状態であると決定することを含んでよい。

現行の交通法規によれば分かるように、交通信号灯の色は赤、緑及び黄を含み、異なる色は異なる通行状態に対応して、赤は車両及び／又は歩行者の通行が禁止されることを示し、緑は車両及び／又は歩行者の通行が許可されることを示し、黄は車両及び／又は歩行者が暫く待つ必要があることを示し、また、色を支援するために、交通信号等の形状を更に含んでもよく、例えば、＋形状（任意の第１の所定形状）は通行許可を示し、×形状（任意の第２の所定形状）は通行禁止を示し、－形状（任意の第３の所定形状）は待ち状態を示すなどのことになる。異なった交通信号灯の状態に応じて異なった対策を提供することで、自動、半自動のインテリジェントドライブが実現され、運転の安全性が高められる。

あるいは、ステップ３５０には、
交通信号灯の状態が通行許可状態であることに応答して、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯、車両の通行を制御する過程に必要な他の制御の１種又は複数種の操作を実行するように車両を制御し、
交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、停車、減速、ブレーキランプの点灯、車両通行禁止制御又は待ち状態にある過程に必要な他の制御の１種又は複数種の操作を実行させるように車両を制御することを含んでよい。

例えば、交通信号灯の色が緑であり且つ形状が左を指す矢印である時に、自動的に（左へ）転向し及び／又は自動的にウインカー（左折ランプ）を点灯するように車両を制御することができる。交通信号灯の色が緑であり且つ形状が前方を指す矢印である時に、減速して交差点を通過するように車両を制御することができる。具体的にどのように車両の走行を制御することは、現在車両に設定される目的地と現在の交通信号灯の状態を総合した結果に基づいて考える。交通信号灯の状態に対応する操作を実行するように車両を自動的に制御することにより、安全性がより高いインテリジェントドライブが実現可能になり、人為的な誤動作による安全上の問題が少なくなる。

当業者であれば、上記方法の実施形態を実現する全てまたは一部のステップは、プログラム命令に関連するハードウェアによって完成することができることを理解できる。前記プログラムは、コンピュータ読み取り可能記憶媒体に記憶することができる。当該プログラムは実行される時に、上記の方法の実施形態を含むステップを実行する。上記の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶する様々な媒体を含む。

図４は本開示のインテリジェントドライブ装置の一実施形態の構造模式図である。この実施形態のインテリジェントドライブ装置は、本開示の上記の各インテリジェントドライブ方法の実施形態を実現するために利用することができる。図４に示すように、この実施形態の装置は、ビデオストリーム取得ユニット２１と、域決定ユニット２２と、属性認識ユニット２３と、状態決定ユニット４４、インテリジェント制御ユニット４５とを含む。

ビデオストリーム取得ユニット２１は、車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得するために用いられる。

あるいは、車両走行中記録される車載ビデオに基づいて、車載ビデオを解析して少なくとも１つのフレームの画像を含むビデオストリームを取得し、例えば、車両に取り付けられた撮影装置により車両進行方向又は周囲環境を撮影してビデオを取得する。車両進行方向又は周囲環境に交通信号灯が存在する場合、撮影装置により撮影されることが可能であり、撮影したビデオストリームが交通信号灯を含むビデオストリームとなる。このビデオストリームの各フレームの画像は交通信号灯を含んでもよいし、少なくとも１つのフレームの画像は交通信号灯を含んでもよい。

領域決定ユニット２２は、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定するために用いられる。

属性認識ユニット２３は、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定するために用いられる。

交通信号灯の属性は、交通信号灯を記述するためのものであり、実際の要求に応じて定義してよく、例えば、交通信号灯の絶対位置又は相対位置を記述するための位置領域属性、交通信号灯の色（例えば、赤、緑、黄等）を記述するための属性、交通信号灯の形状（例えば、円形、直線矢印、折り線矢印等）を記述するための属性、及び交通信号灯の他の方面を記述するための他の属性等を含んでよい。

状態決定ユニット４４は、画像における交通信号灯の少なくとも２種の属性に基づいて交通信号灯の状態を決定するために用いられる。

既存の画像処理方法では、一般的に１種のタスクしか処理できなく（例えば、位置認識又は色の分類のうちの１種）、しかし、交通信号灯は位置領域、色及び形状等の情報を含み、交通信号灯の状態を決定する必要がある時に、交通信号等の位置領域を決定することが必要とされるだけでなく、少なくとも色又は形状を決定しなければならない。従って、通常の画像処理方法を用いる場合、現在の交通信号灯の状態を決定するために、ビデオストリームを処理するための少なくとも２つのニューラルネットワークが必要とされ、更に処理結果を総合することが必要とされる。本実施形態では、交通信号灯の少なくとも２種の属性を同時に取得して、少なくとも２種の属性により交通信号灯の状態を決定して、交通信号灯の状態を高速且つ精度よく認識する。

インテリジェント制御ユニット４５は、交通信号灯の状態により車両に対してインテリジェントドライブ制御を実行するために用いられる。

本実施形態は、車両における画像収集装置によりリアルタイムでビデオストリームを取得して交通信号灯の属性のリアルタイムな認識を実現して、交通信号灯の状態を決定し、交通信号灯の状態に基づいてインテリジェントドライブを実現することができる。運転者は運転中交通信号灯を観察するために注意が散漫することがなく、交通安全上の問題が減少され、人為的な誤動作による交通危険がある程度で低減された。インテリジェントドライブは運転支援と自動運転を含んでよく、一般的には、運転支援は信号灯を用いて警報通知を実行し、自動運転は信号灯を用いて運転制御を実行する。

あるいは、インテリジェントドライブ制御は、通知情報又は警告情報を送信する及び／又は交通信号灯の状態による車両走行状態を制御することを含む。

あるいは、この装置は、交通信号灯の属性、状態及びそれらに対応する画像を記憶するための記憶ユニットを更に含む。

あるいは、交通信号灯の少なくとも２種の属性は、位置領域、色及び形状の任意の２種又は２種以上を含む。

あるいは、交通信号灯の状態は、通行許可状態、通行禁止状態及び待ち状態を含むが、それらに限定されなく、この装置は、状態決定ユニット４４と、インテリジェント制御ユニット４５とさらに含み、
状態決定ユニット４４は、交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、交通信号灯の状態が通行許可状態であると決定し、
交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、交通信号灯の状態が通行禁止状態であると決定し、
交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、交通信号灯の状態が待ち状態であると決定するために用いられる。

あるいは、インテリジェント制御ユニット４５は、交通信号灯の状態が通行許可状態であることに応答して、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯の１種又は複数種の操作を実行するように車両を制御し、
交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、停車、減速、ブレーキランプの点灯の１種又は複数種の操作を実行させるように車両を制御するために用いられる。

本開示の実施形態で提供されたインテリジェントドライブ装置のいずれか１つの実施形態の動作プロセス及び配置形態については、全て本開示の上記の対応方法の実施形態の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。

本開示の実施形態の別の態様によれば、上記のいずれか１つの実施形態に記載の交通信号灯検出装置又は上記のいずれか１つの実施形態に記載のインテリジェントドライブ装置を含む車両を提供する。

本開示の実施形態の別の態様によれば、以上のいずれか一項に記載の交通信号灯検出装置又は上記のいずれか１つの実施形態に記載のインテリジェントドライブ装置を備えたプロセッサを含む電子機器を提供する。

本開示の実施形態の更に別の態様によれば、メモリと、プロセッサと、を含む電子機器を提供し、
プロセッサは、実行可能コマンドを記憶するために用いられ、
プロセッサは、前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか１つの実施形態に記載の交通信号灯検出方法の操作を完成するか、又は上記のいずれか１つの実施形態に記載のインテリジェントドライブ方法の操作を完成するために用いられる。

本開示の実施形態は、電子機器を更に提供する。 例えば、電子機器は、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、サーバなどであってよい。以下、本開示の実施形態の端末装置又はサーバを実現するのに適する電子機器５００の構造模式図を示す図５を参照し、図５に示すように、電子機器５００は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）５０１、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）５１３などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）５０２に記憶された実行可能コマンド又は記憶部５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部５１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。

プロセッサは読み取り専用メモリ５０２及び／又はランダムアクセスメモリ５０３と通信して実行可能コマンドを実行し、通信バス５０４を介して通信部５１２に接続され、通信部５１２を介して他のターゲットデバイスと通信してよく、それにより本開示の実施形態で提供されるいずれか一項の方法に対応する操作を完成し、例えば、交通信号灯を含むビデオストリームを取得し、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定する。

また、ＲＡＭ５０３には、装置の操作に必要な各種のプログラムやデータが記憶されていてもよい。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、通信バス５０４を介して相互に接続される。ＲＡＭ５０３を有する場合に、ＲＯＭ５０２は任意のモジュールである。ＲＡＭ５０３は実行可能コマンドを記憶するか、または動作時に実行可能コマンドをＲＯＭ５０２に書き込み、実行可能コマンドによって中央処理ユニット５０１に上記通信方法に対応する操作を実行する。入力／出力（Ｉ／Ｏ）インタフェース５０５も通信バス５０４に接続される。通信部５１２は、統合的に配置されてもよく、バスを介してリンクされる複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように配置されてもよい。

キーボード、マウスなどを含む入力部５０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部５０７と、ハードディスクなどを含む記憶部５０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部５０９とがＩ／Ｏインタフェース５０５に接続される。通信部５０９は例えばインターネットのようなネットワークを介して通信処理を実行する。ドライブ５１０も必要に応じてＩ／Ｏインタフェース５０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体５１１は、必要に応じてドライブ５１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部５０８にインストールする。

なお、図５に示す構造は任意の一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図５の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の配置で、分離配置または統合配置などの実施形態を採用でき、例えばＧＰＵ５１３とＣＰＵ５０１は分離配置するかまたはＧＰＵ５１３をＣＰＵ５０１に統合するようにしてよく、通信部５１２は分離して配置されるか、またはＣＰＵ５０１やＧＰＵ５１３に統合的に配置されることなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

特に、本開示の実施形態によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施形態は機械可読媒体に有形に具現化されたコンピュータプログラム製品を含み、このコンピュータプログラム製品はコンピュータプログラムを含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは本開示の実施形態により提供される方法のステップを対応して実行する対応するコマンドを含んでよく、例えば、交通信号灯を含むビデオストリームを取得し、ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、候補領域に基づいて画像における交通信号灯の少なくとも２種の属性を決定する。このような実施形態では、該コンピュータプログラムは通信部５０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体５１１からインストールされる。中央処理ユニット（ＣＰＵ）５０１によって該コンピュータプログラムを実行する時に、本開示の方法で限定された上記機能の操作を実行する。

本開示の実施形態のまた１つの態様によれば、コンピュータ読取可能コマンドを記憶するためのコンピュータ読取可能記憶媒体を提供し、このコマンドが実行されると、以上のいずれか一項に記載の交通信号灯検出方法又は以上のいずれか一項に記載のインテリジェントドライブ方法の操作が実行される。

本開示の実施形態の更に１つの態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品を提供し、コンピュータ可読コードを機器上で作動する時に、この機器中のプロセッサは以上のいずれか一項に記載の交通信号灯検出方法又は以上のいずれか一項に記載のインテリジェントドライブ方法を実現するためのコマンドを実行する。

本明細書における様々な実施形態は漸進的に説明され、各実施形態は他の実施形態との相違点に集中して説明したが、各実施形態間の同じまたは類似の部分については相互に参照すればよい。システム実施形態については、それは基本的に方法実施形態に対応するので、説明は比較的簡単であり、関連部分は方法実施形態の説明の一部を参照すればよい。

本発明の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本発明の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本発明の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施形態では、本発明は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本発明の方法を実現するための機械可読コマンドを含む。従って、本発明は本発明の方法を実行するためのプログラムが記憶された記録媒体も含む。

本発明の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本発明を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施形態は本発明の原理及び実際応用をより明瞭に説明するため、かつ当業者が本発明を理解して特定用途に適した各種の修正を加えた各種の実施形態を設計可能にするように選択され説明されたものである。

Claims (14)

1. 交通信号灯検出方法であって、
   当該方法は、
   車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得し、
   プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、
   前記プロセッサによってマルチタスク認識ネットワークを用いて、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定することを含み、
   前記交通信号灯の少なくとも２種の属性は、交通信号灯の位置領域、および、色と形状より選ばれる少なくとも1種を含み、
   前記プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する前に、
   前記方法は、
   前記プロセッサによって前記ビデオストリームの前記画像に対してキーポイント認識を実行して前記画像における交通信号灯のキーポイントを決定し、
   前記プロセッサによって前記ビデオストリームの交通信号灯のキーポイントを追跡して追跡結果を取得し、
   前記プロセッサによって前記追跡結果と前記交通信号灯の位置領域とが重なり合うか否かを比較し、
   前記交通信号灯のキーポイントに対応する位置領域と前記交通信号灯の位置領域とが重なり合わないことに応答して、前記プロセッサによって、前記交通信号灯の位置領域を前記交通信号灯のキーポイントに対応する位置領域に置換すること、をさらに含む
   ことを特徴とする方法。
2. 前記プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定することは、
   前記プロセッサによって領域に基づく完全畳み込みネットワークを用いて、前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定することを含み、
   前記プロセッサによって前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定することは、
   前記プロセッサによってマルチタスク認識ネットワークを用いて、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定することを含む、ことを特徴とする請求項１に記載の方法。
3. 前記マルチタスク認識ネットワークは、特徴抽出ブランチと、前記特徴抽出ブランチにそれぞれ接続される少なくとも２つのタスクブランチとを含み、異なったタスクブランチは、前記交通信号灯の異なった種類の属性を決定するために用いられ、
   前記プロセッサによってマルチタスク認識ネットワークを用いて、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定することは、
   前記プロセッサによって前記特徴抽出ブランチに基づいて前記候補領域に対して特徴抽出を実行して候補特徴を取得し、
   それぞれ前記少なくとも２つのタスクブランチに基づいて前記候補特徴を処理して前記プロセッサによって前記画像における交通信号灯の少なくとも２種の属性を取得することを含み、
   前記少なくとも２つのタスクブランチは、検出ブランチ、認識ブランチ及び分類ブランチを含み、
   それぞれ前記少なくとも２つのタスクブランチに基づいて前記候補特徴を処理して前記プロセッサによって前記画像における交通信号灯の少なくとも２種の属性を取得することは、
   前記検出ブランチにより前記候補特徴に対して位置検出を実行して、前記プロセッサによって交通信号灯の位置領域を決定し、
   前記分類ブランチにより前記候補特徴に対して色の分類を実行して、前記プロセッサによって交通信号灯の所在する位置領域の色を決定して、前記交通信号灯の色を決定し、
   前記認識ブランチにより前記候補特徴に対して形状認識を実行して、前記プロセッサによって前記交通信号灯の所在する位置領域の形状を決定して、前記プロセッサによって前記交通信号灯の形状を決定することを含む、ことを特徴とする請求項２に記載の方法。
4. 前記プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する前に、
   前記方法は、
   前記プロセッサによって前記追跡結果に基づいて前記交通信号灯の位置領域を調整することを更に含み、
   前記プロセッサによって前記ビデオストリームの交通信号灯のキーポイントを追跡することは、
   連続した２つのフレームの画像における前記交通信号灯のキーポイントの間の距離を基礎とし、
   前記交通信号灯のキーポイントの間の距離に基づいて前記プロセッサによって前記ビデオストリームの交通信号灯のキーポイントを追跡することを含み、
   前記交通信号灯のキーポイントの間の距離に基づいて前記プロセッサによって前記ビデオストリームの交通信号灯のキーポイントを追跡することは、
   前記交通信号灯のキーポイントの間の距離に基づいて、前記プロセッサによって連続した２つのフレームの画像における同じ交通信号灯のキーポイントの位置領域を決定し、
   前記同じ交通信号灯のキーポイントが連続した２つのフレームの前記画像に所在する位置領域により、前記プロセッサによって前記ビデオストリームにおける交通信号灯のキーポイントを追跡することを含む、ことを特徴とする請求項２または３に記載の方法。
5. 前記プロセッサによって前記追跡結果に基づいて前記交通信号灯の位置領域を調整することは、
   前記プロセッサによって前記追跡結果と前記交通信号灯の位置領域とが重なり合うか否かを比較して比較結果を取得し、
   前記プロセッサによって前記比較結果に基づいて前記交通信号灯の位置領域を調整することを含むことを特徴とする請求項４に記載の方法。
6. 前記プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する前に、
   前記方法は、
   前記プロセッサによって、収集されたトレーニング画像の集合に基づいて、前記領域に基づく完全畳み込みネットワークをトレーニングし、前記トレーニング画像の集合がラベル付け属性を有する複数のトレーニング画像を含み、
   前記プロセッサによって、前記トレーニング画像の集合に基づいて前記領域に基づく完全畳み込みネットワークと前記マルチタスク認識ネットワークのパラメータを調整することを更に含むことを特徴とする請求項２～５のいずれか一項に記載の方法。
7. 前記プロセッサによって、前記トレーニング画像の集合に基づいて前記領域に基づく完全畳み込みネットワークと前記マルチタスク認識ネットワークのパラメータを調整する前に、
   前記方法は、
   前記プロセッサによって、前記トレーニング画像の集合に基づいて、交通信号灯の色の割合が所定割合に合致する新しいトレーニング画像の集合を取得し、
   前記プロセッサによって、前記新しいトレーニング画像の集合に基づいて、分類ネットワークをトレーニングすることを更に含み、前記分類ネットワークは、前記交通信号灯の色に基づいて前記トレーニング画像を分類するために使用され、
   前記所定割合において異なった色の交通信号灯の数が同様であるか又は数量差が許容閾値より小さく、
   前記交通信号灯の色は赤、黄及び青である、ことを特徴とする請求項６に記載の方法。
8. 前記プロセッサによって、前記トレーニング画像の集合に基づいて前記領域に基づく完全畳み込みネットワークと前記マルチタスク認識ネットワークのパラメータを調整する前に、
   前記方法は、前記プロセッサによって、前記トレーニングされた分類ネットワークのパラメータに基づいて前記マルチタスク認識ネットワークの少なくとも一部のパラメータを初期化することを更に含むことを特徴とする請求項７に記載の方法。
9. 前記方法は、前記プロセッサによって、前記画像における交通信号灯の少なくとも２種の属性に基づいて前記交通信号灯の状態を決定し、
   前記プロセッサによって、前記交通信号灯の状態により前記車両に対してインテリジェントドライブ制御を実行することを更に含み、
   前記インテリジェントドライブ制御は、通知情報又は警告情報を送信する及び／又は前記プロセッサによって前記交通信号灯の状態による前記車両の走行状態を制御することを含み、
   前記方法は、前記交通信号灯の属性、状態及び対応する前記画像を記憶することを更に含む、ことを特徴とする請求項１～８のいずれか一項に記載の方法。
10. 前記交通信号灯の状態は、通行許可状態、通行禁止状態又は待ち状態を含み、
    前記画像における交通信号灯の少なくとも２種の属性に基づいて前記交通信号灯の状態を決定することは、
    前記交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が通行許可状態であると決定し、
    前記交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が通行禁止状態であると決定し、
    前記交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が待ち状態であると決定することの少なくとも一項を含み、
    前記交通信号灯の状態により前記車両に対してインテリジェントドライブ制御を実行することは、
    前記交通信号灯の状態が通行許可状態であることに応答して、前記プロセッサによって、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯のうちの１種又は複数種の操作を実行するように車両を制御し、
    前記交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、前記プロセッサによって、停車、減速、ブレーキランプの点灯のうちの１種又は複数種の操作を実行させるように前記車両を制御することを含む、ことを特徴とする請求項９に記載の方法。
11. インテリジェントドライブ方法であって、
    当該方法は、
    車両に配置された画像収集装置により交通信号灯を含むビデオストリームを取得し、
    プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定し、
    前記プロセッサによってマルチタスク認識ネットワークを用いて、前記候補領域に基づいて前記画像における交通信号灯の少なくとも２種の属性を決定し、
    前記プロセッサによって前記画像における交通信号灯の少なくとも２種の属性に基づいて前記交通信号灯の状態を決定し、
    前記交通信号灯の状態により前記プロセッサによって前記車両に対してインテリジェントドライブ制御を実行することを含み、
    前記交通信号灯の少なくとも２種の属性は、交通信号灯の位置領域、および、色と形状より選ばれる少なくとも1種を含み、
    前記プロセッサによって前記ビデオストリームの少なくとも１つのフレームの画像における交通信号灯の候補領域を決定する前に、
    当該方法は、
    前記プロセッサによって前記ビデオストリームの前記画像に対してキーポイント認識を実行して前記画像における交通信号灯のキーポイントを決定し、
    前記プロセッサによって前記ビデオストリームの交通信号灯のキーポイントを追跡して追跡結果を取得し、
    前記プロセッサによって前記追跡結果と前記交通信号灯の位置領域とが重なり合うか否かを比較し、
    前記交通信号灯のキーポイントに対応する位置領域と前記交通信号灯の位置領域とが重なり合わないことに応答して、前記プロセッサによって、前記交通信号灯の位置領域を前記交通信号灯のキーポイントに対応する位置領域に置換すること、をさらに含む
    ことを特徴とする方法。
12. 前記インテリジェントドライブ制御は、前記プロセッサによって通知情報又は警告情報を送信する及び／又は前記プロセッサによって前記交通信号灯の状態による前記車両の走行状態を制御することを含み、
    前記方法は、前記交通信号灯の属性、状態及び対応する前記画像を記憶することを更に含む、ことを特徴とする請求項１１に記載の方法。
13. 前記交通信号灯の状態は、通行許可状態、通行禁止状態及び待ち状態を含み、
    前記画像における交通信号灯の少なくとも２種の属性に基づいて前記プロセッサによって前記交通信号灯の状態を決定することは、
    前記交通信号灯の色が緑であり及び／又は形状が第１の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が通行許可状態であると決定し、
    前記交通信号灯の色が赤であり及び／又は形状が第２の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が通行禁止状態であると決定し、
    前記交通信号灯の色が黄であり及び／又は形状が第３の所定形状であることに応答して、前記プロセッサによって前記交通信号灯の状態が待ち状態であると決定することを含み、
    前記交通信号灯の状態により前記プロセッサによって前記車両に対してインテリジェントドライブ制御を実行することは、
    前記交通信号灯の状態が通行許可状態であることに応答して、前記プロセッサによって、起動、走行状態保持、減速、転向、ウインカーの点灯、ブレーキランプの点灯のうちの１種又は複数種の操作を実行するように車両を制御し、
    前記交通信号灯の状態が通行禁止状態又は待ち状態であることに応答して、前記プロセッサによって、停車、減速、ブレーキランプの点灯のうちの１種又は複数種の操作を実行するように車両を制御することを含む、ことを特徴とする請求項１２に記載の方法。
14. 電子機器であって、
    当該電子機器は、メモリと、プロセッサとを含み、
    前記メモリは、実行可能コマンドを記憶するために用いられ、
    前記プロセッサは、前記メモリと通信して前記実行可能コマンドを実行して請求項１～１０のいずれか一項に記載の交通信号灯検出方法又は請求項１１～１３のいずれか一項に記載のインテリジェントドライブ方法を実行させることを特徴とする電子機器。

Images