JP6196044B2 - 交通信号認識システム及び方法 - Google Patents

Description

本発明は、確率推定器を使用して取得された観察履歴データを使用して、車載カメラによって取得された画像フレームから検出された交通信号候補から、交通信号の存在を認識することに関する。

此処に提供される“背景技術”は、この開示の背景を一般的に示すためである。此処に記載された研究は、背景技術の項に開示されている限りにおいて、出願時点で従来技術として適切ではない本記載の観点と同様に、明示的にも暗示的にも従来技術として認められるものではない。

交通信号認識は、例えば信号機のような交通信号を含む画像フレームの領域を識別し且つマーキングするプロセスに言及する。カメラによって画像フレームが取得され、この画像フレームは個々に処理される。交通信号候補及びそのすぐ近くの領域が、実際の交通テンプレートをテンプレートライブラリからのテンプレートと一致させることに基づいて、決定される。交通信号認識の正確性は、適応型テンプレートを使用することによって、向上する。適応型テンプレートは、信号機候補の予想サイズ及び／または、信号機候補からの車両の距離に基づく、実際の信号機候補テンプレートに従って調整される。最もよく一致するテンプレートを、信号機候補に対応する実際の画像フレームにサイズにおいて一致する、多くの可能性のあるテンプレートに基づいて評価する。例えば、信号機候補中の緑色の丸が照明されている場合、可能性のあるテンプレート中の一つが使用され、信号機候補中の赤色の丸が照明されている場合に可能性のあるテンプレート中の他のものが使用される。これは、赤色の丸及び緑色の丸が信号機の容器内において異なる位置にあるからである。

この開示は、本発明者等が見出した、既知の交通信号認識プロセスに関する種々の問題に対処する。特に、テンプレート一致を使用する交通信号認識プロセスにおいて、テンプレートライブラリ中の各テンプレートに対して、テンプレート記述が必要とされ、これは以前に見たことがない信号機に対して実施するのが困難であり或いは不可能である。更に、取得された画像フレーム列或いはビデオにおける隣接する画像フレームは、時間的及び空間的関係を考慮することなく、個々に処理される。例えば、一個の画像フレーム内で信号機候補を特定するために、そのフレーム内の全ての領域を分析する必要があり、これは、多量の計算を要するプロセスである。更に、画像フレームが多くのオブジェクトを含む場合、このプロセスは更に多くのコンピュータ資源を必要とし得る。更にその上、信号機検出を実施するために使用した信号機認識アルゴリズムに基づいて、画像フレーム内のオブジェクトを不正確に特定することがある。その結果、ユーザがこれらの特定の間違いを訂正するために費やす時間が増加する。

本開示は、一つの非限定的な実施例において、ナビゲーションマップまたはＧＰＳによる車両位置の、少なくとも一つに基づいて交通信号の候補を検出する、交通信号認識方法を目指す。本方法は、車両搭載カメラから得た画像フレームをフィルタするために、カラーフィルタを使用する。フィルタされた画像が、交通信号候補を検出するために使用される。非限定的実施例において、交通信号認識方法は以下の何れかによって非限定的に実現される：個人用通信装置（例えば、携帯電話、データ通信可能な携帯電話、スマートフォーン）及び携帯電子デバイス（例えば、携帯ＧＰＳ受信機、携帯ゲーム機、ラップトップ、タブレットコンピュータ）。別の非限定的実施例において、交通信号認識方法が実現されるデバイスは、以下の何れかを非限定的に含む：画像取得機能；ネットワーク接続（例えば、クラウドネットワーク、インターネット、イントラネット）；及びＧＰＳ機能。

別の非限定的実施例において、交通信号候補の予想サイズを決定するために、交通信号候補からの車両の距離を使用する。交通信号の予想サイズを、交通信号候補領域を検索するため及び可能な交通信号候補領域の近傍を調べるために、使用する。カメラによって取得された画像フレーム内のノイズによって生成された偽の交通信号を退けるために、形状検出器が使用される。

その後確率推定器を、検出された信号機候補のフレーム毎の追跡に使用する。追跡プロセスは、信号機候補がフレーム中に観察された場合、エビデンスを各信号機候補に有利に蓄積することを可能とする。蓄積されたエビデンスが指定された閾値以下に落ち込むと、例えば、信号機候補がある特定の時間に亘って観察されない場合、その信号機候補は検討外となる。

別の非限定的実施例において、本方法は更に、ある色のライトが消灯しそして他の色のライトがその後照明された場合に、交通信号をモニタリングすることを含む。これによって、消灯したライトのごく近辺において（例えば、上方または下方において）、信号機候補が検出されることを可能とする。従って、信号機の容器の形状及びサイズに関係なく、例えば信号機である交通信号を高い信頼性で認識するために、交通信号候補が追跡される。交通信号の偽陽性識別が同様に、空間及び／または時間的な振る舞いの一貫性に基づいて、排除される。

前述の段落は、一般的な序論として提供されるものであり、後段に記載する特許請求の範囲を限定することを意図するものではない。記載した実施例は、更なる利点と共に添付の図面を参照して以下の詳細な説明を参照することによって、最もよく理解されるであろう。

交通信号認識システムのハードウエア構成要素を示すブロック図。 交通信号認識のための例示的なアルゴリズムを示す図。 交通信号認識を実現する例示的な自動車用電子制御ユニットを示す図。 交通信号認識システムを含み且つ認識された信号機を表示する、車両からの景色を示す図。 認識された交通信号を示す、例示的な画像フレームを示す図。

図面において、参照番号は、図面全体で同様或いは対応する部分を指名する。図１は、認識システム１００の例示的な構成を示す。認識システム１００は、個々にプログラムされ或いは種々の記録媒体に記憶されたプログラムコードを実行する、コンピュータハードウエア構成要素を含んでいる。例示的実施例において、認識システム１００は、中央処理ユニット（ＣＰＵ）１０２、１個またはそれ以上の特定用途向けプロセッサ（ＡＳＰｓ）１０４、メモリ１０６、ハードディスクドライブ１１０及び／または光学ディスクドライブ１１２（例えば、ＣＤ−ＲＯＭドライブ）の動作を制御するためのディスク制御装置１０８、ディスプレイ制御装置１１４、ネットワークインターフェース１１６、及びＩ／Ｏインターフェース１１８を含んでいる。Ｉ／Ｏインターフェース１１８は、周辺機器１２０、ＧＰＳユニット１２２、及び画像取得装置１３０に接続されている。ディスプレイ制御装置１１４はモニタ１２４に接続されている。幾つかの実施例において、モニタ１２４は、このモニタ１２４と通信／データチャンネルを共有し得る周辺機器１２０の一構成要素である。幾つかの実施例において、Ｉ／Ｏインターフェース１１８は更に、例えば、タッチスクリーンモニタ制御装置、キーボード及びマウスのようなユーザ入力周辺機器に接続されている。更に、図１に示す構成要素は、データを転送するための共通バス１２６を共有し、且つ、制御装置は、特定用途向け集積制御装置及び他のプログラム可能な構成要素を含むことができる。

ネットワークインターフェース１１６は、認識システム１００が例えばインターネットのようなネットワーク１２８を介して通信することを可能とする。幾つかの観点において、周辺装置１２０の何れか、ＧＰＳユニット１２２及び画像取得装置１３０は、ネットワーク１２８を介して認識システム１００に結合されている。

図２を参照すると、ステップＳ２００において、交通信号を含む事前確率が比較的高い候補領域が、車載カメラによって取得された画像フレームから選択される。非限定的な一実施例において、画像フレームの大きな領域における初期検索の必要性を減少させ或いは消滅させるために、ナビゲーションマップが交通信号に対する最もありそうな位置を決定するために使用される。非限定的な他の実施例において、車両のＧＰＳ位置及び方向が、候補領域のリストを狭めるために使用される。非限定的な更に他の実施例において、カメラ投影から隆起マップが形成される。

ステップＳ２０２において、交通信号候補が候補領域から取得され、それぞれがオブジェクトとして指定される。非限定的な一実施例において、例えばトップハットフィルタのようなフィルタが、取得された画像のある周波数に相当する指定カラーチャンネル上で使用される。フーリエ空間では、トップハットフィルタは、上下の境界周波数を特定することにより、所望の周波数バンドを選択する。非限定的な他の実施例では、取得された画像フレーム内のノイズによって生成された偽の交通信号候補を排除するために、フィルタされた画像フレーム上で形状検出器が使用される。例えば、ナビゲーションマップから得られた情報により交通信号の、車載カメラからの距離が既知である場合、与えられた距離に相当するサイズの、例えば丸い形状を有するオブジェクトが探索される。或いは、以前の時間のステップに対応する画像フレーム上で、可能な交通信号候補の近傍が調査される。非限定的な更に他の実施例において、画像フレームのサブセットが処理リソースの使用を削減するために探索される。この方法において、多くの形状及び形式の交通信号が正確に認識される。ステップＳ２０２は更に、ある色の信号機が消灯し他の色の信号機が点灯した場合に、交通信号をモニタすることを含む。交通信号候補は従って、消灯したライトの直近（例えば、上方または下方）において検出される。

ステップＳ２０４において、各交通信号候補は、交通信号候補に有利なエビデンスを追跡し且つ蓄積するために、初期化されたスコアに関連付けられる。

ステップＳ２０６において、確率推定器を用いて各信号機候補のフレーム毎の追跡が行われる。非限定的な一実施例において、確率推定器は、以下の何れかであるが、それらに限定されない：カルマンフィルタ、反復カルマンフィルタ、拡張カルマンフィルタ、シグマポイントフィルタ。本開示では、確率推定器をカルマンフィルタで実現するとして記載している。しかしながら、当業者には理解できるように、確率推定器は例えば上記のフィルタのようなその他のフィルタによって実現される。確率推定器（例えば、カルマンフィルタ）は交通信号を追跡するために使用される。即ち、カルマンフィルタは、以前の推測及び以前の画像フレームにおける交通信号候補の観測に基づいて、各交通信号候補に対する予測位置を生成する。この予測は、カルマンフィルタの状態動力学によってモデル化され且つ、追跡アルゴリズムの成果を向上させるために、自己車両の動き（即ち、車両内のカメラの動き）に関する情報、交通信号の比較的固定された特性及び、非限定的一実施例において、交通信号候補のサイズに基づいている（以下に、その詳細を示す）。

追跡アルゴリズムは、交通信号候補が追跡画像フレーム中に出現する毎にスコアを増分（インクレメント）することによって、各交通信号候補に有利にエビデンスを蓄積する。交通信号候補に関連付けされたスコアは、交通信号候補が追跡された画像フレーム中に出現しない場合、減分（デクレメント）される。更に特定すると、カルマンフィルタは、確率Ｐと同様に、各交通信号候補に対するｘ−、ｙ−及び、非限定的な一実施例においてｚ−、座標情報に基づいて更新され、そして、以前の検出或いは分類に基づいて予測が交通信号の最もありそうな位置に対して生成される。この予測は、以前に観察された交通信号候補の格納リスト中の交通信号候補と、関連付けられる。新しい交通信号候補が観測されると、新しいカルマンフィルタ及び新しいオブジェクトが初期化される。新しい観測を使用してカルマンフィルタのポステリア（事後）更新が行われ、観察された交通信号に対してスコアがインクレメントされる。非限定的な一実施例において、以前に観察されたオブジェクトに対して予測が入手できない場合（即ち、それらの一時的なオクルージョン（遮蔽）に基づいて）、スコアはデクレメントされる。

カルマンフィルタは、時間ドメインにおいて離散化された線形動的システムに基づいている。これは、ガウスノイズ（雑音）によって摂動する線形演算子上に形成されたマルコフチェーン（Ｍａｒｋｏｖ ｃｈａｉｎ）に基づいて、モデル化される。システムの状態は、実数のベクトルとして表現される。各離散時間増分において、線形演算子は、幾らかのノイズを混合した新しい状態と、もし既知であるならシステムにおける制御からの情報とを生成するために、その状態に適用される。次に、更に多くのノイズと混合された他の線形演算子が、真の（“隠れた状態”）状態からの観察出力を生成する。

此処で、
Ｆ_kは、以前の状態ｘ_k-1に適用される状態遷移モデルであり、
Ｂ_kは、制御ベクトルｕ_kに適用される制御入力モデルであり、
ｗ_kは、共分散Ｑ_kを有する平均ゼロ（ｚｅｒｏ ｍｅａｎ）多変量正規分布から引き出されると仮定される、プロセスノイズである。

時間ｋにおいて、真の状態ｘ_kの観測（または測定）ｚ_kは、以下の式に従って為される。

此処で、
Ｈ_kは、観測空間に真の状態空間をマップする観測モデルであり、
ｖ_kは、共分散Ｒ_kを有する平均ゼロ（ｚｅｒｏ−ｍｅａｎ）のガウス性白色ノイズであると仮定される、観測ノイズである。

この結果、瞬間分類誤差（例えば、通常は時間的に伝搬しない、ノイズに基づく偽陽性）及び交通信号候補の一時的なオクルージョンに関して、このプロセスはロバストとなる。

更にステップＳ２０６において、交通信号候補が変化、例えばライトの変化に対してモニタされる。このモニタは、ライトが消灯した時に始まり、消灯したライトのすぐ近くにあって（例えば、上方或いは下方）異なる照明を有する全ての交通信号候補を検出する。オブジェクトが例示され、新しい交通信号候補に対してフィルタが開始される。視角の異なりに基づいて、且つ、車両内の搭載カメラの方向（例えば、ヨー及びピッチ角）の異なりによって、新しい交通信号候補の形状は少なくとも僅かに変化することに注意すべきである。

ステップＳ２０８において、交通信号候補が指定数の連続する画像フレーム内に存在しないか否かに関して、カルマンフィルタと追跡アルゴリズムに基づいて決定がなされる。交通信号候補が指定数の連続画像フレーム内に存在しない場合、ステップＳ２１２においてその交通信号候補が検討の対象から外される。交通信号候補が指定数の連続画像フレーム内に存在する場合、プロセスはステップＳ２１０に進み、そこでスコアを既定の閾値と比較する。ステップＳ２１４において、そのスコアが既定の閾値より小さいか否かに関して決定がなされ、そしてもしそうなら、交通信号候補はステップＳ２１２において候補から外される。

そうでなければ、プロセスはステップＳ２１６に続き、そこで、追跡すべき各画像フレームが追跡されたか否かが決定され、もしそうであれば、ステップＳ２１８において残りの交通信号候補が交通信号であるとして認識され且つ分類される。もしそうでなければ、プロセスはステップＳ２０６に戻る。ステップＳ２２０において、ステップＳ２１８において決定された認識された交通信号の視覚標識がスクリーン、ダッシュボード、フロントガラスまたはその他の車載ディスプレイ上に表示され、プロセスが終了する。

次に図３を参照すると、自動車用電子制御ユニット３００のシステム図が示されている。図３は、ソフトウエアまたはコンピュータ実行命令によって修正されたハードウエアの機能関係を示す。即ち、図３に示す自動車用電子制御ユニット３００は、ハードウエアまたはハードウエアとソフトウエアの組み合わせに相当する。更に特定すると、この自動車用電子制御ユニットは、図１に示す有形のハードウエアの少なくとも一部分によって、更にオプションとして、図２に示すアルゴリズムに相当するソフトウエアまたはコンピュータ実行可能命令によって、実現される。

自動車用制御ユニット３００は、例えばビデオカメラのような車載結像装置から画像フレームを受信する。自動車用制御ユニット３００は更に、以下の１個またはそれ以上を受信するが、それらに限定されない：例えば街路及び交差点位置を含むナビゲーションマップ、車両の位置及び方向（例えばポーズまたはＧＰＳ座標）、形状検出器アルゴリズム及びカラーフィルタアルゴリズム。画像フレームを用いて、候補領域選択器３０２は、各画像フレーム内の交通信号候補に対する候補領域を決定するために、ナビゲーションマップ及び車両位置と方向の何れかまたは両方を使用する。その画像フレームは、識別された候補領域と共に、候補検出器３０４に送られる。

候補検出器３０４は、候補領域から交通信号候補を検出し、それぞれはオブジェクトまたはデータ構造と関連付けられる。その代わりに或いは追加的に、交通信号候補が画像フレーム全体の分析に基づいて検出される。上述したように、交通信号候補は、カラーフィルタ及び形状検出器の何れかまたは両方を使用して得られる。交通信号候補のリストが候補追跡器３０６に送られる。

上述したように、各交通信号候補は初期化されたスコアに関連付けられる。例えばカルマンフィルタである確率推定器が、交通信号候補を追跡するために使用される。上述したように、カルマンフィルタは、以前の推定及び以前の画像フレームにおける交通信号候補の観察に基づいて、各交通信号候補に対する予測位置を生成する。交通信号候補に有利なエビデンスが、交通信号候補に関連付けされたスコアをその交通信号候補が追跡画像フレーム中に現れる毎にインクレメントすることによって、蓄積される。候補追跡器３０６は、交通信号候補が追跡画像フレーム中に現れない場合、交通信号候補に関連付けられたスコアをデクレメントする。交通信号候補に関連付けられたスコアが既定の閾値以下に低下した場合、或いは、特定の数の連続画像フレーム中に現れない場合、その交通信号候補は除外され、そしてそれに関連するオブジェクトがリストから除去される。交通信号候補のリストは次に、交通信号決定器３０８に送られる。

交通信号決定器３０８は、追跡すべき各画像フレームが追跡されているか否かを決定し、そうである場合、リスト中の残りの交通信号候補が交通信号として分類され且つ認識される。交通信号候補に対応する位置情報がディスプレイ出力器３１０に送られる。ディスプレイ出力器３１０は、限定的でなく少なくとも以下の一つに表示されるべき視覚標識を描くために信号を出力する：スクリーン、ダッシュボード、フロントガラス、車載ディスプレイ、パーソナル通信装置及び、携帯電子装置。視覚標識は、例えば、ディスプレイ上の認識された交通信号に相当する位置を包囲するかまたは示す、有色の多角形または自由形式の形状である。他の実施例として、視覚標識は、色覚異常または色覚障害のドライバーを支援するためにパターン化されている。更に他の実施例として、視覚標識は、テキスト、例えば、“進め”、“停止”、“準備”、“赤”、“緑”または“黄色”のような言葉である。

非限定的な他の実施例において、視覚標識を出力する代わりに或いはそれに加えて、交通信号決定器３０８によって決定された交通信号候補に対応する位置情報を、車両制御システムへの入力として使用する。例えば、位置情報を、車両を自動的に停止させ、走行させ或いは加速させる能動的安全モジュールに命令する、車両制御装置に入力することができる。

図４において、車両内部からの景色が示されている。カメラ４００が車両のフロントガラス４０２の近くに取り付けられている。非限定的な一実施例において、カメラ４００は車両の外側或いは車両の上部に取り付けられる。当業者にとって理解しうるように、カメラ４００は、近づいてくる地形（充分に広角の景色を伴って）を示す画像フレームを取得可能な限り、車両上の何処でも或いは車両の周りに取り付けることができる。非限定的な一実施例において、検出された交通信号４０４及び４０６は、照明され或いは何らかの方法で車両のフロントガラス４０２上に表示された、点線ボックスによって囲まれている。非限定的な他の実施例において、検出された交通信号は、照明され或いは何らかの方法で車載ディスプレイ４０８上に表示された、点線ボックスによって囲まれている。

図５において、３個の交通信号の周りの視覚的インデックスを含むサンプル画像フレームが示されている。２個の交通信号５００及び５０２が、指定の信頼度を有して認識され、従って、特定の色、形状またはパターンのボックスによってマークされている。第３の交通信号５０４は、通過車両５００によって一時的に遮蔽されているが、しかし交通信号５０４の存在は、以前の画像フレーム中の検出結果及び、指定された交通信号に相当する候補に対してカルマンフィルタを行う間に蓄積されたエビデンスに基づいて、依然として認識されている。図５において、各交通信号５００、５０２及び５０４が、そのインデックスと共に、交通信号候補リスト中及び蓄積エビデンスカウンタ内に示されている。このカウンタは、例えば、交通信号候補が現れる数多くの画像フレームに基づいている。図５の例示的な表示において、交通信号５００はインデックス１と蓄積エビデンスカウンタ８７を有しており、交通信号５０２はインデックス２と蓄積エビデンスカウンタ９９を有し、交通信号５０４はインデックス５と蓄積エビデンスカウンタ９４を有している。交通信号５０４に対するインデックス５は、インデックス３及び４における交通信号候補が、フィルタ処理の間に候補から取り除かれたことを示している。

明らかに、上記の説明を参照することによって、本開示の多くの修正及び変形が可能である。従って、適用された請求の範囲内で、此処に特別に記載されたもの以上に本発明を実施することが可能であることを理解すべきである。

Claims (18)

1. 移動環境の交通信号を検出するための制御装置において、中央処理ユニットを備え、前記中央処理ユニットは、
   結像装置によって取得された画像フレームから交通信号を含む事前確率が高い候補領域を選択する、候補領域選択器と、
   カラーフィルタを用いて前記候補領域から交通信号候補を検出するための候補検出器と、
   交通信号候補に対して予め定義された値を有するスコアを設定し、交通信号候補の位置の予想値を示す確率推定器に基づいて、交通信号候補が取得画像フレームの追跡画像フレーム内に出現したと決定された場合に、前記スコアをインクレメントし、且つ、交通信号候補が、確率推定器に基づいて追跡画像フレーム中に出現していないと決定された場合、前記スコアをデクレメントすることによって、交通信号候補を追跡する、候補追跡器と、及び
   前記スコアが指定閾値よりも上であるか否かに基づいて前記交通信号候補が交通信号であるか否かを決定する、交通信号決定器と、を備える、制御装置。
2. 請求項１に記載の制御装置において、前記交通信号決定器は、取得された画像フレームの指定数の連続画像フレーム中に前記交通信号候補が出現しない場合、前記交通信号候補は交通信号ではないと決定する、制御装置。
3. 請求項１に記載の制御装置において、更に、
   交通信号の位置を特定する視覚標識信号を出力するグラフィック制御装置を備える、制御装置。
4. 請求項１に記載の制御装置において、前記確率推定器は、カルマンフィルタ、反復カルマンフィルタ、拡張カルマンフィルタ、シグマポイントフィルタのうちの１個によって実現される、制御装置。
5. 請求項１に記載の制御装置において、前記確率推定器は、追跡画像フレーム中の交通信号候補の位置に対する予想値を決定するために、自己車両の動きを入力として取得する、制御装置。
6. 請求項１に記載の制御装置において、前記候補検出器は、形状検出器に更に基づいて交通信号候補を検出する、制御装置。
7. 請求項１に記載の制御装置において、前記候補検出器は、信号機容器に対するテンプレートが存在しない場合に交通信号候補を検出する、制御装置。
8. 移動環境における自動車用交通信号を検出するための方法において、前記方法は、
   少なくとも車両位置に基づいて画像フレームから交通信号候補を検出するために、結像装置によって取得された前記画像フレームを受信し、
   受信した前記画像フレームから交通信号を含む事前確率が高い候補領域を選択し、
   選択した前記候補領域にカラーフィルタを適用して、交通信号候補を検出し、
   検出した前記交通信号候補に対して予め定義された値を有するスコアを設定し、そして、交通信号候補の位置に対する予測値を示す確率推定器に基づいて、取得画像フレームの追跡画像フレーム内に交通信号候補が出現したと決定された場合、前記スコアをインクレメントし、前記確率推定器に基づいて、追跡画像フレーム中に前記交通信号候補が出現しないと決定された場合、前記スコアをデクレメントすることによって、交通信号候補を追跡し、更に
   前記スコアが指定閾値を越えるか否かに基づいて、前記交通信号候補が交通信号であるか否かを決定する、各ステップを備える、方法。
9. 請求項８に記載の方法において、更に、
   前記結像装置のディスプレイスクリーン上に前記交通信号の色を特定する視覚標識器を表示するステップを備える、方法。
10. 請求項９に記載の方法において、前記視覚標識器は、カラーグラフィック、パターン化されたグラフィック、及びテキストの少なくとも１個に相当する、方法。
11. 請求項８に記載の方法において、取得画像フレームのサブセットが追跡される、方法。
12. 請求項８に記載の方法において、取得画像フレームの少なくとも１個の追跡画像フレームにおいて交通信号候補が遮蔽されている場合、前記交通信号候補を交通信号であると決定する、方法。
13. 請求項８に記載の方法において、更に、
    交通信号候補が交通信号であると決定された場合、自動車用電子制御装置によって、加速、減速及びブレーキを含む車両の動きを制御するステップを備える、方法。
14. 請求項１２に記載の方法において、交通信号候補は、消灯された第１のライトと消灯されたライトの近辺の点灯した第２のライトに対してモニタされる、方法。
15. コンピュータ可読記憶媒体中に具現化された、移動環境における自動車用交通信号を検出するためのコンピュータ可読プログラムを有する持続性コンピュータ可読記憶媒体において、前記コンピュータ可読プログラムコードは、実行された場合、コンピュータに以下のステップを実行させるものであり、以下のステップは、
    少なくとも車両位置に基づいて画像フレームから交通信号候補を検出するために、結像装置によって取得された前記画像フレームを受信し、
    受信した前記画像フレームから交通信号を含む事前確率が高い候補領域を選択し、
    選択した前記候補領域にカラーフィルタを適用して、交通信号候補を検出し、
    検出した前記交通信号候補に対して予め定義された値を有するスコアを設定し、そして、交通信号候補の位置に対する予測値を示す確率推定器に基づいて、取得画像フレームの追跡画像フレーム内に交通信号候補が出現したと決定された場合、前記スコアをインクレメントし、前記確率推定器に基づいて、追跡画像フレーム中に前記交通信号候補が出現しないと決定された場合、前記スコアをデクレメントすることによって、交通信号候補を追跡し、更に
    前記スコアが指定閾値を越えるか否かに基づいて、前記交通信号候補が交通信号であるか否かを決定する、各ステップである、持続性コンピュータ可読記憶媒体。
16. 請求項１５に記載の媒体において、前記交通信号候補は、車両の位置及び地図に対する車両方向を含む、車両のポーズに基づいて検出される、持続性コンピュータ可読記憶媒体。
17. 請求項１５に記載の媒体において、更に、
    車両の動きを制御する車両制御装置に、交通信号の位置を特定する信号を出力するステップを備える、持続性コンピュータ可読記憶媒体。
18. 請求項１５に記載の媒体において、交通信号候補は変化に対してモニタされる、持続性コンピュータ可読記憶媒体。

Images