JP7090251B2 - 一連の画像フレーム内においてｌｅｄ光源を検出する方法、少なくとも１つのｌｅｄ光源を備える交通信号灯を検出する方法、及び車両 - Google Patents

Description

一連のフレーム内の発光ダイオード（ＬＥＤ）を検出することに関する事例が記載される。特に、一連のフレームにおいてＬＥＤ光源を検出するための方法、少なくとも１つのＬＥＤ光源を備える交通信号灯を検出するための方法、及び車両に関する事例が記載される。

自動交通信号検出（ＴＬＤ）は、運転手支援システム及び自律走行車両にとって重要な役割を果たす。従来のＴＬＤシステムでは、カメラが車両に搭載されて、カメラのデータは、コンピュータビジョン技術によるアプローチを介して解釈される。従来のＴＬＤシステムに関する概説の一例は、インテリジェント交通システムに関するＩＥＥＥトランザクション、Ｖｏｌ． １７、第７号中、Ｍ．Ｊｅｎｓｅｎらの「交通信号を見るためのビジョン、課題、調査、及び展望」がある。例えば、モデルベースのアプローチは、形状、色、及び強度を使用してヒューリスティックに決定されたモデルに依存する。学習ベースのアプローチは、ポジティブサンプルとネガティブサンプルの集合体及びトレーニングアルゴリズム（例えば、 ＳＶＭ又はＡｄａＢｏｏｓｔ）を使用する機械学習に答えを見つけるようにしている。さらに、全地球測位システム（ＧＰＳ）による位置特定を補助データとして使用することもあろう。すなわち、従来のＴＬＤシステムは、複数の静的フレームからの視覚情報と、任意選択での位置特定データとに依存している。ただし、さまざまな国、地域、及び製造元の交通信号灯は、視覚的に異なっているものである。したがって、結果として生じるクラス内の（交通信号灯の）変種の範囲の大きさにより、特定のデータセットについては、事前に試行しておいた検出器で、良好なパフォーマンスが可能であっても、他のデータセットではうまくいかない場合もあろう。従来のアルゴリズムは、意図的な視覚的特徴（例えば、色、形状、位置）を抽出し、そして試行用画像に基づいてそれら特徴の規則を見出していた。しかしながら、現実の交通の複雑な状況下では（例えば、赤信号を車両のテールライトと区別すること）、視覚的特徴に頼る決定は、低い検出再現率や多くの誤った警報といった問題につながる。

Ｍ． Ｊｅｎｓｅｎ ｅｔ ａｌ． "Ｖｉｓｉｏｎ ｆｏｒ Ｌｏｏｋｉｎｇ ａｔ Ｔｒａｆｆｉｃ Ｌｉｇｈｔｓ： Ｉｓｓｕｅｓ， Ｓｕｒｖｅｙ， ａｎｄ Ｐｅｒｓｐｅｃｔｉｖｅｓ" ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｖｏｌ． １７， Ｉｓｓｕｅ ７

したがって、光源の検出における改善が望まれていよう。

上記要望は、提案される事例によって満足されてもよい。

一例は、ある環境についての一連のフレーム（画像フレーム）内にＬＥＤ光源を検出する方法に関する。当該方法は、一つの注目フレーム部分を選択することと、一連の画像フレームを使用して、注目フレーム部分の変動を決定することとを含む。この方法は、一つのフレーム部分の変動の周波数が所定の周波数の範囲内にあるときは、注目フレーム部分が、ＬＥＤ光源を示す候補であると決定することをさらに含む。この提案された方法は、ＬＥＤ光源が特定の周波数で点灯するという状況を使用して、高い検出精度でのＬＥＤ光源の検出を可能にするだろう。

別の例は、ある環境についての一連のフレーム内の少なくとも１つのＬＥＤ光源を含む交通信号灯を検出する方法に関し、この方法は、一連の環境のフレーム内のＬＥＤ光源を検出するための上記方法を含む。この方法は、高い検出精度でのＬＥＤ光源ベースの交通信号灯の検出を可能にし得る。例えば、交通信号灯と車両のテールライトとの間の誤認識を避けられるようになる。したがって、運転者支援システム又は自律走行車の性能及び精度の向上が可能となる。

さらなる例は、上記の方法のうちの１つを実行するように構成された処理ユニットを備える車両に関する。上記の方法のうちの１つを実行することによって、車両によって提供される運転者支援システムの性能及び精度、あるいは車両による自律走行が改善されてもよい。

さらに別の例は、プログラムがコンピューティングユニット又はプロセッサ上で実行されるときに上記の方法のうちの１つを実行するためのプログラムコードを有するプログラムを記憶した機械可読記憶媒体に関する。機械可読記憶媒体は、ＬＥＤ光源の検出又は交通信号灯の検出に依存する装置のコンピューティングユニット又はプロセッサ上で上記の方法のうちの１つを実行することを可能にしてもよい。さらに、機械可読記憶媒体は、既存のプログラム、アルゴリズム、又は構成を、この提案された方法への更新を可能にしてもよい。

装置と方法との少なくとも一方についてのいくつかの実施態様は、単なる例として、添付の図面を参照して以下に説明される。

図１は、ある環境の一連の画像フレーム内のＬＥＤ光源を検出する方法のフローチャートを例示する。 図２は、交通の一状況を例示する。 図３ａは、注目フレーム部分における平均輝度の時間経過の一例を示す。 図３ｂは、図３ａに示した時間経過に対する周波数スペクトルを例示する。 図４ａは、交通の一状況の別の例を示す。 図４ｂは、図４ａに示した交通の一状況のモーションマスクフィルタリングした結果を例示する。 図４ｃは、図４ｂに示したモーションマスクフィルタリングした結果をカラーマスクフィルタリングした結果を、例示する。 図４ｄは、図４ｃに示した二重フィルタリングの結果の時間的コントラストマスクフィルタリングした結果を例示する。 図５は、一連のフレームの特徴的な値の比較の一例を示す図である。 図６は、提案された方法の様々な段階におけるフレームを示す。 図７は、車両を例示する。

これより、いくつかの例を示す添付の図面を参照して、さまざまな例をより詳しく説明する。図面において、線と、層と、領域との少なくとも一つについての太さは、明確さのために誇張されている場合がある。

したがって、さらなる例は様々な修正及び代替態様が可能であるが、それらのいくつかの特定の例が図示され、続いて詳細について説明される。しかしながら、この詳細な説明は、さらなる例を説明された特定の態様に限定するものではない。さらなる例は、本開示の範囲内に含まれる全ての修正態様、等価物、及び代替態様を網羅してもよい。図面の説明を通して、類似の番号は類似又は同程度の要素を指し、同一又は類似の機能を提供しながら、互いに比較したときに同一又は変更された態様で実施されてもよい。

ある要素が別の要素に「接続」又は「結合」されていると記載されている場合、それらの要素は直接接続又は結合されているか、あるいは１つ又は複数の介在要素を介していてもよい。対照的に、ある要素が別の要素に「直接接続されている」又は「直接結合されている」と言われる場合、介在要素は存在しない。要素間の関係を説明するために使用される他の単語は、同様に解釈されるのが当然である（例えば、ほんの数例を挙げるならば、「間」対「直接間」、「隣接」対「直接隣接」）。

ここに使用される用語は、特定の例を説明することを目的とし、さらなる例の限定を意図するものではない。「ａ」、「ａｎ」、及び「ｔｈｅ」などの単数形が使用され、単一の要素のみを使用することが必須であると明示的又は暗黙的に定義されない場合はいつでも、さらなる例は複数の要素を使用して同じ機能を実装してもよい。同様に、機能が複数の要素を使用して実装されるように後で説明されるとき、さらなる例は単一の要素又は処理エンティティを使用して同じ機能を実装してもよい。用語「備える」、「備えている」、「含む」及び／又は「含んでいる」が、記載に使用されるとき、記載された特徴、整数、工程、操作、プロセス、行為、要素及び／又は構成部分の存在の指定する意味であっても、１つ又は複数の他の特徴、整数、工程、操作、プロセス、行為、要素、構成部分、及び／又はそれらの任意のグループの存在又は追加を排除する意味ではないことがさらに理解されよう。

他に定義されない限り、全ての用語（技術的及び科学的用語を含む）は、本明細書において他に明確に定義されない限り、実施例が属する技術のそれらの通常の意味で使用される。

図１は、ある環境についての一連のフレーム（画像フレーム）においてＬＥＤ光源を検出するための方法１００を示す。ＬＥＤ光源は、少なくとも１つのＬＥＤを含む光源である。すなわち、ＬＥＤ光源は、少なくとも１つのＬＥＤによって照射される環境に、光を放射する光源である。ＬＥＤは任意の色の光を放射するものとしてよい。例えば、ＬＥＤは、緑色光、青色光、赤色光、又はそれらの任意の組み合わせを放射するものとしてよい。

ある環境についての一連のフレームは、同じ環境風景（例えば、交通の一状況）の複数の画像フレームである。複数のフレームのうちの個々のフレームは、例えば時系列順で連なっていてもよい。例えば、環境の一連のフレームは、光子に感度を持つセンサによって生成されてもよい。当該センサは、例えばカメラ又は高速カメラであってもよい。各フレームは、一連のフレームの個々のフレームの解像度によって決定される複数の画素を備える。

方法１００は、注目フレーム部分（関心のある一フレーム部分）を選択すること１０２を含む。注目フレーム部分は、１つ又は複数の選択（フィルタ）基準に基づいて、一連のフレーム（フレームシーケンス）のうちの１つ又は複数のフレームを用いて選択されるようにしてもよい。注目フレーム部分は、一連のフレームの任意のフレーム部分であってよい。例えば、注目フレーム部分は、１画素、２画素、５画素、１０画素、１００画素、１０００画素、１００００画素、又はそれ以上を含んでもよい。１つ以上の選択基準は、一連のフレームのうちの単一のフレーム及び／又は一連のフレームのうちの２つ以上のフレームに適用されてもよい。

さらに、方法１００は、一連のフレームを使用して注目フレーム部分の変動（バリエーション）を決定するステップ１０４を含む。すなわち、一連のフレーム内の注目フレームの特徴の変動が決定される。注目フレーム部分の変動を決定するために、フレームのシーケンスのうちの２つ以上のフレームを、例えば、互いに部分的に比較するようにしてもよい。

ＬＥＤは、適切な順方向電圧がＬＥＤの入力端子に印加されたときに光を放射するｐ-ｎ接合を備える。電力網が交流（ＡＣ）を供給する。しかしながら、ＬＥＤは、動作のための規定電圧レベルで直流（ＤＣ）を必要とする。そのため、電力網によって供給されるＡＣ入力信号は、例えば全波整流を用いて、規定電圧レベル（例えば、１２Ｖ）を有するＤＣ信号に変換される。全波整流は、交番極性のＡＣ波形を一定極性の脈動ＤＣ波形に変換する。電力網は、規定周波数のＡＣ信号を供給する。整流により、ＤＣ信号の周波数はＡＣ信号の周波数の倍数となる。言い換えれば、整流されたＤＣ信号における１つの極性の極値の発生の頻度は、ＡＣ信号における１つの極性の極値の発生の倍数である。整流されたＤＣ信号のうねり（すなわち、整流されたＤＣ信号のリップル）は、整流されたＤＣ信号の周波数でＬＥＤを点滅させることになる。したがって、ＬＥＤ光源の点滅特性は、電力網によって供給されるＡＣ信号の周波数及び整流方法からわかるようにしてもよい。したがって、点滅するＬＥＤ光源の周波数に関する知識を使用して、一連のフレーム内でＬＥＤ光源を検出するようにしてもよい。これは、ＬＥＤ光源の点滅特性が、注目フレーム部分の特定の時間的変動に対応するという仮定に基づいている。

したがって、方法１００は、変動の周波数が所定の周波数範囲内にある場合、注目フレーム部分は、ＬＥＤ光源を示す一候補であると決定すること１０６をさらに含む。変動の周波数が所定の周波数範囲内にある場合、変動はＬＥＤ光源の点滅に対応すると仮定するようにしてもよい。したがって、注目フレーム部分は、ＬＥＤ光源を示す一候補として分類されてもよい。

いくつかの例では、注目フレーム部分は（単一の）画素であってもよい。それがＬＥＤ光源を示す一候補であるかどうかを決定するために単一の画素を分析することは、センサが通常画素単位でフレームデータを提供するので、精度の上で、分析に有益となるであろう。

いくつかの例における一連のフレームは、少なくとも５つのフレームからなるようにしてもよい。５つのフレームは、ＬＥＤの点滅に特徴的な注目フレーム部分の変動を検出する点で十分なことがある。しかしながら、より多くのフレーム数が用いられてもよい。例えば、１０フレーム、１５フレーム、２０フレーム、２５フレーム、３０フレーム、３５フレーム、４０フレーム、４５フレーム、５０フレーム、又はそれ以上を用いてもよい。

いくつかの例では、一連のフレームのフレームレートは、毎秒１００フレーム（ＦＰＳ）又はそれ以上である。すなわち、一連のフレームの連続するフレーム間のタイムラグは０．０１秒以下である。小さなタイムラグは、フレーム内のオブジェクトの相対位置が一連のフレームによってカバーされる期間中に重大に変化しないとの仮定を可能にする。したがって、分析が容易になり得る。例えば、フレームレートは、１００ＦＰＳ、１５０ＦＰＳ、２００ＦＰＳ、２５０ＦＰＳ、３００ＦＰＳ、３５０ＦＰＳ、４００ＦＰＳ、４５０ＦＰＳ、５００ＦＰＳ、５５０ＦＰＳ、６００ＦＰＳ、６５０ＦＰＳ、７００ＦＰＳ、７５０ＦＰＳ、８００ＦＰＳ、８５０ＦＰＳ、９００ＦＰＳ、９５０ＦＰＳ、１０００ＦＰＳ、又はそれ以上であってもよい。

所定の周波数範囲は、例えば、９５Ｈｚから１０５Ｈｚの間、又は１１５Ｈｚから１２５Ｈｚの間としてもよい。世界中で、電力網は、５０Ｈｚ又は６０ＨｚのＡＣ信号を供給している。従来の全波整流器がＬＥＤ光源用のＡＣ信号をＤＣ信号に整流するために使用されるならば、整流されたＤＣ信号の周波数は電力網によって提供されるＡＣ信号の周波数の２倍である。したがって、ＬＥＤ光源は１００Ｈｚ又は１２０Ｈｚで点滅する。したがって、提案された周波数範囲を使用して、注目フレーム部分の変動の周波数がＬＥＤ光源の点滅周波数に対応するという仮定の下で、ＬＥＤ光源を示す複数候補が決定されるようにしてもよい。

以下、ＴＬＤ（自動交通信号検出）に関連し、提案された方法をさらに複数の角度から説明する。しかしながら、提案された方法はこの分野に限定されない。概して、提案された方法は、一連のフレーム内の任意の種類のＬＥＤ光源の検出に使用されるようにしてもよい。

図２は、交通の一状況２００を示す。交通の一状況２００は、車両に搭載された高速度カメラによって１０００ＦＰＳのフレームレートで記録される。交通の一状況２００には様々な光源が存在する。例えば、前方の車両２２０のテールライト２１０、及び交通信号灯２３０（交通信号灯器）である。

図２の右側には、高速度カメラによって記録された１０個の連続するフレームにおける交通信号灯２３０の詳細図が、示されている。交通信号灯は、複数のＬＥＤ光源を備える。連続した１０フレームにおいて、交通信号灯２３０は、緑色光に設定されている。連続した１０フレームから、ＬＥＤ光源が完全に点灯したフレームとＬＥＤ光源が消灯したフレームとがあることは明らかである。つまり、交通信号灯の複数のＬＥＤ光源（灯器）が一定の周波数（頻度）で点滅している。交通信号灯のＬＥＤ光源は、高い周波数（例えば、１００Ｈｚ又は１２０Ｈｚ、上記参照。）で、消灯している途中で一時的に光の強さが急に強くなって、また消灯（フラッシュ）（又は、点灯している途中で一時的に光の強さが急に弱くなって、またすぐに点灯）（ブリンク）している。これは裸眼では判別できないが、適切な記録フレームレートを提供するセンサ（例えば高速度カメラ）によって検出されるようにしてもよい。上述したように、１００ＦＰＳ以上のフレームレートを使用するようにしてもよい。

すなわち、交通信号灯の複数のＬＥＤ光源によって放射された緑色光を表すフレームの一部が、提案された方法において注目フレーム部分として、例えば、決定（選択）されてもよい。例えば、注目フレーム部分は、ＬＥＤ光源によって放射された緑色光を表す一画素であってもよい。図３ａは、決定された注目フレーム部分における平均輝度の時間経過の例を示す。図３ａは、一連の２００フレーム中の各フレームに対する注目フレーム部分の平均輝度強度を（任意の単位で）示す。複数の青いドットマーカーは、個々のフレーム内の注目フレーム部分の輝度値を表す。複数の青いドットマーカーは実線で結ばれている。得られた曲線３００は、正弦状の周期的パターンを示す。

図３ａに示される曲線３００の周波数スペクトル３１０を、図３ｂに示す。図３ｂから明らかなように、高いピークは約１００Ｈｚに存在する。すなわち、図２に示す交通信号灯のＬＥＤ光源は、約１００Ｈｚの周波数で、消灯している途中で一時的に光の強さが急に強くなり、またすぐ消灯（フラッシュ）（又は、点灯している途中で一時的に光の強さが急に弱くなり、またすぐに点灯（ブリンク））している。上述のように、点滅周波数は、電力網によって交通信号灯に供給されるＡＣ信号の周波数に関連する。

地域、製造元、さらには照明の変化によって大きく異なる外観とは異なり、世界中の電力網によって提供される電力の周波数は、５０Ｈｚ（例えば、ヨーロッパ又はオーストラリア）又は６０Ｈｚ（例えば、北米）に統一されている。したがって、ＬＥＤ光源の点滅パターンは、ＴＬＤにとってロバストな特徴となり得る。

上述したように、１秒以内に数百又は数千のフレームを記録（捕捉）する能力を有するセンサ（高速ビジョンシステム）を使用して一連のフレームを提供するようにしてもよい。この非常に高い時間分解能と共に、フレーム（すなわちデータ）の量は効率的で速いデータ処理を必要とする。さらに、車両は動いているので、一連のフレーム内の交通信号灯の描かれた背景は、変化するであろう。しかしながら、一連のフレーム内の高い時間分解能（すなわち、例えば１００ＦＰＳ又はそれ以上の高いフレームレート）のために、車両（センサ）が高速で動いているときでさえ、連続的な（隣接する）フレームにおける対象物の変位は、サブピクセルよりも（はるかに）少ないかもしれない。したがって、一連のフレームを、短いウィンドウ（例えば、１０００ＦＰＳのフレームレートで１０フレーム）に限定してもよく、一連のフレーム内に表されたほとんどの対象物は一連のフレーム内で著しくは移動しないと仮定してもよい。

フレームのシーケンスの分析のために、照明（例えば、昼、夜）、露出、ホワイトバランス、及び焦点ぼけのようなさらなる影響が考慮されてもよい。したがって、注目フレーム部分を選択することが、複数のフィルタ基準を使用し、フレームのシーケンスの少なくとも一部について繰り返しフィルタリングすることを備えてもよい。フィルタリングは、データ処理をスピードアップするために、興味のないフレーム部分をフィルタリングする前処理として理解されてもよい。例えば、１つ又は複数のフィルタ基準を、一連のフレームのうちの単一のフレームと、一連のフレームのうちの２つ又はそれ以上のフレームとのいずれかに適用するようにしてもよい。ヒューリスティックな特徴（例えば、色、動き、又はコントラスト）が、例えば、フィルタ基準として使用されてもよい。

例示的なフィルタリングシーケンスを、図４ａから図４ｄについて、以下説明する。しかしながら、説明するフィルタリングプロセスは単に例示的なものであって、他のフィルタ基準、より少ないフィルタ基準、より多くのフィルタ基準、又は異なる順序のフィルタ基準を使用できる場合もあることに留意されたい。

図４ａは、交通信号灯４１０が含まれた、交通の別の状況４００を示す。やはり、交通信号灯４１０は少なくとも１つのＬＥＤ光源（灯器）を備える。

静的フレーム部分を、消灯している途中で一時的に光の強さが急に強くなって、また消灯する（点灯している途中で一時的に光の強さが急に弱くなって、またすぐに点灯する）フレーム部分と区別するために、複数のフィルタ基準を使用してフレームのシーケンスの少なくとも一部を繰り返しフィルタリングすることが、フレーム部分の第１のセットを決定することを備えてもよい。ここにおいて、各フレーム部分について、一連のフレームのうちの１つのフレーム部分と、一連のフレームの一つの中のフレーム部分と、当該一連のフレームの他のフレームの中のフレーム部分との間での、画素値の差の合計は、しきい値を超えている。すなわち、当該一連のフレームの中の１フレーム内のフレーム部分を、当該一連のフレームの中の他の全てのフレームの中の対応するフレーム部分と、一つ一つ比較するのである。

画素値（ピクセル値）は、あるフレーム部分に衝突する光子の強度を示す。すなわち、各フレーム部分は、フレームのその特定の位置における光強度に比例した値を格納している。例えば、フレーム部分が単一の画素である場合、画素値はフレーム内のその特定の画素における光強度（明るさ）を示す。例えば、フレーム部分が複数（すなわち２つ又はそれ以上）の画素を含む場合、画素値はフレーム内のそれら複数の画素における光強度を示す。例えば、フレーム部の画素値は、複数の画素の各画素の画素値の合計値でもよいし、複数の画素の各画素の画素値の平均値でもよい。

２値フレームの場合、画素値は前景又は背景のいずれかを示す１ビット数であってもよい。グレースケールフレームの場合、画素値は一画素（１ピクセル）の明るさを表す数字である。画素値を、個々の画素に対する画素値を例えば０から２５５までの可能な値の範囲を与える８ビット整数として記憶することによってフレームを復号するために使用してもよい。例えば、ゼロは黒を示し、２５５は白を示すとしてもよい。したがって、ゼロと２５５の間の値は、グレーの異なる濃淡を示すとしてもよい。色付きのフレームを表現するために、（ＲＧＢ色空間を想定し、）各画素に別々の赤、緑、青の成分を指定するようにしてもよい。したがって、画素値は実際には３つの数のベクトルとなる。３つの異なる構成要素は、例えば、色平面（赤、緑及び青のそれぞれに１つ）としても知られる３つの別々の「グレースケール」フレームとして記憶するようにしてもよい。３つの別々の「グレースケール」フレームは、フレームを表示又は処理するために再度組み合わすようにしてもよい。

一連のフレーム（フレームシーケンス）が、ｎ個のフレームからなるとして、フレーム部分間の比較は、例えば、次の数式（１）に基づいてもよい。ここで、Ｍ_ｍは、画素値の差の合計を表し、ｆ_ｉは、ｎ個のフレームの中で選択された１フレーム内のフレーム部分の画素値を表し、ｆ_ｉ－ｋは、ｎ個のフレームからなる一連のフレームの中の他の１フレーム内のフレーム部分の画素値を表し、ＴＨ_ｍは閾値を表す。

すなわち、モーションマスクＭ_ｍは、静的フレーム部分（例えば、画素）を除去し、動きのある部分及びフラッシュしている部分（ブリンクしている部分）のみを保持するために使用される。それは、フレーム差を集約し、それをしきい値ＴＨ_ｍと比較することによって抽出するようにしてもよい。

したがって、第１組のフレーム部分は、静的ではないフレーム部分のみを備えるものである。しきい値ＴＨ_ｍの値を調整することによって、フレーム部分内の必要最小限の変動の範囲を調整するようにしてもよい。

図４ｂは、図４ａに示した交通の一状況をモーションマスクフィルタリングした結果を示す。図４ｂでは、非静的フレーム部分（例えば、複数画素）は白で表示され、静的フレーム部分は黒で表示される。すなわち、フレーム部分の第１セットに含まれる複数のフレーム部分が白で表示されている。

さらに、誤った色のフレーム部分をフィルタ除去するために、複数のフィルタ基準を使用して一連のフレーム（フレームシーケンス）の少なくとも一部を繰り返しフィルタリングすることは、フレーム部分の第１セットから、フレーム部分の第２セットを決定することをさらに備えるようにしてもよい。ここにおいて、フレーム部分の第２セットは、所定の色範囲を示すものとする。すなわち、フレーム部分の第１セットにおける複数フレーム部分は、所定の色範囲と比較されるようにしてもよい。所定の色範囲は、例えば、色のニュアンスに対応し、１色又は複数色からなるようにしてもよい。例えば、所定の色範囲が、赤と、黄と、緑との中の少なくとも一つの異なるニュアンスを備えるようにしてもよい。所定の色範囲は、検出対象のＬＥＤ光源の種類に基づいて選択されてもよい。いくつかの例では、正規化されたＲＧＢ色空間を使用して、照明、露出、又はホワイトバランスなどの状況の条件の変化に対処することもある。

すなわち、カラーマスクは、誤った色のフレーム部分を排除し、所定の（関心を持った、注目した）色範囲のフレーム部分のみを保持するために使用される。したがって、フレーム部の第２セットは、特定の色範囲を示すフレーム部分のみを備えるものである。

図４ｃは、図４ｂに示されるような交通の一状況の動きマスクフィルタリングした結果をさらにカラーマスクフィルタリングした結果を示す。図４ｃでは、所定の色範囲を示す非静的フレーム部分（例えば、複数画素）は白で表示され、静的であるフレーム部分と、誤った色のフレーム部分との少なくとも一方が、黒で表示されてある。すなわち、フレーム部分の第２セットからなる複数のフレーム部分は、白で表示されてある。

ＬＥＤ光源を表すフレーム部分は、１回のフラッシュ（消灯している途中で一時的に光の強さが急に強くなり、またすぐ消灯する）期間内に暗から明の間で変化する（例えば、図２参照。）。したがって、一連のフレーム内の複数フレーム部分の時間的コントラストを使用して、注目していないフレーム部分をさらに除去するようにしてもよい。したがって、複数のフィルタ基準を使用して一連のフレームを繰り返しフィルタリングすることが、注目フレーム部分としてフレーム部分の第２セットの中の一つのフレーム部分を選択することをさらに備えるようにしてもよい。ここで、注目したフレーム部分について、一連のフレームの中で最も高い画素値を示す一つの注目フレーム部分と、当該一連のフレームの中で最も低い画素値を示す一つの注目フレーム部分との間の画素値の差は、しきい値を上回るものとする。

すなわち、フレーム部分の第二セットの中の一フレーム部分が、一連のフレーム内におけるこの一フレーム部分の最大コントラストがしきい値を上回る場合、注目フレーム部分として単に選択される。

一連のフレーム（フレームシーケンス）がｎ個のフレームからなるとするとき、複数のフレーム部分間の比較は、次の数式（２）に基づいてもよい。ここで、
Ｍｔは、画素値の差を表し、
ｆ_ｉ－ｋは、ｎ個のフレームからなる一連のフレームの中の一フレーム内のフレーム部分の画素値を示し、
ｍａｘ_{ｋ＝１．．．ｎ}｛ｆ_ｉ－ｋ｝は、ｎ個のフレームからなる一連のフレームの中の当該フレーム部分の最大画素値を示し、
ｍｉｎ_{ｋ＝１．．．ｎ}｛ｆ_ｉ－ｋ｝は、ｎ個のフレームからなる一連のフレームの中の当該フレーム部分の最小画素値を示し、
ＴＨ_ｔは、しきい値を示すとする。

すなわち、時間的コントラストマスクＭ_ｔは、フラッシュしていないフレーム部分（例えば複数画素）を除去し、フラッシュしている（ブリンクしている）部分を保持するために使用される。ＬＥＤ光源が常に単色（例えば、赤、緑、又は黄色）であるＴＬＤの場合、コントラストを決定し、それをしきい値ＴＨ_ｔと比較するうえで、グレースケールに替えて例えばＶチャネル（ガンマ補正に関係する処理）を使用してもよい。

図４ｄは、図４ｃに示した交通の一状況を二重フィルタリングした結果をさらに時間的コントラストマスクフィルタリングした結果を示す。図４ｄでは、所定の色範囲及び最小のコントラストを示す複数の非静的フレーム部分（例えば、複数画素）は白色で表示されている。ここで、静的な部分と、誤った色の部分と、誤ったコントラストとの少なくとも一つである複数のフレーム部分は黒色で表示されている。つまり、複数の注目フレーム部分は白で表示されてある。

図４ｃ及び図４ｄから明らかなことは、ほとんどのフレーム部分が、静的であるか、間違った色の部分であるか、誤ったコントラストの部分ということである。すなわち、それらフレーム部分は、フラッシュするＬＥＤ光源を表示しないので、注目しないフレーム部分であるということである。したがって、計算リソースを節約し、処理時間を最小にするために、注目しないフレーム部分を、フィルタリングステップにおいて省くようにしてもよい。例えば、全てのフレーム部分（例えば、複数画素）を、最初は、ＬＥＤ光源を表示する真の候補としてマークするとする。そして、１つ又はそれ以上のマスクが順次計算される。前のマスクで（個々のフィルタ基準を満たさないがゆえに）偽と注釈されたフレーム部分は、次の計算では偽として直接マークされる。

例示的に決定されたフレーム部分は、次に、ＬＥＤ光源を表示する候補を決定するために周波数分析される。したがって、注目フレーム部分の変動は、一連のフレームを使用して決定される。例えば、注目フレーム部分の変動を決定することが、一連のフレームにおける１フレームの中の注目フレーム部分の特徴的な値を、当該一連のフレームにおける他のフレームの中の注目フレーム部分の特徴的な値と一つ一つ比較することを備えるようにしてもよい。フレーム部分の特徴的な値は、例えば、フレーム部分の画素値であるとしてもよい。あるいは、フレーム部分の特徴的な値は、例えば、フレーム部分の輝度又は明るさを表す他の値であってもよい。一連のフレームにおける１つのフレームの中の注目フレーム部分の特徴的な値を、一連のフレームにおける他のフレームの中の注目フレーム部分の特徴的な値と一つ一つ比較することによって、一連のフレーム内の注目フレーム部分の変動を決定するようにしてもよい。これゆえ、注目フレーム部分の変動が検出されるであろう。

いくつかの例では一連のフレームにおける１のフレームの中の注目フレーム部分の特徴的な値を、一連のフレームにおける他のフレームの中の注目フレーム部分の特徴的な値と比較することで、もし、１のフレームの中の注目フレーム部分の特徴的な値が第１のしきい値より小さい場合は、第１の比較結果を示すとする。当該比較することで、もし、一連のフレームにおける１のフレームの中の注目フレーム部分の特徴的な値が第２のしきい値以下である場合は、第２の比較結果を示すとする。さらに、当該比較することで、一連のフレームにおける１のフレームの中の注目フレーム部分の特徴的な値が第２のしきい値より大きい場合は、第３の比較結果を示すとする。これに関連し、第１のしきい値及び第２のしきい値は、一連のフレームにおける他のフレームの中の１フレームの中の注目フレーム部分の特徴的な値に基づいて設定されるとする。

図５は、そのような比較の一例を示す。図５において、一連のフレームにおける１のフレームｆｉ内の注目フレーム部分の特徴的な値ｐ_ｉは、一時的に先行する複数フレームｆ_ｉ－１からｆ_ｉ－１０内の注目フレーム部分の特徴的な値ｐ_ｉ－１からｐ_ｉ－１０と、比較される。すなわち、複数フレーム_ｆｉ－１からｆ_ｉ－１０は、一連のフレームをなしているとする。

各フレームｆ_ｉ－１からｆ_ｉ－１０の上の数字は、比較結果を示す。例えば、フレームｆ_ｉ－_５の上には、数字「２」が示されている。これは、一連のフレームにおけるフレームｆｉの中の注目フレーム部分の特徴的な値ｐ_ｉが第２のしきい値より大きかったからである。ここでは、この第２のしきい値は、フレームｆ_ｉ－５内の注目フレーム部分の特徴的な値ｐ_ｉ－５に基づいている。フレームｆ_ｉ－１０の上に数字「１」が示されているのは、フレームｆｉ内の注目フレーム部分の特徴的な値ｐｉが、ある第２のしきい値以下であるからである。ここでは、この第２のしきい値は、フレームｆ_ｉ－_１０内の注目フレーム部分の特徴的な値ｐ_ｉ－_１０に基づいている。

すなわち、数字「１」は第２の比較結果を示し、数字「２」は第３の比較結果を示す。フレームｆｉ内の注目フレーム部分の特徴的な値ｐｉと、複数フレームｆ_ｉ－１からｆ_ｉ－１０内の注目フレーム部分の特徴的な値ｐ_ｉ－１からｐ_ｉ－１０との間で、比較がなかった場合は、第１の比較結果が示される。

すなわち、一連のフレームにおける１のフレーム内の注目フレーム部分の特徴的な値と、当該一連のフレームにおける他の複数フレームの１フレーム内の注目フレーム部分の特徴的な値と、の比較は、以下の数式（３）に基づいてもよい。ここで、
Ｔ（ｉ、ｊ）は比較結果を示し、
ｉは一連のフレームにおける１フレーム内の注目フレーム部分の特徴的な値を示し、
ｊは一連のフレームにおける他の複数フレームの１フレーム内のフレーム部分の特徴的な値を示し、
ｔは、定数を示すとする。
不等式｜ｉ－ｊ｜≦は、ｉ≧ｊ－ｔと、ｉ≦ｊ＋ｔとに再公式化してもよい。
等式（３）については、ｊ－ｔは、第１のしきい値に相当し、ｊ＋ｔは第２のしきい値に相当するとする。

提案される方法は、一連のフレームについての個々の比較結果を組み合わせることをさらに備えてもよい。したがって、当該方法は、一連のフレームにおける１のフレーム中の注目フレーム部分の特徴的な値を、複数の他のフレームの中の注目フレーム部分の特徴的な値と一つ一つ比較した個々の比較結果から、あるパターン５１０を生成することをさらに備えてもよい。図５に示すパターン５１０は、時系列で示されている。すなわち、パターン５１０の最も左側の図は、特徴的な値ｐｉと特徴的な値ｐ１０との比較から生成されたもので、パターン５１０の左から２番目の図は、特徴的な値ｐｉと特徴的な値ｐ９との比較とから生成されたもので、他も同様に生成されたものである。

言い換えると、現在のフレームｆｉから注目したフレーム部分ｐｉ（例えば、１画素）は、複数の従前フレームの対応部分と、順次比較されるのである。（数字０、１又は２で表示される）比較結果は、その後、結び付けられる。

それゆえ、パターン５１０を、時間的３値パターン（ＴＴＰ）と称することがある。ローカルバイナリパターン（ＬＢＰ）と同様に、ＴＴＰは時間的情報を小さなウィンドウ内にコンパクトに符号化するようにしてもよい。パターン５１０は低い複雑度Ｏ（ｎ）を有する。ここで、ｎは時間的ウィンドウサイズ、すなわち一連のフレームにおいて１のフレームに先行するフレームの数である。例えば、フレームｆの中の画素ｐｉと同じ位置｛ｐ_ｉ―ｋ｜ｋ＝１、．．．、ｎ｝の時間的な隣接部について、ｐ_ｉとｐ_ｉ－ｋの間で３値比較Ｔを実行し、連結してコンパクトな文字列にして、ＴＴＰは抽出される。

ＴＴＰは、ｎ＋１個のフレームを備える一連のフレームについてｎ個の数字を有するものとする。

各数字は、ペアワイズ（一対のデータによる）３値比較（例えば、式（３）を参照）により定義される。３つの文字は、ｉがｊ（数字「０」）よりもかなり小さく、ｊ（数字「１」）と同等である、そしてｊ（数字「２」）よりもかなり大きいといった状況を表す。ＬＢＰのような２値比較とは対照的に、３値比較には定数ｔが使用される。したがって、この３値比較は、一連のフレームにおける個々のフレーム内のノイズ（例えば、カメラノイズ）による影響がより少ないであろう。

決定されたパターンは、１の注目フレーム部分の変動の周波数を表す。したがって、決定されたパターンは、当該注目フレーム部分がＬＥＤ光源を表す候補か否かの判定に使用されてもよい。したがって、注目フレーム部分はＬＥＤ光源を表す候補であると判定することは、決定されたパターンを少なくとも１の基準パターンと比較することを備えてもよく、ここで、基準パターンはＬＥＤ光源の存在を示すものであるとする。

基準パターンは、その周波数が予め定めた周波数範囲内にある注目フレーム部分についての基準変動を表す。決定されたパターンが基準パターンと等しい場合、注目フレーム部分は、それゆえ、ＬＥＤ光源を表す可能性が高い。ゆえに、決定されたパターンが基準パターンと等しい場合、注目フレーム部分は、ＬＥＤ光源を表すものとするのに適した候補である。

注目フレーム部分がＬＥＤ光源を表す候補であると判定するために、ＬＥＤ光源の存在を示す１つの基準パターン又は各々の基準パターンがＬＥＤ光源の存在を示す複数の基準パターンを有するテーブルを提供するようにしてもよい。それら基準パターンは、例えば、複数のトレーニング（モデル構築用）データセットから取得してもよい。

図４ａから図４ｄと、図５とを参照すると、複数のＴＴＰは、前処理から得られた各注目部分（例えば、１画素）から取得してもよい。次に、これらのＴＴＰは、複数基準を持つ予め定めたテーブルに基づいて効率的にフィルタリングされるようにしてもよい。１のＴＴＰは、記録された各フレームについてではなく、ある期間（例えば、１０の記録フレーム）内のピークフレームについてのみ抽出されるようにしてもよい。ピークフレームは、例えば、最も明るいフレームであるとしてもよい。ピークフレームは次に、例えば従前の１０のフレームと比較されて、上述したようにＴＴＰストリング（列）を形成するようにしてもよい。

上述の処理が、ＬＥＤ光源を表すための１つ又は複数の候補を提供するようにしてもよい。フルＬＥＤ光源を検出するために、さらなる後処理が行われるようにしてもよい。例えば、注目に基づく結果のフレーム部分は、ＢＬＯＢ（バイナリラージオブジェクト）にマージされてもよい。すなわち、注目に基づく結果のフレーム部分は、１つ又は複数の特徴が一定又はほぼ一定であるフレームの複数領域に組み合わされる。例えば、複数の注目フレーム部分（すなわち１のＬＥＤ光源を表す複数候補）がフレームの単一画素である場合、それらが複数の候補領域にマージされるようにしてもよい。さらに、周波数分析後の結果に、単一の孤立した偽陽性ポイントが含まれている可能性があるとする。すなわち、１のＬＥＤ光源を表す単一の決定された候補が、誤りである可能性がある。例えば、強い焦点ぼけ及び照明条件の変化のために、検出された領域の近くに、ＬＥＤ光源について欠けている画素が複数あるかもしれないということである。

本方法は、それゆえ、フレーム部分の第２のセットの１サブセットを、接続フレーム部分に組み合わせることを、さらに備えてもよい。例えば、フレーム部分の第２セットのフレーム部分は、４接続、６接続、又は８接続の近傍を用いてＢＬＯＢに分割されるようにしてもよい。また、決定されたＬＥＤ光源を表す複数の候補は、接続フレーム部分の真正を選択するために用いられる。したがって、本方法は、接続フレーム部分がＬＥＤ光源を表す１の候補を含む場合、接続フレーム部分はＬＥＤ光源を表すと判定することを備えてもよい。すなわち、ＬＥＤ光源を表す候補を備える１の連結フレーム部分のみがＬＥＤ光源を表すと、判定される。

言い換えれば、周波数分析結果は、高しきい値マスクとして使用してもよい。それは、低しきい値マスクとして機能するカラーマスクＭ_ｃと共フィルタリングされるようにしてもよい。例えば、低しきい値マスクの全ての正の画素は、例えば８接続近傍を用いて接続ＢＬＯＢに分割されるようにしてもよい。少なくとも１の正の高しきい値画素を含むＢＬＯＢが保持され、それ以外が抑制されるようにしてもよい。領域アスペクト比又は平均輝度などのさらなる単純な特徴を抽出し、ＬＥＤ光源の誤った表現をさらに除去するようにしてもよい。

後処理の効果を図６に示す。図６の左側部分６１０は、本方法に入力されたフレームを示す。複数のＬＥＤ光源を有する交通信号灯のぼんやり定型化した歩行（ｗａｌｋｉｎｇ）形状が示されてある。周波数分析の結果は、図６の中央部６２０に示されている。すなわち、図６の中央部６２０の白い部分は、ＬＥＤ光源を表すと判定された候補の全てを示している。図６の中央部６２０から、ＬＥＤ光源を表す候補は、図６の最も左側に示された完全な歩行形状を表していないことが、明らかである。図６の右側部分６３０には、後処理後の結果が示されている。すなわち、ＬＥＤ光源を表す少なくとも１つの候補を含む複数のＢＬＯＢが形成される。図６の右側部分６３０から、後処理後の結果は、本方法に入力されたフレームと、視覚的により類似していることが明らかである。

ここに提案される方法は、ＴＬＤの文脈で例示的に説明された。しかしながら、本方法は、ＴＬＤの文脈に限定されない。それどころか、提案される方法は、任意の種類のＬＥＤ光源の検出に使用されるようにしてもよい。

上述の説明から明らかなように、提案される方法は、ＬＥＤ光源の検出、したがって複数のＬＥＤ光源を含む交通信号灯の複数の検出も、高い精度で可能にする。それゆえ、ある環境の一連のフレームにおける少なくとも１つのＬＥＤ光源を含む交通信号灯を検出する方法は、上述の複数工程の１つ又は複数を備えるようにしてもよい。

提案される方法の精度、再現率、及びＦｉスコアは、従来の手法と比較して高いであろう。それゆえ、提案される方法は、改善されたＴＬＤを可能にするであろう。したがって、車両によって提供される運転者支援システム、又は車両による自律運転の性能及び精度は、向上するであろう。

提案される概念の１つ又は複数の態様による方法、あるいは上述の１つ又は複数の例による方法を使用する実施の態様の一例を図７に示す。図７は、車両７００を示す。車両７００は、自動車として示されている。しかしながら、車両７００は、エンジン、パワートレインシステム及び車輪を含む任意の装置であり得る。例えば、車両７００は、自家用車両でも商用車でもよい。特に、車両７００は、自動車、トラック、オートバイ、又はトラクターであってもよい。

車両７００は処理ユニット７１０を備える。処理ユニット７１０は、例えば、１つ又は複数のプロセッサ又は制御部を含み得る。しかしながら、「プロセッサ」又は「制御部」という用語は、ソフトウェアを実行可能なだけのハードウェアに限定されず、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを格納するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージが包含されてもよい。従来のハードウェアと、カスタムハードウェアとの少なくとも一方も、包含されてもよい。

処理ユニット７１０は、提案される概念の１つ又は複数の態様によるＬＥＤ光源を検出する方法、上述の１つ又は複数の例によるＬＥＤ光源を検出する方法、提案される概念の１又は複数の態様による交通信号灯を検出する方法、あるいは上述の１つ又は複数の例による交通信号灯を検出する方法を、実行するように構成される。

上記の複数の方法の１つを実行することによって、車両によって提供される運転者支援システムの性能及び精度、又は車両による自律走行は、改良されるであろう。

車両７００は、環境についての一連のフレームを生成するように構成されたセンサ７２０をさらに備えてもよく、それは上記の複数の方法に入力される。すなわち、センサ７２０は光子に感度を有するものでもよい。例えば、センサ７２０は、カメラ、特に高速度カメラでもよい。すなわち、センサは、１００ＦＰＳ以上のフレームレートで環境の一連のフレームを生成するように構成されてもよい。センサ７２０は、車両７００内に配置されてもよく（すなわち、センサ７２０は車両の内部の一部であってもよく）、又は車両７００に配置されてもよい（すなわち、センサ７２０は車外から接続されてもよい）。例えば、センサ７２０は、車両７００のフロントガラス又は車両７００の前部に配置されてもよい。

他の例の同様の特徴を置換するため、又は他の例にさらに特徴を導入するために、１つ又は複数のこれまで詳細に説明された例と、１つ又は複数のこれまで詳細に説明された図面と共に言及された態様と、当該例と当該図面と共に記載された特徴とは、１つ又は複数の他の例と組み合わせてもよい。

複数の例はさらに、コンピュータプログラムがコンピューティングユニット又はプロセッサ上で実行されるとき、上記の方法のうちの１つ又は複数を実行するためのプログラムコードを有するコンピュータプログラムであってもよい。上記の様々な方法の工程、動作又はプロセスは、プログラムされたコンピュータ又はプロセッサによって実行されるようにしてもよい。複数の例はまた、機械、プロセッサ、又はコンピュータに可読であり、機械実行可能、プロセッサ実行可能、又はコンピュータ実行可能な命令のプログラムであるデジタルデータ記憶媒体などのプログラム記憶デバイスを網羅してもよい。複数の指示は、上記の方法の動作の一部又は全部を実行するか又は実行をさせるものである。プログラム記憶装置は、例えば、デジタルメモリ、磁気ディスク及び磁気テープなどの磁気記憶媒体、ハードドライブ、あるいは光学読取可能なデジタルデータ記憶媒体を含むか、それらであってもよい。さらなる複数の例はまた、上記の方法の動作を実行するようにプログラムされたコンピュータ、プロセッサ又は制御ユニット、又は（フィールド）プログラマブルロジックアレイ（（Ｆ）ＰＬＡ）又は（フィールド）プログラマブルゲートアレイ（（Ｆ）ＰＧＡ）を網羅してもよい。プロセッサによって提供されるとき、複数の機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又はそのうちのいくつか又は全てが共有され得る複数の個々のプロセッサによって提供されるようにしてもよい。

説明及び図面は単に本開示の原理を例示するものである。したがって、当業者であれば、ここに明示的に説明されていないか、又は示されていないが、本開示の原理を具体化し、その精神及び範囲内に含まれる、様々な変更を工夫できることは、理解されよう。さらに、ここに挙げられた全ての例は、技術の進歩のため、本開示の原理及び発明者が寄与する概念について、読者の理解を助けるための教育的目的のみのためであることを原理的に特別に意図されるものであって、特定的に記載された例及び条件のような制限なしであるごとく解釈されるものである。さらに、本開示による、原理、態様、実施例、特定の実施例についての全ての記載は、それらの均等物を包含することを意図するものとする。

ブロック図は、例えば、本開示の原理を実施する高水準回路図を示してもよい。同様に、フローチャート、流れ図、状態遷移図、疑似コードなどは、様々なプロセス、動作又は工程を示すものであってよい。それらは、例えば、機械可読媒体で、したがってコンピューティングユニット又はプロセッサで実行されるもので、実質的に表されてもよい。このことは、コンピューティングユニット又はプロセッサが明示的に示されているかどうかは問わないものとする。本明細書又は特許請求の範囲に開示された方法は、これらの方法の備える個々の動作を実行するための手段を有する装置によって実施されてもよい。

本明細書又は特許請求の範囲に開示された複数の動作、プロセス、操作、工程又は機能の開示は、例えば技術的な理由で明示的又は暗黙的に述べられない限り、特定の順序内にあると解釈されなくてよい。したがって、複数の動作又は複数の機能の開示は、そのような動作又は機能が技術的な理由で交換可能でない限り、これらを特定の順序に限定されないものとする。さらに、いくつかの例では、単一の動作、機能、プロセス、操作又は工程は、それぞれ、複数のサブ動作、機能、プロセス、操作又は工程を含むか、又はそれらに分割されてもよい。明示的に除外されない限り、そのような副次的動作が含まれ、この単一の動作の開示の一部となる場合がある。

さらに、添付の特許請求の範囲は詳細な説明に組み込まれ、各特許請求の範囲は別々の例としてそれ自体で成立するものとしてもよい。従属請求項は、当該特許請求の範囲において、１つ又は複数の他の請求項との特定の組み合わせを参照することがあるが、各請求項は別々の例として成立してもよく、他の複数例が、他の従属請求項又は独立請求項の保護対象を伴う従属請求項の組み合わせを含んでもよいことに留意されたい。そのような組み合わせは、特定の組み合わせが意図されていないと記載されない限り、本明細書において明示的に提案されているものとする。さらに、仮に、ある請求項が任意の他の独立請求項に直接従属していないときに、当該独立請求項は、当該直接従属していない請求項の特徴をも含むものとすることを意図する。

１００ 方法
１０２ 注目フレーム部の選択
１０４ 注目フレーム部の変動の決定
１０６ 注目フレーム部がＬＥＤ光源を表す候補であることの決定
２１０ テールライト
２２０ 車両
２３０ 交通信号灯
３００ 曲線
３１０ 周波数スペクトル
４００ 交通の別の状況
４１０ 交通信号灯
５１０ パターン
６１０ 図６の左側部分
６２０ 図６の中央部分
６３０ 図６の右側部分
７００ 車両
７１０ 処理ユニット
７２０ センサ

Claims (17)

1. ある環境についての一連のフレーム内においてＬＥＤ光源を検出するための方法（１００）であって、
   ＬＥＤ光源の点滅特性は、電力網によって供給されるＡＣ信号の周波数及び整流方法に基づき、
   前記一連のフレームのうちの少なくとも一つの注目フレーム部分を選択すること（１０２）と、
   選択した少なくとも一つの注目フレーム部分の光の強さの変動を検出すること（１０４）と、
   検出した前記変動の周波数が所定の周波数範囲内にある場合、一つの注目フレーム部分がＬＥＤ光源を示す候補であると決定すること（１０６）と、
   を含み、
   前記光の強さの変動を検出すること（１０４）が、一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値を、一連のフレームにおける複数の別のフレーム内の注目フレーム部分の特徴的値と比較することを含み、
   注目フレーム部分の特徴的値は、注目フレーム部分の光の強さを表す値であり、
   前記比較することは、以下の数式に基づいて行われることであり、
   

   

   Ｔ（ｉ、ｊ）は比較結果を示し、ｉは一連のフレームにおける一つのフレーム内の注目フレーム部分の特徴的な値を示し、ｊは一連のフレームにおける複数の別のフレームの一つのフレーム内の注目フレーム部分の特徴的な値を示し、ｔは、定数を示し、
   一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第１のしきい値ｊ－ｔより小さいときは、第１の比較結果「０」を示し、
   一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第２のしきい値ｊ＋ｔ以下のときは、第２の比較結果「１」を示し、
   一連のフレームにおける一フレーム内の注目フレーム部分の特徴的値が、第２のしきい値ｊ＋ｔより大きいときは、第３の比較結果「２」を示し、
   第１のしきい値ｊ－ｔ及び第２のしきい値ｊ＋ｔは、一連のフレームにおける他の複数の別のフレーム内の注目フレーム部分の特徴的値に基づいていて、
   一連のフレームにおける一つのフレーム内の注目フレーム部分の特徴的値を、一連のフレームにおける複数の別のフレームの一つのフレーム内の特徴的値のそれぞれとの比較した結果のそれぞれからパターンを生成し、
   前記一つの注目フレーム部分がＬＥＤ光源を表す候補であると決定することは、生成したパターンを、ＬＥＤ光源の存在を示す基準パターンと比較することを含む、ある環境についての一連のフレーム内においてＬＥＤ光源を検出するための方法。
2. 前記基準パターンは、トレーニングデータセットから取得する、請求項１に記載の方法。
3. 注目フレーム部分の特徴的値は、注目フレーム部分の画素値である、請求項１又は２に記載の方法。
4. 注目フレーム部分を選択すること（１０２）が、複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることを含む、請求項１から３のいずれか一項に記載の方法。
5. 複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることは、フレーム部分の第１のセットを決定することを含み、フレーム部分の第１のセットの各フレーム部分について、一連のフレームの一つのフレーム内のフレーム部分と、一連のフレームの複数の他のフレームのフレーム部分との画素値の差の合計は、しきい値を超えている、請求項４に記載の方法。
6. 複数のフィルタ基準を用いて一連のフレームの少なくとも一部を繰り返しフィルタリングすることは、フレーム部分の第１のセットから、フレーム部分の第２のセットを決定することをさらに含み、フレーム部分の第２のセットにおけるフレーム部分は所定の色範囲を示す、請求項５に記載の方法。
7. 複数のフィルタ基準を用いて一連のフレームを繰り返しフィルタリングすることは、フレーム部分の第２のセットの中の１のフレーム部分を注目フレーム部分として選択することをさらに含み、注目フレーム部分について、一連のフレームの中で最高画素値を示す注目フレーム部分と、一連のフレームの中で最低画素値を示す注目フレーム部分との間の画素値の差は、しきい値を上回る、請求項６に記載の方法。
8. 注目フレーム部分を少なくとも１つの特徴が一定のフレームの複数領域に組み合わせて接続フレーム部分を作ることと、
   ＬＥＤ光源を表す複数の候補を決定することと、
   接続フレーム部分がＬＥＤ光源を表す一候補を含むとき、接続フレーム部分はＬＥＤ光源を表す、と判定することと、
   をさらに備える、請求項６又は７に記載の方法。
9. 注目フレーム部分は、一画素である、請求項１から８のいずれか一項に記載の方法。
10. 一連のフレームは、少なくとも５フレームを備える、請求項１から９のいずれか一項に記載の方法。
11. 一連のフレームのフレームレートは、一秒当たり少なくとも１００フレームである、請求項１から１０のいずれか一項に記載の方法。
12. 所定の周波数の範囲は、９５Ｈｚと１０５Ｈｚとの間と、１１５Ｈｚと１２５Ｈｚとの間とのいずれかである、請求項１から１１のいずれか一項に記載の方法。
13. 請求項１から１２のいずれか一項に記載の方法を備える、ある環境についての一連のフレームの中に少なくとも一つのＬＥＤ光源を備える交通信号灯を検出する方法。
14. 請求項１から１２のいずれか一項に記載の方法と、請求項１３に記載の交通信号灯を検出する方法との少なくとも一方を実施する処理ユニット（７１０）を備える、車両（７００）。
15. 環境についての一連のフレームを生成するセンサ（７２０）をさらに備える、請求項１４に記載の車両。
16. センサ（７２０）は、環境についての一連のフレームを、一秒当たり少なくとも１００フレームのフレームレートで生成する請求項１５に記載の車両。
17. 請求項１から１２のいずれか一項に記載のＬＥＤ光源を検出する方法と、請求項１３に記載の交通信号灯を検出する方法との少なくとも一方を実施するプログラムコードを有するプログラムを格納した、機械可読記憶媒体であって、プログラムがコンピュータユニット又はプロセッサで実行される、機械可読記憶媒体。

Images