JPWO2016021038A1 - 信号機検出装置及び信号機検出方法 - Google Patents

Abstract

信号機検出装置は、車両に搭載された撮像部（１１）を用いて車両の周囲を撮像して画像を取得する。信号灯検出部（２２）は、画像の中から電力の交流周期と同期して輝度が変化する信号灯を検出する。画像重畳部（２１）は、撮像部により取得された異なる時刻の画像からそれぞれに検出された信号灯の画像間の位置が維持されるように、異なる時刻の画像（２８）を重ね合わせて重畳画像を生成する。信号機認識部（２６）は、重畳画像を用いて信号灯を含む信号機を認識する。

Description

本発明は、信号機検出装置及び信号機検出方法に関するものである。

従来から、日照によりコントラストが低下した場合でも、信号機を正確に検出するための技術が提案されている（特許文献１参照）。特許文献１では、カメラ画像から、信号機の点灯領域の輝度値と、その周囲に存在する消灯領域と筐体領域との分離度とを用いて、信号機の判定を行っている。

特開２０１３−２４２６８６号公報

夜間、点灯中の信号灯は周囲に比べて輝度が高くなる。このため、点灯中の信号灯の輝度が飽和しないようにカメラの露出を調整すると、その周囲に存在する消灯中の信号灯や信号機の筐体を撮像できない場合があった。

本発明は、上記課題に鑑みて成されたものであり、その目的は、点灯中及び消灯中の信号灯を含む信号機全体を撮像して、信号機を精度良く検出することができる信号機検出装置及び信号機検出方法を提供することである。

本発明の一態様に係わる信号機検出装置は、車両に搭載された撮像部を用いて、車両の周囲を撮像して画像を取得し、画像の中から、電力の交流周期と同期して輝度が変化する信号灯を検出する。撮像部により取得された異なる時刻の画像からそれぞれに検出された信号灯の画像間の位置が維持されるように、異なる時刻の画像を重ね合わせて重畳画像を生成し、重畳画像を用いて信号灯を含む信号機を認識する。

図１は、実施形態に係わる信号機検出装置の全体構成を示すブロック図である。 図２は、基準信号の位相の同期或いは非同期による相関値の違いを示し、図２（ａ）は基準信号の位相が電力の位相に同期している状態を示し、図２（ｂ）は基準信号の位相が電力の位相と反転している状態を示す。 図３は、信号灯検出部２２により検出された信号灯（ＤＡ１〜ＤＡ３）を示し、図３（ａ）は、車両が停止している時に検出された信号灯ＤＡ１を示し、図３（ｂ）は、車両が移動し且つ車体が振動している時に検出された信号灯ＤＡ２を示し、図３（ｃ）は画像の位置を調整した後に検出される信号灯ＤＡ３を示す。 図４は、信号灯検出部２２により検出された信号灯（ＤＡ１〜ＤＡ３）を示し、図４（ａ）は、車両が停止している時に検出された信号灯ＤＡ１を示し、図４（ｂ）は、車両が移動し且つ車体が振動している時に検出された信号灯ＤＡ２を示し、図４（ｃ）は画像の位置を調整した後に検出される信号灯ＤＡ３を示す。 図５は、信号灯の輝度がしきい値以下となる画像を選定する画像選定部２３の詳細を説明するためのグラフである。 図６は、図１に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。 図７は、信号機認識部２６による信号機の認識処理の一例を示すフローチャートである。 図８は、カメラ画像の縮尺変更を説明するための図であり、図８（ａ）及び図８（ｂ）は、連続する２つの情報処理サイクルで検出された２つの信号灯ＳＧ１、ＳＧ２を示すカメラ画像であり、図８（ｃ）は、図８（ｂ）の縮尺を変更した後のカメラ画像を示す。 図９は、カメラ画像の縮尺変更及びカメラ画像の回転を説明するための図であり、図９（ａ）及び図９（ｂ）は、連続する２つの情報処理サイクルで検出された２つの信号灯ＳＧ１、ＳＧ２を示すカメラ画像であり、図９（ｃ）は、図９（ｂ）の縮尺を変更し且つ回転させた後のカメラ画像を示す。 図１０は、第２実施形態に係わる信号機検出方法の一例を示すフローチャートである。 図１１は、カメラ画像から切り出される信号機領域（ＣＴ１〜ＣＴ３）を示し、図１０（ａ）は垂直方向（ｙ方向）及び水平方向（ｘ方向）に５つの信号灯を並べることができる大きさを有する信号機領域ＣＴ１を示し、図１１（ｂ）は垂直方向（ｙ方向）に５つの信号灯を並べることができる大きさを有する信号機領域ＣＴ２を示し、図１１（ｃ）は水平方向（ｘ方向）に５つの信号灯を並べることができる大きさを有する信号機領域ＣＴ３を示す。

（第１実施形態）
図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して、第１実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を撮像して画像を取得する撮像部１１と、撮像部１１により取得された画像の中から信号機を検出する信号機検出部１２とを備える。

撮像部１１は、固体撮像素子、例えばＣＣＤ又はＣＭＯＳを備えたカメラであって、画像処理が可能なカラー画像を取得する。撮像部１１は、所定の時間間隔で繰り返し車両の前方を撮像して、連続する複数の画像（フレーム）を取得する。信号機に供給される電力の１交流周期の間に、複数回の撮像を行う。

信号機検出部１２は、撮像部１１により取得された画像（以後、「カメラ画像」という）を受信し、カメラ画像の中から信号機を検出する。検出された信号機の情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１３）に転送される。信号機検出部１２は、例えば、ＣＰＵ、メモリ２５、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部１２は、カメラ画像から信号機を検出する一連の情報処理サイクル（同期検波処理を含む）を、連続する複数のカメラ画像（フレーム）毎に繰り返し実行する。信号機検出部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

メモリ２５は、撮像部１１により撮像された複数のカメラ画像（フレーム）２８を同時に記憶する。例えば、信号機に供給される電力の１〜３交流周期の間に撮像される複数のカメラ画像２８を同時に記憶する。同期検波処理は、複数のカメラ画像２８ごとに実施される。

信号機検出部１２により構成される複数の情報処理部には、位相検出部２９と、信号灯検出部２２と、画像重畳部２１と、信号機認識部２６と、位置変化算出部１６とが含まれる。

位相検出部２９は、カメラ画像２８中の予め設定した空間領域から、信号機に供給される電力の交流周期と同期して輝度が変化する画素を抽出し、輝度の時間変化から、信号機を含む車両周辺における電力系統の位相情報を検出する。

信号灯検出部２２は、電力系統の位相情報を用いて、カメラ画像の中から電力の交流周期と同期して輝度が変化する信号灯を検出する。つまり、信号灯検出部２２は、信号機に含まれる複数の信号灯のうち点灯中の信号灯を検出する。

画像重畳部２１は、信号灯検出部２２により異なる時刻の画像からそれぞれに検出された信号灯の位置が維持されるように、異なる時刻のカメラ画像を重ね合わせて重畳画像を生成する。

信号機認識部２６は、重畳画像を用いて、信号灯検出部２２により検出された信号灯を含む信号機全体を認識する。つまり、信号機認識部２６は、重畳画像から、灯火中の信号灯ののみならず、隣接する消灯中の信号灯及び信号機の枠とも、認識する。

位置変化算出部１６は、異なる時刻において信号灯検出部２２により検出された信号灯の異なる時刻の画像間の位置の変化量を算出する。具体的に、位置変化算出部１６は、信号灯の重心位置の変化、或いは、信号灯の面積の増減から、信号灯の異なる時刻の画像間の位置の変化量を算出する。画像重畳部２１は、信号灯の異なる時刻の画像間の位置の変化量に基づいて、重畳される異なる時刻のカメラ画像間の位置あわせを行う。図３を参照して信号灯の重心位置の変化を用いた例を、図４を参照して信号灯の面積の増減を用いた例を、それぞれ後述する。

信号灯検出部２２は、同期画像生成部１５（同期画素抽出部）と、信号灯判断部１８とを有する。同期画像生成部１５は、位相検出部２９により検出された電力系統の位相情報を用いて、カメラ画像２８の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する。そして、抽出された同期画素からなる同期画像を生成する。具体的に、同期画像生成部１５は、基準信号生成部１７と、乗算部３０と、ローパスフィルタ（ＬＰＦ）２０とを備える。

基準信号生成部１７は、電力系統（商用電源）の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成する。乗算部３０は、メモリ２５から読み出したカメラ画像（フレーム）２８の各画素の輝度信号と基準信号とを乗算する。乗算部３０は、メモリ２５に同時に記憶されている複数のカメラ画像の各々について、上記した乗算処理を実施する。ＬＰＦ２０は、乗算部３０による乗算結果のうち、所定の遮断周波数よりも高い周波数成分を低減させて低周波数成分のみを取り出して、同期画素からなる同期画像を出力する。基準信号の位相の整合性については、図２を参照して後述する。

信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期（例えば、１００Ｈｚ）と同じ周期で変化する。そこで、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素をカメラ画像２８の中から抽出することにより、商用電源から電力の供給を受けて点灯する信号灯を検出することができる。

信号灯判断部１８は、同期画像の中から、点灯中の信号灯を検出する。具体的に、同期画素の検出安定性及び色相に基づいて、同期画素の位置に信号灯が存在するか否かを判断する。遠方の信号機を撮像する場合、走行中の車両振動などにより計測対象（信号機）の画像間の位置が変動してしまう。そこで、信号灯判断部１８は、所定の判定期間、連続して同じ位置で同期画素が抽出されるか否かを判断する。また、信号灯判断部１８は、同期画素の色相が信号色の色相に類似するか否かを判断する。信号灯判断部１８は、所定の判定期間、連続して同じ画像上の位置で同期画素が抽出され、且つ同期画素の色相が信号色の色相に類似する場合に、同期画素の位置に信号灯が存在すると判断する。

画像重畳部２１は、画像選定部２３と、画像積算部２４と、画像調整部１９とを有する。画像選定部２３は、異なる時刻のカメラ画像の中から、信号灯の輝度がしきい値以下となる２以上の異なる時刻のカメラ画像を選定する。画像選定部２３は、電力の交流周期と同期する基準信号の位相を用いることにより、信号灯の輝度がしきい値以下となる２以上の異なる時刻のカメラ画像を選定することができる。画像積算部２４は、選定された２以上の異なる時刻のカメラ画像を重ね合わせて重畳画像を生成する。画像選定部２３の詳細は、図５を参照して後述する。

画像調整部１９は、異なる時刻において信号灯判断部１８により検出された信号灯の画像間の位置が維持されるように、撮像部１１により取得された異なる時刻のカメラ画像間の位置関係を調整する。画像調整部１９は、位置変化算出部１６により算出された信号灯の異なる時刻の画像間の位置の変化量を用いることにより、異なる時刻の画像からそれぞれに検出された信号灯の画像間の位置が維持されるように異なる時刻のカメラ画像間の位置関係を調整することができる。よって、位置関係を調整した後のカメラ画像を画像積算部２４が重畳することにより、重畳画像における信号機の位置合わせ精度が向上する。

図２（ａ）及び図２（ｂ）を参照して、基準信号の位相の整合性について説明する。図２（ａ）は、基準信号の位相が、信号機に供給される電力の位相に整合している状態を示す。この状態において、各画素の１）輝度信号と２）基準信号とを乗算することにより、３）乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値（相関値Ｇ１）は、最も大きな値となる。

一方、図２（ｂ）は、基準信号の位相が、信号機に供給される電力の位相と反転している状態を示す。この状態において、各画素の１）輝度信号と２）基準信号とを乗算することにより、３）乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値（相関値Ｇ２）は、最も小さな値となる。

車両から信号機までの距離が遠くなるほど、撮像部１１により検出される信号灯の輝度は小さくなり、輝度の変化幅も小さくなる。よって、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることにより、高い相関値（Ｇ１）を得ることができ、ひいては遠方の信号機を精度良く検出することができる。

図３（ａ）〜（ｃ）を参照して、信号灯の異なる時刻の画像間での重心位置の変化量に基づいて、異なる時刻のカメラ画像間の位置関係を調整する画像調整部１９の例を説明する。

位置変化算出部１６は、信号灯判断部１８により検出された信号灯のカメラ画像上の重心位置を検出する。位置変化算出部１６は、異なる時刻の画像からそれぞれに検出された信号灯の各々の異なる時刻の画像上の重心位置を検出し、異なる時刻の画像間の信号灯の重心位置の変化量を算出する。

画像調整部１９は、異なる時刻の画像間の信号灯の重心位置の変化量が所定の基準値を超える場合、重心位置が変化していると判断する。そして、画像調整部１９は、信号灯の重心位置の移動方向と逆方向に、重心位置の移動距離の２倍だけ、後の時刻のカメラ画像の位置をずらす。位置をずらした後のカメラ画像は、メモリ２５に再び記憶される。

図３は、信号灯判断部１８により検出された信号灯（ＤＡ１〜ＤＡ３）を示し、（ａ）は、車両が停止している時に検出された信号灯ＤＡ１を示す。（ｂ）は、車両が移動し且つ車体が振動している時に検出された信号灯ＤＡ２を示す。（ｃ）は、画像調整部１９により画像の位置を調整した後に検出される信号灯ＤＡ３を示す。図３（ａ）〜図３（ｃ）の格子枠（ＦＬ、ＦＬｍ３）は、行列状に配列された複数の画素からなるフレームを示し、格子枠の各々は撮像素子の画素を示す。

車両が停止しているとき、車体の振動は無いため、カメラ画像は変動しない。このため、図３（ａ）に示すように、同じ情報処理サイクルの間で、信号灯の異なる時刻の画像間の位置は変動しない。よって、信号灯判断部１８は、信号灯ＤＡ１を実際の大きさ及び形状のままで検出することができる。一方、車両が移動し且つ車体が振動する場合、カメラ画像も変動する。たとえば、図３（ｂ）に示すように、同じ情報処理サイクルの間で、信号灯の位置が領域ＳＴ２から領域ＥＮ２まで移動する。この場合、信号灯判断部１８は、領域ＳＴ２と領域ＥＮ２が重複する領域ＤＡ２を、信号灯として検出する。なお、車両が移動中であっても振動が無ければ、図３（ａ）と同様な検出結果となる。また、信号灯判断部１８は、図３（ａ）の信号灯ＤＡ１と図３（ｂ）の信号灯ＤＡ２とを、異なる時刻、具体的には、異なる情報処理サイクルにおいて検出している。更に具体的には、連続する２つの情報処理サイクルにおいて、信号灯ＤＡ１と信号灯ＤＡ２とを検出している。

図３（ａ）及び図３（ｂ）の例では、信号灯ＤＡ２の重心位置は、信号灯ＤＡ１の重心位置よりも、ｘ軸方向に−０．５画素分だけ移動している。そこで、画像調整部１９は、図３（ｃ）に示すように、後の時刻のフレーム（カメラ画像）ＦＬの位置を、ｘ軸方向に＋１画素分だけずらす。これにより、後の時刻のカメラ画像の位置を、信号灯の重心位置の移動方向と逆方向（ｘ軸方向）に重心位置の移動距離の２倍（＝１画素分）だけずらすことができる。ずらした後のフレームＦＬｍ３における信号灯ＤＡ３は、図３（ａ）の信号灯ＤＡ１と同じ位置となる。よって、車体の振動があっても、信号機灯の輝度変動の連続性を画素レベルで維持できるので、安定した信号灯検出が可能となる。

図４（ａ）〜（ｃ）を参照して、信号灯の面積の増減に基づいて、異なる時刻のカメラ画像間の位置を調整する画像調整部１９の例を説明する。

位置変化算出部１６は、信号灯判断部１８により検出された信号灯の面積を検出する。位置変化算出部１６は、異なる時刻の画像からそれぞれに検出された信号灯の各々の面積を検出し、信号灯の面積の増減量を算出する。

画像調整部１９は、信号灯の面積の増減量が所定の基準値を超える場合、信号灯の異なる時刻の画像間の位置が変化していると判断する。信号灯の面積が減少する場合、画像調整部１９は、信号灯の面積が減少する方向に、減少する領域の幅だけ、後の時刻のカメラ画像の位置をずらす。一方、信号灯の面積が増大する場合、画像調整部１９は、増大する方向と逆方向に、増大する領域の幅だけ、後の時刻のカメラ画像の位置をずらす。これにより、異なる時刻において信号灯判断部１８により検出された信号灯のカメラ画像間の位置が維持される。位置をずらした後のカメラ画像は、メモリ２５に再び記憶される。

図４は、図３と同様に、信号灯判断部１８により検出された信号灯（ＤＡ１〜ＤＡ３）を示す。ただし、図４（ｃ）は、画像調整部１９がカメラ画像間の位置関係を調整した後に検出される信号灯ＤＡ３を示す。

車両が停止しているとき、図４（ａ）に示すように、同じ情報処理サイクルの間で、信号灯の画像間の位置は変動しない。よって、信号灯判断部１８は、信号灯ＤＡ１を実際の大きさ及び形状のままで検出することができる。一方、車両が移動し且つ車体が振動する場合、図４（ｂ）に示すように、同じ情報処理サイクルの間で、信号灯の位置が領域ＳＴ２から領域ＥＮ２まで移動する。この場合、信号灯判断部１８は、領域ＳＴ２と領域ＥＮ２が重複する領域ＤＡ２を、信号灯として検出する。

図４の例では、信号灯ＤＡ２の面積は、信号灯ＤＡ１の面積から減少している。具体的には、信号灯ＤＡ２の面積は、ｘ軸方向に−１画素分、ｙ軸方向に２画素分、減少している。そこで、画像調整部１９は、図４（ｃ）に示すように、後の時刻のフレーム（カメラ画像）ＦＬの位置を、ｘ軸方向に−１画素分、ｙ軸方向に２画素分だけずらす。これにより、画像調整部１９は、信号灯の面積が減少する方向に、減少する領域の幅だけ、カメラ画像の位置をずらすことができる。ずらした後のフレームＦＬｍ３における信号灯ＤＡ３は、図４（ａ）の信号灯ＤＡ１と同じ位置となる。よって、車体の振動があっても、信号灯の輝度変動の連続性を画素レベルで維持できるので、安定した信号灯検出が可能となる。

なお、ここでは、後の時刻のカメラ画像を調整しているが、異なる時刻のカメラ画像間の位置を調整できればよく、前の時刻のカメラ画像を調整するようにしてもいいし、すべてのカメラ画像を調整してもいいし、一部のカメラ画像を調整するようにしてもよい。

図５を参照して、信号灯の輝度がしきい値以下となるカメラ画像を選定する画像選定部２３の詳細を説明する。図５の「ＢＲ」は信号灯の輝度の時間変化を示し、「ＬＯ」は基準信号生成部１７により生成される基準信号の時間変化を示す。前述したように、基準信号ＬＯは、信号機に供給される電力の位相、すなわち信号灯の輝度変化に同期している。よって、信号灯の輝度がしきい値以下となる２以上のカメラ画像を画像選定部２３が選定する際に、輝度のしきい値（Ｔｈ）に対応する基準信号のしきい値（Ｔｈ’）を求めることができる。画像選定部２３は、基準信号ＬＯがしきい値（Ｔｈ’）よりも小さい時に撮像された２以上のカメラ画像を選択する。たとえば、基準信号ＬＯの位相が第三象限或いは第四象限の時に撮像されたカメラ画像を選択する。これにより、信号灯の輝度がしきい値（Ｔｈ）以下となる２以上のカメラ画像を選定することができる。このようにして、画像選定部２３は、電力の交流周期と同期する基準信号ＬＯの位相を用いて、信号灯の輝度がしきい値（Ｔｈ）以下となる２以上のカメラ画像を選定することができる。

なお、図５を参照して説明した画像選定部２３の詳細は一例である。画像選定部２３は、基準信号生成部１７により生成される基準信号ＬＯを用いずに、信号灯の輝度をしきい値（Ｔｈ）と比較することによりカメラ画像を選定しても構わない。

これにより、画像重畳部２１が信号灯の輝度が低い時に撮像された２以上のカメラ画像を重畳することができる。よって、点灯中の信号灯の輝度が飽和していない状態で、消灯中の信号灯又は信号機の枠を撮像することができる。また、基準信号ＬＯの位相を用いることにより、信号灯の輝度を判定することなく、信号灯の輝度がしきい値以下となる２以上のカメラ画像を精度良く選定することができる。

なお、画像重畳部２１は、重畳画像における消灯中の信号灯及び信号機の枠の輝度に応じて、選定及び重畳するカメラ画像の数を設定することが望ましい。具体的には、重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が信号機の検出に必要な下限値以上となるように、重畳するカメラ画像の数を設定すればよい。

また、重畳するカメラ画像の数の代わりに、或いはそれに加えて、撮像部１１の露出条件をフィードバック制御してもよい。具体的には、画像選定部２３が、重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が信号機の検出に必要な下限値以上となるように、撮像部１１の露出条件を設定すればよい。ここで、撮像部１１の露出条件には、カメラの露光時間（シャッタースピード）、カメラレンズの絞り値（Ｆ値）、及び撮像素子の受光感度（ＩＳＯ感度）のうち少なくとも１つが含まれる。

図６及び図７を参照して、図１の信号機検出部１２により実行される、カメラ画像から信号機を検出する一連の情報処理サイクルの一例を説明する。図６及び図７のフローチャートに示す情報処理サイクルは、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、所定の周期で繰り返し実行される。

まず、図６のステップＳ０１で、画像調整部１９は、前回の情報処理サイクルにおけるステップＳ１３で設定されたオフセット量、すなわちカメラ画像をずらす方向及びずらす量に基づいて、カメラ画像間の位置関係を調整する。

ステップＳ０３に進み、画像調整部１９は、位置調整後のカメラ画像をメモリ２５に記憶する。ステップＳ０５に進み、同期画像生成部１５は、電力系統の位相情報を用いて、位置調整後のカメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、そして、抽出された同期画素からなる同期画像を生成する。

ステップＳ０７に進み、信号灯判断部１８は、同期画像の中から信号灯を検出する。ステップＳ０９に進み、位置変化算出部１６は、信号灯の重心位置の変化又は面積の増減から、信号灯のカメラ画像間の位置の変化量を算出する。位置変化算出部１６は、位置調整後のカメラ画像から検出された信号灯の位置と、他の情報処理サイクルで検出された信号灯の位置との間の変化量を算出する。

ステップＳ１１に進み、画像調整部１９は、信号灯の異なる時刻の画像間の位置が所定値よりも変化しているか否かを判断する。位置が所定値よりも変化している場合（Ｓ１１でＹＥＳ）、カメラ画像のオフセット量を設定するために、ステップＳ１３に進む。位置が所定値よりも変化していなければ（Ｓ１１でＮＯ）、信号灯の異なる時刻のカメラ画像間の位置が変化していないと判断できるので、カメラ画像のオフセット量を設定しない。

ステップＳ１３において、図３に示したように、重心位置の移動方向及び移動量に基づいて、カメラ画像のオフセット量を算出して設定する。設定されたオフセット量に基づいて、次の処理サイクルにおけるステップＳ０１においてカメラ画像間の位置が調整される。もちろん、図４に示したように、面積の増減方向及び増減領域の幅に基づいて、オフセット量を算出してもよい。

ステップＳ０１の後、並行して、ステップＳ１５〜Ｓ２１を実施する。ステップＳ１５において、画像選定部２３は、図５に示したように、基準信号ＬＯが、しきい値（Ｔｈ’）よりも小さい時に撮像された２以上のカメラ画像を抽出する。これにより、信号灯の輝度がしきい値（Ｔｈ）以下となる２以上のカメラ画像を抽出することができる。

ステップＳ１７に進み、画像選定部２３は、抽出されたカメラ画像の数が、画像重畳部２１により設定された、重畳するカメラ画像の数以上であるか否かを判断する。重畳するカメラ画像の数以上である場合（Ｓ１７でＹＥＳ）、さらなるカメラ画像の選定は不要であるので、ステップＳ１９へ進む。重畳するカメラ画像の数未満である場合（Ｓ１７でＮＯ）、さらなるカメラ画像の選定が必要であるため、重畳作業を開始せずに、次の情報処理サイクルへ進む。

ステップＳ１９において、画像積算部２４は、抽出された２以上の異なる時刻のカメラ画像を重ね合わせて重畳画像を生成する。ステップＳ２１に進み、生成された重畳画像を信号機認識部２６へ出力する。

図７を参照して、信号機認識部２６による信号機の認識処理の一例を説明する。まず、重畳画像のデータを読み込み（Ｓ５１）、Ｈａａｒ−ｌｉｋｅ特徴などの輝度パターンの局所特徴を用いて、重畳画像の中から信号機の候補を検出する（Ｓ５２）。そして、信号機の候補に含まれる灯火領域の円形度を判定する（Ｓ５３）。具体的に、灯火領域の縦と横の長さの比を求め、その比がたとえば０．７より大きく且つ１．３未満である灯火領域のみを抽出する。これにより、灯火領域が略円形である信号機の候補を抽出することができる。

次に、ＨＳＶ色空間における灯火領域の色相を判定する（Ｓ５４）。具体的に、重畳画像の色空間をＲＧＢからＨＳＶ（Hue（色相）、Saturation（彩度）、Value（明度））に変換する。そして、灯火領域の色相が、赤、青、黄のいずれであるかである信号機の候補を抽出する。最後に、抽出された信号機の候補の現示色（赤、青、黄のいずれか）を、図１の車両ＣＰＵ１３に出力する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

夜間、点灯中の信号灯は周囲に比べて輝度が高くなるため、撮像部１１の露出を調整しただけでは、点灯中及び消灯中の信号灯を含む信号機全体の画像を、一度の撮像で取得することは難しい。具体的には、点灯中の信号灯に露出を合わせた場合、消灯中の信号灯及び信号機の枠に対する露出が不足し、消灯中の信号灯及び信号機の枠を撮像できない。一方、消灯中の信号灯及び信号機の枠に露出を合わせた場合、点灯中の信号灯に対する露出が超過してしまい、やはり消灯中の信号灯及び信号機の枠を撮像することが難しくなる。

そこで、電力の交流周期で輝度が変化する信号灯の位置が維持されるように、異なる時刻のカメラ画像を重ね合わせて重畳画像を生成する。これにより、点灯中の信号灯に対する露出超過を抑制しつつ、消灯中の信号灯或いは信号機の枠を高感度で撮像することができる。よって、信号機の周囲が暗い状況であっても、点灯中及び消灯中の信号灯を含む信号機全体を撮像して、信号機を精度良く検出することができる。なお、信号灯の位置が維持されるように、異なる時刻のカメラ画像を重ね合わせて重畳画像を生成しているが、信号灯の位置を完全に一致させる必要はなく、例えば、信号灯の円形形状や信号機の枠形状が判別可能な位置ずれの範囲で、信号灯の位置が維持されればよい。

画像重畳部２１は、信号灯が検出された複数のカメラ画像のうち、信号灯の輝度がしきい値Ｔｈ以下となる２以上の異なる時刻のカメラ画像を重畳して重畳画像を生成する。これにより、信号灯の輝度が低い時に撮像された２以上の画像を重畳することができる。よって、点灯中の信号灯の輝度が飽和していない状態で、消灯中の信号灯又は信号機の枠を高感度で撮像することができる。

画像選定部２３は、電力の交流周期と同期する基準信号（ＬＯ）の位相を用いて、信号灯の輝度がしきい値（Ｔｈ）以下となる２以上のカメラ画像を選定する。信号灯の輝度は、電力の交流周期と同期する基準信号（ＬＯ）に同期して変化している。よって、基準信号（ＬＯ）の位相を用いることにより、信号灯の輝度を判定することなく、信号灯の輝度がしきい値（Ｔｈ）以下となる２以上のカメラ画像を精度良く選定することができる。

画像調整部１９は、信号灯の異なる時刻の画像間の位置が維持されるように、重畳される異なる時刻のカメラ画像間の位置関係を調整する。位置を調整した後の画像を重畳することにより、重畳画像における信号機の位置合わせ精度が向上する。

画像重畳部２１は、重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が信号機の検出に必要な下限値以上となるように、撮像部１１の露出条件を設定する。これにより、重畳画像から、消灯中の信号灯又は信号機の枠を検出することができる。

画像重畳部２１は、重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が信号機の検出に必要な下限値以上となるように、重畳するカメラ画像の数を設定する。これにより、重畳画像から、消灯中の信号灯又は信号機の枠を検出することができる。

（第２実施形態）
第２実施形態では、画像平面（ｘｙ平面）内での位置ずれを補正するのみならず、画像平面の法線方向（ｚ方向）の位置ずれをも補正する画像調整部１９について説明する。

第２実施形態に係わる信号機検出装置の全体構成は、図１と同じである。位置変化算出部は、信号灯判断部１８が同時に２以上の信号灯を検出した場合、２以上の信号灯の異なる時刻のカメラ画像間の相対位置を検出する。具体的には、同じ情報処理サイクルにおいて２以上の信号灯が検出された場合に、２以上の信号灯の相対的位置を求める。

画像調整部１９は、異なる時刻の画像からそれぞれに検出された２以上の信号灯の異なる時刻のカメラ画像間の相対位置が変化しているか否かを判断する。２以上の信号灯の異なる時刻のカメラ画像間の相対位置が変化している場合、画像調整部１９は、２以上の信号灯の異なる時刻のカメラ画像間の相対位置が維持されるように、異なる時刻のカメラ画像間の縮尺及び回転の少なくとも一方を調整する。縮尺及び回転の少なくとも一方が調整された後のカメラ画像は、メモリ２５に記憶される。

図８及び図９を参照して、カメラ画像の縮尺変更及びカメラ画像の回転を説明する。図８（ａ）及び図８（ｂ）は、連続する２つの情報処理サイクルで検出された２つの信号灯（ＳＧ１、ＳＧ２）を示すカメラ画像であり、図８（ｃ）は、図８（ｂ）の縮尺を変更した後のカメラ画像を示す。図８（ａ）は、車体の振動の影響が無い安定時に撮像されたカメラ画像であり、図８（ｂ）は、その後、信号機までの距離が縮まったことにより２つの信号機の相対位置が変化しているカメラ画像である。連続する２つの情報処理サイクル間の車両の移動により、図８（ａ）と図８（ｂ）とでは、２つの信号灯（ＳＧ１、ＳＧ２）の相対位置が変化している。

画像調整部１９は、２以上の信号灯（ＳＧ１、ＳＧ２）の異なる時刻のカメラ画像間の相対位置が維持されるように、縮尺量を算出して設定する。図８は、カメラ画像の回転が不要な場合を示す。画像調整部１９は、図８（ｃ）に示すように、図８（ｂ）のカメラ画像の縮尺を変更する。たとえば、図８（ｂ）のカメラ画像を縮小する。もちろん、図８（ａ）のカメラ画像を拡大しても構わない。図８（ｃ）における２つの信号灯（ＳＧ１、ＳＧ２）の相対位置は、図１１（ａ）における相対位置が維持されている。

一方、図９は、画像調整部１９が、カメラ画像の縮尺を変更し、更にカメラ画像を回転させる例を示す。図９（ｂ）では、図９（ａ）よりも信号機（ＳＧ１、ＳＧ２）までの距離が縮まり、且つ車体が横方向に傾いたため、カメラ画像にも傾きが生じている。そこで、画像調整部１９は、図９（ｃ）に示すように、図９（ｂ）のカメラ画像の縮尺を変更し、且つカメラ画像を回転させる。たとえば、図９（ｂ）のカメラ画像を縮小し、且つ右回りに回転させる。もちろん、図９（ａ）を拡大し、且つ左回りに回転させても構わない。図９（ｃ）における２つの信号機（ＳＧ１、ＳＧ２）の相対位置は、図９（ａ）における相対位置が維持されている。

図１０を参照して、第２実施形態に係わる信号機検出部１２により実行される、カメラ画像から信号機を検出する一連の情報処理サイクルの一例を説明する。図１０に示す処理は、予め定めた周期で繰り返し実行される。

ステップＳ０１〜Ｓ２１は、図４と同じ処理であるため説明を省略し、図４に対して追加されたステップＳ２３〜Ｓ２７について説明する。ステップＳ１１或いはステップＳ１３の後にステップＳ２３に進み、位置変化算出部１６は、信号灯判断部１８が同じ情報処理サイクルにおいて２以上の信号灯を検出したか否かを判断する。２以上の信号灯を検出した場合（Ｓ２３でＹＥＳ）、ステップＳ２５に進み、位置変化算出部１６は、２以上の信号灯のカメラ画像上の相対位置を検出する。位置変化算出部１６は、異なる時刻の画像からそれぞれに検出された２以上の信号灯の各々について異なる時刻のカメラ画像間の相対位置を検出する。

ステップＳ２７に進み、２以上の信号灯の異なる時刻のカメラ画像間の相対位置が変化している場合、画像調整部１９は、２以上の信号灯の異なる時刻の画像間の相対位置が維持されるように、カメラ画像の縮尺量及び回転量の少なくとも一方を算出して設定する。カメラ画像の縮尺を変更し、カメラ画像を回転させることで、同時に検出された２以上の信号灯の異なる時刻の画像間の相対位置を維持することができる。なお、２以上の信号灯の異なる時刻のカメラ画像間の相対位置が変化しなければ、カメラ画像の縮尺は調整せず、カメラ画像の回転も行わない。

なお、ステップＳ２７においてカメラ画像の縮尺量及び回転量が設定された場合、次の情報処理サイクルのステップＳ０１において、画像調整部１９は、カメラ画像の縮尺を変更し、カメラ画像を回転させる。

１つの重畳画像を形成するために重畳されるカメラ画像の数が増えると、車両の移動による画像の縮尺及び回転のずれが大きくなり、カメラ画像の位置合わせ精度が低下してしまう。そこで、同時に２以上の信号灯を検出した場合、２以上の信号灯の異なる時刻の画像間の相対位置が維持されるように、画像の縮尺及び回転の少なくともいずれか１つを調整する。これにより、画像平面（ｘｙ平面）内での位置ずれを補正するのみならず、画像平面の法線方向（ｚ方向）の位置ずれを補正することができる。よって、重畳する画像の数が増えても、画像の位置合わせ精度を維持することができる。

（第３実施形態）
第３実施形態では、画像処理負担を軽減するために、信号機全体を含むことができる最小限の領域（信号機領域）をカメラ画像の中から切り出し、２以上の信号機領域を重畳する例を説明する。

図１１（ａ）に示すように、画像重畳部２１は、検出された信号灯ＳＧを中心とする信号機領域ＣＴ１をカメラ画像の中から切り出す。信号機領域ＣＴ１は、信号機内で隣接する信号灯の間隔と同じ間隔で垂直方向（ｙ方向）及び水平方向（ｘ方向）に５つの信号灯を並べることができる大きさを有する。画像重畳部２１は、カメラ画像の各々について切り出された信号機領域ＣＴ１を重畳して重畳画像を生成する。

検出された信号灯ＳＧを含む信号機領域ＣＴ１をカメラ画像の中から切り出して重畳することにより、カメラ画像全体を重畳する場合に比べて画像処理の負担が軽減される。また、通常、信号機は、赤、青、黄色の３つの信号灯を有し、これらは、垂直方向或いは水平方向に配列されている。そこで、信号灯を中心とする領域であって、５つの信号灯を垂直方向或いは水平方向に並べることができる大きさの領域を切り出して重畳する。これにより、３つの信号灯のうちどの位置の信号灯が点灯しているかが不明な状況においても、信号機全体を含むことができる最小限の領域を切り出すことができる。

なお、赤、青、黄色の３つの信号灯が配列される方向が垂直方向（ｙ方向）であることが判明している場合、画像重畳部２１は、図１１（ｂ）に示すように、隣接する信号灯の間隔と同じ間隔で垂直方向（ｙ方向）にのみ５つの信号灯を並べることができる大きさを有する信号機領域ＣＴ１を切り出してもよい。一方、信号灯が配列される方向が水平方向（ｘ方向）であることが判明している場合、画像重畳部２１は、図１１（ｃ）に示すように、隣接する信号灯の間隔と同じ間隔で水平方向（ｘ方向）にのみ５つの信号灯を並べることができる大きさを有する信号機領域ＣＴ１を切り出してもよい。

隣接する信号灯の間隔は予め定まっているため、検出された信号灯ＳＧの直径が検出できれば、カメラ画像上における信号灯の間隔を算出することができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１１ 撮像部
１２ 信号機検出部
１６ 位置変化算出部
１９ 画像調整部
２１ 画像重畳部
２２ 信号灯検出部
２３ 画像選定部
２６ 信号機認識部
２８ カメラ画像（画像）
ＣＴ１〜ＣＴ３ 信号機領域
ＤＡ１〜ＤＡ３ 信号灯
ＬＯ 基準信号
ＳＧ、ＳＧ１、ＳＧ２ 信号灯

【０００４】
ログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部１２は、カメラ画像から信号機を検出する一連の情報処理サイクル（同期検波処理を含む）を、連続する複数のカメラ画像（フレーム）毎に繰り返し実行する。信号機検出部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。
［００１２］
メモリ２５は、撮像部１１により撮像された複数のカメラ画像（フレーム）２８を同時に記憶する。例えば、信号機に供給される電力の１〜３交流周期の間に撮像される複数のカメラ画像２８を同時に記憶する。同期検波処理は、複数のカメラ画像２８ごとに実施される。
［００１３］
信号機検出部１２により構成される複数の情報処理部には、位相検出部２９と、信号灯検出部２２と、画像重畳部２１と、信号機認識部２６と、位置変化算出部１６とが含まれる。
［００１４］
位相検出部２９は、カメラ画像２８中の予め設定した空間領域から、信号機に供給される電力の交流周期と同期して輝度が変化する画素を抽出し、輝度の時間変化から、信号機を含む車両周辺における電力系統の位相情報を検出する。
［００１５］
信号灯検出部２２は、電力系統の位相情報を用いて、カメラ画像の中から電力の交流周期と同期して輝度が変化する信号灯を検出する。つまり、信号灯検出部２２は、信号機に含まれる複数の信号灯のうち点灯中の信号灯を検出する。
［００１６］
画像重畳部２１は、信号灯検出部２２により異なる時刻の画像からそれぞれに検出された信号灯の位置が維持されるように、異なる時刻のカメラ画像を重ね合わせて重畳画像を生成する。
［００１７］
信号機認識部２６は、重畳画像を用いて、信号灯検出部２２により検出された信号灯を含む信号機全体を認識する。つまり、信号機認識部２６は、重畳画像から、灯火中の信号灯のみならず、隣接する消灯中の信号灯及び信号機の枠とも、認識する。
［００１８］
位置変化算出部１６は、異なる時刻において信号灯検出部２２により検出

Claims (9)

1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
   前記画像の中から、電力の交流周期と同期して輝度が変化する信号灯を検出する信号灯検出部と、
   前記撮像部により取得された異なる時刻の画像からそれぞれに検出された前記信号灯の画像間の位置が維持されるように、前記異なる時刻の画像を重ね合わせて重畳画像を生成する画像重畳部と、
   前記重畳画像を用いて、前記信号灯を含む信号機を認識する信号機認識部と
   を有することを特徴とする信号機検出装置。
2. 前記画像重畳部は、前記異なる時刻の画像のうち、前記信号灯の輝度がしきい値以下となる２以上の前記異なる時刻の画像を重畳して前記重畳画像を生成することを特徴とする請求項１に記載の信号機検出装置。
3. 前記画像重畳部は、電力の交流周期と同期する基準信号の位相を用いて、前記信号灯の輝度がしきい値以下となる２以上の前記異なる時刻の画像を選定する画像選定部を備えることを特徴とする請求項２に記載の信号機検出装置。
4. 前記画像重畳部は、前記信号灯の画像間の位置が維持されるように、重畳される前記異なる時刻の画像間の位置関係を調整する画像調整部を備えることを特徴とする請求項１〜３のいずれか一項に記載の信号機検出装置。
5. 前記画像重畳部は、前記重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が前記信号機の検出に必要な下限値以上となるように、前記撮像部の露出条件を設定することを特徴とする請求項１〜４のいずれか一項に記載の信号機検出装置。
6. 前記画像重畳部は、前記重畳画像における消灯中の信号灯及び信号機の枠の少なくとも一方の輝度が前記信号機の検出に必要な下限値以上となるように、重畳する前記異なる時刻の画像の数を設定することを特徴とする請求項１〜５のいずれか一項に記載の信号機検出装置。
7. 前記画像調整部は、前記信号灯検出部が同時に２以上の前記信号灯を検出した場合、前記２以上の信号灯の前記異なる時刻の画像間の相対位置が維持されるように、前記異なる時刻の画像間の縮尺及び回転の少なくともいずれか１つを調整することを特徴とする請求項４に記載の信号機検出装置。
8. 前記画像重畳部は、検出された前記信号灯を中心とする領域であって、且つ前記信号機の中で隣接する信号灯の間隔と同じ間隔で５つの信号灯を垂直方向或いは水平方向に並べることができる大きさの前記領域を、前記異なる時刻の画像の中から切り出し、
   前記画像重畳部は、前記異なる時刻の画像の各々について切り出された前記領域を重畳して前記重畳画像を生成する
   ことを特徴とする請求項１〜７のいずれか一項に記載の信号機検出装置。
9. 車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
   前記画像の中から、電力の交流周期と同期して輝度が変化する信号灯を検出し、
   前記撮像部により取得された異なる時刻の画像からそれぞれに検出された前記信号灯の画像間の位置が維持されるように、前記異なる時刻の画像を重ね合わせて重畳画像を生成し、
   前記重畳画像を用いて、前記信号灯を含む信号機を認識する
   ことを特徴とする信号機検出方法。
   

Images