JPWO2016162975A1 - 信号機検出装置及び信号機検出方法 - Google Patents

Abstract

信号機検出装置は、車両に搭載された撮像部を用いて、車両の周囲を撮像した画像の中から信号機に供給される電力の交流周期と同期して輝度が変化する同期画素（ＤＡ１〜ＤＡ３）を抽出し、同期画素の中から信号機を検出する。信号機検出装置は、同期画素の連続して抽出された位置の位置変動量（Ｇ１〜Ｇ３、ｇ１〜ｇ３）を算出する位置変動算出部と、位置変動量がしきい値以下である同期画素を信号灯候補と判定する信号灯判定部とを備える。

Description

本発明は、信号機検出装置及び信号機検出方法に関するものである。

従来から、カメラで撮像された画像の中から信号機を検出する信号機検出装置が知られている（特許文献１参照）。特許文献１では、画像の中から、信号灯の色及び形状に基づいて信号灯候補を検出し、信号灯候補が所定の周期で点滅しているか否かを判断している。

特開２００５−３０１５１８号公報

カメラを搭載する車両が移動していると、移動中に撮像された画像に含まれる輝度エッジの位置も移動する。これにより、輝度エッジが移動した領域に輝度のステップ応答が生じ、広い周波数成分を持ったノイズが発生する。予め定めた周期で輝度が変動している画素を信号灯として抽出する場合、広い周波数成分を持ったノイズを信号灯として誤認識してしまう場合がある。

本発明は、上記課題に鑑みて成されたものであり、その目的は、輝度エッジが移動しても輝度のステップ応答を信号灯として誤検出することを抑制して、精度良く信号灯を検出できる信号機検出装置及び信号機検出方法を提供することである。

本発明の一態様に係わる信号機検出装置は、車両に搭載された撮像部を用いて、車両の周囲を撮像して撮像画像を取得し、撮像画像の中から信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、同期画素の中から信号機を検出する。信号機検出装置は、同期画素の連続して抽出された位置の位置変動量を算出する位置変動算出部と、位置変動量がしきい値以下である同期画素を信号灯候補と判定する信号灯判定部とを備える。

図１は、第１実施形態に係わる信号機検出装置の全体構成を示すブロック図である。 図２は、図１に示した同期画像生成部１５の詳細な構成を示すブロック図である。 図３は、図１に示した信号機検出部１８ａの詳細な構成を示すブロック図である。 図４（ａ）、（ｂ）、（ｃ）は、Ｘ軸方向へ移動する信号灯の重複部分ＤＡが同期画素として抽出されている様子を示し、図４（ｄ）、（ｅ）、（ｆ）は、他の灯火において、オンからオフへのステップ応答と、オフからオンへのステップ応答が、交互に同期画素として抽出されている様子を示す概念図である。 図５（ａ）、（ｃ）、（ｄ）は、同期画像生成サイクル内において、高輝度領域の位置が、領域ＳＴから領域ＥＮまで右方向へ移動した様子をそれぞれ示す概念図であり、図５（ｂ）は、信号機に供給される電力の位相に同期した基準信号の立ち上がり時刻ｔ１及び立ち下がり時刻ｔ２を示すグラフである。 図６は、図１に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。 図７は、第２実施形態に係わる信号機検出装置の全体構成を示すブロック図である。 図８は、図７に示した信号機検出部１８ｂの詳細な構成を示すブロック図である。 図９は、図７に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。

（第１実施形態）
次に、図面を参照して、本発明の実施の形態を詳細に説明する。

図１を参照して、第１実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を撮像して画像を取得する撮像部１１と、撮像部１１により取得された画像の中から信号機を検出する画像処理部１２とを備える。

撮像部１１は、固体撮像素子、例えばＣＣＤ又はＣＭＯＳを備えたカメラであって、画像処理が可能なカラー画像を取得する。撮像部１１は、所定の時間間隔で繰り返し車両の前方を撮像して、連続する複数の画像（フレーム）を取得する。撮像部１１は、信号機に供給される電力の１交流周期の間に、複数回の撮像を行う。

画像処理部１２は、撮像部１１により取得された画像を受信し、画像の中から信号機を検出する。検出された信号機の情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＣＰＵ１３）に転送される。画像処理部１２は、例えば、ＣＰＵ、メモリ２５、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。画像処理部１２は、画像から信号機を検出する一連の情報処理サイクル（同期画像生成処理を含む）を、連続する複数の撮像画像（フレーム）単位で繰り返し実行する。画像処理部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

メモリ２５は、撮像部１１により撮像された複数の撮像画像（フレーム）２８を同時に記憶する。例えば、信号機に供給される電力の１〜３交流周期の間に撮像される複数の撮像画像２８を記憶する。同期画像生成処理は、記憶して置いた複数の撮像画像２８単位に実施される。

画像処理部１２により構成される複数の情報処理部には、同期画像生成部１５と、同期画素群設定部１４と、信号機検出部１８ａとが含まれる。

同期画像生成部１５は、信号機を含む車両周辺における電力系統の位相情報を取得する。そして、電力系統の位相情報を用いて、撮像画像の中から、電力の交流周期と同期して輝度が変化する同期画素を抽出する。そして、抽出された同期画素からなる同期画像を生成する。具体的に、図２に示すように、同期画像生成部１５は、基準信号生成部１７と、乗算部３０と、ローパスフィルタ（ＬＰＦ）２０とを備える。

基準信号生成部１７は、電力系統（商用電源）の位相情報を用いて、信号機に供給される電力の位相に同期した基準信号を生成する。乗算部３０は、メモリ２５から読み出した撮像画像（フレーム）２８の各画素の輝度信号と基準信号とを乗算する。乗算部３０は、メモリ２５に同時に記憶されている複数の撮像画像の各々について、上記した乗算処理を実施する。ＬＰＦ２０は、乗算部３０による乗算結果のうち、所定の遮断周波数よりも高い周波数成分を低減させて低周波数成分のみを取り出して、同期画素からなる同期画像を出力する。

信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期（例えば、１００Ｈｚ）と同じ周期で変化する。そこで、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素を撮像画像２８の中から抽出する。

同期画素群設定部１４は、予め定めた領域内で検出される複数の同期画素を１つの同期画素群に設定する。つまり、複数の同期画素の集合を１つの同期画素群として認識する。具体的には、隣接する複数の同期画素を１つの同期画素群に設定する。つまり、複数の同期画素の固まりを１つの同期画素群として認識する。たとえば、同期画素の密度が所定の基準値よりも高い領域に含まれる複数の同期画素を１つの同期画素群に設定する。

信号機検出部１８ａは、同期画素の中から点灯中の信号灯を抽出して、当該信号灯を含む信号機を検出する。図３に示すように、信号機検出部１８ａは、同期画素の連続して抽出された位置の位置変動量を算出する位置変動算出部２１と、位置変動量がしきい値以下である同期画素を信号灯候補と判定する信号灯判定部２２とを少なくとも備える。

位置変動算出部２１は、同期画素群設定部１４により設定された同期画素群の重心位置を算出し、その連続して抽出された重心位置の移動量を、位置変動量として算出する。信号灯判定部２２は、位置変動量がしきい値以下である同期画素群を信号灯候補として判定する。信号灯判定部２２は、同期画素群の面積に応じてしきい値を調整する。具体的には、同期画素群の面積が大きいほど、しきい値を大きく設定する。更に、信号灯判定部２２は、位置変動量がしきい値以下である同期画素群が、しきい時間以上連続して同期画像生成部１５により生成された場合に、当該同期画素群を信号灯候補として判定する。たとえば、しきい時間として、信号機に供給される電力の一周期を設定すればよい。

このほか、信号機検出部１８ａは、信号灯判定部２２により判定された信号灯候補の色相が信号色の色相に類似するか否かを判断し、信号灯候補の円形度を更に判断する。商用電源から電力の供給を受けて点灯する電灯には、信号機が有する信号灯の他に、街灯、自動販売機、看板など、路上で点灯している他の電灯が含まれる。信号灯候補には、これらの他の電灯も含まれる可能性がある。信号機検出部１８ａが信号灯候補と信号色との間で色相の類似性を判断し、更に信号灯候補の円形度合いを判断することにより、信号灯候補の中から、これらの他の電灯を排除して、信号灯及び当該信号灯を含む信号機を検出することができる。

次に、図４及び図５を参照して、位置変動量がしきい値以下である同期画素群を信号灯候補として判定することができる理由を説明する。

撮像部１１を搭載する自車両が移動していると、移動中に撮像された画像に含まれる高輝度領域の位置も移動する。高輝度領域には、灯火中の信号灯の他に、たとえば、先行車のテールランプ（ブレーキランプ、ウィンカーランプ）、対向車のヘッドランプが含まれる。また、自車両が停止しても、周囲の他車両が移動すれば、先行車のテールランプ、対向車のヘッドランプの位置も移動する。

高輝度領域の位置の移動に伴い、輝度エッジの位置も移動する。これにより、輝度エッジが移動した領域（ＳＴ、ＥＮ）に輝度のステップ応答が生じ、広い周波数成分を持ったノイズが発生する。予め定めた周期で輝度が変動している画素を同期画素として抽出する場合、広い周波数成分を持ったノイズを同期画素として誤って抽出してしまう。

同期画像生成部１５が同期画像を生成する同期画像生成サイクル内において高輝度領域の位置が変動する場合、高輝度領域が予め定めた周期で輝度が変動しているか否かによって、同期画素として抽出される画素の位置が変化する。

図５（ａ）、（ｃ）、（ｄ）は、同期画像生成サイクル内において、高輝度領域の位置が、領域ＳＴから領域ＥＮまで右方向へ移動した様子をそれぞれ示す。図５（ａ）は、高輝度領域がその輝度が予め定めた周期（商用電源の交流周期）で変動している信号灯である場合を示す。図５（ｃ）、（ｄ）は、高輝度領域が、その輝度が予め定めた周期で変動していない他の灯火である場合をそれぞれ示す。「他の灯火」には、たとえば、先行車のテールランプ、対向車のヘッドランプが含まれる。図５（ａ）の場合、高輝度領域そのものの輝度が商用電源の交流周期で変動しているため、領域ＳＴと領域ＥＮとの重複部分ＤＡが同期画素として抽出される。一方、図５（ｃ）、（ｄ）の場合、領域ＳＴと領域ＥＮとの重複部分ＤＡの輝度は周期的に変動していないため、重複部分ＤＡは抽出されない。しかし、領域ＳＴ及び領域ＥＮから重複部分ＤＡを除いた部分は、輝度エッジが移動した部分であるため、輝度のステップ応答が生じ、広い周波数成分を持ったノイズが発生する。よって、領域ＳＴ及び領域ＥＮから重複部分ＤＡを除いた部分は、商用電源の交流周期で変動している同期画素として誤って抽出されてしまう。

更に、図５（ｂ）に示すように、信号機に供給される電力の位相に同期した基準信号の立ち上がり時刻ｔ１においては、オフからオンへのステップ応答が同期画素として抽出される。オフからオンへのステップ応答は、領域ＥＮから重複部分ＤＡを除いた部分で生じる。しかし、オンからオフへのステップ応答が同期画素として抽出されない。よって、図５（ｃ）に示すように、時刻ｔ１においては、領域ＥＮから重複部分ＤＡを除いた部分を、商用電源の交流周期で変動している同期画素として誤って抽出してしまう。

一方、基準信号の立ち下がり時刻ｔ２においては、オンからオフへのステップ応答が同期画素として抽出される。オンからオフへのステップ応答は、領域ＳＴから重複部分ＤＡを除いた部分で生じる。しかし、オフからオンへのステップ応答が同期画素として抽出されない。よって、図５（ｄ）に示すように、時刻ｔ２においては、領域ＳＴから重複部分ＤＡを除いた部分を、商用電源の交流周期で変動している同期画素として誤って抽出してしまう。

したがって、その輝度が予め定めた周期で変動していない他の灯火が同じ方向に移動を続ける場合、図５（ｃ）及び図５（ｄ）に示す同期画素を交互に繰り返し抽出することになる。よって、高輝度領域がその輝度が予め定めた周期で変動していない他の灯火である場合、同期画素の連続して抽出された位置は、大きく変動するため、安定せず、一様ではない。一方、高輝度領域がその輝度が商用電源の交流周期で変動している信号灯である場合、重複部分ＤＡが同期画素として抽出されるので、同期画素の連続して抽出された位置は、変動が小さく、安定し、一様である。

図４（ａ）、（ｂ）、（ｃ）は、Ｘ軸方向へ移動する信号灯の重複部分ＤＡが同期画素として抽出されている様子を示す。図４（ｄ）、（ｅ）、（ｆ）は、他の灯火において、オンからオフへのステップ応答と、オフからオンへのステップ応答が、交互に同期画素として抽出されている様子を示す。図４（ａ）〜図４（ｆ）の格子枠（ＦＬ）は、行列状に配列された複数の画素からなるフレームを示し、格子枠の各々は撮像素子の画素を示す。Ｘ軸方向６画素とＹ軸方向６画素の領域が、信号灯又は他の灯火に相当する。

図４（ａ）に示す同期画像生成サイクルでは、信号灯は移動していない。よって、信号灯全体が重複部分ＤＡ１となり、信号灯全体が同期画素として抽出される。重複部分ＤＡ１の重心をＧ１とする。その後、図４（ｂ）に示す同期画像生成サイクルで、信号灯はＸ軸方向に２画素分、移動している。よって、その重複部分ＤＡ２は、Ｘ軸方向４画素とＹ軸方向６画素の領域となる。そして、今回抽出の重複部分ＤＡ２の重心（Ｇ２）は、前回抽出の重心（Ｇ１）からＸ軸方向に１画素分、移動することになる。その後、図４（ｃ）に示す同期画像生成サイクルでも、同様にして、信号灯はＸ軸方向に２画素分、移動している。よって、その重複部分ＤＡ３は、Ｘ軸方向４画素とＹ軸方向６画素の領域となる。そして、今回抽出の重複部分ＤＡ３の重心（Ｇ３）は、前回抽出の重心（Ｇ２）からＸ軸方向に２画素分、移動することになる。

一方、図４（ｄ）に示す同期画像生成サイクルで、他の灯火は、Ｘ軸方向に２画素分、移動している。そして、図４（ｄ）に示す同期画像生成サイクルは、基準信号の立ち上がり時刻ｔ１に同期している。よって、オフからオンへのステップ応答が生じる部分、つまり、領域ＥＮ１から重複部分ＤＡ１を除いた部分が、同期画素として抽出される。領域ＥＮ１から重複部分ＤＡ１を除いた部分は、Ｘ軸方向２画素とＹ軸方向６画素の領域となり、その重心をｇ１とする。図４（ｅ）に示す同期画像生成サイクルで、他の灯火は、Ｘ軸方向に２画素分、移動している。そして、図４（ｅ）に示す同期画像生成サイクルは、基準信号の立ち下がり時刻ｔ２に同期している。よって、オンからオフへのステップ応答が生じる部分、つまり、領域ＳＴ２から重複部分ＤＡ２を除いた部分が、同期画素として抽出される。領域ＳＴ２から重複部分ＤＡ２を除いた部分は、Ｘ軸方向２画素とＹ軸方向６画素の領域となり、今回抽出の重心（ｇ２）は、前回抽出の重心（ｇ１）からＸ軸方向に４画素分、移動することになる。図４（ｆ）に示す同期画像生成サイクルで、他の灯火は、Ｘ軸方向に２画素分、移動している。そして、図４（ｆ）に示す同期画像生成サイクルは、基準信号の立ち上がり時刻ｔ１に同期している。よって、図４（ｄ）と同様に、領域ＥＮ３から重複部分ＤＡ３を除いた部分を、同期画素として抽出する。領域ＥＮ３から重複部分ＤＡ３を除いた部分は、Ｘ軸方向２画素とＹ軸方向６画素の領域となり、今回抽出の重心（ｇ３）は、前回抽出の重心（ｇ２）からＸ軸方向に８画素分、移動することになる。

このように、同期画素が信号灯であるか他の灯火であるかに応じて、同期画素の画像上の位置変動量に大きな相違が生じる。具体的に、同期画素が信号灯である場合、連続する同期画像生成サイクルの間で、同期画素の連続して抽出された重心（Ｇ１〜Ｇ３）の位置変動量は小さい。同期画素が他の灯火である場合、連続する同期画像生成サイクルの間で、同期画素の連続して抽出された重心（Ｇ１〜Ｇ３）の位置変動量は大きい。そこで、同期画素（或いは同期画素群の重心）の連続する抽出位置の位置変動量に関して、しきい値を適切に定めることができれば、同期画素の中から他の灯火を排除して、信号灯候補を精度良く判定することができる。

しきい値は、同期画素群の面積に応じて調整する。たとえば、抽出された同期画素群の寸法の半分をしきい値とすればよい。図４（ｂ）及び（ｃ）の例では、Ｘ軸方向４画素とＹ軸方向６画素からなる方形状の領域が同期画素群として抽出される。Ｘ軸及びＹ軸の長さの半分、つまりＸ軸方向２画素とＹ軸方向３画素を、しきい値とすればよい。これにより、図４（ｂ）及び（ｃ）の同期画素群（ＤＡ２、ＤＡ３）は、信号灯候補として判定される。一方、図４（ｄ）〜（ｆ）の例では、Ｘ軸方向２画素とＹ軸方向６画素からなる方形状の領域が同期画素群として抽出される。Ｘ軸及びＹ軸の長さの半分、つまりＸ軸方向１画素とＹ軸方向３画素を、しきい値とすればよい。これにより、図４（ｄ）〜（ｆ）の同期画素群は、信号灯候補から除外される。このように、同期画素群の面積が大きいほど、しきい値を大きく設定すればよい。

図６を参照して、図１に示した信号機検出装置を用いた信号機検出方法の一例を説明する。具体的には、図１の画像処理部１２により実行される、画像から信号機を検出する一連の情報処理サイクルの一例を説明する。図６のフローチャートに示す情報処理サイクルは、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、所定の周期で繰り返し実行される。

まずステップＳ０１で、画像処理部１２は、前回の情報処理サイクルにおいて設定されたオフセット量、すなわち撮像画像をずらす方向及びずらす量に基づいて、撮像画像間の位置関係を調整する。これにより、撮像画像間のブレを補正する。

ステップＳ０３に進み、画像処理部１２は、位置調整後の撮像画像をメモリ２５に記憶する。ステップＳ０５に進み、同期画像生成部１５は、電力系統の位相情報を用いて、位置調整後の撮像画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、そして、抽出された同期画素からなる同期画像を生成する。

ステップＳ０７に進み、同期画素群設定部１４は、複数の同期画素の集合を同期画素群に設定する。もちろん、１つの同期画像の中に、複数の同期画素群を設定しても構わない。ステップＳ０９に進み、位置変動算出部２１は、同期画素群設定部１４により設定された同期画素群の重心位置（Ｇ１〜Ｇ３、ｇ１〜ｇ３）を算出し、その連続して抽出された重心位置（Ｇ１〜Ｇ３、ｇ１〜ｇ３）の移動量を、位置変動量として算出する。言い換えると、同期画像生成サイクル間での同期画素の重心位置の移動量を、位置変位量として算出する。

ステップＳ１１に進み、信号灯判定部２２は、図４を参照して説明したように、同期画素群の面積に応じて、しきい値を調整する。ステップＳ１３に進み、信号灯判定部２２は、同期画素群の位置変動量がしきい値以下であるか否かを判断する。しきい値以下であれば（Ｓ１３でＹＥＳ）ステップＳ１４へ進む。一方、しきい値以下でなければ（Ｓ１３でＮＯ）ステップＳ１７へ進み、信号灯判定部２２は、同期画素群を信号灯候補から除外する。その後ステップＳ１９へ進む。

ステップＳ１４において、信号灯判定部２２は、位置変動量がしきい値以下である同期画素が、信号機に供給される電力の一周期以上連続して、同期画像生成部１５によって生成されているか否かを判断する。一周期以上連続していれば（Ｓ１４でＹＥＳ）、当該同期画素群は時間的に安定して検出されていると判断できる。よって、ステップＳ１５へ進み、信号灯判定部２２は、同期画素群を信号灯候補として判定する。その後、ステップＳ１９へ進む。一方、一周期以上連続していなければ（Ｓ１４でＮＯ）、当該同期画素群は、時間的に安定して検出されないので、ステップＳ１７に進み、信号灯候補から除外する。

ステップＳ１９において、Ｓ０７で設定された全ての同期画素群を判定したか否かを判断する。全ての同期画素群を判定していなければ（Ｓ１９でＮＯ）、ステップＳ０９に戻り、残りの同期画素群について上記した判定処理を実施する。全ての同期画素群を判定していれば（Ｓ１９でＹＥＳ）、図６のフローは終了する。その後、信号機検出部１８ａは、信号灯候補と信号色との間で色相の類似性を判断し、更に信号灯候補の円形度合いをすることにより、信号灯候補の中から、これらの他の電灯を排除して、信号灯及び当該信号灯を含む信号機を検出する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

輝度エッジが移動した領域に輝度のステップ応答が生じ、広い周波数成分を持ったノイズが発生する。このため、同期画像生成部１５は、輝度エッジの移動部分を同期画素として抽出してしまう場合がある。同期画像生成部１５により抽出される同期画素が輝度エッジの移動部分である場合、同期画素の画像上の位置が安定せず、同期画像間（同期画像抽出サイクル）での変動量が比較的大きい。これに対して、同期画像生成部１５により抽出される同期画素が信号灯である場合、同期画素の画像上の位置は安定し、同期画像抽出サイクル間での変動量が比較的小さい。そこで、信号灯判定部２２が、位置変動量がしきい値以下である同期画素を信号灯候補と抽出する。これにより、位置変動量がしきい値よりも大きい同期画素は信号灯候補から除外されるので、先行車のテールランプや対向車のヘッドランプなどの輝度エッジが撮像画像上を移動しても輝度のステップ応答を信号灯候補として誤って抽出することが抑制され、精度良く信号灯を検出できる。

同期画素群設定部１４は、予め定めた領域内で検出される複数の同期画素を１つの同期画素群に設定する。位置変動算出部２１は、位置変動量として、同期画素群の重心位置の変動量を算出する。これにより、位置変動量を正しく求めることができる。

同期画素群設定部１４は、隣接する複数の同期画素を１つの同期画素群に設定する。これにより、複数の同期画素の固まりを１つの同期画素群として認識できるので、信号灯を精度良く検出することができる。

信号灯判定部２２は、同期画素群の面積に応じてしきい値を調整する。これにより、同期画素群の大きさに応じて適切なしきい値を設定することができる。

信号灯判定部２２は、位置変動量がしきい値以下である同期画素が、しきい時間以上連続して同期画像生成部１５により生成された場合に、当該同期画素を信号灯候補として判定する。少なくとも一交流周期の長さ以上連続して抽出された場合に、当該同期画素を信号灯候補として判定する。これにより、時間的に安定して抽出される同期画素を信号灯候補とすることができるので、精度良く信号灯を検出することができる。

（第２実施形態）
図７を参照して、第２実施形態に係わる信号機検出装置の全体構成を説明する。図７の信号機検出装置は、図１と比べて、更に、地図データベース１６及び自車位置計測部１９を備える。なお、信号機検出部１８ｂの機能に相違があるが、図８を参照して後述する。地図データベース１６には、検出対象となる信号機の位置情報が記憶されている。信号機の位置情報には、２次元座標情報のほかに、地上からの高さの情報が含まれていてもよい。自車位置計測部１９は、たとえば、ＧＰＳ（全地球測位網）衛星からの信号を受信して車両の現在位置を検出するＧＰＳ受信機である。信号機の位置情報及び車両の現在位置の情報は、信号機検出部１８ｂに転送される。その他、撮像部１１、メモリ２５、同期画像生成部１５、同期画素群設定部１４、及び車両ＥＣＵ１３は、図１のそれらと同じであり、説明を省略する。

信号機検出部１８ｂは、同期画素の中から点灯中の信号灯を抽出して、当該信号灯を含む信号機を検出する。図８に示すように、信号機検出部１８ｂは、図３に比べて、更に、位置変動算出部２１により算出された位置変動量に基づいて、車両から同期画素（又は同期画素群）に対応する実空間上の位置までの距離を算出する距離算出部２４と、地図上の車両の推定位置と信号機の位置とに基づいて、車両から信号機までの距離を推定する距離推定部２６とを備える。そして、信号灯判定部２２は、検出領域設定部２７を更に備える。

距離算出部２４は、同期画素の位置変動量から、モーションステレオ法を用いて、同期画素に対応する実空間上の位置までの距離を算出する。モーションステレオ法は、連続画像からオプティカルフローを求めることにより距離推定を行う方法である。１台のカメラが移動するとき、微小な時間間隔で撮影された連続画像に移る被写体の「画面上の動き」と「撮影位置の変位量」に基づき、被写体までの距離を算出することができる。

距離推定部２６は、地図上の車両の推定位置と信号機の位置として、地図データベース１６及び自車位置計測部１９から転送された信号機の位置情報及び車両の現在位置の情報を用いる。たとえば、交差点に複数の信号機が有れば、信号機毎に距離を推定することができる。ただし、情報処理の簡略化のため、１つの交差点に属する複数の信号機に対して、単一の距離を設定しても構わない。また、信号機は、自車が走行する車線上にある最も自車に近い信号機を想定している。

信号灯判定部２２は、距離算出部２４により算出された距離が、距離推定部２６により推定された距離よりも遠方である同期画素の中から前記信号灯候補を判定する。同期画像生成部１５により生成される同期画素が輝度エッジの移動部分である場合、同期画素の連続して抽出された位置が安定せず、同期画像間（同期画像抽出サイクル）での変動量が比較的大きい。変動量が大きいと視差も大きくなるため、距離算出部２４は、同期画素に対応する実空間上の位置までの距離を、実際よりも短く算出してしまう。よって、同期画素に対応する実空間上の位置までの距離が、地図上の信号機までの距離よりも短い場合、同期画素は輝度エッジの移動部分であると判断できるので、信号灯候補から除外できる。

更に、信号灯判定部２２は、距離算出部２４により算出可能な距離よりも遠方にある同期画素の中から信号灯候補を判定しても構わない。

信号灯判定部２２は、同期画像内に、信号灯候補を判定するための検出領域を設定する検出領域設定部２７を備える。信号灯判定部２２は、設定された検出領域にある同期画素の中から、信号灯候補を判定する。

たとえば、検出領域設定部２７は、距離推定部２６により推定された距離及び信号機の信号灯部分の地上からの高さに基づき、画像上のしきい高さを設定する。信号灯判定部２２は、同期画像内のしきい高さ以上の検出領域から、信号灯候補を判定する。抽出対象となる同期画像の範囲に高さ方向の制限を加えることにより、信号灯候補の判定効率が向上し、高速に信号機を検出することができる。

更に、距離算出部２４は、車両から前記同期画素に対応する実空間上の位置への方位を算出してもよい。この場合、検出領域設定部２７は、距離算出部２４により算出された方位に基づき、同期画像内に検出領域を設定することができる。信号灯判定部２２は、設定された検出領域から、信号機を検出することができる。

図９を参照して、図７に示した信号機検出装置を用いた信号機検出方法の一例を説明する。具体的には、図７の画像処理部１２により実行される、画像から信号機を検出する一連の情報処理サイクルの一例を説明する。図９のフローチャートに示す情報処理サイクルは、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、所定の周期で繰り返し実行される。図６との相違点を中心にして説明する。

ステップＳ０１〜Ｓ０９までは図６と同じ処理を実行する。その後、ステップＳ２１に進み、距離算出部２４は、同期画素の位置変動量から、モーションステレオ法を用いて、車両から同期画素群に対応する実空間上の位置までの距離を算出する。ステップＳ２３に進み、距離推定部２６は、地図上の車両の推定位置と信号機の位置とに基づいて、車両から信号機までの距離を推定する。

ステップＳ２５に進み、信号灯判定部２２は、距離算出部２４により算出された距離が、距離推定部２６により推定された距離よりも遠方であるか否かを判断する。遠方である場合（Ｓ２５でＹＥＳ）、当該同期画素群は信号灯である可能性があるので、ステップＳ１１に進む。遠方でない場合（Ｓ２５でＮＯ）、当該同期画素群は輝度エッジの移動部分であると判断できるので、ステップＳ１７に進み、信号灯候補から除外する。その後、ステップＳ１９に進む。

ステップＳ１１〜Ｓ１７は、図６と同じ処理を実行する。

以上説明したように、第２実施形態によれば、以下の作用効果が得られる。

同期画像生成部１５により生成される同期画素が輝度エッジの移動部分である場合、同期画素の連続して抽出された位置が安定せず、同期画像間（同期画像抽出サイクル）での変動量が比較的大きい。変動量が大きいと、距離算出部２４は、同期画素に対応する実空間上の位置までの距離を、実際よりも短く算出してしまう。よって、同期画素に対応する実空間上の位置までの距離が、地図上の信号機までの距離よりも短い場合、同期画素は輝度エッジの移動部分であると判断できるので、同期画素は信号灯候補から除外することができる。よって、精度良く信号灯を検出することができる。

信号灯判定部２２は、距離算出部２４により算出可能な距離よりも遠方にある同期画素の中から信号灯候補を判定する。これにより、輝度エッジの移動部分を誤って信号灯と判定することが抑制される。

信号灯判定部２２は、距離推定部２６により推定された距離及び信号機の信号灯部分の地上からの高さに基づき、同期画像上のしきい高さを設定し、同期画像内のしきい高さ以上の検出領域から、信号灯候補を判定してもよい。これにより、抽出対象となる同期画像の範囲に高さ方向の制限を加えることにより、信号灯候補の判定効率が向上し、高速に信号機を検出することができる。

信号機検出部１８ｂは、距離算出部２４により算出された方位に基づき、同期画像内に検出領域を設定し、検出領域から、信号機を検出してもよい。抽出対象となる同期画像の範囲に方位の制限を加えることにより、同期画素の抽出効率が向上し、効率よく信号機を検出することができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１１ 撮像部
１２ 画像処理部
１４ 同期画素群設定部
１５ 同期画像生成部（同期画素抽出部）
１６ 地図データベース
１９ 自車位置計測部
１８ａ、１８ｂ 信号機検出部
２１ 位置変動算出部
２２ 信号灯判定部
２３ しきい値設定部
２４ 距離算出部
２６ 距離推定部
２７ 検出領域設定部
２８ 撮像画像（フレーム）

画像処理部１２は、撮像部１１により取得された画像を受信し、画像の中から信号機を検出する。検出された信号機の情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置（車両ＥＣＵ１３）に転送される。画像処理部１２は、例えば、ＣＰＵ、メモリ２５、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。画像処理部１２は、画像から信号機を検出する一連の情報処理サイクル（同期画像生成処理を含む）を、連続する複数の撮像画像（フレーム）単位で繰り返し実行する。画像処理部１２は、車両にかかわる他の制御に用いるＥＣＵと兼用してもよい。

ステップＳ１９において、Ｓ０７で設定された全ての同期画素群を判定したか否かを判断する。全ての同期画素群を判定していなければ（Ｓ１９でＮＯ）、ステップＳ０９に戻り、残りの同期画素群について上記した判定処理を実施する。全ての同期画素群を判定していれば（Ｓ１９でＹＥＳ）、図６のフローは終了する。その後、信号機検出部１８ａは、信号灯候補と信号色との間で色相の類似性を判断し、更に信号灯候補の円形度合いを判断することにより、信号灯候補の中から、これらの他の電灯を排除して、信号灯及び当該信号灯を含む信号機を検出する。

Claims (10)

1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
   前記画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する同期画素抽出部と、
   前記同期画素の中から信号機を検出する信号機検出部と、を備え、
   前記信号機検出部は、
   前記同期画素の連続して抽出された位置の位置変動量を算出する位置変動算出部と、
   前記位置変動量がしきい値以下である前記同期画素を信号灯候補と判定する信号灯判定部と、を備える
   ことを特徴とする信号機検出装置。
2. 予め定めた領域内で検出される複数の同期画素を１つの同期画素群に設定する同期画素群設定部をさらに備え、
   前記位置変動算出部は、前記位置変動量として、前記同期画素群の重心位置の変動量を算出する
   ことを特徴とする請求項１に記載の信号機検出装置。
3. 前記同期画素群設定部は、隣接する複数の同期画素を前記１つの同期画素群に設定することを特徴とする請求項２に記載の信号機検出装置。
4. 前記信号灯判定部は、前記同期画素群の面積に応じて前記しきい値を調整することを特徴とする請求項２又は３に記載の信号機検出装置。
5. 前記信号灯判定部は、前記位置変動量が前記しきい値以下である前記同期画素が、しきい時間以上連続して前記同期画素抽出部により抽出された場合に、当該同期画素を信号灯候補として判定することを特徴とする請求項１乃至４のいずれか一項に記載の信号機検出装置。
6. 前記信号機検出部は、
   前記位置変動算出部により算出された前記位置変動量に基づいて、前記車両から前記同期画素に対応する実空間上の位置までの距離を算出する距離算出部と、
   地図上の前記車両の推定位置と前記信号機の位置とに基づいて、前記車両から信号機までの距離を推定する距離推定部と、を更に備え、
   前記信号灯判定部は、前記距離算出部により算出された距離が、前記距離推定部により推定された距離よりも遠方である前記同期画素の中から前記信号灯候補を判定する
   ことを特徴とする請求項１〜５のいずれか一項に記載の信号機検出装置。
7. 前記信号灯判定部は、前記距離算出部により算出可能な距離よりも遠方にある前記同期画素の中から前記信号灯候補を判定することを特徴とする請求項６に記載の信号機検出装置。
8. 前記信号灯判定部は、前記距離推定部により推定された距離及び前記信号機の信号灯部分の地上からの高さに基づき、画像上のしきい高さを設定し、画像内のしきい高さ以上の検出領域から、前記信号灯候補を判定することを特徴とする請求項６又は７に記載の信号機検出装置。
9. 前記距離算出部は、前記車両から前記同期画素に対応する実空間上の位置への方位を算出し、
   前記信号機検出部は、前記距離算出部により算出された方位に基づき、前記画像内に検出領域を設定し、前記検出領域から、信号機を検出する
   ことを特徴とする請求項６又は７に記載の信号機検出装置。
10. 車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
    前記画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
    前記同期画素の連続して抽出された位置の位置変動量を算出し、
    前記位置変動量がしきい値以下である前記同期画素を信号灯候補として抽出し、
    前記信号灯候補の中から信号機を検出する
    ことを特徴とする信号機検出方法。

Images