JP6222343B2 - 信号機検出装置及び信号機検出方法 - Google Patents

信号機検出装置及び信号機検出方法 Download PDF

Info

Publication number
JP6222343B2
JP6222343B2 JP2016507141A JP2016507141A JP6222343B2 JP 6222343 B2 JP6222343 B2 JP 6222343B2 JP 2016507141 A JP2016507141 A JP 2016507141A JP 2016507141 A JP2016507141 A JP 2016507141A JP 6222343 B2 JP6222343 B2 JP 6222343B2
Authority
JP
Japan
Prior art keywords
pixel
traffic light
synchronization
signal
hue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016507141A
Other languages
English (en)
Other versions
JPWO2015136594A1 (ja
Inventor
沖 孝彦
孝彦 沖
西内 秀和
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2015136594A1 publication Critical patent/JPWO2015136594A1/ja
Application granted granted Critical
Publication of JP6222343B2 publication Critical patent/JP6222343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、信号機検出装置及び信号機検出方法に関するものである。
従来から、カメラで撮像された画像の中から信号機を検出する信号機検出装置が知られている(特許文献1参照)。特許文献1では、画像の中から、信号灯の色となる部分を抽出し、抽出した部分がどれだけ円形に近いかを示す円形度を算出し、円形度が高い部分を信号灯候補として検出している。
特開2005−301518号公報
信号灯候補として検出されるには、抽出した部分の画像サイズが、円形度を判定可能な程度に大きくなければならない。よって、特許文献1では、円形度を判定できないほど画像サイズが小さくなる遠方の信号機を精度良く検出することは難しい。
本発明は、上記課題に鑑みて成されたものであり、その目的は、遠方の信号機であっても精度良く検出することができる信号機検出装置及び信号機検出方法を提供することである。
本発明の一態様に係わる信号機検出装置は、車両の周囲を撮像して画像を取得する撮像部と、画像の中から信号機を検出する信号機検出部とを備える。信号機検出部は、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、同期画素を含む所定範囲を画素群として設定する。そして、所定の判定期間、連続して画素群の中から同期画素が抽出される場合、同期画素より信号機が存在するか否か判断する。
図1は、本発明の実施形態に係わる信号機検出装置の全体構成を示すブロック図である。 図2は、図1に示した同期画像生成部15の詳細な構成を示すブロック図である。 図3は、基準信号の位相の同期或いは非同期による相関値の違いを示し、図3(a)は基準信号の位相が電力の位相に同期している状態を示し、図3(b)は基準信号の位相が電力の位相と反転している状態を示す。 図4は、同期画素51を含む所定範囲に設定される画素群50を示す模式図であり、図4(a)は、同期画素51に対して水平方向及び垂直方向に隣接する周辺画素52を含む画素群50を示し、図4(b)は、垂直方向に隣接する周辺画素52の幅が水平方向に隣接する周辺画素52の幅よりも広い画素群50を示し、図4(c)は、同期画素51の大きさに応じて周辺画素52の幅を大きくする例を示す。 図5は、図1に示した信号機検出装置を用いた信号機検出方法の一例を示すフローチャートである。 図6(a)は、円形度から信号灯の候補を検出する場合に必要となる画素群53aの大きさを示す図であり、図6(b)は、実施形態で検出可能な同期画素53bの数を示す図である。 図7(a)〜図7(d)は、走行中の車両振動などにより同期画素の位置(51a、51b)が変化する様子を示す図である。 図8は、3つの画素(pix1、pix2、pix3)の間で、周期的な輝度変化が移動していく様子を示すグラフである。 図9は、LEDランプと白熱灯の輝度変動幅を比較するグラフであり、図9(a)は輝度の時間変化を示し、図9(b)はFFT解析による周波数解析結果を示す。
図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
図1を参照して、実施形態に係わる信号機検出装置の全体構成を説明する。信号機検出装置は、車両に搭載され、車両の周囲を撮像して画像を取得する撮像部11と、撮像部11により取得された画像の中から信号機を検出する信号機検出部12とを備える。
撮像部11は、固体撮像素子、例えばCCD又はCMOSを用いたデジタルカメラであって、画像処理が可能なデジタル画像を取得する。デジタルカメラは、画角の広い広角レンズを備える。撮像部11の撮像範囲(画角)には、車両の進行方向から左右方向に車両近傍の路肩までが含まれる。撮像部11は、所定の時間間隔で繰り返し撮像して、連続する複数の画像(フレーム)を取得する。
信号機検出部12は、撮像部11により取得された画像(以後、「カメラ画像」という)を受信し、カメラ画像における信号機の位置を検出する。検出された信号機の位置情報は、例えば車両の自動運転を実現するためのコントローラを含む、車両に搭載された他の処理演算装置(車両CPU13)に転送される。信号機検出部12は、例えば、CPU、メモリ、及び入出力部を備えるマイクロコントローラからなり、予めインストールされたコンピュータプログラムを実行することにより、信号機検出装置が備える複数の情報処理部を構成する。信号機検出部12は、カメラ画像から信号機の位置を検出する一連の情報処理を、連続する複数のカメラ画像(フレーム)毎に繰り返し実行する。信号機検出部12は、車両にかかわる他の制御に用いるECUと兼用してもよい。
信号機検出部12により構成される複数の情報処理部には、同期画像生成部15と、画素群設定部38と、信号機判断部18とが含まれる。信号機判断部18には、安定性判断部39と、色相判断部40とが含まれる。
同期画像生成部15は、カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出して、抽出された同期画素からなる同期画像を生成する。例えば、同期画像生成部15は、信号機に供給される電力の位相に同期した基準信号を生成し、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。これにより、電力の交流周期に同期して輝度が変化する同期画素が抽出される。
信号機に供給される電力は、商用電源の電力を全波整流した交流電力である。商用電源から電力の供給を受けて点灯する信号灯の輝度は、全波整流した交流電力の周期(例えば、100Hz)と同じ周期で変化する。そこで、信号機に供給される電力の交流周期に同期して輝度が変化する同期画素をカメラ画像の中から抽出することにより、商用電源から電力の供給を受けて点灯する信号灯を検出することができる。具体的な処理内容は、図2及び図3を参照して後述する。
画素群設定部38は、同期画素を含む所定範囲を画素群として設定する。画素群は、同期画素及び同期画素の周囲に隣接する1又は2以上の周辺画素から構成される。詳細は、図4を参照して後述する。
信号機判断部18は、同期画素の検出安定性及び色相に基づいて、画素群設定部38により設定された同期画素を含む画素群の位置に信号機が存在するか否かを判断する。遠方の信号機を撮像する場合、走行中の車両振動などにより計測対象(信号機)の観測位置が変動してしまう。そこで、安定性判断部39は、所定の判定期間、連続して画素群の中から同期画素が抽出されるか否かを判断する。安定性判断部39は、抽出される同期画素の位置が画素群の範囲内で変動している場合、安定して同期画素が検出されていると判断する。
色相判断部40は、同期画素の色相が信号色の色相に類似するか否かを判断する。車両振動などにより計測対象(信号機)の観測位置が変動するため、色相判断部40は、画素群の中の各同期画素の色相を合成した色相が信号色の色相に類似するか否かを判断しても構わない。信号機判断部18は、少なくとも、所定の判定期間、連続して画素群の中から同期画素が抽出される場合、画素群の位置に信号機が存在すると判断する。なお、信号機判断部18は、所定の判定期間、連続して画素群の中から同期画素が抽出され、且つ画素群の中の各同期画素の色相を合成した色相が信号色の色相に類似する場合に、画素群の位置に信号機が存在すると判断しても構わない。
商用電源から電力の供給を受けて点灯する電灯には、信号機が有する信号灯の他に、街灯、自動販売機、看板など、路上で点灯している他の電灯が含まれる。同期画像生成部15により抽出された同期画素には、これらの他の電灯も含まれる可能性がある。色相判断部40が同期画素と信号色との間で色相の類似性を判断することにより、安定性判断部39の判断結果から、これらの他の電灯を排除することができる。
なお、信号機判断部18は、色相判断部40を用いず、安定性判断部39の判断結果より、同期画素の画像上の位置と輝度を用いて、信号機が存在するか否か判断する構成としても良い。車両の周囲の地図情報より画像上の信号機の位置を求め、同期画素の位置と照合することで、上記他の電灯を排除することができる。さらに、車両から信号機までの距離から画像上の輝度を想定し、想定輝度内の同期画素に信号機が存在すると判断することができる。
信号機検出部12は、信号機が存在すると信号機判断部18が判断した画素群の位置情報を、車両CPU13に出力する。
次に、図2及び図3を参照して、同期画像生成部15の詳細を説明する。図2を参照して、同期画像生成部15の詳細な構成を説明する。同期画像生成部15は、メモリ25と、乗算部26と、ローパスフィルタ(LPF)20と、位相判断部41と、基準信号生成部17とを備える。
メモリ25は、連続する複数のカメラ画像(フレーム)28を同時に記憶する。例えば、信号機に供給される電力の1交流周期の間に撮像される複数のカメラ画像28を同時に記憶する。乗算部26は、メモリ25から読み出したカメラ画像の各画素の輝度信号と基準信号とを乗算する。乗算部26は、メモリ25に同時に記憶されている複数のカメラ画像の各々について、上記した乗算処理を実施する。
LPF20は、乗算部26による乗算結果のうち、所定の遮断周波数よりも高い周波数成分を低減させて低周波数成分のみを取り出して、同期画素からなる同期画像を出力する。位相判断部41は、LPF20から出力された同期画素の輝度が所定基準値以上であるか否かを判断する。輝度が所定基準値以上でなければ、位相判断部41は、基準信号生成部17に対して、基準信号の位相を調整することを指示する。輝度が所定基準値以上であれば、基準信号の位相は、信号機に供給される電力の位相に整合していると判断することができる。よって、位相調整の必要はなく、同期画像生成部15は、LPF20から出力された同期画像を図1の画素群設定部38へ出力する。
基準信号生成部17は、位相判断部41の判断結果に基づいて基準信号の位相を調整する。乗算部26は、位相を調整した後の基準信号と輝度信号とを乗算する。このように、同期画像生成部15は、輝度が所定基準値以上になるまで、繰り返し位相を調整するPLL処理を実施する。
図3(a)及び図3(b)を参照して、基準信号の位相の整合性について説明する。図3(a)は、基準信号の位相が、信号機に供給される電力の位相に整合している状態を示す。この状態において、各画素の1)輝度信号と2)基準信号とを乗算することにより、3)乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値(相関値G1)は、最も大きな値となる。
一方、図3(b)は、基準信号の位相が、信号機に供給される電力の位相と反転している状態を示す。この状態において、各画素の1)輝度信号と2)基準信号とを乗算することにより、3)乗算後の信号、すなわち同期画素の輝度、及び同期画素の輝度の平均値(相関値G2)は、最も小さな値となる。
車両から信号機までの距離が遠くなるほど、撮像部11により検出される信号灯の輝度は小さくなり、輝度の変化幅も小さくなる。よって、基準信号の位相を、信号灯の輝度変化の位相、すなわち信号機に供給される電力の位相に近づけることにより、高い相関値(G1)を得ることができ、ひいては遠方の信号機を精度良く検出することができる。
次に、図4を参照して、画素群の設定について説明する。図4(a)、(b)、(c)の各々は、同期画素51を含む所定範囲に設定される画素群50の例を示す。行列状に配列された各枠は画素を示す。図4(a)は、1つの同期画素51に対して、水平方向及び垂直方向に隣接する1つの周辺画素52を含む画素群50を示す。図4(b)は、同期画素51から水平方向に隣接する周辺画素52の幅に比べて、同期画素51から垂直方向に隣接する周辺画素52の幅が広い画素群50の例を示す。水平方向に1つの周辺画素52が隣接している一方、垂直方向に2つの周辺画素52が隣接している。図4(b)の画素群50は、車両の垂直方向の振動に対応する例である。図4(c)は、同期画素51の大きさに応じて周辺画素52の幅を大きくする例を示す。2×2の計4つの同期画素51に対して、画素群設定部38は、水平方向及び垂直方向の各々に、隣接する2つの周辺画素52を設定している。
画素群設定部38は、輝度変動の連続性を確保するため、同期画素51の輝度値を周辺画素52に重畳してもよい。同期画素51の位置が周辺画素52へ移動しても、移動前後における輝度変動の連続性を維持することができる。詳細は、図8を参照して後述する。
次に、図5を参照して、図1に示した信号機検出装置を用いた信号機検出方法を説明する。図5のフローチャートに示す信号機検出装置の動作は、車両のイグニションスイッチがオン状態となり、信号機検出装置が起動すると同時に開始され、信号機検出装置が停止するまで、繰り返し実行される。
ステップS01において、撮像部11は、繰り返し車両の前方を撮像して、連続する複数のカメラ画像を取得する。信号機に供給される電力の1交流周期の間に、複数回の撮像を行う。取得された画像データは、同期画像生成部15に転送され、メモリ25に一時的に記憶される。
ステップS03に進み、乗算部26は、基準信号とカメラ画像の各画素の輝度信号とを乗算する同期検波処理を行う。ステップS05に進み、位相判断部41は、図3に示した相関値(G1、G2)が、極大値であるか否かを判断する。極大値である場合(S05でYES)ステップS09へ進み、極大値でない場合(S05でNO)ステップS07へ進む。なお、極大値の代わりに、ステップS05において、位相判断部41は、相関値(G1、G2)が所定基準値以上であるか否かを判断しても構わない。ステップS07では、基準信号生成部17は、基準信号の位相を調整し、ステップS03へ戻る。このように、相関値(G1、G2)が極大値となるまで、信号機検出装置は、同期検波処理及び位相調整処理を繰り返し実施する。
ステップS09において、画素群設定部38は、図4に示したように、同期画素51を含む所定範囲を画素群50として設定する。ステップS11に進み、安定性判断部39は、信号機に供給される電力の1交流周期以上、連続して画素群50の中から同期画素51が抽出されるか否かを判断する。連続して同期画素51が抽出される場合(S11でYES)、同期画素51が信号灯である可能性があるため、ステップS13へ進む。一方、連続して同期画素51が抽出されない場合(S11でNO)、同期画素51が信号灯でないと判断できるので、ステップS19へ進む。ステップS19において、信号機判断部18は、同期画素51を信号機の候補から削除する。
ステップS13において、色相判断部40は、画素群50の中の各同期画素51の色相を合成した色相が信号色の色相に類似するか否かを判断する。信号色の色相に類似する場合(S13でYES)、画素群50の中の各同期画素51が信号灯であると判断できる。よって、ステップS15に進み、信号機判断部18は、同期画素51を信号機としてラベリングする。信号色の色相に類似しない場合(S13でNO)、画素群50の中の各同期画素51は、信号灯でなく、その他の電灯であると判断できる。よって、ステップS17に進み、信号機判断部18は、同期画素51を他の電灯としてラベリングする。
ステップS21に進み、信号機判断部18は、ステップS09で設定された総ての画素群50について、信号機であるか否かを判断したか否かを判断する。判断が終わっていない場合(S21でNO)、ステップS11に戻り、残りの画素群50についてステップS11〜S17の処理を実施する。判断が終わっている場合(S21でYES)、図5のフローチャートは終了する。
以上説明したように、実施形態によれば以下の作用効果が得られる。
特許文献1では、カメラ画像の中から信号灯の色相と類似する領域(画素群53a)を抽出し、領域(画素群53a)の円形度から信号灯の候補を検出する。円形度から信号灯を判断する場合、領域(画素群53a)に含まれる画素の数は、図6(a)に示す程度の数が必要となる。これに対して、実施形態に係わる信号機検出装置では、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を信号灯の候補として抽出する。これにより、図6(b)に示すように、同期画素53bの数が、円形度を判断できない程度の数であっても、信号灯であるか否かを判断することができる。すなわち、実施形態に係わる信号機検出装置は、遠方の信号機を精度良く検出することができる。
カメラ画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出することにより、信号灯の大きさ及びその形状を考慮することなく、信号機を検出することができる。よって、円形度を判定できないほど画像サイズが小さくなる遠方の信号機であっても精度良く検出することができる。
また、遠方の信号機を撮像する場合、走行中の車両振動などにより計測対象の観測位置が変動する。図7(a)及び図7(b)は、図5に示す処理サイクル毎に、同期画素(51a、51b)の位置が変化している様子を示す。走行中の車両振動などにより、所定の判定期間(例えば、1交流周期)以上、同じ位置(画素)で同期画素を連続して検出することは難しい。そこで、図4に示すように、同期画素を含む所定範囲を画素群として設定し、所定の判定期間、連続して画素群の中から同期画素が抽出される場合に信号機が存在すると判断する。これにより、電力の交流周期に同期した信号灯の検出を継続することができ、安定して信号機の位置を検出することができる。例えば、図7(c)及び図7(d)に示すように、画素群50の範囲で同期画素(51a、51b)の位置が変化しても、安定性判断部39は、同期画素を連続して検出することができる。
図8は、3つの画素(pix1、pix2、pix3)の間で、周期的な輝度変動が時間の経過と共に移動している様子を示すグラフである。先ず、電力の交流周期に同期した輝度変動が、画素(pix1)で観測され、その後、画素(pix2)に移動し、最後に、画素(pix3)に移動している。これに従い、同期画素の位置も同様に変化してしまう。
そこで、画素群設定部38は、輝度変動の連続性を確保するため、同期画素51の輝度値を周辺画素52に重畳してもよい。これにより、図8の例では、3つの画素(pix1、pix2、pix3)の間で輝度変動が重畳される。よって、図8に示すような輝度変動の移動は起こらず、3つの画素(pix1、pix2、pix3)を連続して同期画素として検出することができる。
図9(a)及び図9(b)は、LEDランプと白熱灯の輝度変動幅を比較するグラフである。信号機の信号灯には、LEDランプを用いたものと白熱灯を用いたものがある。LEDランプと白熱灯とは、同じ周期で輝度が変動している。しかし、両者は、輝度の変動幅が大きく異なる。つまり、LEDランプに比べて、白熱灯のほうが、信号機の輝度に対する画像ノイズ(S/N比)が悪いため、輝度変化を捉え難い。
そこで、信号機判断部は、同期画素の輝度変化の幅に応じて、所定の判定期間を変化させても構わない。具体的には、ステップS11において、安定性判断部39は、同期画素の輝度変化の幅が大きいほど、所定の判定期間を短く設定する。例えば、LEDランプの場合、輝度変化の幅が大きいため、所定の判定期間を、信号機に供給される電力の1交流周期に設定する。白熱灯の場合、輝度変化の幅が小さいため、所定の判定期間を、信号機に供給される電力の10周期に設定する。或いは、信号機までの距離が遠くなるほど、同期画素の輝度変化の幅が小さくなるので、所定の判定期間を長く設定してもよい。よって、輝度変化の幅が小さい場合、所定の判定期間を長く設定されるので、所定の判定期間が長いほど、画素群が重畳される回数が増え、S/N比を改善することができる。このように、信号灯の種類或いは信号機までの距離に応じて、適切な判定期間を設定することができる。換言すると、適切な判定期間を設定し、判定時間内に存在する複数の輝度変化波形を積算した合成波形を用いて、電力の交流周期との同期判定を行うことで、検出感度を向上することができる。
図4(a)〜(c)に示したように、画素群50は、同期画素51及び同期画素51の周囲に隣接する1又は2以上の周辺画素52から構成される。これにより、走行中の車両振動などにより同期画素51の観測位置が変動しても、画素群50の範囲内で安定して同期画素51を検出することができる。
図4(b)に示したように、同期画素51から水平方向に隣接する周辺画素52の幅に比べて、同期画素51から垂直方向に隣接する周辺画素52の幅が広くてもよい。これにより、走行中の車両の振動により、観測位置が垂直方向に変動しても、画素群50の範囲内で安定して同期画素51を検出することができる。
図4(c)に示したように、画素群設定部38は、1つの画素群50における同期画素51の数が多いほど、当該1つの画素群50における周辺画素52の幅を広くしてもよい。これにより、同期画素51の大きさに応じて適切な範囲に画素群50を設定することができる。
図5に示したように、信号機判断部18は、所定の判定期間、連続して画素群50の中から同期画素51が抽出され(S11でYES)、且つ同期画素51の色相が信号色の色相に類似する場合(S13でYES)、同期画素51の位置に信号機が存在すると判断してもよい。同期画素51の色相を判断することにより、信号機の検出精度が更に向上する。
色相判断部40は、画素群50の中の各同期画素51の色相を合成した色相が信号色の色相に類似するか否かを判断してもよい。車両振動などにより撮像対象の位置が変動しても、正確な色相判断を行うことができる。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
図5のフローチャートにおいて、信号機判断部18は、同期画素の抽出安定性及び色相の両方を判断した(S11、S13)が、同期画素の抽出安定性のみ(S11)を判断してもよい。この場合、同期画素が交流電力の1周期以上検出された場合(S11でYES)、S15に進み、信号灯としてラベリングすればよい。
11 撮像部
12 信号機検出部
15 同期画像生成部(同期画素抽出部)
17 基準信号生成部
18 信号機判断部
38 画素群設定部
40 色相判断部
50 画素群
51、51a、51b 同期画素
52 周辺画素

Claims (9)

  1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
    前記画像の中から信号機を検出する信号機検出部と、を備え、
    前記信号機検出部は、
    前記画像の中から、前記信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出する同期画素抽出部と、
    前記同期画素と前記同期画素の周辺画素とを含む所定範囲を画素群として設定する画素群設定部と、
    所定の判定期間、連続して前記画素群の中から前記同期画素が抽出される場合、前記同期画素より前記信号機が存在するか否か判断する信号機判断部と、
    を有することを特徴とする信号機検出装置。
  2. 請求項1に記載の信号機検出装置において、
    前記画素群は、前記同期画素及び前記同期画素の周囲に隣接する1又は2以上の前記周辺画素から構成されることを特徴とする信号機検出装置。
  3. 請求項2に記載の信号機検出装置において、
    前記同期画素から水平方向に隣接する周辺画素の幅に比べて、前記同期画素から垂直方向に隣接する前記周辺画素の幅が広いことを特徴とする信号機検出装置。
  4. 請求項2又は3に記載の信号機検出装置において、
    前記画素群設定部は、1つの画素群における前記同期画素の数が多いほど、当該1つの画素群における前記周辺画素の幅を広くすることを特徴とする信号機検出装置。
  5. 請求項1〜4のいずれか一項に記載の信号機検出装置において、
    前記信号機判断部は、当該同期画素の色相が信号色の色相に類似するか否かを判断する色相判断部を備え、
    前記信号機判断部は、所定の期間、連続して前記画素群の中から前記同期画素が抽出され、且つ当該同期画素の色相が信号色の色相に類似する場合、前記同期画素の位置に前記信号機が存在すると判断することを特徴とする信号機検出装置。
  6. 請求項1〜5のいずれか一項に記載の信号機検出装置において、
    前記信号機判断部は、前記同期画素の輝度変化の幅に応じて、前記所定の判定期間を変化させることを特徴とする信号機検出装置。
  7. 請求項5に記載の信号機検出装置において、
    前記色相判断部は、前記画素群の中の各同期画素の色相を合成した色相が信号色の色相に類似するか否かを判断することを特徴とする信号機検出装置。
  8. 請求項2に記載の信号機検出装置において、
    前記画素群設定部は、前記同期画素の輝度値を前記周辺画素に重畳することを特徴とする信号機検出装置。
  9. 車両の周囲を撮像して画像を取得し、
    前記画像の中から、信号機に供給される電力の交流周期と同期して輝度が変化する同期画素を抽出し、
    前記同期画素と前記同期画素の周辺画素とを含む所定範囲を画素群として設定し、
    所定の期間、連続して前記画素群の中から前記同期画素が抽出される場合、前記同期画素より前記信号機が存在するか否か判断する
    ことを特徴とする信号機検出方法。
JP2016507141A 2014-03-10 2014-03-10 信号機検出装置及び信号機検出方法 Active JP6222343B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/056136 WO2015136594A1 (ja) 2014-03-10 2014-03-10 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
JPWO2015136594A1 JPWO2015136594A1 (ja) 2017-04-06
JP6222343B2 true JP6222343B2 (ja) 2017-11-01

Family

ID=54071074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507141A Active JP6222343B2 (ja) 2014-03-10 2014-03-10 信号機検出装置及び信号機検出方法

Country Status (8)

Country Link
US (1) US9679207B2 (ja)
EP (1) EP3118833B1 (ja)
JP (1) JP6222343B2 (ja)
CN (1) CN106062851B (ja)
BR (1) BR112016020898B1 (ja)
MX (1) MX350449B (ja)
RU (1) RU2643861C1 (ja)
WO (1) WO2015136594A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106068531B (zh) * 2014-03-10 2017-12-22 日产自动车株式会社 信号机检测装置以及信号机检测方法
EP3321911B1 (en) * 2015-07-08 2019-09-11 Nissan Motor Co., Ltd. Lamp detection device and lamp detection method
EP3323237A4 (en) * 2015-08-26 2019-07-31 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR MONITORING TRAFFIC
EP3497619B1 (en) * 2016-08-08 2021-10-13 Bayerische Motoren Werke Aktiengesellschaft Method for detecting a led light source in a sequence of frames, method for detecting a traffic light which comprises at least one led light source, and vehicle
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
CN108446668A (zh) * 2018-04-10 2018-08-24 吉林大学 基于无人驾驶平台的交通信号灯检测识别方法及系统
US11108970B2 (en) * 2019-07-08 2021-08-31 Samsung Electronics Co., Ltd. Flicker mitigation via image signal processing
WO2021094801A1 (ja) * 2019-11-12 2021-05-20 日産自動車株式会社 信号機認識方法及び信号機認識装置
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301518A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
US20080122607A1 (en) * 2006-04-17 2008-05-29 James Roy Bradley System and Method for Vehicular Communications
JP2007286943A (ja) * 2006-04-18 2007-11-01 Fujifilm Corp 信号灯検出装置
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP4915281B2 (ja) 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
WO2011106578A2 (en) 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
WO2012019700A2 (de) * 2010-07-19 2012-02-16 Hella Kgaa Hueck & Co. Verfahren und vorrichtung zum erkennen von lichtquellen
JP5591730B2 (ja) * 2011-02-10 2014-09-17 富士重工業株式会社 環境認識装置
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
JP6075590B2 (ja) * 2012-02-28 2017-02-08 日本精機株式会社 車両用表示装置
CN103020613A (zh) * 2013-01-07 2013-04-03 信帧电子技术(北京)有限公司 一种基于视频的信号灯识别方法及装置
CN103345766B (zh) 2013-06-21 2016-03-30 东软集团股份有限公司 一种信号灯识别方法及装置
JP6325000B2 (ja) * 2013-12-25 2018-05-16 日立オートモティブシステムズ株式会社 車載画像認識装置

Also Published As

Publication number Publication date
EP3118833A4 (en) 2017-05-10
MX2016011271A (es) 2016-11-25
JPWO2015136594A1 (ja) 2017-04-06
CN106062851B (zh) 2018-05-29
RU2643861C1 (ru) 2018-02-06
BR112016020898A2 (ja) 2017-08-15
WO2015136594A1 (ja) 2015-09-17
US9679207B2 (en) 2017-06-13
EP3118833A1 (en) 2017-01-18
EP3118833B1 (en) 2022-08-24
CN106062851A (zh) 2016-10-26
US20160371552A1 (en) 2016-12-22
BR112016020898B1 (pt) 2022-09-06
MX350449B (es) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6222343B2 (ja) 信号機検出装置及び信号機検出方法
JP6233500B2 (ja) 信号機検出装置及び信号機検出方法
JP6428924B2 (ja) 信号機検出装置及び信号機検出方法
JP6477876B2 (ja) 信号機検出装置及び信号機検出方法
JP6233501B2 (ja) 信号機検出装置及び信号機検出方法
JP6455596B2 (ja) 灯火器検出装置及び灯火器検出方法
JP6432601B2 (ja) 信号機検出装置及び信号機検出方法
WO2016021037A1 (ja) 信号機検出装置及び信号機検出方法
JP2018005391A (ja) 点滅物体検出方法及び点滅物体検出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170918

R151 Written notification of patent or utility model registration

Ref document number: 6222343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151