JP5747549B2 - Signal detector and program - Google Patents
Signal detector and program Download PDFInfo
- Publication number
- JP5747549B2 JP5747549B2 JP2011033815A JP2011033815A JP5747549B2 JP 5747549 B2 JP5747549 B2 JP 5747549B2 JP 2011033815 A JP2011033815 A JP 2011033815A JP 2011033815 A JP2011033815 A JP 2011033815A JP 5747549 B2 JP5747549 B2 JP 5747549B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- candidate
- signal lamp
- area
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、信号機検出装置及びプログラムに係り、特に、撮像画像から信号機を検出する信号機検出装置及びプログラムに関する。 The present invention relates to a traffic signal detection apparatus and program, and more particularly, to a traffic signal detection apparatus and program for detecting a traffic signal from a captured image.
従来、輝度が低い看板等の物体が除外されて信号機の発光体を含む輝度が高い第１物体を抽出するために、第１抽出手段により、テレビカメラで撮像した車両前方の画像から輝度が第１閾値以上の第１物体を抽出し、再抽出領域設定手段が第１物体の周囲に比較的狭い所定の大きさの再抽出領域を設定し、第２抽出手段が、看板等の低輝度の物体が存在しない再抽出領域において輝度が前記第１閾値未満の第２閾値以上の第２物体を抽出することにより、第２物体が信号機の発光体であるか否かを判定する信号機認識装置が提案されている（例えば、特許文献１参照）。 Conventionally, in order to extract a high-luminance first object including a light emitter of a traffic light by excluding objects such as signboards with low luminance, the first extraction means obtains luminance from an image in front of the vehicle captured by a television camera. A first object having a threshold value of 1 or more is extracted, a re-extraction area setting unit sets a re-extraction area having a relatively small predetermined size around the first object, and a second extraction unit has a low luminance such as a signboard. A traffic light recognition device that determines whether or not a second object is a light emitter of a traffic light by extracting a second object having a luminance of a second threshold value that is less than the first threshold value in a re-extraction area where no object exists. It has been proposed (see, for example, Patent Document 1).
また、高さ算出部で算出された円形状の地上高が、信号機の設置に対する所定の基準高さよりも高く、かつ、距離算出部により算出された自車両から円形状までの距離が、交差点距離算出部により算出された自車両から交差点までの距離に交差道路の幅員の１／２を加算して得た距離よりも大きい場合には、赤色灯火状態の信号機が自車両の進行方向前方に検出されたと判定する信号機認識装置が提案されている（例えば、特許文献２参照）。 In addition, the circular ground height calculated by the height calculation unit is higher than a predetermined reference height for the installation of traffic lights, and the distance from the host vehicle to the circular shape calculated by the distance calculation unit is the intersection distance. When the distance calculated by the calculation unit is greater than the distance obtained by adding 1/2 of the width of the intersection road to the distance from the own vehicle to the intersection, the traffic light in the red light state is detected in front of the traveling direction of the own vehicle. There has been proposed a traffic light recognition device that determines that a signal has been received (see, for example, Patent Document 2).
また、前方撮影用カメラと、車速センサと、カメラで撮影した画像信号が入力されるビデオＲＡＭと、ビデオＲＡＭからの画像データを読み込んで輝度の高い部分の領域を取り出し、この領域の大きさと色を基にウインドウで囲み、ウインドウ内でエッジを検出して予め記憶している参照信号機エッジと比較し、ウインドウ内で検出したエッジと参照信号機エッジとが一致したことを条件として、信号機と認識する信号認識装置が提案されている（例えば、特許文献３参照）。 In addition, a front-facing camera, a vehicle speed sensor, a video RAM to which image signals captured by the camera are input, and image data from the video RAM are read to extract a high-luminance area, and the size and color of this area Based on the window, detect the edge in the window and compare with the pre-stored reference traffic signal edge, and recognize the traffic signal as long as the edge detected in the window matches the reference traffic signal edge A signal recognition device has been proposed (see, for example, Patent Document 3).
しかしながら、一般道には、信号機のランプ面の汚れ、経年劣化による発光強度の低下、ランプ面の傾きなどにより、輝度が高く撮像されない電球式信号機も多数存在している。また、自発光の看板、夜間の窓明かり、街路灯などや、図１０（ａ）及び（ｂ）に示すように、日中であっても反射率の高い素材の看板等であれば、信号灯に類似した輝度値となる。このため、特許文献１に記載の技術では、閾値を低下させたとしても、信号灯と看板等を誤検出してしまう場合がある、という問題がある。 However, on general roads, there are many bulb-type traffic signals that are not picked up due to high brightness due to dirt on the lamp surface of the traffic light, a decrease in light emission intensity due to deterioration over time, and inclination of the lamp surface. In addition, if it is a self-luminous signboard, night window light, street light, etc., as shown in FIGS. 10A and 10B, a signboard made of a material with high reflectivity even during the daytime, a signal light The luminance value is similar to. For this reason, the technique described in Patent Document 1 has a problem that even if the threshold value is lowered, a signal lamp, a signboard, and the like may be erroneously detected.
また、特許文献２に記載の技術は、信号機の設置高さは法令により定められているものの、周囲の構造物に依存した例外も認められているため、適用できない場面も多い、という問題がある。また、１００ｍ程度前方の信号機を検出対象とした場合、車両のピッチ変動や路面勾配により信号機の高さを正しく推定することが困難な場合も多い。また、遠方の小さい信号灯まで検出対象とする場合には、正確な距離を算出することが困難であり、図１０（ｃ）に示すように、比較的近傍の先行車の制動灯などを遠方に存在する赤信号として検出してしまう場合もある。 In addition, the technology described in Patent Document 2 has a problem that although there are exceptions depending on surrounding structures, the installation height of the traffic light is stipulated by laws and regulations, and there are many cases where it cannot be applied. . In addition, when a traffic signal ahead of about 100 m is set as a detection target, it is often difficult to correctly estimate the height of the traffic signal based on a vehicle pitch fluctuation or a road surface gradient. In addition, in the case where the detection target is a small signal light far away, it is difficult to calculate an accurate distance, and as shown in FIG. It may be detected as an existing red signal.
また、特許文献３に記載の技術では、安価なカラーカメラを用いた場合には、感度やダイナミックレンジが低いため、信号灯の色情報と信号機全体のエッジ情報とを同時に撮像することは困難である、という問題がある。 In addition, in the technique described in Patent Document 3, when an inexpensive color camera is used, it is difficult to simultaneously capture the color information of the signal lamp and the edge information of the entire traffic light because the sensitivity and dynamic range are low. There is a problem.
本発明は、上記の問題点を解決するためになされたもので、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる信号機検出装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems. Even when an inexpensive color camera having a low dynamic range or high sensitivity is used, non-detection can be prevented and a traffic signal can be accurately detected. An object of the present invention is to provide a traffic light detection device and a program that can be used.
上記目的を達成するために、本発明の信号機検出装置は、自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段と、前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段と、前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段と、前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段と、を含んで構成されている。 In order to achieve the above object, the traffic light detection device according to the present invention is configured such that color information in a frame image captured for each frame by an imaging unit that captures the periphery of the host vehicle has at least one lighting color of a predetermined signal lamp. A signal lamp candidate extracting means for extracting a circular or elliptical area indicating a signal lamp candidate area; and a likelihood calculating means for calculating a likelihood indicating the signal lamp likelihood of the signal lamp candidate area extracted by the signal lamp candidate extracting means; A signal candidate extraction unit that extracts a region indicating a predetermined shape feature from the frame image as a signal candidate region, and a peripheral region that includes the signal candidate region extracted by the signal candidate extraction unit. The signal lamp candidate area having a likelihood equal to or greater than the first threshold, and the area extracted other than the peripheral area including the signal candidate area Degree is based on the first candidate region of a second threshold value or more signal lights is higher than the threshold value, is configured to include a detecting means for detecting the position and color of the traffic signal, the.
本発明の信号機検出装置によれば、撮像手段が、自車両の周辺をフレーム毎に撮像する。信号灯候補抽出手段は、撮像手段により撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出し、尤度算出手段は、信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する。また、信号機候補抽出手段は、フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する。 According to the traffic light detection apparatus of the present invention, the imaging means images the periphery of the host vehicle for each frame. The signal lamp candidate extracting means extracts a circular or elliptical area in which the color information in the frame image captured by the imaging means indicates at least one lighting color of a predetermined signal lamp as a signal lamp candidate area, and likelihood calculating means Calculates the likelihood indicating the signal lamp likelihood of the candidate area of the signal lamp extracted by the signal lamp candidate extraction means. The traffic signal candidate extracting means extracts a region indicating a predetermined shape feature from the frame image as a traffic signal candidate region.
そして、検出手段が、信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された尤度が第１の閾値以上の信号灯の候補領域、及び信号機の候補領域を含む周辺領域以外の領域で抽出された尤度が第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する。 And the detection means is a signal lamp candidate area whose likelihood extracted in the peripheral area including the traffic signal candidate area extracted by the traffic signal candidate extraction means, and a peripheral area other than the peripheral area including the traffic signal candidate area. The position and color of the traffic light are detected based on the signal lamp candidate area whose likelihood extracted in the area is equal to or higher than the second threshold higher than the first threshold.
このように、未検出となるような信号灯らしさを示す尤度が低い信号灯の候補領域であっても、信号機の候補領域と対応が取れている場合には、信号灯の検出に用いるため、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる。 As described above, even if the signal lamp candidate area has a low likelihood of indicating the likelihood of a signal lamp being undetected, if it corresponds to the candidate area of the traffic light, the dynamic range is used for detection of the signal lamp. Even when an inexpensive color camera with low sensitivity is used, it is possible to prevent undetection and detect a traffic signal with high accuracy.
また、前記尤度算出手段は、前記予め定められた信号灯の少なくとも１つの点灯色と、前記信号灯の候補領域の色情報との一致度、及び前記信号灯候補領域の楕円形度の少なくとも一方に基づいて、前記尤度を算出することができる。 Further, the likelihood calculating means is based on at least one of the degree of coincidence between at least one lighting color of the predetermined signal lamp and the color information of the candidate area of the signal lamp, and the ellipticity of the candidate lamp area. Thus, the likelihood can be calculated.
また、前記検出手段は、前フレーム画像における信号機の追跡結果から予測される現フレーム画像における信号機の追跡領域に、対応する前記信号機の候補領域が存在する場合、及び該信号機の候補領域を含む周辺領域または前記追跡領域を含む周辺領域に前記信号灯の候補領域が存在する場合の少なくとも一方の場合に、前記追跡結果を更新して追跡を継続することができる。これにより、追跡対象がフレーム画像上から逸脱するまで、安定した追跡を行うことができる。 In addition, the detection means includes a corresponding signal candidate region in the signal tracking region in the current frame image predicted from the signal tracking result in the previous frame image, and a periphery including the signal candidate region. The tracking result can be updated and the tracking can be continued in at least one of the cases where the signal lamp candidate region exists in the region or the peripheral region including the tracking region. Thereby, stable tracking can be performed until the tracking target deviates from the frame image.
また、本発明の信号機検出装置は、色情報が損失しない第１の露光量、及び前記第１の露光量より明るい第２の露光量で撮像画像が撮像されるように、前記撮像手段を制御する撮像制御手段を含んで構成することができ、前記信号灯候補抽出手段は、前記第１の露光量で撮像された撮像画像から前記信号灯の候補領域を抽出し、前記信号機候補検出手段は、前記自車両の周辺環境が所定値より明るい場合には、前記第１の露光量で撮像された撮像画像から前記信号機の候補領域を抽出し、前記自車両の周辺環境が所定値より暗い場合には、前記第２の露光量で撮像された撮像画像から前記信号機の候補領域を抽出することができる。これにより、信号灯の色情報及び信号機の形状情報の両方を適切に検出することができる。 In addition, the traffic light detection apparatus of the present invention controls the imaging unit so that a captured image is captured with a first exposure amount at which color information is not lost and a second exposure amount brighter than the first exposure amount. The signal lamp candidate extracting means extracts the signal lamp candidate area from the captured image captured at the first exposure amount, and the signal candidate detection means When the surrounding environment of the host vehicle is brighter than a predetermined value, the candidate area of the traffic light is extracted from the captured image captured at the first exposure amount. When the surrounding environment of the host vehicle is darker than the predetermined value The candidate area of the traffic light can be extracted from the captured image captured with the second exposure amount. Thereby, both the color information of a signal lamp and the shape information of a traffic light can be detected appropriately.
また、本発明の信号機検出装置は、前記信号灯候補抽出手段により抽出された信号灯の候補領域に対応する前記第２の露光量で撮像された撮像画像の高輝度領域の楕円形度に基づいて、抽出された前記信号灯の候補領域を検証する検証手段を含んで構成することができる。これにより、信号灯の色情報及び信号灯の形状情報の両方を適切に検出することができる。 Further, the traffic light detection device of the present invention is based on the ellipticity of the high-luminance area of the captured image captured at the second exposure amount corresponding to the signal lamp candidate area extracted by the signal lamp candidate extraction unit. Verification means for verifying the extracted candidate area of the signal light can be included. Thereby, both the color information of a signal lamp and the shape information of a signal lamp can be detected appropriately.
また、本発明の信号機検出プログラムは、コンピュータを、自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段、前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段、前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段、及び前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段として機能させるためのプログラムである。 The traffic light detection program of the present invention is a circle in which color information in a frame image captured for each frame by an imaging unit that captures the periphery of the host vehicle indicates at least one lighting color of a predetermined signal lamp. Alternatively, a signal lamp candidate extracting means for extracting an elliptical area as a signal lamp candidate area, a likelihood calculating means for calculating a likelihood indicating the signal lamp likelihood of the signal lamp candidate area extracted by the signal lamp candidate extracting means, from the frame image, A traffic signal candidate extraction unit that extracts a region indicating a predetermined shape feature as a traffic signal candidate region, and the likelihood extracted in a peripheral region including the signal candidate region extracted by the traffic signal candidate extraction unit is first. Extracted in a region other than the peripheral region including the signal lamp candidate region that is equal to or greater than the threshold value and the signal device candidate region Degree is based on the first candidate region of a second threshold value or more signal lights is higher than the threshold value, a program for functioning as a detecting means for detecting the position and color of the traffic signal.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.
以上説明したように、本発明の信号機検出装置及びプログラムによれば、未検出となるような信号灯らしさを示す尤度が低い信号灯の候補領域であっても、信号機の候補領域と対応が取れている場合には、信号灯の検出に用いるため、ダイナミックレンジや感度が高くない安価なカラーカメラを用いた場合でも、未検出を防止して、精度良く信号機を検出することができる、という効果が得られる。 As described above, according to the traffic signal detection apparatus and program of the present invention, even if it is a signal lamp candidate area having a low likelihood of indicating the likelihood of a signal lamp being undetected, it can correspond to the candidate area of the traffic light. In this case, since it is used for detection of signal lights, even when using an inexpensive color camera that does not have a high dynamic range or sensitivity, it is possible to prevent undetection and detect a traffic signal with high accuracy. It is done.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、連続して撮像されたフレーム画像から信号機を検出及び追跡して表示する車載用信号機検出装置に本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an in-vehicle signal detection device that detects and tracks a signal from a frame image that is mounted on a vehicle and continuously captured will be described as an example.
図１に示すように、第１の実施の形態に係る車載用信号機検出装置１０は、自車両の前方の画像を撮像するＣＣＤカメラ等からなる撮像装置１２と、カーナビ画面等を表示する表示装置１８と、撮像されたフレーム画像に基づいて、前方の信号機を検出すると共に、表示装置１８の表示を制御するコンピュータ２０とを備えている。 As shown in FIG. 1, an in-vehicle signal detector 10 according to a first embodiment includes an imaging device 12 including a CCD camera that captures an image ahead of the host vehicle, and a display device that displays a car navigation screen and the like. 18 and a computer 20 that detects the traffic light ahead and controls the display of the display device 18 based on the captured frame image.
撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２では、１フレーム毎のフレーム画像を連続して撮像する。また、撮像装置１２としては、信号灯の点灯色を識別するためにカラーカメラを用いる。 The imaging device 12 images the front of the host vehicle and generates an image signal of the image (not shown), and an A / D conversion unit (not shown) that A / D converts the image signal generated by the imaging unit. And an image memory (not shown) for temporarily storing the A / D converted image signal. The imaging device 12 continuously captures frame images for each frame. Further, as the imaging device 12, a color camera is used to identify the lighting color of the signal lamp.
表示装置１８は、ヘッドアップディスプレイやナビ画面で構成されている。 The display device 18 includes a head-up display and a navigation screen.
コンピュータ２０は、ＣＰＵ、後述する信号機検出処理ルーチンのプログラム及び各種情報を記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、撮像装置１２から出力されるフレーム画像において信号機を探索する探索範囲を設定する探索範囲設定部２２と、信号灯の各点灯色の色分布データを予め記憶した信号色分布記憶部２４と、フレーム画像の探索範囲から、信号色分布記憶部２４の色分布データに基づいて、信号灯の候補領域を抽出する信号灯候補抽出部２６と、抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する信号灯尤度算出部２８と、信号機の形状特徴を予め記憶した信号機形状記憶部３０と、フレーム画像の探索範囲から、信号機形状記憶部３０の信号機の形状特徴に基づいて、信号機の候補領域を抽出する信号機候補抽出部３２と、時系列で抽出された信号灯の候補領域及び信号機の候補領域を対応付けて追跡モデルを更新しながら追跡して信号機を検出する信号機追跡部３４と、を含んだ構成で表すことができる。なお、信号機追跡部３４が、本発明の検出手段の一例である。 The computer 20 is configured to include a CPU, a ROM for storing a signal detection routine to be described later and various information, a RAM for storing data, and a bus for connecting these. If the computer 20 is described in terms of functional blocks divided for each function realization means determined based on hardware and software, as shown in FIG. 1, the computer 20 uses a traffic light in a frame image output from the imaging device 12. A search range setting unit 22 that sets a search range to search, a signal color distribution storage unit 24 that stores color distribution data of each lighting color of the signal lamp in advance, and a color of the signal color distribution storage unit 24 from the search range of the frame image Based on the distribution data, a signal lamp candidate extraction unit 26 that extracts a signal lamp candidate area, a signal lamp likelihood calculation unit 28 that calculates a likelihood indicating the signal lamp likelihood of the extracted signal lamp candidate area, and a shape characteristic of the traffic light Based on the traffic signal shape storage unit 30 stored in advance and the frame image search range, based on the traffic signal shape characteristics of the traffic signal shape storage unit 30, A traffic signal candidate extraction unit 32 that extracts a candidate region of a traffic light, and a traffic signal tracking unit 34 that detects a traffic signal by tracking and updating a tracking model by associating the candidate region and the candidate region of a traffic light extracted in time series. And can be represented by a configuration including The traffic light tracking unit 34 is an example of the detection means of the present invention.
探索範囲設定部２２は、撮像装置１２でフレーム毎に撮像されたフレーム画像を取得し、撮像装置１２の取り付け姿勢等に基づいて、フレーム画像上で信号機が存在する領域を推定して、その領域を信号機を探索するための探索範囲として設定する。なお、フレーム画像からレーンマーク等を認識して消失点を求め、その消失点を基準として探索範囲を設定してもよい。また、計算リソースに余裕がある場合には、フレーム画像全体を探索範囲として設定してもよい。 The search range setting unit 22 acquires a frame image captured for each frame by the imaging device 12, estimates a region where a traffic signal exists on the frame image based on the mounting posture of the imaging device 12, and the region Is set as a search range for searching for traffic lights. Note that the vanishing point may be obtained by recognizing a lane mark or the like from the frame image, and the search range may be set based on the vanishing point. Further, when there is a surplus in calculation resources, the entire frame image may be set as the search range.
信号色分布記憶部２４に記憶される信号灯の色分布データは、予め同じ撮像装置１２で撮像した画像を用いて学習したものである。例えば、赤、黄、青の信号灯が点灯したサンプル画像を複数枚ずつ用意して、各画素を適切な色空間に変換し、各信号色の色分布データを得る。色分布データは中心位置と分散とで表現してもよいし、色空間の軸をいくつかのビン（色成分）に分割して、各ビンに投票された画素数を集計したヒストグラムとして表現してもよい。利用する色空間に限定はなく、Ｌ＊ａ＊ｂ＊やＨＳＶなどを利用してもよいし、カラーカメラから得られるＲＧＢ値をそのまま使ってもよい。また、輝度の分布についても信号灯を撮像したサンプル画像から予め調査しておく。なお、色分布データの学習で用いた色空間とは異なる色空間を用いて輝度を計算しても構わない。上記の色分布データ及び輝度分布データを、点灯色毎に信号色分布記憶部２４に予め記憶しておく。 The color distribution data of the signal lamp stored in the signal color distribution storage unit 24 is learned using an image captured in advance by the same imaging device 12. For example, a plurality of sample images in which red, yellow, and blue signal lights are lit are prepared, each pixel is converted into an appropriate color space, and color distribution data of each signal color is obtained. The color distribution data may be expressed by the center position and variance, or by dividing the color space axis into several bins (color components) and expressing it as a histogram totaling the number of pixels voted for each bin. May be. The color space to be used is not limited, and L * a * b * or HSV may be used, or RGB values obtained from a color camera may be used as they are. The luminance distribution is also investigated in advance from a sample image obtained by imaging a signal lamp. Note that the luminance may be calculated using a color space different from the color space used for learning the color distribution data. The color distribution data and the luminance distribution data are stored in advance in the signal color distribution storage unit 24 for each lighting color.
信号灯候補抽出部２６は、探索範囲設定部２２で設定された探索範囲内の画素（またはいくつかの小領域）毎に、学習時と同様の手順で色情報及び輝度情報を抽出し、各画素について、抽出された色情報及び輝度情報を、信号色分布記憶部２４に記憶された各点灯色の色分布データ及び輝度分布データと比較して、信号灯の候補であるかどうかを判定する。 The signal light candidate extraction unit 26 extracts color information and luminance information for each pixel (or several small regions) within the search range set by the search range setting unit 22 in the same procedure as that for learning. The extracted color information and luminance information are compared with the color distribution data and luminance distribution data of each lighting color stored in the signal color distribution storage unit 24 to determine whether it is a candidate for a signal lamp.
また、信号灯候補抽出部２６は、信号灯の候補であると判定された画素が集中する領域を抽出し、抽出された領域の形状が楕円形であるか否かを判定する。楕円形度の算出は様々な方法があるが、ここでは、楕円形度Ｅを下記（１）式で計算し、例えばこの値Ｅが０.８〜１.２の間に入る領域を信号灯の候補領域として抽出する。 Further, the signal lamp candidate extraction unit 26 extracts an area where pixels determined to be signal lamp candidates are concentrated, and determines whether or not the shape of the extracted area is an ellipse. There are various methods for calculating the ellipticity. Here, the ellipticity E is calculated by the following equation (1). For example, an area where this value E is between 0.8 and 1.2 is calculated by the signal lamp. Extract as a candidate area.
Ｅ＝Ｓ／πａｂ ・・・（１） E = S / πab (1)
ただし、Ｓは抽出された領域の面積、ａは抽出された領域の幅、ｂは抽出された領域の高さを示す。 Here, S indicates the area of the extracted region, a indicates the width of the extracted region, and b indicates the height of the extracted region.
また、信号灯候補抽出部２６は、信号灯の候補領域内の各画素の色情報及び輝度情報が、どの点灯色の色分布データ及び輝度分布データに当てはまるかによって、信号灯の候補領域の点灯色を選択する。なお、赤、黄、青の３色全ての信号灯を検出する場合に限定されず、検出したい信号灯の色を少なくとも１つ定めておいて、信号色分布記憶部２４にその信号色の色分布データを記憶しておき、信号灯候補抽出部２６では、その信号色の信号灯の候補領域のみを抽出するようにしてもよい。 Further, the signal lamp candidate extraction unit 26 selects the lighting color of the candidate area of the signal lamp depending on which lighting color distribution data and luminance distribution data the color information and luminance information of each pixel in the candidate area of the signal lamp match. To do. Note that the present invention is not limited to the case of detecting signal lights of all three colors of red, yellow, and blue. At least one signal light color to be detected is determined and the color distribution data of the signal color is stored in the signal color distribution storage unit 24. May be stored, and the signal lamp candidate extraction unit 26 may extract only the signal lamp candidate area of the signal color.
信号灯尤度算出部２８は、信号灯候補抽出部２６で抽出された信号灯の候補領域の各々について、信号灯らしさを示す数値（尤度）を算出する。尤度は、信号灯の候補領域の形状や色分布及び輝度の情報に基づいて算出する。 The signal lamp likelihood calculating unit 28 calculates a numerical value (likelihood) indicating the likelihood of a signal lamp for each of the signal lamp candidate areas extracted by the signal lamp candidate extracting unit 26. The likelihood is calculated based on information on the shape, color distribution, and luminance of the candidate area of the signal light.
例えば、信号灯の候補領域の形状に関する尤度ＰＥは、下記（２）式により算出する。 For example, the likelihood P E regarding the shape of the candidate area of the signal lamp is calculated by the following equation (2).
ＰＥ＝１−｜１−Ｅ｜＝１−｜１−Ｓ／πａｂ｜ ・・・（２） P E = 1− | 1-E | = 1− | 1−S / πab | (2)
また、信号灯の候補領域の色分布が、学習した色分布とどの程度一致しているかを示す尤度も算出する。色分布に関する尤度ＰＣは、例えば、学習した色分布データがヒストグラムとして表現されている場合には、下記（３）式により算出する。 In addition, a likelihood indicating how much the color distribution of the candidate area of the signal lamp matches the learned color distribution is also calculated. Likelihood P C relating to the color distribution, for example, when the color distribution data learning is represented as a histogram is calculated by the following equation (3).
（３）式は、ヒストグラムインタセクションと呼ばれるヒストグラム間の類似尺度を算出する式であり、０〜１の値となる。ここで、Ｈは信号灯の候補領域の正規化ヒストグラム、Ｍは予め学習された信号色ｃの正規化ヒストグラム、Ｉはヒストグラムのビン数を表す。この場合、３種類の信号色に対して（３）式により尤度を計算し、最も高い尤度を示す信号色を信号灯の候補領域の点灯色として選択する。なお、学習した色分布データが重心と分散とで表現されている場合には、マハラノビス距離などを用いて、色分布に関する尤度を算出すればよい。 Expression (3) is an expression for calculating a similarity measure between histograms called a histogram intersection, and takes a value of 0 to 1. Here, H is a normalization histogram of candidate areas of signal lights, M is a normalization histogram of signal color c learned in advance, and I is the number of bins of the histogram. In this case, the likelihood is calculated by the expression (3) for the three types of signal colors, and the signal color indicating the highest likelihood is selected as the lighting color of the signal lamp candidate region. When the learned color distribution data is expressed by the center of gravity and the variance, the likelihood relating to the color distribution may be calculated using the Mahalanobis distance or the like.
また、輝度に関する尤度ＰＢも利用する場合には、（３）式と同様の手順で輝度に関する尤度ＰＢを算出する。 When the likelihood P B related to the luminance is also used, the likelihood P B related to the luminance is calculated in the same procedure as the equation (3).
最終的な尤度ＰＳは、上記の形状に関する尤度ＰＥ、色分布に関する尤度ＰＣ、輝度に関する尤度ＰＢから総合的に算出する。例えば、（４）式のように各尤度の積の形で統合してもよいし、和の形で統合してもよい。また、（５）式のようにいずれか一つを代表値として選択するようにしてもよい。 The final likelihood P S is comprehensively calculated from the likelihood P E related to the shape, the likelihood P C related to the color distribution, and the likelihood P B related to the luminance. For example, they may be integrated in the form of products of respective likelihoods as shown in equation (4), or may be integrated in the form of sums. Further, any one of them may be selected as a representative value as shown in equation (5).
ＰＳ＝ＰＥ・ＰＣ・ＰＢ ・・・（４）
ＰＳ＝ｍａｘ｛ＰＥ，ＰＣ，ＰＢ｝ ・・・（５）
P S = P E · P C · P B (4)
P S = max {P E , P C , P B } (5)
信号機形状記憶部３０に記憶される信号機の形状特徴は、予め同じ撮像装置１２で撮像した画像を用いて学習したものである。例えば、画像からＨＯＧ（Ｈｉｓｔｏｇｒａｍ−Ｏｆ−Ｇｒａｄｉｅｎｔ）特徴を抽出し、ＡｄａＢｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）などの手法を用いて学習して構築した識別器を、信号機の形状特徴として信号機形状記憶部３０に予め記憶しておく。 The traffic signal shape features stored in the traffic signal shape storage unit 30 are learned using images captured in advance by the same imaging device 12. For example, a traffic signal shape storage unit 30 uses a discriminator constructed by extracting a HOG (Histogram-Of-Gradient) feature from an image and learning using a technique such as AdaBoost or SVM (Support vector machine) as a traffic signal shape feature. Is stored in advance.
信号機候補抽出部３２は、探索範囲設定部２２で設定された探索範囲内で、様々な大きさのウインドウを走査しながらウインドウ内の画像を抽出し、抽出したウインドウ画像から学習時と同様の手順で特徴を抽出し、信号機形状記憶部３０に記憶された形状特徴としての識別器を用いて、ウインドウ画像が信号機を示す画像であるか否かを評価する。そして、評価値の高いウインドウ画像に対応する領域を、信号機の候補領域として抽出する。 The traffic signal candidate extraction unit 32 extracts images in the window while scanning windows of various sizes within the search range set by the search range setting unit 22, and the same procedure as that at the time of learning from the extracted window image Then, the feature is extracted, and using the discriminator as the shape feature stored in the traffic signal shape storage unit 30, it is evaluated whether or not the window image is an image showing the traffic signal. Then, an area corresponding to the window image having a high evaluation value is extracted as a candidate area for the traffic signal.
信号機追跡部３４は、信号灯候補抽出部２６で抽出された信号灯の候補領域、及び信号機候補抽出部３２で抽出された信号機の候補領域に基づいて、追跡モデルの生成及び更新を行う。追跡モデルは、フレーム画像内での信号灯の位置、大きさ、色を状態量に持つ。なお、３次元空間中での位置を状態量としてもよい。追跡モデルの状態量は、現フレームから抽出された信号灯の候補領域が示す信号灯の位置、大きさ及び色、並びに信号機の候補領域が示す信号機の位置及び大きさ（以下、これらを「観測値」ともいう）であって、前フレームとの対応が取れた観測値、またはこの観測値から推定される値を用いて逐次更新される。 The traffic light tracking unit 34 generates and updates a tracking model based on the signal light candidate region extracted by the signal light candidate extraction unit 26 and the traffic signal candidate region extracted by the traffic light candidate extraction unit 32. The tracking model has the position, size, and color of the signal lamp in the frame image as state quantities. The position in the three-dimensional space may be used as the state quantity. The state quantity of the tracking model includes the position, size, and color of the signal lamp indicated by the candidate area of the signal lamp extracted from the current frame, and the position and size of the traffic light indicated by the candidate area of the traffic light (hereinafter referred to as “observed values”). Also, it is sequentially updated by using an observed value corresponding to the previous frame or a value estimated from this observed value.
より具体的には、まず１フレーム前までに生成された追跡モデルに対して、前フレームと現フレームとの間の自車両の動きに基づいて、現フレームでの検出位置を予測する。次に、予測された予測位置の周辺で抽出されている信号機の候補領域を、追跡モデルに対応する信号機の候補領域として検出する。予測位置に対応する信号機の候補領域が検出された場合には、その信号機の候補領域を含む周辺領域で抽出されている信号灯の候補領域であって、信号灯尤度算出部２８により算出された尤度が閾値ＰｔｈＬ以上の信号灯の候補領域を、追跡モデルに対応する信号灯の候補領域として検出する。また、予測位置に対応する信号機の候補領域が検出されなかった場合には、予測位置の周辺領域で、尤度が閾値ＰｔｈＨ以上の信号灯の候補領域から追跡モデルに対応する信号灯の候補領域を検出する。閾値ＰｔｈＨは、閾値ＰｔｈＬより高い値を設定する。このように処理することで、尤度が高い信号灯の候補領域は、信号機の候補領域との対応が取れていない場合でも信号灯として検出し、図２で示すように、信号灯が暗い場合（同図（ａ））や高輝度領域が輝度むらにより円形に見えない信号灯（同図（ｂ））のように、未検出となる可能性が高い場合のように尤度が低い信号灯の候補領域でも、追跡モデルとの対応が取れた信号機の候補領域と対応が取れている場合には、拾い上げることができる。これにより、信号灯の検出精度を保ちつつ、未検出を防止することができる。 More specifically, the detection position in the current frame is predicted based on the movement of the host vehicle between the previous frame and the current frame with respect to the tracking model generated up to one frame before. Next, signal candidate regions extracted around the predicted prediction position are detected as signal candidate regions corresponding to the tracking model. When a candidate area of a traffic light corresponding to the predicted position is detected, the signal lamp candidate area extracted in the peripheral area including the candidate area of the traffic signal, and the likelihood calculated by the signal lamp likelihood calculating unit 28 is used. A signal lamp candidate area having a degree equal to or greater than the threshold Pth L is detected as a signal lamp candidate area corresponding to the tracking model. If no candidate area of the traffic light corresponding to the predicted position is detected, a candidate area of the signal lamp corresponding to the tracking model is selected from the candidate area of the signal lamp having the likelihood equal to or greater than the threshold Pth H in the peripheral area of the predicted position. To detect. The threshold value Pth H is set to a value higher than the threshold value Pth L. By processing in this way, a signal lamp candidate area having a high likelihood is detected as a signal lamp even when the correspondence with the candidate area of the traffic signal is not achieved, and when the signal lamp is dark as shown in FIG. (A)) or a signal lamp candidate area having a low likelihood as in the case of a signal lamp that does not appear circular due to uneven brightness ((b) in the figure) If there is a correspondence with the candidate area of the traffic signal that can be matched with the tracking model, it can be picked up. Thereby, undetected can be prevented, maintaining the detection accuracy of a signal lamp.
なお、フレーム間で信号灯の色が変化しても追跡モデルと信号灯の候補領域との対応付けが可能なように、追跡モデルの状態量及び信号灯の点灯ルールに基づいて、照合範囲を動的に設定するようにするとよい。 Note that the matching range is dynamically determined based on the state quantity of the tracking model and the lighting rules of the signal lamp so that the tracking model can be associated with the candidate area of the signal lamp even if the color of the signal lamp changes between frames. You should set it.
次に、予測位置の周辺での信号機の候補領域及び信号灯の候補領域の検出状況に応じて、下記表１に示すように、追跡モデルを更新する。 Next, as shown in Table 1 below, the tracking model is updated in accordance with the detection status of the candidate area of the traffic light and the candidate area of the signal light around the predicted position.
追跡モデルに対応する信号灯の候補領域が検出された場合には、追跡モデルの状態量が観測値を用いて更新される。追跡モデルに対応する信号機の候補領域のみが検出された場合には、追跡モデルの色情報、及び信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定する。例えば、追跡モデルの色情報が「青」であれば、信号機の候補領域を横方向に３等分して、左領域の中心位置を信号灯の重心（位置）と推定し、信号機の候補領域の縦幅を信号灯の直径（大きさ）と推定する。そして、推定した信号灯の位置及び大きさを用いて追跡モデルを更新する。色情報は更新しない。追跡モデルに対応する信号機の候補領域も信号灯の候補領域も検出されなかった場合には、追跡モデルの予測位置に基づいて、上記と同様に信号灯の位置及び大きさを推定して、追跡モデルを更新する。ただし、規定回数以上対応する信号機の候補領域も信号灯の候補領域も検出されなかった場合には、その追跡モデルは消去される。 When a signal lamp candidate area corresponding to the tracking model is detected, the state quantity of the tracking model is updated using the observed value. When only the candidate area of the traffic light corresponding to the tracking model is detected, the position and size of the traffic light are estimated based on the color information of the tracking model and the position and size of the candidate area of the traffic light. For example, if the color information of the tracking model is “blue”, the candidate area of the traffic light is divided into three equal parts in the horizontal direction, and the center position of the left area is estimated as the center of gravity (position) of the traffic light. The vertical width is estimated as the diameter (size) of the signal lamp. Then, the tracking model is updated using the estimated position and size of the signal lamp. Color information is not updated. If neither the signal candidate area nor the signal lamp candidate area corresponding to the tracking model is detected, the position and size of the signal lamp are estimated based on the predicted position of the tracking model in the same manner as described above. Update. However, if neither the candidate area of the traffic light nor the candidate area of the signal lamp corresponding to the specified number of times or more is detected, the tracking model is deleted.
また、信号灯候補抽出部２６及び信号機候補抽出部３２で、信号灯の候補領域及び信号機の候補領域の少なくとも一方は抽出されているが、対応する追跡モデルが存在しない場合には、下記表２に示すように、現フレームの観測値に基づいて、新規に追跡モデルを生成する。 When at least one of the signal lamp candidate area and the signal lamp candidate area is extracted by the signal lamp candidate extraction section 26 and the traffic signal candidate extraction section 32, but there is no corresponding tracking model, it is shown in Table 2 below. As described above, a new tracking model is generated based on the observation value of the current frame.
信号機の候補領域及び信号灯の候補領域が共に抽出されており、両者に対応関係がある場合（両者の相対位置関係に矛盾がない場合）には、これらの観測値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号機の候補領域及び信号灯の候補領域が共に抽出されて生成された追跡モデルであることを示す「確定」の情報を付与する。信号灯の候補領域のみ抽出されており、対応関係がある信号機の候補領域が抽出されていない場合には、信号灯の候補領域の観測値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号灯の候補領域のみが抽出されて生成された追跡モデルであることを示す「未確定」の情報を付与する。信号機の候補領域のみ抽出されており、対応関係がある信号灯の候補領域が抽出されていない場合には、信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定する。また、例えば、信号機の候補領域を横方向に３等分して、各領域の色情報を、各領域に対応する信号灯の色分布データ（左領域は信号灯「青」の色分布データ、中央領域は信号灯「黄」の色分布データ、右領域は信号灯「赤」の色分布データ）を用いて評価して、最も評価値の高い領域の色を信号灯の色と推定する。そして、推定した値に基づいて、新規に追跡モデルを生成する。また、この追跡モデルには、信号機の候補領域のみが抽出されて生成された追跡モデルであることを示す「未確定」の情報を付与する。「未確定」情報が付与された追跡モデルは、次フレーム以降の処理において、未確定であった候補（信号灯の候補領域または信号機の候補領域）との対応が取れた場合に、「確定」情報に変更する。 If both the candidate area for traffic lights and the candidate area for signal lights are extracted and there is a corresponding relationship between them (if there is no contradiction in the relative positional relationship between the two), a new tracking model is created based on these observations. Is generated. The tracking model is given “determined” information indicating that it is a tracking model generated by extracting both the candidate area of the traffic light and the candidate area of the signal light. When only the signal lamp candidate area is extracted and the corresponding signal candidate area is not extracted, a new tracking model is generated based on the observation value of the signal lamp candidate area. In addition, information of “undecided” indicating that the tracking model is generated by extracting only the candidate area of the signal lamp is given to the tracking model. When only the candidate area of the traffic light is extracted and the candidate area of the corresponding signal lamp is not extracted, the position and size of the traffic light are estimated based on the position and size of the candidate area of the traffic light. Further, for example, the candidate area of the traffic light is divided into three equal parts in the horizontal direction, and the color information of each area is converted into the color distribution data of the signal lamp corresponding to each area (the left area is the color distribution data of the signal lamp “blue”, the central area Is evaluated using the color distribution data of the signal lamp “yellow” and the right area is the color distribution data of the signal lamp “red”, and the color of the area having the highest evaluation value is estimated as the color of the signal lamp. Then, a new tracking model is generated based on the estimated value. In addition, information of “undecided” indicating that the tracking model is generated by extracting only the candidate area of the traffic light is given to the tracking model. The tracking model to which the “indeterminate” information is assigned is determined by the “determined” information when a correspondence with an indeterminate candidate (a signal lamp candidate area or a traffic light candidate area) can be obtained in the processing after the next frame. Change to
なお、信号機の候補領域と対応関係にある信号灯の候補領域は、尤度が閾値ＰｔｈＬ以上の信号灯の候補領域から探索し、信号機の候補領域との対応関係がなく、信号灯の候補領域のみで追跡モデルを新規作成する場合には、尤度が閾値ＰｔｈＨ以上の信号灯の候補領域を用いる。 The signal lamp candidate area corresponding to the traffic signal candidate area is searched from the signal lamp candidate area having a likelihood equal to or greater than the threshold value Pth L , and has no correspondence with the signal lamp candidate area. When a new tracking model is created, a signal lamp candidate region having a likelihood equal to or higher than a threshold value Pth H is used.
最終的に、信号機追跡部３４は、更新された追跡モデル及び新規に生成された追跡モデルのうち、「確定」情報が付与された追跡モデルの状態量に基づいて、信号灯の位置、大きさ、及び色の情報を検出結果として、表示装置１８に表示させる。 Finally, the traffic light tracking unit 34 determines the position, the size of the signal light, based on the state quantity of the tracking model to which the “confirmation” information is given among the updated tracking model and the newly generated tracking model. The color information is displayed on the display device 18 as a detection result.
図３を参照して、信号機追跡部３４による追跡モデルの生成、更新、追跡終了の過程の一例を説明する。 With reference to FIG. 3, an example of the tracking model generation, update, and tracking end process by the traffic light tracking unit 34 will be described.
まず、（１）ｔ＝ｋ−４の場面で、両者に対応関係がある信号機の候補領域及び信号灯の候補領域が共に抽出されると、これらの観測値を用いて、新規に追跡モデル（「確定」）が生成される。 First, (1) in a scene at t = k−4, when a candidate area of a traffic light and a candidate area of a signal light that have a corresponding relationship are extracted together, a new tracking model (“ Confirm ") is generated.
次に、（２）ｔ＝ｋ−３の場面で、上記（１）で生成された追跡モデルに対応する信号灯の候補領域のみが検出された場合には、信号灯の候補領域の観測値を用いて、追跡モデルが更新される。 Next, (2) when only the signal lamp candidate area corresponding to the tracking model generated in (1) above is detected in the scene of t = k−3, the observation value of the signal lamp candidate area is used. The tracking model is updated.
次に、（３）ｔ＝ｋ−２の場面で、上記（２）で更新された追跡モデルに対応する信号機の候補領域のみが検出された場合には、信号機の候補領域の観測値から推定された推定値を用いて、追跡モデルが更新される。 Next, in the case of (3) t = k−2 where only the traffic signal candidate area corresponding to the tracking model updated in (2) above is detected, it is estimated from the observation value of the traffic signal candidate area The tracking model is updated using the estimated values.
次に、（４）ｔ＝ｋ−１の場面で、上記（３）で更新された追跡モデルに対応する信号機の候補領域及び信号灯の候補領域が共に検出されなかった場合には、追跡モデルの予測位置から推定された推定値を用いて、追跡モデルが更新される。 Next, (4) in the scene of t = k−1, when neither the candidate area of the traffic light nor the candidate area of the signal light corresponding to the tracking model updated in (3) is detected, the tracking model The tracking model is updated using the estimated value estimated from the predicted position.
次に、（５）ｔ＝ｋの場面で、上記（４）で更新された追跡モデルに対応する信号機の候補領域及び信号灯の候補領域が共に規定回数検出されなかった場合には、追跡を終了する。 Next, (5) In the scene of t = k, if neither the candidate area of the traffic light nor the candidate area of the signal light corresponding to the tracking model updated in (4) has been detected a predetermined number of times, the tracking is finished. To do.
次に、第１の実施の形態に係る車載用信号機検出装置１０の作用について説明する。車載用信号機検出装置１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、自車両の前方が撮像されると、コンピュータ２０において、図４に示す信号機検出処理ルーチンが繰り返し実行される。 Next, the operation of the vehicle signal detector 10 according to the first embodiment will be described. If the front of the host vehicle is imaged by the imaging device 12 when the host vehicle equipped with the on-vehicle signal detector 10 is traveling on a road, the signal detection processing routine shown in FIG. Repeatedly executed.
まず、ステップ１００において、フレーム画像から信号機の候補領域及び信号灯の候補領域を抽出する候補抽出処理を実行する。 First, in step 100, candidate extraction processing for extracting a candidate area for a traffic light and a candidate area for a signal light from a frame image is executed.
ここで、図５を参照して、候補抽出処理ルーチンについて説明する。 Here, the candidate extraction processing routine will be described with reference to FIG.
ステップ１０００で、撮像装置１２でフレーム毎に撮像されたフレーム画像を取得し、次に、ステップ１００２で、撮像装置１２の取り付け姿勢等に基づいて、上記ステップ１０００で取得したフレーム画像上で信号機が存在する領域を推定して、その領域を信号機を探索するための探索範囲として設定する。 In step 1000, a frame image captured for each frame by the imaging device 12 is acquired. Next, in step 1002, a traffic light is displayed on the frame image acquired in step 1000 based on the mounting orientation of the imaging device 12 and the like. An existing area is estimated, and the area is set as a search range for searching for traffic lights.
次に、ステップ１００４で、上記ステップ１００２で設定された探索範囲内の画素（またはいくつかの小領域）毎に、学習時と同様の手順で色情報及び輝度情報を抽出し、各画素について、抽出された色情報及び輝度情報を、信号色分布記憶部２４に記憶された各点灯色の色分布データ及び輝度分布データと比較して、信号灯の候補であるかどうかを判定する。また、信号灯の候補であると判定された画素が集中する領域を抽出し、抽出された領域の形状が楕円形であるか否かを、例えば、（１）式を用いて算出した楕円形度に基づいて判定する。楕円形度が所定値以上の領域を信号灯の候補領域として抽出する。 Next, in step 1004, color information and luminance information are extracted for each pixel (or several small areas) within the search range set in step 1002 in the same procedure as that for learning. The extracted color information and luminance information are compared with the color distribution data and luminance distribution data of each lighting color stored in the signal color distribution storage unit 24 to determine whether or not it is a candidate for a signal lamp. Also, an area where pixels determined to be signal lamp candidates concentrate is extracted, and whether or not the shape of the extracted area is an ellipse is calculated using, for example, the equation (1). Determine based on. A region having an ellipticity greater than or equal to a predetermined value is extracted as a candidate region for a signal lamp.
次に、ステップ１００６で、上記ステップ１００４で抽出された信号灯の候補領域の各々について、信号灯らしさを示す尤度を、例えば、（２）式〜（５）式に従って算出する。 Next, in step 1006, for each of the signal lamp candidate areas extracted in step 1004, the likelihood indicating the likelihood of signal lamp is calculated according to, for example, formulas (2) to (5).
次に、ステップ１００８で、上記ステップ１００２で設定された探索範囲内で、様々な大きさのウインドウを走査しながらウインドウ内の画像を抽出し、抽出したウインドウ画像から学習時と同様の手順で特徴を抽出し、信号機形状記憶部３０に記憶された形状特徴としての識別器を用いて、ウインドウ画像が信号機を示す画像であるか否かを評価する。そして、評価値の高いウインドウ画像に対応する領域を、信号機の候補領域として抽出する。 Next, in step 1008, images in the window are extracted while scanning windows of various sizes within the search range set in step 1002, and features are extracted from the extracted window image in the same procedure as in learning. Is extracted, and the discriminator as the shape feature stored in the traffic signal shape storage unit 30 is used to evaluate whether or not the window image is an image showing the traffic signal. Then, an area corresponding to the window image having a high evaluation value is extracted as a candidate area for the traffic signal.
次に、信号機検出処理（図４）のステップ１０２へ移行して、時系列で抽出された信号灯の候補領域及び信号機の候補領域を対応付けて追跡モデルを更新しながら追跡して信号機を検出する追跡処理を実行する。 Next, the process proceeds to step 102 of the traffic light detection process (FIG. 4), and the traffic light candidate area and the traffic light candidate area extracted in time series are associated with each other to update the tracking model and detect the traffic light. Perform tracking processing.
ここで、図６を参照して、追跡処理ルーチンについて説明する。 Here, the tracking processing routine will be described with reference to FIG.
ステップ１０２０で、１フレーム前までに生成された追跡モデルに対して、前フレームと現フレームとの間の自車両の動きに基づいて、現フレームでの検出位置を予測する。 In step 1020, a detection position in the current frame is predicted based on the movement of the host vehicle between the previous frame and the current frame with respect to the tracking model generated up to one frame before.
次に、ステップ１０２２で、上記ステップ１０２０で予測された予測位置の周辺に、対応する信号機の候補領域が存在するか否かを判定する。存在する場合には、その信号機の候補領域を検出して、ステップ１０２４へ移行し、存在しない場合には、ステップ１０３２へ移行する。 Next, in step 1022, it is determined whether or not there is a corresponding signal candidate region around the predicted position predicted in step 1020. If it exists, the signal candidate area is detected, and the process proceeds to step 1024. If not, the process proceeds to step 1032.
ステップ１０２４では、信号灯の候補領域の尤度の閾値を、閾値ＰｔｈＬに設定する。 In step 1024, the threshold value of the likelihood of the signal lamp candidate region is set to the threshold value Pth L.
次に、ステップ１０２６で、上記ステップ１０２２で検出された信号機の候補領域を含む周辺領域で抽出されている信号灯の候補領域であって、尤度が閾値ＰｔｈＬ以上の信号灯の候補領域が存在するか否かを判定する。存在する場合には、その信号灯の候補領域を検出して、ステップ１０２８へ移行する。存在しない場合には、ステップ１０３０へ移行する。 Next, in step 1026, there is a signal lamp candidate area extracted in the peripheral area including the candidate area of the traffic light detected in step 1022 and having a likelihood of a signal lamp having a likelihood equal to or greater than the threshold value Pth L. It is determined whether or not. If it exists, the signal lamp candidate area is detected, and the process proceeds to step 1028. If not, the process proceeds to step 1030.
ステップ１０２８では、上記ステップ１０２６で検出された信号灯の候補領域の観測値を用いて追跡モデルを更新する。一方、ステップ１０３０では、追跡モデルの色情報、及び上記ステップ１０２２で検出された信号機の候補領域の位置及び大きさに基づいて、信号灯の位置及び大きさを推定し、この推定値を用いて追跡モデルを更新する。色情報は更新しない。 In step 1028, the tracking model is updated using the observation value of the signal lamp candidate area detected in step 1026. On the other hand, in step 1030, the position and size of the signal light are estimated based on the color information of the tracking model and the position and size of the candidate area of the traffic light detected in step 1022, and the estimated value is used for tracking. Update the model. Color information is not updated.
一方、上記ステップ１０２２で対応する信号機の候補領域が存在しないと判定されてステップ１０３２へ移行した場合には、信号灯の候補領域の尤度の閾値を、閾値ＰｔｈＨに設定する。 On the other hand, if it is determined in step 1022 that there is no corresponding signal candidate area and the process proceeds to step 1032, the likelihood threshold of the signal lamp candidate area is set to the threshold Pth H.
次に、ステップ１０３４で、上記ステップ１０２０で予測された予測位置の周辺領域で抽出されている信号灯の候補領域であって、尤度が閾値ＰｔｈＨ以上の信号灯の候補領域が存在するか否かを判定する。存在する場合には、その信号灯の候補領域を検出して、ステップ１０２８へ移行する。存在しない場合には、ステップ１０３６へ移行する。 Next, in step 1034, whether or not there is a signal lamp candidate area extracted in the peripheral area of the predicted position predicted in step 1020 and having a likelihood greater than or equal to the threshold value Pth H. Determine. If it exists, the signal lamp candidate area is detected, and the process proceeds to step 1028. If not, the process proceeds to step 1036.
ステップ１０３６では、追跡モデルの色情報、及び上記ステップ１０２２で予測された予測位置に基づいて、信号灯の位置及び大きさを推定し、この推定値を用いて追跡モデルを更新する。色情報は更新しない。 In step 1036, the position and size of the signal light are estimated based on the color information of the tracking model and the predicted position predicted in step 1022, and the tracking model is updated using the estimated value. Color information is not updated.
次に、ステップ１０３８で、規定回数以上対応する信号機の候補領域も信号灯の候補領域も検出されなかった追跡モデルを消去する。 Next, in step 1038, the tracking model in which neither the candidate area of the traffic light nor the candidate area of the signal lamp corresponding to the specified number of times or more is deleted.
次に、ステップ１０４０で、対応する追跡モデルが存在しない信号灯の候補領域及び信号機の候補領域の少なくとも一方に基づいて、追跡モデルを新規作成する。この際、両者に対応関係がある信号灯の候補領域及び信号機の候補領域が共に抽出されている場合には、「確定」情報を付与した追跡モデルを生成し、信号灯の候補領域及び信号機の候補領域のいずれかが抽出されていない場合には、「未確定」情報を付与した追跡モデルを生成する。 Next, in step 1040, a tracking model is newly created based on at least one of the signal lamp candidate area and the traffic light candidate area for which no corresponding tracking model exists. At this time, if the signal lamp candidate area and the traffic light candidate area corresponding to each other are extracted, a tracking model with “confirmed” information is generated, and the signal lamp candidate area and the traffic light candidate area are generated. If any of the above is not extracted, a tracking model to which “indeterminate” information is added is generated.
次に、ステップ１０４２で、上記ステップ１０２８、１０３０、または１０３６で更新された追跡モデル、及び上記ステップ１０４０で新規に生成された追跡モデルのうち、「確定」情報が付与された追跡モデルの状態量に基づいて、信号灯の位置、大きさ、及び色の情報を検出結果として、表示装置１８に表示させて、リターンして処理を終了する。 Next, among the tracking model updated in step 1028, 1030, or 1036 in step 1042 and the tracking model newly generated in step 1040, the state quantity of the tracking model to which “confirmed” information is given. Based on the above, the information on the position, size, and color of the signal lamp is displayed on the display device 18 as a detection result, and the process is terminated after returning.
以上説明したように、第１の実施の形態の信号機検出装置によれば、信号灯の候補領域及び信号機の候補領域を抽出し、追跡モデルに対応する信号機の候補領域が存在する場合には、信号灯らしさを示す尤度が低い信号灯の候補領域の情報も用いて、追跡モデルに対応する信号機の候補領域が存在しない場合には、尤度が高い信号灯の候補領域の情報を用いて、信号灯の位置、大きさ、及び色を検出するため、ダイナミックレンジや感度が高くない安価な撮像装置を用いた場合でも、未検出を防止して、精度良く信号機を検出することができる。 As described above, according to the traffic light detection apparatus of the first embodiment, the signal lamp candidate area and the traffic signal candidate area are extracted, and when there is a traffic signal candidate area corresponding to the tracking model, the signal lamp If there is no candidate area for the traffic light corresponding to the tracking model using information on the candidate area of the signal lamp with low likelihood indicating the likelihood, the position of the signal lamp using the information on the candidate area of the signal lamp with high likelihood Therefore, even when an inexpensive imaging device that does not have high dynamic range or sensitivity is used to detect the size and color, it is possible to prevent undetection and detect a traffic signal with high accuracy.
また、信号灯及び信号機の形状情報の２つの特徴をあわせて用いることで、信号灯の設置高さ等を推定することなく、高精度に信号機を検出することができる。 Further, by using the two features of the signal light and the shape information of the traffic light together, it is possible to detect the traffic light with high accuracy without estimating the installation height of the traffic light.
また、信号灯の候補領域及び信号機の候補領域のいずれかが検出された場合に追跡モデルを更新するため、追跡対象がフレームアウトするまで安定して追跡することができる。 In addition, since the tracking model is updated when any one of the signal light candidate area and the traffic light candidate area is detected, the tracking target can be stably tracked until the tracking target is out of frame.
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第２の実施の形態では、露光量の異なる複数のフレーム画像を撮像して、信号灯の候補領域及び信号機の候補領域の抽出に各々適した画像を用いる点が、第１の実施の形態と主に異なっている。 The second embodiment is different from the first embodiment in that a plurality of frame images having different exposure amounts are captured and images suitable for extraction of a candidate area for a signal lamp and a candidate area for a traffic light are used. Is different.
図７に示すように、第２の実施の形態に係る車載用信号機検出装置２１０のコンピュータ２２０は、露光量の異なる複数のフレーム画像が撮像されるように撮像装置１２を制御する撮像制御部３６と、探索範囲設定部２２と、信号色分布記憶部２４と、暗画像から信号灯の候補領域を抽出する信号灯候補抽出部２２６と、明画像を用いて、抽出された信号灯の候補領域を検証する信号灯候補検証部３８と、信号灯尤度算出部２８と、自車両周辺の環境照度を認識する環境照度認識部４０と、信号機形状記憶部３０と、環境照度認識部４０の認識結果に基づいて、明画像または暗画像のいずれかから信号機の候補領域を抽出する信号機候補抽出部２３２と、信号機追跡部３４と、を含んだ構成で表すことができる。 As shown in FIG. 7, the computer 220 of the vehicle signal detector 210 according to the second embodiment has an imaging control unit 36 that controls the imaging device 12 so that a plurality of frame images with different exposure amounts are captured. The candidate area of the extracted signal lamp is verified using the search range setting section 22, the signal color distribution storage section 24, the signal lamp candidate extraction section 226 for extracting the candidate area of the signal lamp from the dark image, and the bright image. Based on the recognition results of the signal light candidate verification unit 38, the signal light likelihood calculation unit 28, the environmental illuminance recognition unit 40 that recognizes the environmental illuminance around the host vehicle, the traffic light shape storage unit 30, and the environmental illuminance recognition unit 40, It can be represented by a configuration including a traffic signal candidate extraction unit 232 that extracts a candidate region of a traffic signal from either a bright image or a dark image, and a traffic signal tracking unit 34.
撮像制御部３６は、撮像装置１２で自車両の前方を撮像する際の露光量を適宜切り替えて、１フレーム毎に、露光量の異なる複数のフレーム画像が撮像されるように撮像装置１２を制御する。露光量の切り替えは、予め設定された複数種類の露光量で繰り返し撮像するように制御してもよいし、取得したフレーム画像の明るさに応じて露光量を可変にしてもよい。予め設定された露光量を用いる場合には、昼間と夜間とで露光量の設定が変更されるようにしてもよい。また、検出及び追跡中の信号灯の輝度に応じて露光量を制御するようにしてもよい。ただし、信号灯は自発光物体であり画像中での輝度が高いため、撮像装置１２のダイナミックレンジが不足すると、画素値が飽和し正しい色情報が取得できない（色情報が損失する）場合がある。そこで、色情報が損失しない露光量を少なくとも１つは含むようにする。また、色情報が損失しないように露光量を抑えた画像からは形状情報を認識するのが困難になる場合もあるため、色情報が損失しない露光量より大きい露光量も含めるようにする。以下、色情報が損失しない露光量で撮像されたフレーム画像を「暗画像」、暗画像よりも大きい露光量で撮像されたフレーム画像を「明画像」と称する。 The imaging control unit 36 appropriately switches the exposure amount when imaging the front of the host vehicle with the imaging device 12, and controls the imaging device 12 so that a plurality of frame images with different exposure amounts are captured for each frame. To do. The switching of the exposure amount may be controlled so as to be repeatedly imaged with a plurality of preset exposure amounts, or the exposure amount may be made variable according to the brightness of the acquired frame image. When using a preset exposure amount, the exposure amount setting may be changed between daytime and nighttime. Further, the exposure amount may be controlled according to the luminance of the signal lamp being detected and tracked. However, since the signal lamp is a self-luminous object and has high luminance in the image, if the dynamic range of the imaging device 12 is insufficient, the pixel value is saturated and correct color information may not be acquired (color information may be lost). Therefore, at least one exposure amount that does not lose color information is included. Further, since it may be difficult to recognize shape information from an image in which the exposure amount is suppressed so that color information is not lost, an exposure amount larger than the exposure amount that does not lose color information is included. Hereinafter, a frame image captured with an exposure amount that does not lose color information is referred to as a “dark image”, and a frame image captured with an exposure amount greater than the dark image is referred to as a “bright image”.
信号灯候補抽出部２２６は、探索範囲設定部２２で、暗画像に設定された探索範囲から信号灯の候補領域を抽出する。暗画像から信号灯の候補領域を抽出することにより、その領域の色情報を精度良く検出することができる。信号灯の候補領域の抽出方法は、第１の実施の形態の信号灯候補抽出部２６と同様である。 The signal lamp candidate extraction unit 226 uses the search range setting unit 22 to extract signal lamp candidate regions from the search range set in the dark image. By extracting a signal lamp candidate area from the dark image, the color information of the area can be detected with high accuracy. The method for extracting the candidate area of the signal lamp is the same as that of the signal lamp candidate extraction unit 26 of the first embodiment.
信号灯候補検証部３８は、信号灯候補抽出部２２６で抽出された信号灯の候補領域の各々について、明画像を用いて形状の検証を行う。暗画像で抽出された信号灯の候補領域が実際に信号灯であっても、灯器の汚れや、経年劣化、見かけの角度などによって、必ずしも楕円形度の高い領域として抽出されていない場合がある。また、逆に、夜間では実際には円形ではないのに、露光を絞ったために、暗画像においては高輝度領域の中心付近のみが円形に抽出される場合もある。例えば、図８に示すように、明画像上では円形状ではない街灯（同図（ａ））や窓明かり（同図（ｂ））が、夜間に信号灯の色情報を取得できる露光量で撮像された暗画像上では、輝度の高い中心部分のみが円形状に抽出され（同図（ｃ）及び（ｄ））、信号灯と誤検出される場合がある。 The signal lamp candidate verification unit 38 verifies the shape of each candidate area of the signal lamp extracted by the signal lamp candidate extraction unit 226 using a bright image. Even if the candidate area of the signal lamp extracted from the dark image is actually a signal lamp, it may not necessarily be extracted as an area having a high ellipticity due to the dirt of the lamp, aging deterioration, apparent angle, or the like. On the other hand, there is a case where only the vicinity of the center of the high luminance region is extracted in a circular shape in the dark image because the exposure is narrowed down although it is not actually circular at night. For example, as shown in FIG. 8, on a bright image, a streetlight that is not circular (FIG. 8A) and a window light (FIG. 8B) are imaged with an exposure amount that can acquire color information of a signal light at night. On the dark image, only the central portion with high luminance is extracted in a circular shape (FIGS. (C) and (d)), and may be erroneously detected as a signal lamp.
そこで、信号灯候補検証部３８は、暗画像から抽出された信号灯の候補領域に対応する明画像の高輝度領域を抽出し、例えば（１）式を用いて、高輝度領域の楕円形度を算出する。そして、信号灯候補抽出部２２６で算出された楕円形度よりも改善されている場合には、信号灯の候補領域として残し、楕円形度が劣化する場合には、信号灯の候補領域から除外する。また、楕円形度が改善された場合には、改善された楕円形度を用いて、後段の信号灯尤度算出部２８により尤度を算出するようにするとよい。 Therefore, the signal lamp candidate verification unit 38 extracts a high-luminance area of the bright image corresponding to the candidate area of the signal lamp extracted from the dark image, and calculates the ellipticity of the high-luminance area using, for example, equation (1). To do. If the ellipticity calculated by the signal lamp candidate extraction unit 226 is improved, the signal lamp candidate area is left as a signal lamp candidate area. If the ellipticity deteriorates, the signal lamp candidate area is excluded from the signal lamp candidate area. In addition, when the ellipticity is improved, the likelihood is preferably calculated by the signal lamp likelihood calculation unit 28 at the subsequent stage using the improved ellipticity.
環境照度認識部４０は、自車両の周辺環境の明るさを認識して、後段の信号機候補抽出部２３２へ、明画像及び暗画像のいずれを入力するかを選択する。周辺環境の明るさは、取得したフレーム画像（明画像または暗画像）全体の輝度値から判定してもよいし、照度計やヘッドライト点灯状態を検出するセンサ等を設けて、このセンサの検出値から判定してもよい。周辺環境が明るい場合（例えば、昼間の場合）には、暗画像を信号機候補抽出部２３２に入力し、暗い場合（例えば、夜間の場合）には、明画像を信号機候補抽出部２３２に入力する。 The ambient illuminance recognition unit 40 recognizes the brightness of the surrounding environment of the host vehicle and selects whether to input a bright image or a dark image to the subsequent traffic signal candidate extraction unit 232. The brightness of the surrounding environment may be determined from the luminance value of the entire acquired frame image (bright image or dark image), or a illuminometer, a sensor for detecting the headlight lighting state, etc. are provided and detected by this sensor. You may determine from a value. When the surrounding environment is bright (for example, in the daytime), a dark image is input to the traffic signal candidate extraction unit 232, and when it is dark (for example, at night), the bright image is input to the traffic signal candidate extraction unit 232. .
信号機候補抽出部２３２は、環境照度認識部４０により入力された明画像または暗画像から信号機の候補領域を抽出する。このように、周辺の環境照度に基づいて適切に選択された画像を用いることで、建物や背景のテクスチャも明確となり、信号機の形状特徴を精度良く判定することができる。信号機の候補領域の抽出方法は、第１の実施の形態の信号機候補抽出部３２と同様である。 The traffic signal candidate extraction unit 232 extracts a candidate region of the traffic signal from the bright image or the dark image input by the environment illuminance recognition unit 40. In this way, by using an image appropriately selected based on the surrounding ambient illuminance, the texture of the building and the background is also clarified, and the shape characteristics of the traffic light can be accurately determined. The method for extracting the candidate area of the traffic signal is the same as that of the candidate traffic signal extracting unit 32 of the first embodiment.
次に、第２の実施の形態に係る車載用信号機検出装置２１０の作用について説明する。車載用信号機検出装置２１０を搭載した自車両が道路上を走行しているときに、撮像装置１２によって、撮像制御部３６で露光量が制御されて、自車両の前方が撮像されると、コンピュータ２２０において、図４に示す信号機検出処理ルーチンが繰り返し実行される。なお、第１の実施の形態の信号機検出処理ルーチンとは、候補抽出処理が異なるのみであるので、図９を参照して、第２の実施の形態の候補抽出処理ルーチンについて説明する。また、第１の実施の形態の候補抽出処理と同一の処理については、同一の符号を付して詳細な説明は省略する。 Next, the operation of the vehicle signal detector 210 according to the second embodiment will be described. When the own vehicle equipped with the on-vehicle signal detector 210 is traveling on the road, the imaging device 12 controls the exposure amount by the imaging control unit 36 and images the front of the own vehicle. At 220, the traffic light detection processing routine shown in FIG. 4 is repeatedly executed. Note that the candidate detection process routine of the second embodiment will be described with reference to FIG. 9 because only the candidate extraction process is different from the traffic light detection process routine of the first embodiment. Further, the same processing as the candidate extraction processing of the first embodiment is denoted by the same reference numeral, and detailed description thereof is omitted.
ステップ２０００で、撮像装置１２でフレーム毎に撮像された明画像及び暗画像を取得し、次に、ステップ１００２で、上記ステップ２０００で取得した明画像及び暗画像に探索範囲を設定する。次に、ステップ２００４で、暗画像から信号灯の候補領域を抽出する。 In step 2000, a bright image and a dark image captured for each frame by the imaging device 12 are acquired. Next, in step 1002, a search range is set for the bright image and the dark image acquired in step 2000. Next, in step 2004, candidate areas for signal lights are extracted from the dark image.
次に、ステップ２００５で、暗画像から抽出された信号灯の候補領域に対応する明画像の高輝度領域を抽出し、例えば（１）式を用いて、高輝度領域の楕円形度を算出し、上記ステップ２００４で信号灯の候補領域を抽出する際に算出された楕円形度よりも改善されている場合には、信号灯の候補領域として残し、楕円形度が劣化する場合には、信号灯の候補領域から除外する。 Next, in step 2005, a high-intensity region of the bright image corresponding to the signal lamp candidate region extracted from the dark image is extracted, and the ellipticity of the high-intensity region is calculated using, for example, equation (1). If the ellipticity calculated when extracting the signal lamp candidate area in step 2004 is improved, it is left as a signal lamp candidate area. If the ellipticity deteriorates, the signal lamp candidate area is deteriorated. Exclude from
次に、ステップ１００６で、上記ステップ２００５において検証済みの信号灯の候補領域の各々について、信号灯らしさを示す尤度を算出する。 Next, in step 1006, the likelihood indicating the likelihood of a signal lamp is calculated for each candidate area of the signal lamp verified in step 2005.
次に、ステップ２００７で、取得した明画像または暗画像全体の輝度値の合計または平均が所定の閾値以上か否かを判定することにより、自車両周辺の環境が昼間か否かを判定する。昼間の場合には、ステップ２００８へ移行し、暗画像から信号機の候補領域を抽出する。一方、自車両周辺の環境が夜間の場合には、ステップ２００９へ移行して、明画像から信号機の候補領域を抽出して、リターンする。 Next, in step 2007, it is determined whether or not the environment around the host vehicle is daytime by determining whether the sum or average of the luminance values of the entire bright image or dark image acquired is equal to or greater than a predetermined threshold value. In the case of daytime, the process proceeds to step 2008 to extract a candidate area of the traffic light from the dark image. On the other hand, if the environment around the host vehicle is nighttime, the process proceeds to step 2009 to extract a candidate area of the traffic light from the bright image and return.
以上説明したように、第２の実施の形態の車載用信号機検出装置によれば、色情報を損失しない露光量で撮像された暗画像、及び暗画像より大きい露光量で撮像された明画像を用いるため、ダイナミックレンジや感度が高くない安価な撮像装置を用いた場合でも、信号灯の色情報、及び信号機の形状特徴の両方を精度良く検出することができる。 As described above, according to the on-vehicle signal detector of the second embodiment, a dark image captured with an exposure amount that does not lose color information and a bright image captured with an exposure amount larger than the dark image are obtained. Therefore, even when an inexpensive imaging device that does not have a high dynamic range or sensitivity is used, it is possible to accurately detect both the color information of the signal lamp and the shape characteristics of the traffic light.
１０、２１０ 車載用信号機検出装置
１２ 撮像装置
１８ 表示装置
２０ コンピュータ
２２ 探索範囲設定部
２４ 信号色分布記憶部
２６、２２６ 信号灯候補抽出部
２８ 信号灯尤度算出部
３０ 信号機形状記憶部
３２、２３２ 信号機候補抽出部
３４ 信号機追跡部
３６ 撮像制御部
３８ 信号灯候補検証部
４０ 環境照度認識部
DESCRIPTION OF SYMBOLS 10,210 Vehicle signal detector 12 Imaging device 18 Display device 20 Computer 22 Search range setting part 24 Signal color distribution memory | storage part 26, 226 Signal lamp candidate extraction part 28 Signal lamp likelihood calculation part 30 Signal apparatus shape memory | storage part 32, 232 Signal candidate Extraction unit 34 Traffic light tracking unit 36 Imaging control unit 38 Signal lamp candidate verification unit 40 Environmental illuminance recognition unit
Claims (9)
前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段と、
前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段と、
前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段と、
を含む信号機検出装置。 A signal lamp that extracts a circular or elliptical area in which color information in a frame image captured for each frame by an imaging unit that captures the periphery of the host vehicle indicates at least one lighting color of a predetermined signal lamp as a candidate area of the signal lamp Candidate extraction means;
Likelihood calculating means for calculating likelihood indicating the signal lamp likelihood of the candidate area of the signal lamp extracted by the signal lamp candidate extracting means;
From the frame image, a traffic signal candidate extracting means for extracting a region indicating a predetermined shape feature as a traffic signal candidate region;
Extracted in a signal lamp candidate area having a likelihood equal to or greater than a first threshold extracted in a peripheral area including a traffic signal candidate area extracted by the traffic signal candidate extraction means, and in an area other than the peripheral area including the signal candidate area Detection means for detecting a position and a color of a traffic light based on a candidate area of a signal lamp having a likelihood that is greater than or equal to a second threshold higher than the first threshold;
A traffic light detection device.
前記信号灯候補抽出手段は、前記第１の露光量で撮像された撮像画像から前記信号灯の候補領域を抽出し、
前記信号機候補抽出手段は、前記自車両の周辺環境が所定値より明るい場合には、前記第１の露光量で撮像された撮像画像から前記信号機の候補領域を抽出し、前記自車両の周辺環境が所定値より暗い場合には、前記第２の露光量で撮像された撮像画像から前記信号機の候補領域を抽出する
請求項１〜請求項３のいずれか１項記載の信号機検出装置。 Imaging control means for controlling the imaging means so that a captured image is captured with a first exposure amount at which color information is not lost and a second exposure amount brighter than the first exposure amount,
The signal lamp candidate extraction means extracts a candidate area of the signal lamp from a captured image captured with the first exposure amount,
When the surrounding environment of the vehicle is brighter than a predetermined value, the traffic signal candidate extracting unit extracts a candidate area of the traffic signal from a captured image captured at the first exposure amount, and the surrounding environment of the vehicle The traffic light detection device according to any one of claims 1 to 3, wherein when the signal is darker than a predetermined value, a candidate area of the traffic light is extracted from a captured image captured with the second exposure amount.
自車両の周辺を撮像する撮像手段によってフレーム毎に撮像されたフレーム画像における色情報が、予め定められた信号灯の少なくとも１つの点灯色を示す円形または楕円領域を、信号灯の候補領域として抽出する信号灯候補抽出手段、
前記信号灯候補抽出手段により抽出された信号灯の候補領域の信号灯らしさを示す尤度を算出する尤度算出手段、
前記フレーム画像から、予め定められた形状特徴を示す領域を、信号機の候補領域として抽出する信号機候補抽出手段、及び
前記信号機候補抽出手段により抽出した信号機の候補領域を含む周辺領域で抽出された前記尤度が第１の閾値以上の信号灯の候補領域、及び前記信号機の候補領域を含む周辺領域以外の領域で抽出された前記尤度が前記第１の閾値より高い第２の閾値以上の信号灯の候補領域に基づいて、信号機の位置及び色を検出する検出手段
として機能させるための信号機検出プログラム。 Computer
A signal lamp that extracts a circular or elliptical area in which color information in a frame image captured for each frame by an imaging unit that captures the periphery of the host vehicle indicates at least one lighting color of a predetermined signal lamp as a candidate area of the signal lamp Candidate extraction means,
Likelihood calculating means for calculating a likelihood indicating the likelihood of signal light in the candidate area of the signal light extracted by the signal light candidate extracting means;
A signal candidate extraction unit that extracts a region indicating a predetermined shape feature as a candidate region of a traffic signal from the frame image, and a peripheral region that includes the candidate region of the traffic signal extracted by the signal candidate extraction unit. Signal lamp candidate areas having a likelihood equal to or higher than the first threshold, and signal lights having a likelihood equal to or higher than the second threshold extracted in areas other than the peripheral area including the signal candidate area A traffic light detection program for functioning as detection means for detecting the position and color of a traffic light based on a candidate area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033815A JP5747549B2 (en) | 2011-02-18 | 2011-02-18 | Signal detector and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011033815A JP5747549B2 (en) | 2011-02-18 | 2011-02-18 | Signal detector and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012173879A JP2012173879A (en) | 2012-09-10 |
| JP5747549B2 true JP5747549B2 (en) | 2015-07-15 |
Family
ID=46976751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011033815A Expired - Fee Related JP5747549B2 (en) | 2011-02-18 | 2011-02-18 | Signal detector and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5747549B2 (en) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101382671B1 (en) * | 2012-12-31 | 2014-04-07 | 현대자동차주식회사 | Method for detecting circle group having multi-scale |
| JP2014135949A (en) * | 2013-01-18 | 2014-07-28 | Dainippon Printing Co Ltd | Culture medium information registration system, culture medium image analysis device, program, and health management system |
| JP2014135948A (en) * | 2013-01-18 | 2014-07-28 | Dainippon Printing Co Ltd | Culture medium information registration system, colony detection device, program, and health management system |
| JP6291717B2 (en) * | 2013-04-17 | 2018-03-14 | 大日本印刷株式会社 | Colony detector, medium information registration system, program and hygiene management system |
| JP6299517B2 (en) * | 2014-08-08 | 2018-03-28 | 日産自動車株式会社 | Signal recognition device and signal recognition method |
| CN107430818B (en) * | 2015-04-08 | 2018-10-12 | 日产自动车株式会社 | Signal machine detecting device and semaphore detection method |
| JP6676885B2 (en) * | 2015-06-04 | 2020-04-08 | 株式会社リコー | Recognition device, recognition method and program |
| JP6742736B2 (en) * | 2016-01-22 | 2020-08-19 | 株式会社デンソーテン | Lighting color determination device for traffic light and lighting color determination method for traffic light |
| US9977975B2 (en) * | 2016-08-18 | 2018-05-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Traffic light detection using multiple regions of interest and confidence scores |
| JP6825299B2 (en) * | 2016-10-24 | 2021-02-03 | 株式会社リコー | Information processing equipment, information processing methods and programs |
| JP6859659B2 (en) * | 2016-10-25 | 2021-04-14 | 株式会社リコー | Information processing equipment, information processing methods and programs |
| KR101877809B1 (en) * | 2017-02-21 | 2018-07-12 | 연세대학교 산학협력단 | Method and Apparatus for Recognizing Traffic Light Using GPU |
| US11132778B2 (en) | 2017-03-29 | 2021-09-28 | Nec Corporation | Image analysis apparatus, image analysis method, and recording medium |
| JP6787243B2 (en) * | 2017-04-28 | 2020-11-18 | トヨタ自動車株式会社 | Image transmission program, image transmission method, on-board unit, vehicle, and image processing system |
| CN108961357B (en) * | 2017-05-17 | 2023-07-21 | 浙江宇视科技有限公司 | Method and device for strengthening over-explosion image of traffic signal lamp |
| JP6868932B2 (en) * | 2018-01-12 | 2021-05-12 | 日立Astemo株式会社 | Object recognition device |
| JP7063296B2 (en) * | 2019-03-25 | 2022-05-09 | カシオ計算機株式会社 | Signal light display discrimination device, signal light display discrimination method and program |
| JP7414497B2 (en) * | 2019-12-05 | 2024-01-16 | トヨタ自動車株式会社 | Driving support device |
| CN111292531B (en) * | 2020-02-06 | 2022-07-29 | 阿波罗智能技术(北京)有限公司 | Tracking method, device and equipment of traffic signal lamp and storage medium |
| CN111639656A (en) * | 2020-05-28 | 2020-09-08 | 东软睿驰汽车技术（沈阳）有限公司 | Traffic signal lamp identification method and device |
| CN113095220B (en) * | 2021-04-12 | 2023-04-18 | 浙江吉利控股集团有限公司 | Traffic signal lamp digital identification method and digital identification system |
| JP2022172945A (en) * | 2021-05-07 | 2022-11-17 | ウーブン・プラネット・ホールディングス株式会社 | Remote support system and remote support method |
| CN113222870B (en) * | 2021-05-13 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | Image processing method, device and equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188271A (en) * | 2006-01-13 | 2007-07-26 | Matsushita Electric Ind Co Ltd | On-vehicle camera system |
| JP4631750B2 (en) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | Image processing system |
| JP2009043067A (en) * | 2007-08-09 | 2009-02-26 | Honda Motor Co Ltd | Traffic light recognition system |
-
2011
- 2011-02-18 JP JP2011033815A patent/JP5747549B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012173879A (en) | 2012-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5747549B2 (en) | Signal detector and program | |
| US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
| US9489586B2 (en) | Traffic sign recognizing apparatus and operating method thereof | |
| US8064643B2 (en) | Detecting and recognizing traffic signs | |
| JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
| CN108197523B (en) | Night vehicle detection method and system based on image conversion and contour neighborhood difference | |
| JP5065172B2 (en) | Vehicle lighting determination device and program | |
| US20180114089A1 (en) | Attachable matter detection apparatus and attachable matter detection method | |
| JP2018063680A (en) | Traffic signal recognition method and traffic signal recognition device | |
| JP5874831B2 (en) | Three-dimensional object detection device | |
| KR101026778B1 (en) | Vehicle image detection apparatus | |
| KR20080004833A (en) | Apparatus and method for detecting a navigation vehicle in day and night according to luminous state | |
| JP5353531B2 (en) | Vehicle light recognition device and program | |
| JP5407920B2 (en) | Lighting color identification device and program | |
| Coronado et al. | Detection and classification of road signs for automatic inventory systems using computer vision | |
| CN113029185B (en) | Road marking change detection method and system in crowdsourcing type high-precision map updating | |
| US9727780B2 (en) | Pedestrian detecting system | |
| JP2010286995A (en) | Image processing system for vehicle | |
| JP5447162B2 (en) | Mobile object identification apparatus, computer program, and mobile object identification method | |
| JP2010271969A (en) | Traffic-lane detecting device | |
| JP2009037284A (en) | Traveling object recognition device | |
| JP5447164B2 (en) | Mobile object identification apparatus, computer program, and mobile object identification method | |
| CN112784817A (en) | Method, device and equipment for detecting lane where vehicle is located and storage medium | |
| JP2010015235A (en) | Pedestrian detector and program | |
| KR102540624B1 (en) | Method for create map using aviation lidar and computer program recorded on record-medium for executing method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5747549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |