JP6447722B2 - 信号機検出装置及び信号機検出方法 - Google Patents

信号機検出装置及び信号機検出方法 Download PDF

Info

Publication number
JP6447722B2
JP6447722B2 JP2017521476A JP2017521476A JP6447722B2 JP 6447722 B2 JP6447722 B2 JP 6447722B2 JP 2017521476 A JP2017521476 A JP 2017521476A JP 2017521476 A JP2017521476 A JP 2017521476A JP 6447722 B2 JP6447722 B2 JP 6447722B2
Authority
JP
Japan
Prior art keywords
traffic light
angle
vehicle
wide
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017521476A
Other languages
English (en)
Other versions
JPWO2016194228A1 (ja
Inventor
大貴 山ノ井
大貴 山ノ井
松尾 治夫
治夫 松尾
沖 孝彦
孝彦 沖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2016194228A1 publication Critical patent/JPWO2016194228A1/ja
Application granted granted Critical
Publication of JP6447722B2 publication Critical patent/JP6447722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Description

本発明は、交通信号機を検出する信号機検出装置及び信号機検出方法に関する。
広い画角を有する広角カメラにより撮像された広角画像及び狭い画角を有する狭角カメラにより撮像された狭角画像のいずれかによる検出結果を選択することにより、車両前方の物体を連続的に監視することができる装置が提案されている(特許文献1参照)。このような装置では、物体までの距離が広角画像により所望の精度で検出できる距離を超える場合は狭角画像を選択し、物体が狭角カメラの視野外となる場合は広角画像を選択する。
特開2011−121398号公報
しかしながら、特許文献1に記載の技術は、検出結果を切り替える際に生じる認識の遅延時間や非認識などにより、車両制御の判断が遅れる可能性について言及されていない。車両を停止させる判断が遅れると、大きな減速度が必要となる恐れがある。
本発明は、上記問題点を鑑み、検出結果の切り替えにおける遅延時間や非認識などによる車両制御への影響を抑制することができる信号機検出装置及び信号機検出方法を提供することを目的とする。
信号機検出装置は、車両が停止するために減速を開始すべき領域を考慮することにより、検出結果の切り替えにおいて車両制御への影響が少なくなるように狭角カメラ及び広角カメラによる信号機の検出結果を切り替える。
図1は、本発明の実施の形態に係る信号機検出装置の基本的な構成を説明する模式的なブロック図である。 図2は、本発明の実施の形態に係る信号機検出装置の構成及びデータフローを説明するブロック図である。 図3は、狭角カメラ及び広角カメラにより信号機を検出可能な領域、減速開始領域、及び切り替え可能領域を説明する図である。 図4(a)〜図4(c)は、狭角カメラ及び広角カメラの画角領域を説明する図である。 図5は、狭角カメラ及び広角カメラにより信号機を検出可能な領域及び、減速開始領域、及び切り替え可能領域(W1側)を説明する図である。 図6は、狭角カメラ及び広角カメラにより信号機を検出可能な領域及び、減速開始領域、及び切り替え可能領域(N2側)を説明する図である。 図7は、本発明の実施の形態に係る信号機検出装置による信号機検出方法の一例を説明するフローチャートである。
図面を参照して、本発明の実施の形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。
(信号機検出装置)
本実施の形態に係る信号機検出装置は、図1に示すように、狭角カメラ11及び広角カメラ12を備える撮像部1と、カメラ選択部2及び画像処理部3を有する信号機検出部4と、車速センサ10とを備える。車速センサ10は、車両5の速度を検出し、検出した速度を速度情報Dvとしてカメラ選択部2に出力する。信号機検出部4は、撮像部1により撮像された画像から、車両5が走行する道路周辺に設置され、車両5の前方に存在する信号機を検出し、検出結果である信号機情報Dtとして外部に出力する。車両5は、例えば、信号機検出部4の信号機情報Dt等に基づいて、予め設定された走行経路に沿って自動的に走行する自動運転車両である。
狭角カメラ11及び広角カメラ12は、それぞれ、車両5に搭載され、車両5の前方を撮像する。狭角カメラ11及び広角カメラ12は、それぞれ、CCD、CMOS等の固体撮像素子を備え、画像処理可能なデジタル画像を出力する。広角カメラ12は、狭角カメラ11より広い画角(視野角)を有する。このため、広角カメラ12は、同じ解像度で同じ距離離れた対象を撮像する場合、狭角カメラ11と比べて分解能が低い。狭角カメラ11は、撮像した狭角画像を狭角画像情報Dnとして信号機検出部4に出力する。広角カメラ12は、撮像した広角画像を広角画像情報Dwとして信号機検出部4に出力する。
カメラ選択部2及び画像処理部3は、例えば、中央演算処理装置(CPU)、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。この場合、マイクロコントローラに予めインストールされたコンピュータプログラムをCPUが実行することにより、カメラ選択部2及び画像処理部3が構成される。マイクロコントローラは、例えば自動運転制御等の車両5に関わる他の制御に用いる電子制御ユニット(ECU)と兼用されてもよい。
画像処理部3は、狭角カメラ11により撮像された狭角画像及び広角カメラ12により撮像された広角画像の少なくともいずれかの画像から、画像処理により信号機を検出する。画像処理部3は、カメラ選択部2の決定に基づいて、狭角画像から検出された信号機及び広角画像から検出された信号機のいずれかを信号機情報Dtとして出力する。画像処理部3は、狭角画像及び広角画像のいずれかから信号機を検出することにより、処理負荷を低減することができる。この場合、画像処理部3は、信号機の検出に用いる狭角画像と広角画像とを切り替える際に、検出に遅延時間を生じ得る。
画像処理部3は、狭角カメラ11により撮像された狭角画像及び広角カメラ12により撮像された広角画像それぞれに対して、信号機を検出するための画像処理を実施する。例えば、画像処理部3は、商用電源の交流周期に基づく特定の周期で点滅する、信号機が有する信号灯を、同期画像生成により検出する。或いは、画像処理部3は、色相及び形状の類似判定処理を用いて、信号機を検出することができる。このように、画像処理部3は、種々の画像処理方法又はそれらの組み合わせを用いて信号機及び信号機の色を検出することができる。
なお、画像処理部3は、狭角画像情報Dn、広角画像情報Dwが示す各画像の全領域でなく、一部の検出領域を画像上に設定し、検出領域のみに対して画像処理を実施することにより、信号機検出のための処理負荷及び処理時間を低減することができる。検出領域は、道路形状及び信号機の位置を含む地図情報、車両5の位置情報等から推定される信号機の位置に基づいて、画像上に設定される。
カメラ選択部2は、図2に示すように、検出可能領域算出部21と、減速開始領域算出部22と、切り替え可能領域算出部23と、遅延距離算出部24と、切り替え領域決定部25と、カメラ決定部26とを備える。カメラ選択部2は、速度情報Dv等に基づいて、狭角画像から検出された信号機及び広角画像から検出された信号機のいずれを信号機情報Dtとして出力するかを画像処理部3に指定する選択カメラ情報Dsを画像処理部3に出力する。
検出可能領域算出部21は、狭角カメラ11及び広角カメラ12に設定される画角、垂直及び水平方向の角度、解像度を示すカメラ情報Dcに基づいて、信号機を検出することができるであろう検出可能領域を算出し、検出可能領域情報D01として出力する。検出可能領域算出部21は、信号機の検出率が所定の閾値を超える領域と、信号機が画角から外れない領域とを、狭角カメラ11及び広角カメラ12に対してそれぞれ算出する。検出可能領域算出部21は、狭角カメラ11及び広角カメラ12に対してそれぞれ算出した領域から、狭角カメラ11及び広角カメラ12のいずれもが信号機を検出できるであろう領域を検出可能領域として算出する。
なお、信号機の検出率が所定の閾値を超える領域は、検出対象と車両5との間の距離に基づいて、狭角カメラ11及び広角カメラ12から取得される画像上の画素数を予測し、予測された画素数が過去の検出データにおいて閾値となる検出対象の画素を超えているか否かにより算出される。信号機が画角から外れない領域は、車両5の進行方向に沿う狭角カメラ11及び広角カメラ12の光軸からの信号機のずれに基づいて算出される。
図3に示すように、車両5から信号機までの距離をXとすると、狭角カメラ11により信号機を検出可能な領域は右上がりのハッチングで示される領域であり、信号機T1とT2が位置している領域で、車両の前後方向の距離では、N21<X<N1の領域である。また、広角カメラ12により信号機を検出可能な領域は左上がりのハッチングで示される領域であり、信号機T2とT3が位置している領域で、車両の前後方向の距離では、W2<X<W1の領域である。なお、車両の車幅方向は、狭角カメラ11及び広角カメラ12の横方向の画角から外れない領域を示しており、車両の前後方向の距離が近いほど狭くなる。
N1及びW1は、それぞれ、狭角カメラ11及び広角カメラ12による信号機の検出率が所定の閾値を超える距離を意味し、各画像から信号機が検出可能な距離に基づいて設定された所定値である。狭角カメラ11による信号機の検出率が所定の閾値を超える距離領域は、X<N1であり、広角カメラ12による信号機の検出率が所定の閾値を超える距離領域は、X<W1である。N2及びW2は、それぞれ、狭角カメラ11及び広角カメラ12の画角から信号機が外れる位置のうち、車両の前後方向の位置に基づいて設定された所定値である。狭角カメラ11の画角から信号機が外れる領域は、車両の前後方向では、X<N2であり、広角カメラ12の画角から信号機が外れる領域は、車両の前後方向では、X<W2である。N2<W1であるため、狭角カメラ11及び広角カメラ12のいずれもが信号機を検出できる領域は、信号機T2が位置する領域で、車両の前後方向では、N2<X<W1である。検出可能領域算出部21は、N2<X<W1を検出可能領域情報D01として出力する。
図4(a)〜(c)は、車両5から前進方向に信号機を捉えた、狭角カメラ11及び広角カメラ12から取得される画像を示した図である。図4(a)〜(c)は、図3の信号機T1〜T3がそれぞれ位置している状態を示している。広角カメラ12の画角範囲の内側に、狭角カメラ11の画角範囲が位置する。図4(a)は、狭角カメラ11のみで検出可能な領域に位置している信号機T1を示している。広角カメラ12による信号機の検出率が所定の閾値以下となる距離領域は、X≧W1である。図4(b)は、狭角カメラ11及び広角カメラ12のいずれもが信号機を検出できる領域に位置している信号機T2を示している。図4(c)は、広角カメラ12のみで検出可能な領域に位置している信号機T2を示している。狭角カメラ11の画角から信号機が外れる領域は、X<N2である。
減速開始領域算出部22は、車両5の減速時に目標とする減速度である目標減速度Drと速度情報Dvとに基づいて、各信号機に対する停止位置に車両5が停止するために車両5が減速を開始すべき減速開始領域を算出し減速開始領域情報D02として出力する。目標減速度Drは目標とする減速度の範囲であってもよい。
目標減速度Drが示す減速度の範囲をa〜a(a<a)、速度情報Dvが示す車両5の速度をv、信号機から信号機の停止線までの距離をαとすると、減速開始領域の車両からの前後方向の距離は、式(1)のように表すことができる。
/(2×a)−α 〜 v/(2×a)−α …(1)
図3に示す例において、C1がv/(2×a)−α、C2がv/(2×a)−αに相当する。すなわち、減速開始領域情報D02は、信号機までの距離XがC2≦X≦C1となる間に減速を開始すれば、車両5が減速度a〜aで停止位置に停止することができることを意味する。減速度は、乗員の乗り心地等を考慮して、大きさや範囲(a〜a)を調整してもよい。
切り替え可能領域算出部23は、検出可能領域情報D01及び減速開始領域情報D02に基づいて、車両制御が減速を開始するタイミングと重ならないように、画像処理部3が狭角画像から広角画像に切り替えることができる切り替え可能領域を算出し、切り替え可能領域情報D03として出力する。図3に示す例において、切り替え可能領域情報D03が示す領域は、検出可能領域情報D01から減速開始領域情報D02を除いた領域である。
仮にXが減速開始領域内のときに、画像処理部3が狭角画像から広角画像に切り替えるとすると、車両5は、停止するための判断が遅れ、目標減速度Drよりも大きな減速度が必要となる可能性がある。車両5は、Xが切り替え可能領域内となる位置で停止のために減速するか否かの判断し、減速制御を開始することにより、目標減速度Dr内の減速度で各信号機に対する停止位置に停止することができる。
遅延距離算出部24は、画像処理部3が信号機の検出に用いる狭角画像を広角画像に切り替えるときの所定の遅延時間tと、速度情報Dvが示す車両5の速度vとに基づいて、遅延時間tに車両5が移動する遅延距離を算出し、遅延距離情報D04として出力する。tは、予め設定されてよい。図3に示す例において、遅延時間tにXがD1からD2になるまで車両5が速度vで移動したとすると、遅延距離|D1−D2|は、vtとなる。
切り替え領域決定部25は、切り替え可能領域情報D03と遅延距離情報D04とに基づいて、画像処理部3が狭角画像から広角画像に切り替える領域を示す切り替え領域を決定し、切り替え領域情報D05として出力する。
切り替え領域決定部25は、遅延距離が、切り替え可能領域内に収まる領域を切り替え領域として決定する。また、切り替え領域は、信号機が切り替え可能領域に位置するときに遅延距離が生じても、分解能が高い狭角画像から検出された信号機をできるだけ長い時間検出結果とすることができるように決定される。すなわち、切り替え領域決定部25は、遅延距離|D1−D2|が、N2に近く、且つ、切り替え可能領域(C2≦X≦C1を除くN2<X<W1)に収まる領域を、切り替え領域として決定する。
図5に示す例において、切り替え領域情報D05が示す領域(E2≦X≦E1)は、遅延距離が減速開始領域よりN2側に収まらないため、W1側の領域のうち、できるだけC1に近い領域に決定される。なお、E1及びE2は、D1及びD2に対応している。すなわち、画像処理部3は、信号機がE1を過ぎると狭角画像から広角画像に切り替えて信号機の検出を行う。信号機が減速開始領域に入る前に、狭角画像から広角画像に切り替えることができ、車両制御への影響を抑制して、信号機の検出結果を切り替えることができる。また、図6に示す例において、切り替え領域情報D05が示す領域(E2≦X≦E1)は、遅延距離がC2とN2との間に収まるため、できるだけN2に近い領域に決定される。信号機が減速開始領域を通過するまで、画像処理部3で狭角カメラ11の狭角画像により信号機を検出することができる。車両制御への影響を抑制して、信号機の検出結果を切り替えつつ、解像度の高い狭角画像を長く使うことで、より高精度な信号機の検出を長くできる。
カメラ決定部26は、切り替え可能領域情報D03と、信号機の相対位置情報Dpと、選択カメラ履歴情報Dhと、速度情報Dvとに基づいて、狭角カメラ11及び広角カメラ12のいずれを信号機の検出に用いるかを示す選択カメラ情報Dsを出力する。選択カメラ履歴情報Dhは、1つ前の信号機の検出に用いられた画像を撮像したカメラ及び1つ前の信号機の検出結果を示す情報である。選択カメラ情報Dsは、狭角画像から検出された信号機及び広角画像から検出された信号機のいずれを信号機情報Dtとして出力するかを画像処理部3に指定する情報である。
相対位置情報Dpは、車両5に対する各信号機の相対位置を示す情報である。相対位置情報Dpは、道路形状及び信号機の位置を含む地図情報、車両5の位置情報から推定される。車両5の位置情報は、全地球測位システム(GPS)受信機等の測位装置、車両5に搭載された加速度センサ、舵角センサ及び車速センサ10から取得される。なお、相対位置情報Dpが示す信号機は、車両5に対して信号を提示する信号機、すなわち、車両が従うべき信号機である。
(カメラ決定部の動作)
以下、図7のフローチャートを参照し、本実施の形態に係る信号機検出装置による信号機検出方法の一例を説明する。以下に示す処理は、車両5に対して信号を提示する信号機毎に、カメラ決定部26により実行される。
ステップS1において、カメラ決定部26は、信号機の位置が狭角カメラ11により検出可能な領域にあるか否かを判定する。すなわち、車両5から信号機までの距離Xが、検出可能領域算出部21により算出されたN2以上で、かつ、狭角カメラ11の横方向の画角から外れない領域か否かを判定する。カメラ決定部26は、信号機の位置が狭角カメラ11により検出可能な領域にある場合、ステップS2に処理を進め、信号機の位置が狭角カメラ11により検出可能な領域にない場合、狭角画像から信号機が検出できないため、ステップS7において広角カメラ12を選択する。
ステップS2において、カメラ決定部26は、信号機の位置が広角カメラ12により検出可能な領域にあるか否かを判定する。なお、広角カメラ12の横方向の画角は、狭角カメラ11の横方向の画角より広いので、ステップS2では、信号機は広角カメラ12の横方向の画角から外れない領域にある。すなわち、車両5から信号機までの距離Xが、検出可能領域算出部21により算出されたW1以下か否かを判定する。車両5が信号機に向かって直進している場合には、カメラ決定部26は、画像処理部3で狭角カメラ11の狭角画像により検出された信号機が、広角カメラ12により検出可能な領域に入ったか否かを判定することになる。カメラ決定部26は、信号機の位置が広角カメラ12により検出可能な領域にある場合、ステップS3に処理を進め、信号機の位置が広角カメラ12により検出可能な領域にない場合、広角画像から信号機が検出できないため、ステップS8において狭角カメラ11を選択する。
ステップS3において、カメラ決定部26は、画像処理部3により検出された信号機が青信号か否かを判定する。カメラ決定部26は、信号機が青信号でない場合、ステップS4に処理を進める。カメラ決定部26は、信号機が青信号の場合、ステップS5に処理を進める。
ステップS4において、カメラ決定部26は、信号機の位置が減速開始領域を通過したか否かを判定する。すなわち、車両5から信号機までの距離Xが、減速開始領域算出部22により算出されたX≦C1の領域に入ったか否かを判定する。信号機の位置が減速開始領域を通過していない場合、ステップS5に処理を進める。カメラ決定部26は、信号機が青信号でない、又は信号機が検出されなかった場合で、信号機の位置が減速開始領域を通過している場合には、車両5は既に減速を開始しており、信号機を検出する画像の切り替えにおいて遅延が生じても信号機が青信号に変化するか、又は、青信号が検出される場合に、車両の減速制御を中止するタイミングに遅れが生じるのみで影響が少ないため、ステップS9において広角カメラ12を選択する。これにより、カメラ決定部26は、信号機が青信号の間では、検出結果の切り替えによる遅延を生じ難くすることができる。
ステップS5において、カメラ決定部26は、選択カメラ履歴情報Dhから1つ前の信号機の検出結果が狭角カメラ11によるものか否かを判定する。カメラ決定部26は、1つ前の処理において狭角カメラ11が選択されている場合、ステップS7に処理を進める。カメラ決定部26は、1つ前の処理において広角カメラ12が選択されている場合、ステップS6に処理を進める。
ステップS6において、カメラ決定部26は、1つ前の処理に対して、車両5の位置情報等から推定される交差点(信号機)の位置に基づいて、車両5が交差点(信号機)を通過したか否かを判定する。カメラ決定部26は、車両5が交差点(信号機)を通過したと判定した場合、ステップS7に処理を進める。カメラ決定部26は、車両5が交差点(信号機)を通過していないと判断した場合、ステップS9に進み、検出結果の切り替えを最低限にするため、車両5が交差点(信号機)を通過すると判断するまで広角カメラ12を選択し続けるようにしている。
ステップS7において、カメラ決定部26は、切り替え領域情報D05に基づいて、検出された信号機の位置が切り替え領域決定部25により決定された切り替え領域にあるか否かを判定する。すなわち、車両5から信号機までの距離Xが、E2≦X≦E1であるか否かを判定する。カメラ決定部26は、信号機の位置が切り替え領域にある場合、ステップS9において広角カメラ12を選択する。カメラ決定部26は、信号機の位置が切り替え領域にない場合、ステップS8において狭角カメラ11を選択し続ける。
カメラ決定部26は、ステップS8又はステップS9において選択したカメラの画像から検出された信号機を信号機情報Dtとして出力することを画像処理部3に指定する選択カメラ情報Dsを生成し、画像処理部3に出力する。
本実施の形態に係る信号機検出装置によれば、信号機が、減速開始領域を避けるように決定された切り替え領域内に位置する間に、狭角画像から検出された信号機から、広角画像から検出された信号機に検出結果を切り替える。これにより、本実施の形態に係る信号機検出装置は、車両制御への影響を抑制して、信号機の検出結果を切り替えることができ、車両5のスムーズな減速制御を行うことができる。
また、本実施の形態に係る信号機検出装置によれば、切り替え領域が、狭角カメラ11の画角から信号機が外れる距離に基づいて設定されるため、分解能が高い狭角カメラ11による検出結果を長い時間選択することができる。よって、本実施の形態に係る信号機検出装置は、信号機の検出精度を向上することができる。
また、本発明の実施の形態に係る信号機検出装置によれば、検出した信号機が青信号である場合、狭角カメラ11の画角から信号機が外れる距離に基づいて、検出結果を広角カメラ12によるものに切り替える。これにより、本実施の形態に係る信号機検出装置は、分解能が高い狭角カメラ11による検出結果を長い時間選択することができ、信号機の検出精度を向上することができる。
また、本実施の形態に係る信号機検出装置によれば、切り替え領域が、広角画像から信号機が検出可能な距離に基づいて設定されるため、広角カメラ12による検出精度が低い位置では、狭角カメラ11による検出結果を選択し続けることができる。よって、本実施の形態に係る信号機検出装置は、分解能が高い狭角カメラ11による検出結果を長い時間選択することができ、信号機の検出精度を向上することができる。
また、本実施の形態に係る信号機検出装置によれば、検出した信号機が青信号でない、又は信号機を検出できなかった場合で、減速開始領域を通過している場合、車両5が既に減速を開始しているので、広角画像から検出した信号機を検出結果として選択する。これにより、本実施の形態に係る信号機検出装置は、信号機が青信号の間では、検出結果の切り替えによる遅延を生じ難くすることができる。
また、本実施の形態に係る信号機検出装置によれば、広角カメラ12による検出結果が選択されている場合、車両5が交差点を通過するまで、広角カメラ12を選択し続ける。これにより、本実施の形態に係る信号機検出装置は、不要な検出結果の切り替えを低減し、検出結果の切り替えを最低限に抑えることができる。
(その他の実施の形態)
上記のように、本発明を上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、既に述べた実施の形態において、図6のフローチャートのステップS3及びステップS4の処理は、順序が逆であっても構わない。その他、上記の各構成を相互に応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
本発明によれば、車両が減速を開始すべき減速開始領域を考慮して検出結果の切り替えを行うことにより、切り替えによる車両制御への影響を少なくすることができる信号機検出装置及び信号機検出方法を提供することができる。
4 信号機検出部
5 車両
10 車速センサ
11 狭角カメラ
12 広角カメラ

Claims (7)

  1. 車両の前方を撮像する狭角カメラと、
    前記車両の前方を撮像し、前記狭角カメラより広い画角を有する広角カメラと、
    前記狭角カメラにより撮像された狭角画像及び前記広角カメラにより撮像された広角画像の少なくともいずれかの画像から信号機を検出する信号機検出部とを備え、
    前記信号機検出部は、前記車両に対する信号機の位置と前記車両の速度とから算出される、前記信号機に対する停止位置に前記車両が停止するために前記車両が減速を開始すべき減速開始領域に基づいて、前記狭角画像から検出した信号機及び前記広角画像から検出した信号機のいずれかを検出結果として選択することを特徴とする信号機検出装置。
  2. 前記信号機検出部は、前記車両に対する前記信号機の位置が、前記狭角カメラの画角から前記信号機が外れる領域にある場合、広角画像から検出した信号機を検出結果として選択することを特徴とする請求項1に記載の信号機検出装置。
  3. 前記信号機検出部は、前記車両に対する前記信号機の位置が、前記狭角カメラの画角から前記信号機が外れる距離に基づいて設定された所定値以上でない場合、且つ、検出した信号機が青信号の場合、前記広角画像から検出した信号機を検出結果として選択することを特徴とする請求項2に記載の信号機検出装置。
  4. 前記信号機検出部は、前記車両から前記信号機までの距離が、前記広角画像から信号機が検出可能な距離領域にある場合、前記広角画像から検出した信号機を検出結果として選択することを特徴とする請求項1に記載の信号機検出装置。
  5. 前記信号機検出部は、検出した信号機が青信号でない、又は信号機を検出できなかった場合、且つ、前記車両から前記信号機までの距離が、前記広角画像から信号機が検出可能な距離領域にある場合、前記広角画像から検出した信号機を検出結果として選択することを特徴とする請求項4に記載の信号機検出装置。
  6. 前記信号機検出部は、前記広角画像から検出した信号機を検出結果として選択している場合、前記車両が交差点を通過すると判断されるまで前記広角画像から検出した信号機を検出結果として選択し続けること特徴とする請求項1に記載の信号機検出装置。
  7. 車両の前方を撮像する狭角カメラにより撮像された狭角画像及び前記車両の前方を撮像し、前記狭角カメラより広い画角を有する広角カメラにより撮像された広角画像の少なくともいずれかの画像から信号機を検出することと、
    前記車両に対する信号機の位置と前記車両の速度とから、前記信号機に対する停止位置に前記車両が停止するために前記車両が減速を開始すべき減速開始領域を算出することと、
    前記減速開始領域に基づいて、前記狭角画像から検出した信号機及び前記広角画像から検出した信号機のいずれかを選択することと
    を含むことを特徴とする信号機検出方法。
JP2017521476A 2015-06-05 2015-06-05 信号機検出装置及び信号機検出方法 Active JP6447722B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066364 WO2016194228A1 (ja) 2015-06-05 2015-06-05 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
JPWO2016194228A1 JPWO2016194228A1 (ja) 2018-03-29
JP6447722B2 true JP6447722B2 (ja) 2019-01-09

Family

ID=57440767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017521476A Active JP6447722B2 (ja) 2015-06-05 2015-06-05 信号機検出装置及び信号機検出方法

Country Status (10)

Country Link
US (1) US10055656B2 (ja)
EP (1) EP3306589B1 (ja)
JP (1) JP6447722B2 (ja)
KR (1) KR101942214B1 (ja)
CN (1) CN107615351B (ja)
BR (1) BR112017026218B1 (ja)
CA (1) CA2988303C (ja)
MX (1) MX361912B (ja)
RU (1) RU2668782C1 (ja)
WO (1) WO2016194228A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652514B (zh) * 2017-01-22 2021-08-03 斑马信息科技有限公司 提高交通网络中车辆通行能力的系统和方法
JP7184591B2 (ja) 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7261588B2 (ja) * 2019-01-04 2023-04-20 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7245653B2 (ja) * 2019-01-04 2023-03-24 日産自動車株式会社 信号機認識方法及び信号機認識装置
JP7115420B2 (ja) * 2019-05-23 2022-08-09 株式会社デンソー 画像処理装置
JP7167880B2 (ja) * 2019-08-27 2022-11-09 トヨタ自動車株式会社 停止線位置推定装置及び車両制御システム
US20220402492A1 (en) 2019-11-15 2022-12-22 Nissan Motor Co., Ltd. Method for Controlling Vehicle and Vehicle Control Device
JP2023021834A (ja) * 2021-08-02 2023-02-14 株式会社デンソー 車両制御装置
WO2024024114A1 (ja) * 2022-07-29 2024-02-01 日本電信電話株式会社 物体検知率算出装置、物体検知率算出方法、及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
JP2005244737A (ja) * 2004-02-27 2005-09-08 Victor Co Of Japan Ltd 監視システム
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4622928B2 (ja) * 2006-04-14 2011-02-02 トヨタ自動車株式会社 車載カメラ制御装置および車載カメラ制御方法。
JP4855158B2 (ja) * 2006-07-05 2012-01-18 本田技研工業株式会社 運転支援装置
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP2009219000A (ja) * 2008-03-12 2009-09-24 Pioneer Electronic Corp カメラ装置および撮像システム
JP2010026618A (ja) * 2008-07-16 2010-02-04 Alpine Electronics Inc 車載用ナビゲーション装置及び交差点進入案内方法
JP2010225075A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転支援装置
US8576069B2 (en) * 2009-10-22 2013-11-05 Siemens Corporation Mobile sensing for road safety, traffic management, and road maintenance
JP5476960B2 (ja) * 2009-12-08 2014-04-23 トヨタ自動車株式会社 車両前方監視装置
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
JP5761109B2 (ja) * 2012-04-10 2015-08-12 トヨタ自動車株式会社 運転支援装置
RU144555U1 (ru) * 2014-05-05 2014-08-27 Павел Юрьевич Михайлов Устройство для повышения безопасности движения транспортного средства
RU2634852C1 (ru) * 2014-07-08 2017-11-07 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофора и способ обнаружения светофора
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code

Also Published As

Publication number Publication date
MX361912B (es) 2018-12-19
US10055656B2 (en) 2018-08-21
JPWO2016194228A1 (ja) 2018-03-29
CA2988303C (en) 2018-11-13
EP3306589A1 (en) 2018-04-11
US20180150705A1 (en) 2018-05-31
CN107615351B (zh) 2018-10-30
KR20180008727A (ko) 2018-01-24
EP3306589B1 (en) 2019-01-09
WO2016194228A1 (ja) 2016-12-08
BR112017026218B1 (pt) 2021-01-05
CA2988303A1 (en) 2016-12-08
KR101942214B1 (ko) 2019-01-24
MX2017015442A (es) 2018-03-07
RU2668782C1 (ru) 2018-10-02
CN107615351A (zh) 2018-01-19
EP3306589A4 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
JP6447722B2 (ja) 信号機検出装置及び信号機検出方法
US9922259B2 (en) Traffic light detection device and traffic light detection method
CA3001287C (en) Display assistance device and display assistance method
US10210407B2 (en) Traffic signal detection device and traffic signal detection method
US20180321030A1 (en) Image processing device
JP7261588B2 (ja) 信号機認識方法及び信号機認識装置
JP4930432B2 (ja) 車両用周辺監視装置
JP7245653B2 (ja) 信号機認識方法及び信号機認識装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP6295868B2 (ja) 車両用表示装置
US11769337B2 (en) Traffic signal recognition method and traffic signal recognition device
JP6361347B2 (ja) 車両用表示装置
JP7117922B2 (ja) 周辺認識装置及び車載カメラシステム
JP2006036048A (ja) 車両ライト制御装置
JP2017004267A (ja) 車速制御装置
JP2010018223A (ja) 車両用走行路面検出装置
CN114746923B (zh) 信号机识别方法及信号机识别装置
JP5981857B2 (ja) 車外環境認識装置および車外環境認識方法
JP2019016053A (ja) 車外環境認識装置および車外環境認識方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181119

R151 Written notification of patent or utility model registration

Ref document number: 6447722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151