JP7255707B2 - 信号機認識方法及び信号機認識装置 - Google Patents
信号機認識方法及び信号機認識装置 Download PDFInfo
- Publication number
- JP7255707B2 JP7255707B2 JP2021555894A JP2021555894A JP7255707B2 JP 7255707 B2 JP7255707 B2 JP 7255707B2 JP 2021555894 A JP2021555894 A JP 2021555894A JP 2021555894 A JP2021555894 A JP 2021555894A JP 7255707 B2 JP7255707 B2 JP 7255707B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- threshold
- traffic light
- vehicle
- determination result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001633663 Iris pseudacorus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1は、本実施形態に係る信号機認識装置の構成を示すブロック図である。図1に示すように、本実施形態に係る信号機認識装置は、撮像部71と、コントローラ100とを備え、コントローラ100は、有線あるいは無線の通信路によって、撮像部71、車載センサ73、地図情報取得部75、車両制御装置400と接続されている。
なおここで、上記においては自己位置取得部110が取得した車両の現在の位置と、停止位置取得部120が地図情報に基づいて取得した信号機に対応した停止線の位置から、上記車両の位置から停止線の位置までの距離D(第1距離)を算出する例を示したが、これに限定されない。
α=V^2/2D ・・・(1)
D_B=V^2/2β ・・・(2)
次に、本実施形態に係る信号機認識装置による信号機認識の処理手順を、図2及び図6のフローチャートを参照して説明する。図2は、本実施形態に係る信号機認識装置の処理手順を示すフローチャートである。図6は、本実施形態に係る信号機認識装置の処理手順の変形例を示すフローチャートである。
以上詳細に説明したように、本実施形態に係る信号機認識方法及び信号機認識装置は、車両の進行方向を撮像した複数枚の画像に基づいて信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、車両の位置から信号機に対応する停止線の位置までの第1距離が距離閾値以上である場合に第1閾値を個数閾値に設定し、第1距離が距離閾値未満である場合に第1閾値よりも小さい第2閾値を個数閾値に設定し、結果列を構成する判定結果のうち、最新の判定結果と同一の判定結果の個数が個数閾値よりも多い場合に、判定結果を出力する。
73 車載センサ
75 地図情報取得部
100 コントローラ
110 自己位置取得部
120 停止位置取得部
130 算出部
150 判定部
155 判定結果記憶部
160 出力部
180 閾値設定部
190 出力決定部
400 車両制御装置
Claims (9)
- 車両に搭載された撮像部とコントローラとを備える信号機認識装置に係る信号機認識方法であって、
前記コントローラは、
前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
前記信号機に対応する停止線の位置を取得し、
前記車両の位置から前記停止線の位置までの第1距離を算出し、
前記第1距離に基づいて個数閾値を設定する際、
前記第1距離が距離閾値以上である場合に、第1閾値を前記個数閾値に設定し、
前記第1距離が距離閾値未満である場合に、前記第1閾値よりも小さい第2閾値を前記個数閾値に設定し、
前記結果列を構成する判定結果のうち最新の判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記判定結果を出力すること
を特徴とする信号機認識方法。 - 請求項1に記載の信号機認識方法であって、
前記コントローラは、
前記車両が所定減速加速度で減速した場合に停止までに走行する制動距離を算出し、
前記制動距離に基づいて、前記距離閾値を設定すること
を特徴とする信号機認識方法。 - 請求項2に記載の信号機認識方法であって、
前記複数の画像は、所定周期ごとに撮像された画像であって、
前記コントローラは、
前記所定周期と前記個数閾値と前記車両の速度を乗算して空走距離を算出し、
前記空走距離と前記制動距離の和を前記距離閾値として設定すること
を特徴とする信号機認識方法。 - 請求項1~3のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記第1距離に基づいて前記個数閾値を設定する際、
前記第1距離が距離閾値未満であり、かつ、
前記結果列を構成する判定結果のうち最新の判定結果が、前記現示状態が不明であるとする判定結果以外であり、かつ、前記現示状態は前記停止線の通過を許可する許可表示であるとする判定結果以外である場合に、
前記第2閾値を前記個数閾値に設定すること
を特徴とする信号機認識方法。 - 請求項1~4のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、前記第1距離に基づいて前記個数閾値を設定する際、
前記第1距離が距離閾値未満であり、かつ、
前記車両が前記停止線の手前で停止する際の減速加速度が所定減速加速度以下である場合に、
前記第2閾値を前記個数閾値に設定すること
を特徴とする信号機認識方法。 - 請求項1~5のいずれか一項に記載の信号機認識方法であって、
前記複数の画像は、所定周期ごとに撮像された画像であって、
前記コントローラは、
前記第1距離から前記距離閾値を減算して第2距離を算出し、
前記所定周期と前記車両の速度の積で前記第2距離を除算して候補値を算出し、
設定された前記個数閾値よりも前記候補値が小さい場合に、前記候補値を前記個数閾値に設定すること
を特徴とする信号機認識方法。 - 請求項1~6のいずれか一項に記載の信号機認識方法であって、
前記結果列は、前記個数閾値よりも多い所定個数の判定結果から構成されること
を特徴とする信号機認識方法。 - 請求項1~7のいずれか一項に記載の信号機認識方法であって、
前記コントローラは、
前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を第1判定結果として抽出し、
前記結果列を構成する判定結果のうち、前記現示状態が不明であるとする判定結果を除いた判定結果の中から、前記第1判定結果の直前の判定結果、及び、前記第1判定結果の直後の判定結果を、それぞれ、第2判定結果、及び、第3判定結果として抽出し、
前記第2判定結果と前記第3判定結果が同一である場合に、前記結果列内の前記第1判定結果を前記第2判定結果で置き換えること
を特徴とする信号機認識方法。 - 車両に搭載された撮像部と、コントローラとを備える信号機認識装置であって、
前記コントローラは、
前記撮像部を用いて前記車両の進行方向にある信号機を複数回撮像して、複数の画像を取得し、
前記画像ごとに前記信号機の現示状態を判定して得られた時系列順の複数の判定結果からなる結果列を取得し、
前記信号機に対応する停止線の位置を取得し、
前記車両の位置から前記停止線の位置までの第1距離を算出し、
前記第1距離に基づいて個数閾値を設定する際、
前記第1距離が距離閾値以上である場合に、第1閾値を前記個数閾値に設定し、
前記第1距離が距離閾値未満である場合に、前記第1閾値よりも小さい第2閾値を前記個数閾値に設定し、
前記結果列を構成する判定結果のうち、最新の判定結果と同一の判定結果の個数が、前記個数閾値よりも多い場合に、前記判定結果を出力すること
を特徴とする信号機認識装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2019/001271 WO2021094801A1 (ja) | 2019-11-12 | 2019-11-12 | 信号機認識方法及び信号機認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021094801A1 JPWO2021094801A1 (ja) | 2021-05-20 |
JP7255707B2 true JP7255707B2 (ja) | 2023-04-11 |
Family
ID=75912057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021555894A Active JP7255707B2 (ja) | 2019-11-12 | 2019-11-12 | 信号機認識方法及び信号機認識装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11679769B2 (ja) |
EP (1) | EP4060640B1 (ja) |
JP (1) | JP7255707B2 (ja) |
CN (1) | CN114730520B (ja) |
BR (1) | BR112022009207A2 (ja) |
MX (1) | MX2022005541A (ja) |
WO (1) | WO2021094801A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022126350A (ja) * | 2021-02-18 | 2022-08-30 | 本田技研工業株式会社 | 認識装置、移動体、認識方法、およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015170240A (ja) | 2014-03-10 | 2015-09-28 | 富士重工業株式会社 | 車外環境認識装置 |
US20170024622A1 (en) | 2015-07-24 | 2017-01-26 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
JP2017037528A (ja) | 2015-08-11 | 2017-02-16 | 株式会社デンソー | 停止線通過認識装置 |
WO2017126221A1 (ja) | 2016-01-19 | 2017-07-27 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
JP2019109602A (ja) | 2017-12-15 | 2019-07-04 | クラリオン株式会社 | 信号機認識装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5936258A (en) | 1995-04-28 | 1999-08-10 | Fujitsu Limited | Optical semiconductor memory device and read/write method therefor |
JP5462609B2 (ja) * | 2009-12-09 | 2014-04-02 | 富士重工業株式会社 | 停止線認識装置 |
JP2013109639A (ja) * | 2011-11-22 | 2013-06-06 | Pioneer Electronic Corp | 画像処理装置、サーバ、携帯端末装置、及び画像処理方法 |
JP5936258B2 (ja) | 2012-03-22 | 2016-06-22 | 富士重工業株式会社 | 運転支援装置 |
US9389093B2 (en) * | 2013-04-04 | 2016-07-12 | Nissan Motor Co., Ltd. | Traffic signal recognition apparatus |
JP6222343B2 (ja) * | 2014-03-10 | 2017-11-01 | 日産自動車株式会社 | 信号機検出装置及び信号機検出方法 |
KR101974772B1 (ko) * | 2015-06-09 | 2019-05-02 | 닛산 지도우샤 가부시키가이샤 | 신호기 검출 장치 및 신호기 검출 방법 |
WO2017042710A1 (en) * | 2015-09-09 | 2017-03-16 | Lightmetrics Technologies Pvt. Ltd. | System and method for detecting objects in an automotive environment |
EP3333827A1 (en) * | 2016-12-12 | 2018-06-13 | Hitachi, Ltd. | Driving assistance apparatus with human machine interface system |
JP2019049892A (ja) * | 2017-09-11 | 2019-03-28 | トヨタ自動車株式会社 | 信号機認識装置 |
JP2019079398A (ja) * | 2017-10-26 | 2019-05-23 | トヨタ自動車株式会社 | 走行制御装置 |
JP7067067B2 (ja) * | 2018-01-11 | 2022-05-16 | トヨタ自動車株式会社 | 信号機認識装置、及び自動運転システム |
US10339400B1 (en) * | 2018-12-18 | 2019-07-02 | Chongqing Jinkang New Energy Automobile Co., Ltd. | Traffic light detection using multiple cameras |
-
2019
- 2019-11-12 MX MX2022005541A patent/MX2022005541A/es unknown
- 2019-11-12 WO PCT/IB2019/001271 patent/WO2021094801A1/ja unknown
- 2019-11-12 CN CN201980102180.5A patent/CN114730520B/zh active Active
- 2019-11-12 EP EP19952812.6A patent/EP4060640B1/en active Active
- 2019-11-12 BR BR112022009207A patent/BR112022009207A2/pt unknown
- 2019-11-12 JP JP2021555894A patent/JP7255707B2/ja active Active
- 2019-11-12 US US17/775,504 patent/US11679769B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015170240A (ja) | 2014-03-10 | 2015-09-28 | 富士重工業株式会社 | 車外環境認識装置 |
US20170024622A1 (en) | 2015-07-24 | 2017-01-26 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
JP2017037528A (ja) | 2015-08-11 | 2017-02-16 | 株式会社デンソー | 停止線通過認識装置 |
WO2017126221A1 (ja) | 2016-01-19 | 2017-07-27 | 日産自動車株式会社 | 表示装置の制御方法および表示装置 |
JP2019109602A (ja) | 2017-12-15 | 2019-07-04 | クラリオン株式会社 | 信号機認識装置 |
Also Published As
Publication number | Publication date |
---|---|
EP4060640A1 (en) | 2022-09-21 |
CN114730520A (zh) | 2022-07-08 |
JPWO2021094801A1 (ja) | 2021-05-20 |
CN114730520B (zh) | 2023-07-04 |
US11679769B2 (en) | 2023-06-20 |
WO2021094801A1 (ja) | 2021-05-20 |
MX2022005541A (es) | 2022-11-28 |
EP4060640A4 (en) | 2022-12-07 |
BR112022009207A2 (pt) | 2022-07-26 |
US20220398923A1 (en) | 2022-12-15 |
EP4060640B1 (en) | 2024-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6572847B2 (ja) | 自動運転システム | |
US9064418B2 (en) | Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system | |
US10964217B2 (en) | Travel control method and travel control apparatus | |
US8560220B2 (en) | Method and apparatus for determining a plausible lane for guiding a vehicle and an automobile | |
JP7251582B2 (ja) | 表示制御装置および表示制御プログラム | |
CN112543876A (zh) | 用于自动驾驶车辆中的传感器同步性数据分析的系统 | |
JP2018048949A (ja) | 物体識別装置 | |
JP7255706B2 (ja) | 信号機認識方法及び信号機認識装置 | |
JP7255707B2 (ja) | 信号機認識方法及び信号機認識装置 | |
CN114973644B (zh) | 道路信息生成装置 | |
JP7226583B2 (ja) | 信号機認識方法及び信号機認識装置 | |
CN114944073B (zh) | 地图生成装置和车辆控制装置 | |
RU2779773C1 (ru) | Способ распознавания светофора и устройство распознавания светофора | |
RU2779798C1 (ru) | Способ распознавания светофора и устройство распознавания светофора | |
RU2779921C1 (ru) | Способ распознавания светофора и устройство распознавания светофора | |
JP2020051943A (ja) | 車両用ステレオカメラ装置 | |
US20220254056A1 (en) | Distance calculation apparatus and vehicle position estimation apparatus | |
JP2022138525A (ja) | 走行支援方法及び走行支援装置 | |
JP2023121166A (ja) | 外界認識装置 | |
JP2022138524A (ja) | 走行支援方法及び走行支援装置 | |
JP2021189874A (ja) | 自動運転システム | |
CN114987532A (zh) | 地图生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7255707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |