RU2019143928A - Способ и система для определения состояния светофора - Google Patents
Способ и система для определения состояния светофора Download PDFInfo
- Publication number
- RU2019143928A RU2019143928A RU2019143928A RU2019143928A RU2019143928A RU 2019143928 A RU2019143928 A RU 2019143928A RU 2019143928 A RU2019143928 A RU 2019143928A RU 2019143928 A RU2019143928 A RU 2019143928A RU 2019143928 A RU2019143928 A RU 2019143928A
- Authority
- RU
- Russia
- Prior art keywords
- traffic light
- predicted
- state
- mla
- vectors
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Claims (54)
1. Способ для определения прогнозированного состояния светофора, причем способ осуществляется на сервере, при этом способ содержит этапы, на которых:
принимают, посредством сервера, видео светофора;
формируют, на основе упомянутого видео, множество неподвижных изображений светофора;
определяют, для каждого неподвижного изображения из множества неподвижных изображений и посредством первого алгоритма машинного обучения (MLA), вектор для каждой лампы в соответствующем неподвижном изображении, за счет этого формируя множество векторов, соответствующих упомянутому видео,
причем каждый вектор указывает прогнозированную вероятность каждого из множества состояний соответствующей лампы,
причем первый MLA обучается на основе множества помеченных неподвижных изображений светофоров, и
причем каждое помеченное неподвижное изображение из множества помеченных неподвижных изображений указывает состояние каждой лампы соответствующего помеченного неподвижного изображения;
определяют, на основе множества векторов и посредством второго MLA, прогнозированное состояние светофора,
причем второй MLA обучается на основе множества помеченных векторов, при этом каждый помеченный вектор указывает прогнозированную вероятность каждого из множества состояний для данной лампы данного светофора, и
при этом каждый помеченный вектор ассоциирован с меткой, указывающей фактическое состояние данного светофора; и
сохраняют индикатор прогнозированного состояния светофора.
2. Способ по п. 1, в котором множество состояний содержат предварительно заданный набор состояний.
3. Способ по п. 1, в котором первое состояние из множества состояний соответствует первому цвету, и второе состояние из множества состояний соответствует второму цвету.
4. Способ по п. 3, в котором третье состояние из множества состояний указывает то, горит или нет лампа.
5. Способ по п. 1, в котором прогнозированное состояние светофора указывает прогнозированный цвет, отображаемый посредством светофора.
6. Способ по п. 1, в котором прогнозированное состояние светофора указывает прогнозированный символ, отображаемый посредством светофора.
7. Способ по п. 1, в котором прогнозированное состояние светофора указывает прогнозированный шаблон, отображаемый посредством светофора.
8. Способ по п. 1, в котором множество помеченных векторов сформированы с использованием первого MLA.
9. Способ по п. 1, дополнительно содержащий этапы, на которых: сохраняют множество векторов в матрице; и вводят матрицу во второй MLA.
10. Способ по п. 1, дополнительно содержащий этап, на котором определяют, на основе сохраненных данных местоположения светофоров, координаты светофора в видео.
11. Способ по п. 1, в котором первый MLA прогнозирует цвет, отображаемый посредством каждой лампы во входном неподвижном изображении.
12. Способ для определения прогнозированного состояния светофора, причем способ осуществляется на сервере, при этом способ содержит этапы, на которых:
принимают, посредством сервера, видео множества светофоров, при этом множество светофоров содержат светофор;
формируют, на основе упомянутого видео, множество неподвижных изображений множества светофоров;
определяют, для каждого неподвижного изображения из множества неподвижных изображений и посредством первого алгоритма машинного обучения (MLA), вектор для каждой лампы в соответствующем неподвижном изображении, за счет этого формируя множество векторов, соответствующих упомянутому видео,
причем каждый вектор указывает прогнозированную вероятность каждого из множества состояний соответствующей лампы,
причем первый MLA обучается на основе множества помеченных неподвижных изображений светофоров, и
причем каждое помеченное неподвижное изображение из множества помеченных неподвижных изображений указывает состояние каждой лампы соответствующего помеченного неподвижного изображения;
определяют, на основе множества векторов и посредством второго MLA, прогнозированное состояние каждого из множества светофоров,
причем второй MLA обучается на основе множества помеченных векторов, при этом каждый помеченный вектор указывает прогнозированную вероятность каждого из множества состояний для данной лампы данного светофора, и
при этом каждый помеченный вектор ассоциирован с меткой, указывающей фактическое состояние данного светофора;
определяют, на основе прогнозированного состояния каждого из множества светофоров, прогнозированное состояние светофора; и
сохраняют индикатор прогнозированного состояния светофора.
13. Способ по п. 12, в котором определение прогнозированного состояния светофора содержит этап, на котором сравнивают прогнозированное состояние каждого из множества светофоров.
14. Способ по п. 13, в котором второй MLA выводит индикатор доверия для каждого прогнозированного состояния, и при этом определение прогнозированного состояния светофора дополнительно содержит этап, на котором сравнивают индикаторы доверия для каждого из прогнозированных состояний каждого из множества светофоров.
15. Способ по п. 12, в котором множество помеченных векторов сформированы с использованием первого MLA.
16. Способ по п. 12, в котором формирование множества неподвижных изображений содержит этап, на котором захватывают, с предварительно заданным интервалом, кадры видео.
17. Способ по п. 12, дополнительно содержащий этапы, на которых: сохраняют множество векторов в матрице; и вводят матрицу во второй MLA.
18. Способ по п. 12, дополнительно содержащий этап, на котором определяют, на основе сохраненных данных местоположения светофоров, координаты каждого из светофоров в видео.
19. Система для определения прогнозированного состояния светофора, при этом система содержит:
процессор; и
невременный компьютерно-читаемый носитель, содержащий инструкции,
причем процессор, при выполнении инструкций, выполнен с возможностью:
принимать видео светофора;
формировать, на основе упомянутого видео, множество неподвижных изображений светофора;
определять, для каждого неподвижного изображения из множества неподвижных изображений и посредством первого алгоритма машинного обучения (MLA), вектор для каждой лампы в соответствующем неподвижном изображении, за счет этого формируя множество векторов, соответствующих упомянутому видео,
при этом каждый вектор указывает прогнозированную вероятность каждого из множества состояний соответствующей лампы,
при этом первый MLA обучается на основе множества помеченных неподвижных изображений светофоров, и
при этом каждое помеченное неподвижное изображение из множества помеченных неподвижных изображений указывает состояние каждой лампы соответствующего помеченного неподвижного изображения;
определять, на основе множества векторов и посредством второго MLA, прогнозированное состояние светофора,
при этом второй MLA обучается на основе множества помеченных векторов, при этом каждый помеченный вектор указывает прогнозированную вероятность каждого из множества состояний для лампы светофора, и
при этом каждый помеченный вектор ассоциирован с меткой, указывающей состояние светофора; и
сохранять индикатор прогнозированного состояния светофора.
20. Система по п. 19, в которой процессор, при выполнении инструкций, дополнительно выполнен с возможностью: сохранять множество векторов в матрице; и вводить матрицу во второй MLA.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019143928A RU2764223C2 (ru) | 2019-12-25 | 2019-12-25 | Способ и система для определения состояния светофора |
| US17/035,103 US11462025B2 (en) | 2019-12-25 | 2020-09-28 | Method of and system for determining traffic signal state |
| EP20201690.3A EP3842996B1 (en) | 2019-12-25 | 2020-10-14 | Method of and system for determining traffic signal state |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019143928A RU2764223C2 (ru) | 2019-12-25 | 2019-12-25 | Способ и система для определения состояния светофора |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2019143928A true RU2019143928A (ru) | 2021-06-25 |
| RU2019143928A3 RU2019143928A3 (ru) | 2021-07-30 |
| RU2764223C2 RU2764223C2 (ru) | 2022-01-14 |
Family
ID=72885362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019143928A RU2764223C2 (ru) | 2019-12-25 | 2019-12-25 | Способ и система для определения состояния светофора |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11462025B2 (ru) |
| EP (1) | EP3842996B1 (ru) |
| RU (1) | RU2764223C2 (ru) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7172441B2 (ja) * | 2018-10-25 | 2022-11-16 | トヨタ自動車株式会社 | 進行可能方向検出装置及び進行可能方向検出方法 |
| US11527156B2 (en) * | 2020-08-03 | 2022-12-13 | Toyota Research Institute, Inc. | Light emitting component-wise traffic light state, signal, and transition estimator |
| CN115984823B (zh) * | 2023-02-27 | 2023-06-09 | 安徽蔚来智驾科技有限公司 | 交通信号灯感知方法、车辆控制方法、设备、介质及车辆 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6430305B1 (en) * | 1996-12-20 | 2002-08-06 | Synaptics, Incorporated | Identity verification methods |
| WO2010103636A1 (ja) | 2009-03-11 | 2010-09-16 | トヨタ自動車株式会社 | 運転支援装置 |
| US9145140B2 (en) | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
| DE102012108863A1 (de) * | 2012-09-20 | 2014-05-28 | Continental Teves Ag & Co. Ohg | Verfahren zur Erkennung eines Ampelzustands mittels einer Kamera |
| US10008113B2 (en) | 2013-04-12 | 2018-06-26 | Traffic Technology Services, Inc. | Hybrid distributed prediction of traffic signal state changes |
| US9396657B1 (en) | 2013-04-12 | 2016-07-19 | Traffic Technology Solutions, LLC | Prediction of traffic signal state changes |
| US9928738B2 (en) | 2013-04-12 | 2018-03-27 | Traffic Technology Services, Inc. | Red light warning system based on predictive traffic signal state data |
| US9442487B1 (en) | 2014-08-15 | 2016-09-13 | Google Inc. | Classifier hierarchies for traffic light and traffic indicator detection |
| BR112017021644B1 (pt) * | 2015-04-08 | 2022-11-16 | Nissan Motor Co., Ltd | Dispositivo de detecção de semáforo e método de detecção de semáforo |
| US20170024622A1 (en) | 2015-07-24 | 2017-01-26 | Honda Motor Co., Ltd. | Surrounding environment recognition device |
| EP3144918B1 (en) | 2015-09-21 | 2018-01-10 | Urban Software Institute GmbH | Computer system and method for monitoring a traffic system |
| US9990548B2 (en) | 2016-03-09 | 2018-06-05 | Uber Technologies, Inc. | Traffic signal analysis system |
| EP3296931B1 (en) * | 2016-09-20 | 2019-01-02 | Urban Software Institute GmbH | Computer system and method for determining system state changes |
| JP2019079398A (ja) | 2017-10-26 | 2019-05-23 | トヨタ自動車株式会社 | 走行制御装置 |
| US10458810B2 (en) | 2017-12-21 | 2019-10-29 | GM Global Technology Operations LLC | Traffic light state assessment |
| US10664999B2 (en) * | 2018-02-15 | 2020-05-26 | Adobe Inc. | Saliency prediction for a mobile user interface |
| CN113840765A (zh) * | 2019-05-29 | 2021-12-24 | 御眼视觉技术有限公司 | 用于车辆导航的系统和方法 |
-
2019
- 2019-12-25 RU RU2019143928A patent/RU2764223C2/ru active
-
2020
- 2020-09-28 US US17/035,103 patent/US11462025B2/en active Active
- 2020-10-14 EP EP20201690.3A patent/EP3842996B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210201058A1 (en) | 2021-07-01 |
| EP3842996B1 (en) | 2024-09-25 |
| RU2764223C2 (ru) | 2022-01-14 |
| EP3842996A1 (en) | 2021-06-30 |
| US11462025B2 (en) | 2022-10-04 |
| RU2019143928A3 (ru) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2019143928A (ru) | Способ и система для определения состояния светофора | |
| US10572756B2 (en) | Performing object detection in an image | |
| JP2021506000A5 (ru) | ||
| CN105528587B (zh) | 目标检测的方法及装置 | |
| CN111931720B (zh) | 跟踪图像特征点的方法、装置、计算机设备和存储介质 | |
| CN112767320A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN113469109B (zh) | 交通灯识别结果处理方法、装置、路侧设备及云控平台 | |
| RU2018118363A (ru) | Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения | |
| CN113283509B (zh) | 一种自动标注标签的方法、电子设备及存储介质 | |
| US11797649B2 (en) | Automated prediction of pixel error noticeability | |
| CN112137591A (zh) | 基于视频流的目标物位置检测方法、装置、设备及介质 | |
| CN112131414B (zh) | 信号灯的图像的标注方法、装置、电子设备以及路侧设备 | |
| JP7385484B2 (ja) | 映像信号処理装置、映像フリーズ検出回路及び映像フリーズの検出方法 | |
| CN110309337B (zh) | 一种针对多种目标识别算法的特征值集中存储方法及装置 | |
| JP2020160804A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN111178363A (zh) | 文字识别方法、装置、电子设备以及可读存储介质 | |
| US20210312227A1 (en) | System and method for detecting annotation errors | |
| JP2020017156A (ja) | 文字認識装置、文字認識プログラムおよび文字認識方法 | |
| CN112416301A (zh) | 深度学习模型开发方法及装置、计算机可读存储介质 | |
| US12033371B2 (en) | Object detection device, object detection system, object detection method, program, and recording medium | |
| JP2021108022A5 (ru) | ||
| JP5894614B2 (ja) | 画像処理用の記述子ベースストリームプロセッサおよびそれに関連する方法 | |
| JP2017184136A5 (ru) | ||
| CN109101917A (zh) | 用于行人重识别的标注方法、训练方法、装置及系统 | |
| JP2009278340A (ja) | 画像判断装置および画像判断方法 |