RU2017144177A - Обучение модели автоматического обнаружения светофоров с использованием моделируемых изображений - Google Patents

Обучение модели автоматического обнаружения светофоров с использованием моделируемых изображений Download PDF

Info

Publication number
RU2017144177A
RU2017144177A RU2017144177A RU2017144177A RU2017144177A RU 2017144177 A RU2017144177 A RU 2017144177A RU 2017144177 A RU2017144177 A RU 2017144177A RU 2017144177 A RU2017144177 A RU 2017144177A RU 2017144177 A RU2017144177 A RU 2017144177A
Authority
RU
Russia
Prior art keywords
model
image
annotated
dimensional model
traffic light
Prior art date
Application number
RU2017144177A
Other languages
English (en)
Inventor
Саймон Мурта СМИТ
Эшли Элизабет МИКС
Мариам МУСАЕ
Видия НАРИЯМБУТ МУРАЛИ
Мадлен Дж. ГОХ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2017144177A publication Critical patent/RU2017144177A/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Claims (60)

1. Способ, содержащий этапы, на которых с помощью компьютерной системы:
моделируют восприятие трехмерной модели, имеющей модель светофора в качестве источника света, для получения изображения;
аннотируют изображение местоположением и состоянием модели светофора для получения аннотированного изображения; и
обучают модель в соответствии с аннотированным изображением.
2. Способ по п. 1, в котором трехмерная модель включает в себя множество других источников света.
3. Способ по п. 1, в котором состояние модели светофора является одним из красного сигнала, желтого сигнала и зеленого сигнала.
4. Способ по п. 1, в котором моделирование восприятия трехмерной модели содержит этап, на котором моделируют восприятие трехмерной модели, имеющей один или более компонентов трехмерной модели в движении, для получения множества изображений, включающего в себя упомянутое изображение;
причём аннотирование изображения местоположением и состоянием модели светофора для получения аннотированного изображения содержит этап, на котором аннотируют множество изображений состоянием модели светофора для получения множества аннотированных изображений; и
при этом обучение модели в соответствии с аннотированным изображением содержит этап, на котором обучают модель в соответствии с множеством аннотированных изображений.
5. Способ по п. 1, в котором обучение модели в соответствии с аннотированным изображением содержит этап, на котором обучают алгоритм машинного обучения в соответствии с аннотированным изображением.
6. Способ по п. 1, в котором обучение модели в соответствии с аннотированным изображением содержит этап, на котором обучают модель для идентификации состояния и местоположения реального светофора в выходном сигнале камеры.
7. Способ по п. 1, в котором обучение модели в соответствии с аннотированным изображением содержит этап, на котором обучают модель для вывода того, применяется ли светофор к транспортному средству, обрабатывая выходные сигналы камеры в соответствии с моделью.
8. Способ по п. 1, в котором трехмерная модель представляет собой первую трехмерную модель, изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение, причем способ дополнительно содержит этапы, на которых:
считывают файл конфигурации, определяющий местоположение одного или более компонентов;
формируют вторую трехмерную модель в соответствии с файлом конфигурации;
моделируют восприятие второй трехмерной модели для получения второго изображения;
аннотируют второе изображение местоположением и состоянием светофора во второй трехмерной модели для получения второго аннотированного изображения; и
обучают модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
9. Способ по п. 1, в котором трехмерная модель представляет собой первую трехмерную модель, и изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение, причем способ дополнительно содержит этапы, на которых:
определяют вторую трехмерную модель, имеющую модель светофора, которая не регулирует движение модели рассматриваемого транспортного средства;
моделируют восприятие второй трехмерной модели с точки зрения камеры модели рассматриваемого транспортного средства для получения второго изображения;
аннотируют второе изображение тем, что вторая трехмерная модель не включает в себя модель светофора, регулирующую движение модели рассматриваемого транспортного средства; и
обучают модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
10. Способ по п. 1, в котором трехмерная модель представляет собой первую трехмерную модель, и изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение, причем способ дополнительно содержит этапы, на которых:
определяют вторую трехмерную модель, не имеющую модели светофора;
моделируют восприятие второй трехмерной модели для получения второго изображения;
аннотируют второе изображение тем, что вторая трехмерная модель не включает в себя модель светофора; и
обучают модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
11. Система, содержащая одно или более устройств обработки и одно или более устройств памяти, соединённых при функционировании с одним или более устройствами обработки, причем одно или более устройств обработки хранят исполняемый код, выполненный с возможностью побуждать одно или более устройств обработки:
моделировать восприятие трехмерной модели, имеющей модель светофора в качестве источника света, для получения изображения;
аннотировать изображение местоположением и состоянием модели светофора для получения аннотированного изображения; и
обучать модель в соответствии с аннотированным изображением.
12. Система по п. 11, в которой трехмерная модель включает в себя множество других источников света.
13. Система по п. 11, в которой состояние модели светофора является одним из красного сигнала, желтого сигнала и зеленого сигнала.
14. Система по п. 11, в которой выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки:
моделировать восприятие трехмерной модели путем моделирования восприятия трехмерной модели, имеющей один или более компонентов трехмерной модели в движении, для получения множества изображений, включающих в себя изображение;
аннотировать изображение местоположением и состоянием модели светофора для получения аннотированного изображения путем аннотирования множества изображений состоянием модели светофора для получения множества аннотированных изображений; и
обучать модель в соответствии с аннотированным изображением путем обучения модели в соответствии с множеством аннотированных изображений.
15. Система по п. 11, в которой выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки обучать модель в соответствии с аннотированным изображением путем обучения алгоритма машинного обучения в соответствии с аннотированным изображением.
16. Система по п. 11, в которой выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки обучать модель в соответствии с аннотированным изображением путем обучения модели для идентификации состояния и местоположения реального светофора в выходном сигнале камеры.
17. Система по п. 11, в которой выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки обучать модель в соответствии с аннотированным изображением путем обучения модели для вывода того, применяется ли светофор к транспортному средству, обрабатывая выходные сигналы камеры в соответствии с моделью.
18. Система по п. 11, в которой трехмерная модель представляет собой первую трехмерную модель, изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение;
причём выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки:
считывать файл конфигурации, определяющий местоположение одного или более компонентов;
формировать вторую трехмерную модель в соответствии с файлом конфигурации;
моделировать восприятие второй трехмерной модели для получения второго изображения;
аннотировать второе изображение местоположением и состоянием светофора во второй трехмерной модели для получения второго аннотированного изображения; и
обучать модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
19. Система по п. 11, в которой трехмерная модель представляет собой первую трехмерную модель, и изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение;
причём выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки:
определять вторую трехмерную модель, имеющую модель светофора, которая не регулирует движение модели рассматриваемого транспортного средства;
моделировать восприятие второй трехмерной модели с точки зрения одной или более камер модели рассматриваемого транспортного средства для получения второго изображения;
аннотировать второе изображение тем, что вторая трехмерная модель не включает в себя модель светофора, регулирующую движение модели рассматриваемого транспортного средства; и
обучать модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
20. Система по п. 11, в которой трехмерная модель представляет собой первую трехмерную модель, и изображение представляет собой первое изображение, и аннотированное изображение представляет собой первое аннотированное изображение;
причём выполняемый код дополнительно выполнен с возможностью побуждать одно или более устройств обработки:
определять вторую трехмерную модель, не имеющую модели светофора;
моделировать восприятие второй трехмерной модели для получения второго изображения;
аннотировать второе изображение тем, что вторая трехмерная модель не включает в себя модель светофора; и
обучать модель в соответствии с обоими из первого аннотированного изображения и второго аннотированного изображения.
RU2017144177A 2017-01-25 2017-12-18 Обучение модели автоматического обнаружения светофоров с использованием моделируемых изображений RU2017144177A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/415,718 2017-01-25
US15/415,718 US20180211120A1 (en) 2017-01-25 2017-01-25 Training An Automatic Traffic Light Detection Model Using Simulated Images

Publications (1)

Publication Number Publication Date
RU2017144177A true RU2017144177A (ru) 2019-06-18

Family

ID=61283753

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017144177A RU2017144177A (ru) 2017-01-25 2017-12-18 Обучение модели автоматического обнаружения светофоров с использованием моделируемых изображений

Country Status (6)

Country Link
US (1) US20180211120A1 (ru)
CN (1) CN108345838A (ru)
DE (1) DE102018101465A1 (ru)
GB (1) GB2560805A (ru)
MX (1) MX2018000832A (ru)
RU (1) RU2017144177A (ru)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US11056005B2 (en) 2018-10-24 2021-07-06 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
DE102018218186A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Verfahren zur Validierung von maschinellen Lernverfahren im Bereich des automatisierten Fahrens auf Basis von synthetischen Bilddaten sowie Computerprogramm, maschinenlesbares Speichermedium und künstliches neuronales Netz
CN109446973B (zh) * 2018-10-24 2021-01-22 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN110647605B (zh) * 2018-12-29 2022-04-29 北京奇虎科技有限公司 一种基于轨迹数据挖掘红绿灯数据的方法及装置
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
US11650067B2 (en) 2019-07-08 2023-05-16 Toyota Motor North America, Inc. System and method for reducing route time using big data
DE102019216357A1 (de) 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bereitstellen von annotierten Verkehrsraumdaten
US11335100B2 (en) 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
US11814080B2 (en) 2020-02-28 2023-11-14 International Business Machines Corporation Autonomous driving evaluation using data analysis
US11702101B2 (en) 2020-02-28 2023-07-18 International Business Machines Corporation Automatic scenario generator using a computer for autonomous driving
US11644331B2 (en) 2020-02-28 2023-05-09 International Business Machines Corporation Probe data generating system for simulator
US11900689B1 (en) * 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
CN111931726B (zh) * 2020-09-23 2024-06-11 阿波罗智联(北京)科技有限公司 交通灯检测的方法、装置、计算机存储介质和路侧设备
CN112172698A (zh) * 2020-10-16 2021-01-05 湖北大学 一种用于无人驾驶的交通禁令标志实时监控识别装置
CN112287566B (zh) * 2020-11-24 2024-05-07 北京亮道智能汽车技术有限公司 一种自动化驾驶场景库生成方法、系统及电子设备
CN112699754B (zh) 2020-12-23 2023-07-18 北京百度网讯科技有限公司 信号灯识别方法、装置、设备以及存储介质
CN113129375B (zh) * 2021-04-21 2023-12-01 阿波罗智联(北京)科技有限公司 数据处理方法、装置、设备及存储介质
CN114067172A (zh) * 2021-10-29 2022-02-18 深圳市优必选科技股份有限公司 一种仿真图像生成方法、仿真图像生成装置及电子设备

Also Published As

Publication number Publication date
US20180211120A1 (en) 2018-07-26
CN108345838A (zh) 2018-07-31
DE102018101465A1 (de) 2018-07-26
MX2018000832A (es) 2018-11-09
GB201801079D0 (en) 2018-03-07
GB2560805A (en) 2018-09-26

Similar Documents

Publication Publication Date Title
RU2017144177A (ru) Обучение модели автоматического обнаружения светофоров с использованием моделируемых изображений
RU2017146151A (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US20200192389A1 (en) Building an artificial-intelligence system for an autonomous vehicle
KR101378216B1 (ko) 모션 캡처 라벨링 시스템, 방법, 저장 매체, 장치
JP2019204484A5 (ru)
JP2019536035A5 (ru)
KR20170074413A (ko) 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
GB2589495A (en) Closed loop automatic dataset creation systems and methods
CN105825268A (zh) 面向机器人学习动作表达的数据处理方法和系统
KR20180122247A (ko) 이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
CN206105869U (zh) 一种机器人快速示教装置
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
JPWO2018207351A1 (ja) 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
CN112308910B (zh) 一种数据生成方法、装置及存储介质
WO2015083091A3 (en) Classifying human crowd noise data
US20170212598A1 (en) Method and system for generating a synthetic database of postures and gestures
CN107492377A (zh) 用于控制自拍飞行器的方法和装置
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
CN110766216A (zh) 一种端到端移动机器人路径导航模拟方法及系统
JP2022058450A (ja) アシスタンステンプレートを備えるチュートリアルモデル
US10220326B2 (en) Projections that respond to model building
EP3418837A3 (en) Method, apparatus and system for determining signal rules of data for data annotation
CN109299777A (zh) 一种基于人工智能的数据处理方法及其系统
CN109325929A (zh) 图像处理方法和电子设备

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20201221