RU2017107989A - Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности - Google Patents

Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности Download PDF

Info

Publication number
RU2017107989A
RU2017107989A RU2017107989A RU2017107989A RU2017107989A RU 2017107989 A RU2017107989 A RU 2017107989A RU 2017107989 A RU2017107989 A RU 2017107989A RU 2017107989 A RU2017107989 A RU 2017107989A RU 2017107989 A RU2017107989 A RU 2017107989A
Authority
RU
Russia
Prior art keywords
virtual
sensor
place
virtual environment
environment
Prior art date
Application number
RU2017107989A
Other languages
English (en)
Inventor
Александр ГРО
Эшли Элизабет МИКС
МУРАЛИ Видия НАРИЯМБУТ
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2017107989A publication Critical patent/RU2017107989A/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/603D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/64Weathering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Claims (36)

1. Способ, состоящий в том, что:
формируют, посредством процессора, виртуальную среду;
располагают, посредством процессора, виртуальный датчик в первом месте в виртуальной среде;
регистрируют, посредством процессора, данные, характеризующие виртуальную среду, данные соответствуют информации, сформированной виртуальным датчиком, воспринимающим виртуальную среду; и
аннотируют, посредством процессора, данные картой дальностей, характеризующей пространственное взаимное расположение между виртуальным датчиком и виртуальной средой.
2. Способ по п. 1, дополнительно состоящий в том, что:
перемещают, посредством процессора, виртуальный датчик из первого места во второе место в виртуальной среде, так что виртуальный датчик выполнен с возможностью воспринимать виртуальную среду из второго места, по пути между первым местом и вторым местом, или обоих.
3. Способ по п. 1, в котором виртуальная среда содержит множество виртуальных объектов, распределенных в ней, каждый из виртуальных объектов является неподвижным или подвижным относительно виртуального датчика, и каждый из виртуальных объектов воспринимается виртуальным датчиком.
4. Способ по п. 3, в котором пространственное взаимное расположение содержит информацию о расстоянии одного или более из множества виртуальных объектов относительно виртуального датчика.
5. Способ по п. 3, в котором виртуальный датчик содержит виртуальную камеру, и при этом, данные содержат одно или более виртуальных изображений множества виртуальных объектов в пределах виртуальной среды, которые воспринимаются виртуальной камерой в первом месте.
6. Способ по п. 1, в котором расположение виртуального датчика в первом месте состоит в том, что размещают виртуальную карту в первом месте и устанавливают виртуальную камеру в первой ориентации относительно виртуальной среды, и при этом, данные соответствуют информации, сформированной виртуальной камерой, воспринимающей виртуальную среду из первого места в первой ориентации.
7. Способ по п. 6, дополнительно состоящий в том, что:
перемещают, посредством процессора, виртуальную камеру из первого места во второе место в виртуальной среде, так что виртуальная камера выполнена с возможностью воспринимать виртуальную среду из второго места; и
устанавливают, посредством процессора, виртуальную камеру во второй ориентации относительно виртуальной среды, так что виртуальная камера выполнена с возможностью воспринимать виртуальную среду во второй ориентации.
8. Способ по п. 1, в котором данные содержат одно или более виртуальных изображений, при этом, каждое из одного или более виртуальных изображений содержит массив пикселей, и при этом, каждый пиксель из массива пикселей связан с одним из множества виртуальных объектов в виртуальной среде, которая воспринимается виртуальной камерой в первом месте.
9. Способ по п. 8, в котором карта дальностей содержит массив элементов, каждый элемент массива элементов соответствует соответственному пикселю из массива пикселей и содержит соответственное числовое значение, каждое числовое значение соответствует расстоянию в виртуальной среде между виртуальным датчиком и соответственным одним из множества виртуальных объектов, связанных с соответственным пикселем.
10. Способ по п. 9, дополнительно состоящий в том, что:
рассчитывают, посредством процессора, расстояние между виртуальным датчиком и соответственным одним из множества виртуальных объектов, связанных с соответственным пикселем, на основании координаты первого места и координаты соответственного одного из множества виртуальных объектов в виртуальной среде.
11. Способ по п. 1, в котором данные дополнительно соответствуют одному или более параметров окружающей обстановки, выполненных с возможностью учитывать по меньшей мере погодные условия и условия освещения виртуальной среды.
12. Способ по п. 1, в котором формирование виртуальной среды содержит применение по меньшей мере технологий трехмерного (3D) моделирования и технологий анимации.
13. Система генерации данных с датчиков, содержащая:
один или более процессоров; и
память, пригодным для эксплуатации образом присоединенную к одному или более процессоров, память хранит множество компонентов, выполняемых одним или более процессоров, множество компонентов содержит:
виртуальную среду, запрограммированную включать в себя множество виртуальных объектов;
модель датчика, запрограммированную моделировать датчик;
модуль позиционирования, запрограммированный устанавливать место и ориентацию датчика в виртуальной среде;
модуль имитационного моделирования, запрограммированный использовать виртуальную среду, модель датчика и модуль позиционирования для синтезирования данных, моделирующих выходной сигнал датчика в реальном сценарии, воспринимающего реальную среду, аналогичную или соответствующую виртуальной среде; и
модуль аннотирования, запрограммированный аннотировать данные картой дальностей, характеризующей пространственное взаимное расположение между датчиком и одним или более из множества виртуальных объектов в виртуальной среде.
14. Система генерации данных с датчиков по п. 13, в которой виртуальная среда содержит трехмерную (3D) среду, и при этом, каждый из множества виртуальных объектов является неподвижным или подвижным относительно датчика в трехмерной среде.
15. Система формирования данных с датчиков по п. 13, в которой датчик содержит виртуальную камеру, и при этом, данные содержат одно или более виртуальных изображений виртуальной среды, которые воспринимаются виртуальной камерой в месте и в ориентации.
16. Система генерации данных по п. 15, в которой каждое из одного или более виртуальных изображений содержит массив пикселей, каждый пиксель из массива пикселей связан с соответственным одним из множества виртуальных объектов, которые воспринимаются виртуальной камерой в месте и в ориентации.
17. Система генерации данных с датчиков по п. 16, в которой карта дальностей содержит массив элементов, каждый элемент из массива элементов соответствует соответственному пикселю из массива пикселей и содержит соответственное числовое значение, каждое числовое значение соответствует расстоянию в виртуальной среде между датчиком и соответственным одним из множества виртуальных объектов, связанных с соответственным пикселем.
18. Система генерации данных с датчиков по п. 17, в которой расстояние между датчиком и соответственным одним из множества виртуальных объектов, связанных с соответственным пикселем, определяется на основании координаты места и координаты соответственного одного из множества виртуальных объектов в виртуальной среде.
19. Система генерации данных с датчиков по п. 13, в которой память дополнительно хранит данные и карту дальностей.
20. Система генерации данных с датчиков по п. 13, в которой множество компонентов содержит:
модуль окружающей обстановки, запрограммированный учитывать по меньшей мере погодные условия и условия освещения виртуальной среды.
RU2017107989A 2016-03-24 2017-03-13 Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности RU2017107989A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/079,540 US10096158B2 (en) 2016-03-24 2016-03-24 Method and system for virtual sensor data generation with depth ground truth annotation
US15/079,540 2016-03-24

Publications (1)

Publication Number Publication Date
RU2017107989A true RU2017107989A (ru) 2018-09-13

Family

ID=58688272

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017107989A RU2017107989A (ru) 2016-03-24 2017-03-13 Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности

Country Status (6)

Country Link
US (3) US10096158B2 (ru)
CN (1) CN107229329B (ru)
DE (1) DE102017105628A1 (ru)
GB (1) GB2550037A (ru)
MX (1) MX2017003804A (ru)
RU (1) RU2017107989A (ru)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10755115B2 (en) * 2017-12-29 2020-08-25 Here Global B.V. Method, apparatus, and system for generating synthetic image data for machine learning
DE102019202090A1 (de) * 2018-03-14 2019-09-19 Robert Bosch Gmbh Verfahren zum Erzeugen eines Trainingsdatensatzes zum Trainieren eines Künstlichen-Intelligenz-Moduls für eine Steuervorrichtung eines Roboters
US10242264B1 (en) * 2018-04-25 2019-03-26 Imagry (Israel) Ltd. System and method for training a machine-learning model to identify real-world elements
CN108831238A (zh) * 2018-08-07 2018-11-16 苏州承儒信息科技有限公司 一种基于虚拟实验的教育系统控制方法
US11734472B2 (en) * 2018-12-07 2023-08-22 Zoox, Inc. System and method for modeling physical objects in a simulation
CN111367194A (zh) * 2018-12-25 2020-07-03 北京欣奕华科技有限公司 一种视觉算法验证的方法及装置
US11656620B2 (en) * 2018-12-31 2023-05-23 Luminar, Llc Generating environmental parameters based on sensor data using machine learning
US11354862B2 (en) * 2019-06-06 2022-06-07 Universal City Studios Llc Contextually significant 3-dimensional model
US11928399B1 (en) * 2019-09-24 2024-03-12 Zoox, Inc. Simulating object occlusions
WO2023010540A1 (zh) * 2021-08-06 2023-02-09 深圳市大疆创新科技有限公司 激光雷达的扫描结果的验证方法、装置、设备及存储介质
US20230388796A1 (en) * 2022-05-27 2023-11-30 At&T Intellectual Property I, L.P. System and method for verifying presence in virtual environments

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5457493A (en) 1993-09-15 1995-10-10 Texas Instruments Incorporated Digital micro-mirror based image simulation system
JP3338021B2 (ja) * 2000-07-10 2002-10-28 コナミ株式会社 3次元画像処理装置及び3次元画像処理プログラムを記録した可読記録媒体
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7918730B2 (en) * 2002-06-27 2011-04-05 Igt Trajectory-based 3-D games of chance for video gaming machines
TWI245508B (en) * 2004-04-19 2005-12-11 Lai Yin Liang Share-memory networked motion simulation system
KR100734850B1 (ko) * 2005-11-29 2007-07-03 한국전자통신연구원 센서 네트워크에 대한 시뮬레이션 장치 및 방법
JP5025950B2 (ja) * 2005-12-12 2012-09-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
JP5236214B2 (ja) * 2007-06-11 2013-07-17 任天堂株式会社 画像処理プログラム
JP2009064373A (ja) 2007-09-10 2009-03-26 Toyota Motor Corp モニタ画像シミュレーション装置、モニタ画像シミュレーション方法及びモニタ画像シミュレーションプログラム
US8180513B2 (en) * 2008-05-05 2012-05-15 Southwest Research Institute Autonomous ground vehicle control system for high-speed and safe operation
US8989972B2 (en) * 2008-09-11 2015-03-24 Deere & Company Leader-follower fully-autonomous vehicle with operator on side
JP5168580B2 (ja) * 2008-12-01 2013-03-21 富士通株式会社 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
US8352112B2 (en) * 2009-04-06 2013-01-08 GM Global Technology Operations LLC Autonomous vehicle management
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
US7973276B2 (en) * 2009-07-29 2011-07-05 Ut-Battelle, Llc Calibration method for video and radiation imagers
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
WO2011113447A1 (en) 2010-03-18 2011-09-22 Valeo Schalter Und Sensoren Gmbh Method for camera mounting in a vehicle
US8830230B2 (en) * 2011-01-31 2014-09-09 Honeywell International Inc. Sensor placement and analysis using a virtual environment
US8880272B1 (en) * 2012-03-16 2014-11-04 Google Inc. Approach for estimating the geometry of roads and lanes by using vehicle trajectories
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9239627B2 (en) * 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
DE102013224502A1 (de) 2012-12-07 2014-06-12 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs
EP2936443A1 (en) * 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
US20140267282A1 (en) * 2013-03-14 2014-09-18 Robert Bosch Gmbh System And Method For Context Dependent Level Of Detail Adjustment For Navigation Maps And Systems
US20140278847A1 (en) * 2013-03-14 2014-09-18 Fabio Gallo Systems and methods for virtualized advertising
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US20150309663A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
US9386302B2 (en) * 2014-05-21 2016-07-05 GM Global Technology Operations LLC Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US20160049082A1 (en) * 2014-08-14 2016-02-18 Albert Roy Leatherman, III System for Interactive Online Instruction
US10061486B2 (en) * 2014-11-05 2018-08-28 Northrop Grumman Systems Corporation Area monitoring system implementing a virtual environment
US20160210775A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
US10119809B2 (en) * 2015-02-16 2018-11-06 Intel Corporation Simulating multi-camera imaging systems
EP3065108A1 (en) * 2015-03-04 2016-09-07 Samsung Electronics Co., Ltd. Displaying a virtual tour
US10019657B2 (en) * 2015-05-28 2018-07-10 Adobe Systems Incorporated Joint depth estimation and semantic segmentation from a single image
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US20170267099A1 (en) * 2016-03-17 2017-09-21 Calay Venture S.à r.l. Vehicles for providing virtual environments

Also Published As

Publication number Publication date
US10096158B2 (en) 2018-10-09
CN107229329A (zh) 2017-10-03
MX2017003804A (es) 2018-08-16
US20170278303A1 (en) 2017-09-28
GB201704234D0 (en) 2017-05-03
US20200082622A1 (en) 2020-03-12
GB2550037A (en) 2017-11-08
US10510187B2 (en) 2019-12-17
DE102017105628A1 (de) 2017-09-28
US10832478B2 (en) 2020-11-10
CN107229329B (zh) 2022-06-07
US20180365895A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
RU2017107989A (ru) Способ и система для генерации виртуальных данных с датчиков с аннотацией подтверждения экспериментальными данными дальности
RU2016139696A (ru) Формирование данных выявления границ полос движения в виртуальной среде
US10863166B2 (en) Method and apparatus for generating three-dimensional (3D) road model
KR102255031B1 (ko) 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법
CN104574267B (zh) 引导方法和信息处理设备
RU2016149163A (ru) Генерация данных виртуальных датчиков для выявления колесного упора
CN107393017A (zh) 图像处理方法、装置、电子设备及存储介质
RU2017146151A (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
RU2017120682A (ru) Способ и система обучения для предотвращения столкновений с использованием звуковых данных
JP2013232195A5 (ru)
KR20160130217A (ko) 희소 및 조밀 맵핑 정보를 포함하는 맵을 생성하기 위한 방법들 및 시스템들
CN109711274A (zh) 车辆检测方法、装置、设备和存储介质
CN110310315A (zh) 网络模型训练方法、装置及物体位姿确定方法、装置
FI3377722T3 (fi) Ympäristön automaattinen pyyhkäisy ja esittäminen törmäyksen välttäen
US11335008B2 (en) Training multi-object tracking models using simulation
CN104794713A (zh) 基于arm和双目视觉的温室作物数字化成像方法
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
KR20120045269A (ko) 3d 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
Zhao et al. Autonomous driving simulation for unmanned vehicles
CN106060781B8 (zh) 基于BIM与Zigbee技术融合的空间定位方法
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
US11341716B1 (en) Augmented-reality system and method
US20140306953A1 (en) 3D Rendering for Training Computer Vision Recognition
CN107492144A (zh) 光影处理方法及电子设备
CN108346183A (zh) 一种用于ar基准定位的方法及系统

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20200316