RU2017131047A - Восприятие дорожных условий по объединенным данным с датчиков - Google Patents

Восприятие дорожных условий по объединенным данным с датчиков Download PDF

Info

Publication number
RU2017131047A
RU2017131047A RU2017131047A RU2017131047A RU2017131047A RU 2017131047 A RU2017131047 A RU 2017131047A RU 2017131047 A RU2017131047 A RU 2017131047A RU 2017131047 A RU2017131047 A RU 2017131047A RU 2017131047 A RU2017131047 A RU 2017131047A
Authority
RU
Russia
Prior art keywords
sensors
data
carriageway
vehicle
view
Prior art date
Application number
RU2017131047A
Other languages
English (en)
Inventor
Вей Сюй
Фазал Уррахман САИД
Венкатапатхи Раджу НАЛЛАПА
Скотт Винсент МАЙЕРС
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2017131047A publication Critical patent/RU2017131047A/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Claims (43)

1. Способ для восприятия проезжей части дороги, содержащий этапы, на которых:
принимают данные с датчиков из множества камер, данные с датчиков считываются в пределах порогового значения расстояния от транспортного средства и в пределах поля обзора для каждой камеры;
принимают другие данные с датчиков из другой камеры, другие данные с датчиков считываются за пределами порогового значения расстояния в рамках другого, более узкого поля обзора; и
объединяют упомянутые данные с датчиков и упомянутые другие данные с датчиков в вид проезжей части дороги у проезжей части дороги.
2. Способ по п. 1, дополнительно содержащий этап, на котором автономно управляют транспортным средством, настраивая конфигурацию транспортного средства для управления компонентами транспортного средства на основании вида проезжей части дороги.
3. Способ по п. 1, в котором прием данных с датчиков из множества камер содержит этап, на котором принимают данные с инфракрасных (ИК) датчиков.
4. Способ по п. 1, в котором прием других данных с датчиков из другой камеры содержит этап, на котором принимают данные с датчиков изображений и данные с датчиков с лазерным локатором из другой камеры, в то время как другая камера переключается между режимом камеры и режимом лазерного локатора.
5. Способ поп. 4, в котором прием данных с датчиков из другой камеры содержит этап, на котором принимают данные с датчиков для объекта, считанного между пороговым значением расстояния и другим пороговым значением расстояния, другое пороговое значение расстояния находится дальше от транспортного средства, чем пороговое значение расстояния.
6. Способ по п. 1, дополнительно содержащий этап, на котором принимают дополнительные данные с датчиков из дополнительных одного или более датчиков, каждый из дополнительных одного или более датчиков выбран из: радарного датчика, ультразвукового датчика, датчика глобальной системы определения местоположения (GPS) и датчика блока инерциальных измерений (IMU); и
при этом, объединение данных с датчиков и других данных с датчиков в вид проезжей части дороги у проезжей части дороги содержит этап, на котором объединяют данные с датчиков, другие данные с датчиков и дополнительные данные с датчиков в вид проезжей части дороги для проезжей части дороги.
7. Транспортное средство, содержащее:
камеру, выполненную с возможностью считывать окружающее пространство проезжей части дороги в пределах заданного порогового значения расстояния от транспортного средства, камера имеет поле обзора;
другую камеру, выполненную с возможностью считывать окружающее пространство проезжей части дороги за пределами заданного порогового значения расстояния, другая камера имеет другое поле обзора, другое поле обзора является более узким, чем поле обзора;
рабочие компоненты транспортного средства для приведения в действие транспортного средства;
системы управления транспортного средства, которые автономно приводят в действие транспортное средство, управляя рабочими компонентами транспортного средства;
один или более процессоров;
системную память, присоединенную к одному или более процессорам, системная память хранит команды, которые являются исполняемыми одним или более процессорами;
причем один или более процессоров выполнены с возможностью исполнять команды, хранимые в системной памяти, для восприятия дорожных условий в окружающем пространстве проезжей части дороги по объединенным данным с датчиков, в том числе, следующее:
принимать данные с датчиков из камеры, причем данные с датчиков считываются между транспортным средством и заданным пороговым значением дальности в пределах поля обзора для камеры;
принимать другие данные с датчиков из другой камеры, причем другие данные с датчиков считываются за пределами заданного порогового значения дальности в рамках другого поля обзора;
объединять данные с датчиков и другие данные с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги; и
отправлять вид проезжей части дороги в системы управления транспортного средства, так что системы управления транспортного средства могут настраивать конфигурацию рабочих компонентов транспортного средства на основании вида проезжей части дороги.
8. Транспортное средство по п. 7, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема данных с датчиков из камеры, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема данных изображений в красном, зеленом, синем - инфракрасном свете (RGB-IR) из камеры, данные изображений RGB-IR включают в себя информацию инфракрасных пикселей.
9. Транспортное средство по п. 8, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков и других данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения информации инфракрасных пикселей с другими данными с датчиков в вид проезжей части дороги вследствие приведения в действие транспортного средства в условиях с пониженным освещением.
10. Транспортное средство по п. 7, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема других данных с датчиков из другой камеры, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема указания отслеживаемых объектов в пределах другого поля обзора, отслеживаемые объекты обрабатываются из трехмерного облака точек, сформированного, когда другая камера была в лазерном режиме.
11. Транспортное средство по п. 10, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема других данных с датчиков из другой камеры, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема данных изображений в красном, зеленом, синем - инфракрасном свете (RGB-IR) из другой камеры, данные изображений сформированы, когда другая камера была в режиме камеры.
12. Транспортное средство по п. 7, дополнительно содержащее дополнительную камеру, выполненную с возможностью считывать окружающее пространство проезжей части дороги в пределах заданного порогового значения расстояния от транспортного средства, дополнительная камера имеет дополнительное поле обзора, дополнительное поле обзора имеет по существу такой же размер, как упомянутое поле обзора;
дополнительно содержащее один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системой памяти, для приема дополнительных данных с датчиков из дополнительной камеры, дополнительные данные с датчиков считываются между транспортным средством и заданным пороговым значением расстояния в пределах дополнительного поля обзора для дополнительной камеры; и
при этом, один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков и других данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков, других данных с датчиков и дополнительных данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги.
13. Транспортное средство по п. 7, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков и других данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков и других данных с датчиков в вид проезжей части дороги, который включает в себя один или более объектов, выбранных из: элементов разметки проезжей части дороги, велосипедов, пешеходов, других транспортных средств и знаков.
14. Транспортное средство по п. 7, дополнительно содержащее один или более дополнительных датчиков, каждый из одного или более дополнительных датчиков выбран из: радарного датчика, ультразвукового датчика, датчика глобальной системы определения местоположения (GPS) и датчика блока инерциальных измерений (IMU);
дополнительно содержащее один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для приема дополнительных данных с датчиков из одного или более дополнительных датчиков; и
при этом, один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков и других данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для объединения данных с датчиков, других данных с датчиков и дополнительных данных с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги.
15. Транспортное средство по п. 7, в котором один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для отправки вида проезжей части дороги в системы управления транспортного средства, содержат один или более процессоров, выполненных с возможностью исполнять команды, хранимые в системной памяти, для отправки вида проезжей части дороги в системы управления транспортного средства, так что системы управления транспортного средства могут автономно выполнять одно из следующего на проезжей части дороги: ускорения транспортного средства, замедления транспортного средства, переключения передач транспортного средства или поворачивания транспортного средства на проезжей части дороги.
16. Способ для использования в транспортном средстве, способ для восприятия дорожных условий в окружающем пространстве проезжей части дороги по объединенным данным с датчиков, содержащий этапы, на которых:
применительно к каждой из множества камер, установленных на транспортном средстве, принимают данные с датчиков из камеры, каждая из одной или более камер имеют поле обзора, данные с датчиков считываются между транспортным средством и заданным пороговым значением расстояния от транспортного средства в пределах поля обзора для камеры;
применительно к другой камере, установленной на транспортное средство, принимают другие данные с датчиков из другой камеры, другая камера имеет другое поле обзора, другое поле обзора является более узким, чем поле обзора, другие данные с датчиков считываются за пределами заданного порогового значения расстояния в рамках другого поля обзора;
объединяют данные с датчиков из каждой из одной или более камер и другие данные с датчиков в вид проезжей части дороги окружающего пространства проезжей части дороги; и
отправляют вид проезжей части дороги в компоненты управления транспортного средства, так что компоненты управления транспортного средства могут настраивать конфигурацию рабочих компонентов транспортного средства на основании вида проезжей части, системы управления транспортного средства автономно приводят в действие транспортное средство, управляя рабочими компонентами транспортного средства.
17. Способ по п. 16, в котором, применительно к каждой из множества камер, установленных на транспортном средстве, прием данных с датчиков из камер содержит этап, на котором , применительно к каждой из множества камер, принимают данные изображений в красном, зеленом, синем - инфракрасном свете (RGB-IR) из камеры.
18. Способ по п. 17, в котором, применительно к другой камере, установленной на транспортное средство, прием других данных с датчиков из другой камеры содержит этап, на котором принимают указание отслеживаемых объектов в пределах другого поля обзора, отслеживаемые объекты обрабатываются из трехмерного облака точек, сформированного, когда другая камера была в лазерном режиме.
19. Способ по п. 18, в котором объединение данных с датчиков из каждой из одной или более камер и другого датчика в вид проезжей части дороги окружающего пространства проезжей части дороги содержит этап, на котором объединяют данные изображений в красном, зеленом, синем - инфракрасном свете (RGB-IR) с указанием отслеживаемых объектов в вид проезжей части дороги.
20. Способ по п. 16, в котором отправка вида проезжей части дороги в компоненты управления транспортного средства, так что компоненты управления транспортного средства могут настраивать конфигурацию рабочих компонентов транспортного средства, содержит этап, на котором отправляют вид проезжей части дороги в одну или более из: системы автоматического поддержания скорости движения, системы смены полос движения, системы избегания столкновений, тормозной системы или системы рулевого управления.
RU2017131047A 2016-09-08 2017-09-04 Восприятие дорожных условий по объединенным данным с датчиков RU2017131047A (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/259,513 2016-09-08
US15/259,513 US10394237B2 (en) 2016-09-08 2016-09-08 Perceiving roadway conditions from fused sensor data

Publications (1)

Publication Number Publication Date
RU2017131047A true RU2017131047A (ru) 2019-03-04

Family

ID=60050709

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017131047A RU2017131047A (ru) 2016-09-08 2017-09-04 Восприятие дорожных условий по объединенным данным с датчиков

Country Status (6)

Country Link
US (1) US10394237B2 (ru)
CN (1) CN107807632B (ru)
DE (1) DE102017120498A1 (ru)
GB (1) GB2555923A (ru)
MX (1) MX2017011428A (ru)
RU (1) RU2017131047A (ru)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10600199B2 (en) * 2017-06-27 2020-03-24 Toyota Research Institute, Inc. Extending object detection and identification capability for an object sensor device
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10678234B2 (en) * 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10785400B2 (en) * 2017-10-09 2020-09-22 Stmicroelectronics (Research & Development) Limited Multiple fields of view time of flight sensor
EP3737968A1 (en) 2018-01-11 2020-11-18 Apple Inc. Architecture for vehicle automation and fail operational automation
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11435752B2 (en) * 2018-03-23 2022-09-06 Motional Ad Llc Data fusion system for a vehicle equipped with unsynchronized perception sensors
DE102018205965A1 (de) 2018-04-19 2019-10-24 Zf Friedrichshafen Ag Verfahren und Steuergerät zum Kennzeichnen einer Person
CN108414973B (zh) * 2018-05-08 2020-03-13 中国人民解放军战略支援部队信息工程大学 一种基于神经网络计算的多目标直接定位方法
US10930001B2 (en) 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
DE102018210812A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zu einer sensor- und speicherbasierten Darstellung einer Umgebung, Anzeigevorrichtung und Fahrzeug mit der Anzeigevorrichtung
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US10611372B2 (en) * 2018-09-06 2020-04-07 Zebra Technologies Corporation Dual-mode data capture system for collision detection and object dimensioning
US10985203B2 (en) * 2018-10-10 2021-04-20 Sensors Unlimited, Inc. Sensors for simultaneous passive imaging and range finding
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11061406B2 (en) * 2018-10-22 2021-07-13 Waymo Llc Object action classification for autonomous vehicles
US20200132832A1 (en) * 2018-10-25 2020-04-30 TransRobotics, Inc. Technologies for opportunistic synthetic aperture radar
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11018974B1 (en) * 2018-11-16 2021-05-25 Zoox, Inc. Context based bandwidth switching
US20200167573A1 (en) * 2018-11-27 2020-05-28 GM Global Technology Operations LLC Method and apparatus for object detection in camera blind zones
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN111435450A (zh) * 2019-01-11 2020-07-21 阿里巴巴集团控股有限公司 一种道路数据处理方法及其装置
CN109917413B (zh) * 2019-01-21 2021-07-06 苏州雷泰医疗科技有限公司 一种智能转移床的精确导航定位方法
US10627823B1 (en) * 2019-01-30 2020-04-21 StradVision, Inc. Method and device for performing multiple agent sensor fusion in cooperative driving based on reinforcement learning
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
DE102019102923B4 (de) * 2019-02-06 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3716140A1 (en) * 2019-03-27 2020-09-30 Elektrobit Automotive GmbH Processing environmental data of an environment of a vehicle
EP3719532B1 (en) 2019-04-04 2022-12-28 Transrobotics, Inc. Technologies for acting based on object tracking
CN110422173B (zh) * 2019-07-11 2021-01-15 惠州市德赛西威智能交通技术研究院有限公司 一种行车环境识别方法
CN111246186A (zh) * 2020-01-21 2020-06-05 重庆金康新能源汽车有限公司 车载摄像机系统及方法
CN111401446A (zh) * 2020-03-16 2020-07-10 重庆长安汽车股份有限公司 单传感器、多传感器车道线合理性检测方法、系统及车辆
CN113498011B (zh) * 2020-03-19 2023-08-15 中移(上海)信息通信科技有限公司 车联网方法、装置、设备、存储介质及系统
JP7207366B2 (ja) * 2020-05-19 2023-01-18 トヨタ自動車株式会社 車載表示システム
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11654932B2 (en) * 2020-12-28 2023-05-23 Waymo Llc Architecture for variable motion control envelope
CN112925310B (zh) * 2021-01-22 2023-08-08 广州大学 一种智能除虫系统的控制方法、装置、设备及存储介质
WO2022182653A1 (en) * 2021-02-23 2022-09-01 Neural Propulsion Systems, Inc. Lidar systems and methods with improved eye safety cross-reference to reuated appuications
CN113071498B (zh) * 2021-06-07 2021-09-21 新石器慧通（北京）科技有限公司 车辆控制方法、装置、系统、计算机设备及存储介质
US11722789B1 (en) 2022-02-01 2023-08-08 Ford Global Technologies, Llc Multi-camera imaging system selecting between visible and infrared views in a vehicle
WO2023192272A1 (en) * 2022-03-28 2023-10-05 Seegrid Corporation A hybrid, context-aware localization system for ground vehicles
DE102022113274A1 (de) * 2022-05-25 2023-11-30 Valeo Schalter Und Sensoren Gmbh Infrastrukturvorrichtung zur Führung eines Fahrzeugs
WO2024025421A1 (en) * 2022-07-29 2024-02-01 Kongsberg Maritime As Multi-sensor and related aspects
WO2024063860A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Data selection
CN116071400B (zh) * 2023-04-06 2023-07-18 浙江光珀智能科技有限公司 一种基于激光雷达设备的目标轨迹跟踪方法
CN117163071B (zh) * 2023-11-03 2024-03-05 安徽蔚来智驾科技有限公司 车辆控制方法、控制装置、可读存储介质及车辆

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
WO2005072358A2 (en) 2004-01-28 2005-08-11 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8576286B1 (en) * 2010-04-13 2013-11-05 General Dynamics Armament And Technical Products, Inc. Display system
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US20120056988A1 (en) 2010-09-07 2012-03-08 David Stanhill 3-d camera
CN101950426B (zh) * 2010-09-29 2014-01-01 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
US8983717B2 (en) * 2010-12-21 2015-03-17 Ford Global Technologies, Llc Vehicle camera system operable in off-road mode and method
CN202130447U (zh) * 2011-05-31 2012-02-01 德尔福电子(苏州)有限公司 一种新型的车道线偏离检测装置
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN102389361B (zh) * 2011-07-18 2014-06-25 浙江大学 一种基于计算机视觉的盲人户外支援系统
TW201305794A (zh) * 2011-07-27 2013-02-01 Hon Hai Prec Ind Co Ltd 電子裝置
US9069075B2 (en) 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
US10609335B2 (en) * 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US9296301B2 (en) * 2012-11-24 2016-03-29 Ford Global Technologies, Llc Environment-aware regenerative braking energy calculation method
US9525818B2 (en) * 2013-07-29 2016-12-20 Adobe Systems Incorporated Automatic tuning of images based on metadata
WO2015056105A1 (en) 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US9507345B2 (en) * 2014-04-10 2016-11-29 Nissan North America, Inc. Vehicle control system and method
CA2916062C (en) 2014-04-18 2020-08-11 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
CN105404844B (zh) * 2014-09-12 2019-05-31 广州汽车集团股份有限公司 一种基于多线激光雷达的道路边界检测方法
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras

Also Published As

Publication number Publication date
GB2555923A (en) 2018-05-16
US10394237B2 (en) 2019-08-27
CN107807632B (zh) 2022-05-31
CN107807632A (zh) 2018-03-16
US20180067487A1 (en) 2018-03-08
MX2017011428A (es) 2018-09-21
GB201713958D0 (en) 2017-10-18
DE102017120498A1 (de) 2018-03-08

Similar Documents

Publication Publication Date Title
RU2017131047A (ru) Восприятие дорожных условий по объединенным данным с датчиков
US11462022B2 (en) Traffic signal analysis system
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
US10748426B2 (en) Systems and methods for detection and presentation of occluded objects
US10800455B2 (en) Vehicle turn signal detection
JP6411956B2 (ja) 車両制御装置、および車両制御方法
US20190315348A1 (en) Vehicle control device, vehicle control method, and storage medium
US10452930B2 (en) Information display device mounted in vehicle including detector
WO2019161134A1 (en) Lane marking localization
JP6510642B2 (ja) 自動車両のドライバー支援システムを作動させるための方法、ドライバー支援システム、及び、自動車両
EP3121764B1 (en) Animal type determination device
KR102567973B1 (ko) 자율주행 차량의 주행정보 제공 방법
CN107406072B (zh) 车辆辅助系统
JP2019049774A (ja) 車両制御装置、車両制御方法、およびプログラム
JP7005326B2 (ja) 路側物認識装置
CN110962744A (zh) 车辆盲区检测方法和车辆盲区检测系统
US10970569B2 (en) Systems and methods for monitoring traffic lights using imaging sensors of vehicles
US11378965B2 (en) Systems and methods for controlling a vehicle based on determined complexity of contextual environment
US20210110715A1 (en) System and method for navigation with external display
JP2020087191A (ja) 車線境界設定装置、車線境界設定方法
JP2022060081A (ja) 走行制御装置
US11932238B2 (en) Automated parking technology
JP6841737B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20230051632A1 (en) Systems and methods for an autonomous vehicle
JP7082095B2 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20200907