JP6916551B2 - V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} - Google Patents
V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} Download PDFInfo
- Publication number
- JP6916551B2 JP6916551B2 JP2020005636A JP2020005636A JP6916551B2 JP 6916551 B2 JP6916551 B2 JP 6916551B2 JP 2020005636 A JP2020005636 A JP 2020005636A JP 2020005636 A JP2020005636 A JP 2020005636A JP 6916551 B2 JP6916551 B2 JP 6916551B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- communication
- target autonomous
- disturbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 title claims description 84
- 238000012545 processing Methods 0.000 title claims description 69
- 230000004927 fusion Effects 0.000 title description 2
- 238000013528 artificial neural network Methods 0.000 claims description 83
- 230000002093 peripheral effect Effects 0.000 claims description 77
- 230000001133 acceleration Effects 0.000 claims description 73
- 239000013598 vector Substances 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 17
- 230000002452 interceptive effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000414 obstructive effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
- B60W2050/0088—Adaptive recalibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/08—Predicting or avoiding probable or impending collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/10—Path keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Strategic Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
Description
と生成され得、この際、現在セクションである第4セクションの第4平均速度(VAVE4)が101km/hなので、前記現在速度情報は
で生成されることができる。
前記TTC値に対応する前記時間の範囲内で前記妨害車両の最高速度及び最低速度に関する情報を含む前記予測速度範囲情報は、前記計算式により生成され得、前記潜在的妨害予測モデルを生成するために利用され得る。以降、前記対象自律走行車両の前方で走行する前記妨害車両の速度に対応する前記潜在的妨害走行は、前記潜在的妨害予測モデルを利用して予測され得る。
Claims (22)
- V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニング(planning)する方法において、
(a)コンピューティング装置が、プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにする段階;
(b)前記コンピューティング装置が、前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにする段階;及び
(c)前記コンピューティング装置が、前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために、前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにする段階;
を含むことを特徴とし、
前記(c)段階で、
前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)前記モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とし、
前記(c)段階で、
前記コンピューティング装置が、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする方法。 - 前記(a)段階で、
前記コンピューティング装置が、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする請求項2に記載の方法。 - 前記(b)段階で、
前記コンピューティング装置が、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする請求項2に記載の方法。 - 前記(c)段階で、
前記コンピューティング装置が、(I)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(ii)前記妨害車両のクラスに対応するカテゴリ情報、及び(iii)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(II)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする請求項1に記載の方法。 - 前記(c)段階で、
前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする請求項5に記載の方法。 - 前記コンピューティング装置が、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする請求項1に記載の方法。
- 前記コンピューティング装置が、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項1に記載の方法。
- 前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項1に記載の方法。
- V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニング(planning)する方法において、
(a)コンピューティング装置が、プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにする段階;
(b)前記コンピューティング装置が、前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにする段階;及び
(c)前記コンピューティング装置が、前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために、前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにする段階;
を含むことを特徴とし、
前記(c)段階で、
前記コンピューティング装置が、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とし、
前記(c)段階で、
前記コンピューティング装置が、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする方法。 - 前記(c)段階で、
前記コンピューティング装置が、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする請求項1に記載の方法。 - V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングするコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリ;及び
(I)プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにするプロセス、(II)前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにするプロセス、及び(III)前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とし、
前記(III)プロセスで、
前記プロセッサが、前記妨害車両が前記第2群に属する場合、(i)前記イメージ処理モジュールをもって、(i−1)前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記妨害車両を含むモデリングイメージを取得するようにし、(i−2)前記モデリングイメージに一つ以上の第2ニューラルネットワーク演算を適用して前記妨害車両の加速能力情報を生成し、前記加速能力情報を前記プランニングモジュールに伝送するようにし、(ii)前記プランニングモジュールをもって、前記イメージ処理モジュール及び前記V2X通信モジュールの中の少なくとも一つを利用して取得された前記妨害車両の現在速度情報及び前記加速能力情報を参照にして、前記潜在的妨害予測モデルを生成するようにすることを特徴とし、
前記(III)プロセスで、
前記プロセッサが、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とするコンピューティング装置。 - 前記(I)プロセスで、
前記プロセッサが、前記イメージ処理モジュールに含まれた第1ニューラルネットワークをもって、前記対象自律走行車両に設置された少なくとも一つのカメラによって、前記対象自律走行車両からの少なくとも一つの方向に対応する少なくとも一つの状況イメージを取得するようにし、前記状況イメージに一つ以上の第1ニューラルネットワーク演算を適用して、前記認識の情報を生成した後、前記認識情報を前記プランニングモジュールに伝送し、前記認識情報は、(i)車両識別子情報、(ii)車両外観情報、及び(iii)前記対象自律走行車両からの車両相対位置情報のうちの少なくとも一部を含むことを特徴とする請求項12に記載のコンピューティング装置。 - 前記(II)プロセスで、
前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が時間閾値内に走行する方向についての予定走行方向情報を利用して予定走行方向ベクトルを生成し、前記周辺車両の中の少なくとも一部に対応する前記車両相対位置情報を利用して一つ以上の相対位置ベクトルを生成し、(ii)前記予定走行方向ベクトルとそれぞれの前記相対位置ベクトルとの間のそれぞれの類似点数を生成するようにした後、(iii)前記周辺車両のうち、閾値類似点数以上の特定類似点数を有する少なくとも一つの特定周辺車両を前記妨害車両として選択させることを特徴とする請求項13に記載のコンピューティング装置。 - 前記(II)プロセスで、
前記プロセッサが、前記プランニングモジュールをもって、前記イメージ処理モジュールによって取得された前記状況イメージ上で前記周辺車両を含むバウンディングボックスの位置に対する情報を参照にして、少なくとも一つの特定の周辺車両を前記の妨害車両として選択するようにし、前記特定周辺車両に対応する部分イメージは、前記対象自律走行車両のある道路の現在車道に対応する、前記状況イメージの現在車道領域内に位置することを特徴とする請求項13に記載のコンピューティング装置。 - 前記(III)プロセスで、
前記プロセッサが、(i)前記イメージ処理モジュールに含まれた第2ニューラルネットワークをもって、前記対象自律走行車両の自車速度情報を追加で参照にして、前記モデリングイメージに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−1ニューラルネットワーク演算を適用することで、(i−1)前記対象自律走行車両に関連した前記妨害車両の相対速度情報、(i−2)前記妨害車両のクラスに対応するカテゴリ情報、及び(i−3)前記妨害車両の体積と質量とのうち、少なくとも一部に対応する加速変数情報を生成するようにし、(ii)前記第2ニューラルネットワークをもって、前記車両相対速度情報、前記カテゴリ情報及び前記加速変数情報を構成要素として含む、コンカチネート(concatenate)されたベクトルに前記第2ニューラルネットワーク演算の少なくとも一部である一つ以上の第2−2ニューラルネットワーク演算を適用することで前記妨害車両の前記加速能力情報を生成するようにすることを特徴とする請求項12に記載のコンピューティング装置。 - 前記(III)プロセスで、
前記プロセッサが、前記第2ニューラルネットワークをもって、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度に対する、現在セクション平均速度情報をさらに含む前記コンカチネートされたベクトルに前記第2−2ニューラルネットワーク演算を適用することで前記加速能力情報を生成することを特徴とする請求項16に記載のコンピューティング装置。 - 前記プロセッサが、前記プランニングモジュールをもって、前記妨害車両の速度比率情報と現在セクション平均速度情報とを参照として生成された、前記加速能力情報と前記現在速度情報とを参照して前記潜在的妨害予測モデルを生成し、前記速度比率情報は、前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較することにより生成された後、中央サーバから前記V2X通信モジュールに転送され、前記現在セクション平均速度情報は、前記周辺車両と前記対象自律走行車両とが現在走行している道路の現在セクション内の車両の平均速度を計算することで生成された後、前記中央サーバから前記V2X通信モジュールへ転送されたことを特徴とする請求項12に記載のコンピューティング装置。
- 前記プロセッサが、前記第2ニューラルネットワークをもって、前記第2ニューラルネットワーク演算を前記モデリングイメージに適用して前記加速能力情報と共に前記現在速度情報を生成した後、前記現在速度情報及び前記加速能力情報を前記プランニングモジュールに伝送するようにし、前記プランニングモジュールをもって、前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項12に記載のコンピューティング装置。
- 前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両が前記潜在的妨害走行を避けるための時間に対応するTTC値、(ii)前記加速能力情報、及び(iii)前記現在速度情報を参照にして、予測速度範囲情報を生成させることにより、前記予測速度範囲情報を含む前記潜在的妨害予測モデルを生成するようにすることを特徴とする請求項12に記載のコンピューティング装置。
- V2X(Vehicle−to−everything)通信及びイメージ処理を利用して、前記V2X通信が可能な車両と前記V2X通信が不可能な車両とが混在している道路状況で自律走行をプランニングするコンピューティング装置において、
各インストラクションを格納する少なくとも一つのメモリ;及び
(I)プランニングモジュールをもって、V2X通信モジュール及びイメージ処理モジュールの中の少なくとも一つと連動して、(i)前記コンピュータ装置に対応する対象自律走行車両から距離閾値より近い距離に位置し、前記V2X通信が可能な一つ以上の第1車両を含む第1群、及び(ii)前記対象自律走行車両から前記距離閾値より近い距離に位置し、前記V2X通信が不可能な一つ以上の第2車両を含む第2群のうち、少なくとも一部を含む周辺車両の中の少なくとも一部に対する認識情報を取得するようにするプロセス、(II)前記プランニングモジュールをもって、前記対象自律走行車両に対する現在最適化経路情報及び前記認識情報を参照にして、前記周辺車両のうち、前記対象自律走行車両を妨害する確率が確率閾値以上の車両である少なくとも一つの妨害車両を選択するようにするプロセス、及び(III)前記プランニングモジュールをもって、前記V2X通信モジュール及び前記イメージ処理モジュールの中の少なくとも一つと連動して前記妨害車両に対する潜在的妨害予測モデルを生成するようにし、前記潜在的妨害予測モデルを参照に予測される前記妨害車両の潜在的妨害走行を避けるために前記現在最適化経路情報を修正することで、前記対象自律走行車両に対する更新最適化経路情報を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とし、
前記(III)プロセスで、
前記プロセッサが、前記妨害車両が前記第2群に属する場合、前記V2X通信モジュールをもって、(i)前記中央サーバから、(i−1)前記妨害車両の加速能力情報、(i−2)前記周辺車両と前記対象自律走行車両とが走行してきた道路の過去セクションそれぞれに対する平均速度それぞれと、前記過去セクションそれぞれ内の前記妨害車両の速度それぞれとを比較して生成された妨害車両の速度比較情報、及び(i−3)前記現在セクション内の車両の平均速度を計算して生成された現在セクション平均速度情報を取得するようにし、(ii)前記速度比率情報及び現在セクション平均速度情報を参照にして前記妨害車両の現在速度情報を生成するようにした後、(iii)前記現在速度情報及び前記加速能力情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とし、
前記(III)プロセスで、
前記プロセッサが、前記妨害車両が前記第1群に属する場合、前記V2X通信モジュールをもって、前記妨害車両と通信することで前記妨害車両の予定経路情報を取得するようにして、前記プランニングモジュールをもって、前記予定経路情報を参照にして前記潜在的妨害予測モデルを生成するようにすることを特徴とするコンピューティング装置。 - 前記(III)プロセスで、
前記プロセッサが、前記プランニングモジュールをもって、(i)前記対象自律走行車両のある現在車道の左側及び右側のうち少なくとも一つに位置している少なくとも一つの近隣車道の車道平均速度情報を取得するようにし、(ii)前記車道平均速度情報を参照にして、前記潜在的妨害走行を避けるために、前記近隣車道に対応して実行される回避走行が追加されるように前記現在最適化経路情報を修正することで、前記更新最適化経路情報を生成させることを特徴とする請求項12に記載のコンピューティング装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799207P | 2019-01-31 | 2019-01-31 | |
US62/799207 | 2019-01-31 | ||
US16/724475 | 2019-12-23 | ||
US16/724,475 US10861183B2 (en) | 2019-01-31 | 2019-12-23 | Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126619A JP2020126619A (ja) | 2020-08-20 |
JP6916551B2 true JP6916551B2 (ja) | 2021-08-11 |
Family
ID=69191915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005636A Active JP6916551B2 (ja) | 2019-01-31 | 2020-01-17 | V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} |
Country Status (5)
Country | Link |
---|---|
US (1) | US10861183B2 (ja) |
EP (1) | EP3693944A1 (ja) |
JP (1) | JP6916551B2 (ja) |
KR (1) | KR102306939B1 (ja) |
CN (1) | CN111506058B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210327280A1 (en) * | 2020-04-21 | 2021-10-21 | Qualcomm Incorporated | Cluster-based approach to positioning of vehicles in vehicle platooning or autonomous trucking |
WO2022097869A1 (ko) * | 2020-11-05 | 2022-05-12 | 엘지전자 주식회사 | 사이드링크를 지원하는 무선 통신 시스템에서 제1 장치가 v2x 차량의 주행을 제어하는 방법 및 이를 위한 장치 |
CN112185123A (zh) * | 2020-11-06 | 2021-01-05 | 广州南洋理工职业学院 | 一种基于车联网车辆安全间距预警的方法 |
US11797896B2 (en) | 2020-11-30 | 2023-10-24 | At&T Intellectual Property I, L.P. | Autonomous aerial vehicle assisted viewing location selection for event venue |
US11443518B2 (en) | 2020-11-30 | 2022-09-13 | At&T Intellectual Property I, L.P. | Uncrewed aerial vehicle shared environment privacy and security |
US11726475B2 (en) | 2020-11-30 | 2023-08-15 | At&T Intellectual Property I, L.P. | Autonomous aerial vehicle airspace claiming and announcing |
CN112758105B (zh) * | 2020-12-30 | 2022-03-22 | 上海汽车集团股份有限公司 | 一种自动驾驶车队跟车行驶控制方法、装置及系统 |
DE102021201063A1 (de) | 2021-02-04 | 2022-08-04 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Systems für ein zumindest teilweise assistiert betriebenes Kraftfahrzeug, Computerprogrammprodukt sowie System |
JP7347461B2 (ja) * | 2021-03-05 | 2023-09-20 | トヨタ自動車株式会社 | 自動駐車システム及び自動駐車システムの制御方法 |
CN113442950B (zh) * | 2021-08-31 | 2021-11-23 | 国汽智控(北京)科技有限公司 | 基于多车辆的自动驾驶控制方法、装置和设备 |
TWI790825B (zh) | 2021-11-19 | 2023-01-21 | 財團法人工業技術研究院 | 安全距離估算系統及其估算方法 |
CN114283574B (zh) * | 2021-12-29 | 2022-10-28 | 湖南师范大学 | 一种基于卷积策略的车辆调度评价方法 |
CN115019503B (zh) * | 2022-05-12 | 2023-06-16 | 东风汽车集团股份有限公司 | 基于信息共享的飞行汽车混合交通流下空间轨道分配方法 |
CN117341723A (zh) * | 2022-06-28 | 2024-01-05 | 深圳市中兴微电子技术有限公司 | 自动驾驶方法及系统 |
CN116774590B (zh) * | 2023-08-17 | 2023-11-07 | 山东金彭新能源科技有限公司 | 一种影响干扰用自适应调控方法及系统 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001030798A (ja) * | 1999-07-26 | 2001-02-06 | Mazda Motor Corp | 車両の走行制御装置 |
JP4239771B2 (ja) | 2003-09-18 | 2009-03-18 | 日産自動車株式会社 | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
JP4525670B2 (ja) * | 2006-11-20 | 2010-08-18 | トヨタ自動車株式会社 | 走行制御計画生成システム |
JP2011227582A (ja) | 2010-04-15 | 2011-11-10 | Toyota Motor Corp | 車両用衝突予測装置 |
US9253753B2 (en) * | 2012-04-24 | 2016-02-02 | Zetta Research And Development Llc-Forc Series | Vehicle-to-vehicle safety transceiver using time slots |
JP6155973B2 (ja) * | 2013-08-27 | 2017-07-05 | 株式会社デンソー | 運転支援装置、および運転支援方法 |
KR102278387B1 (ko) * | 2015-07-07 | 2021-07-16 | 주식회사 만도 | 거리 산출 장치, 거리 산출 방법, 운전 지원 장치 및 운전 지원 시스템 |
US9767687B2 (en) * | 2015-09-11 | 2017-09-19 | Sony Corporation | System and method for driving assistance along a path |
JP6657789B2 (ja) | 2015-10-29 | 2020-03-04 | 株式会社リコー | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム |
CN105976631A (zh) * | 2015-11-06 | 2016-09-28 | 乐卡汽车智能科技(北京)有限公司 | 一种车辆数据处理方法及车辆终端 |
US9922553B2 (en) * | 2015-12-22 | 2018-03-20 | Intel Corporation | Vehicle assistance systems and methods utilizing vehicle to vehicle communications |
US10295363B1 (en) * | 2016-01-22 | 2019-05-21 | State Farm Mutual Automobile Insurance Company | Autonomous operation suitability assessment and mapping |
JP6688655B2 (ja) * | 2016-03-31 | 2020-04-28 | 株式会社Subaru | 車両状態監視装置 |
JP6616275B2 (ja) * | 2016-12-15 | 2019-12-04 | 株式会社Soken | 運転支援装置 |
JP6733535B2 (ja) * | 2016-12-19 | 2020-08-05 | 株式会社デンソー | 運転支援装置 |
JP2018195301A (ja) * | 2017-05-15 | 2018-12-06 | キヤノン株式会社 | 制御装置及び制御方法 |
KR102412615B1 (ko) * | 2017-09-07 | 2022-06-23 | 삼성전자주식회사 | 단말간 전송들 사이 충돌들을 고려하는 무선 통신 방법 및 장치 |
KR102414456B1 (ko) * | 2017-10-23 | 2022-06-30 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법 |
KR102445365B1 (ko) * | 2018-03-19 | 2022-09-20 | 현대자동차주식회사 | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 |
US11113971B2 (en) * | 2018-06-12 | 2021-09-07 | Baidu Usa Llc | V2X communication-based vehicle lane system for autonomous vehicles |
-
2019
- 2019-12-23 US US16/724,475 patent/US10861183B2/en active Active
-
2020
- 2020-01-06 KR KR1020200001725A patent/KR102306939B1/ko active IP Right Grant
- 2020-01-13 CN CN202010034290.7A patent/CN111506058B/zh active Active
- 2020-01-17 JP JP2020005636A patent/JP6916551B2/ja active Active
- 2020-01-24 EP EP20153511.9A patent/EP3693944A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US10861183B2 (en) | 2020-12-08 |
CN111506058A (zh) | 2020-08-07 |
JP2020126619A (ja) | 2020-08-20 |
US20200250848A1 (en) | 2020-08-06 |
EP3693944A1 (en) | 2020-08-12 |
CN111506058B (zh) | 2023-08-22 |
KR20200096115A (ko) | 2020-08-11 |
KR102306939B1 (ko) | 2021-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6916551B2 (ja) | V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing} | |
Chen et al. | Deep imitation learning for autonomous driving in generic urban scenarios with enhanced safety | |
Le Mero et al. | A survey on imitation learning techniques for end-to-end autonomous vehicles | |
EP3638981B1 (en) | Fusion framework of navigation information for autonomous navigation | |
JP6857371B2 (ja) | 安全な自律走行を支援する学習方法、そしてこれを利用した学習装置、テスト方法、及びテスト装置 | |
US11181921B2 (en) | System and method for hierarchical planning in autonomous vehicles | |
WO2022052406A1 (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
US11150660B1 (en) | Scenario editor and simulator | |
JP6964354B2 (ja) | 最近の走行経路に対する軌跡基盤行動分析を遂行して、車両のモードを手動走行モードから自律走行モードに変更するか否かを判断する学習方法及び学習装置 | |
CN116249947A (zh) | 预测运动规划系统及方法 | |
JP7092383B2 (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
JP2023528079A (ja) | 自律エージェントのデータドリブンかつモジュラー式の意思決定と経路生成のための方法およびシステム | |
US11628850B2 (en) | System for generating generalized simulation scenarios | |
US11873006B2 (en) | Virtual lane estimation using a recursive self-organizing map | |
CN116670724A (zh) | 用于稀疏地表示以及存储地理和地图数据的系统 | |
US11654933B2 (en) | Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network | |
JP6938056B2 (ja) | 競争的なコンピューティング及び情報フュージョンを利用して、車両の自律走行を支援するのに利用される自律走行サービスプラットフォームを提供する方法及びこれを利用したサーバ{method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same} | |
JP6903352B2 (ja) | 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置{learning method and learning device for heterogeneous sensor fusion by using merging network which learns non−maximum suppression} | |
Guo et al. | Humanlike behavior generation in urban environment based on learning-based potentials with a low-cost lane graph | |
Guo et al. | Self-defensive coordinated maneuvering of an intelligent vehicle platoon in mixed traffic | |
Masmoudi et al. | Autonomous car-following approach based on real-time video frames processing | |
CN111310919B (zh) | 基于场景切分和局部路径规划的驾驶控制策略训练方法 | |
Li et al. | Decision making for autonomous vehicles | |
Seiya et al. | Point grid map-based mid-to-mid driving without object detection | |
US11787439B1 (en) | Multistage autonomous vehicle motion planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200706 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200710 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20201022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6916551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |