KR102306939B1 - V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치 - Google Patents

V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102306939B1
KR102306939B1 KR1020200001725A KR20200001725A KR102306939B1 KR 102306939 B1 KR102306939 B1 KR 102306939B1 KR 1020200001725 A KR1020200001725 A KR 1020200001725A KR 20200001725 A KR20200001725 A KR 20200001725A KR 102306939 B1 KR102306939 B1 KR 102306939B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
communication
autonomous driving
target autonomous
Prior art date
Application number
KR1020200001725A
Other languages
English (en)
Other versions
KR20200096115A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200096115A publication Critical patent/KR20200096115A/ko
Application granted granted Critical
Publication of KR102306939B1 publication Critical patent/KR102306939B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06K9/00791—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)

Abstract

V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서, (a) 대상 자율 주행 차량에 대응하는 컴퓨팅 장치가, 플래닝 모듈로 하여금, (i) V2X 통신이 가능한 제1 차량을 포함하는 제1군 및 (ii) 상기 V2X 통신이 불가능한 제2 차량을 포함하는 제2군을 포함하는 인근 차량에 대한 인식 정보를 획득하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 인근 차량 중 방해 차량을 선택하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 잠재적 방해 예측 모델을 생성하도록 하고, 잠재적 방해 주행을 피하기 위하여 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.

Description

V2X 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치 {METHOD AND DEVICE FOR SHORT-TERM PATH PLANNING OF AUTONOMOUS DRIVING THROUGH INFORMATION FUSION BY USING V2X COMMUNICATION AND IMAGE PROCESSING}
본 발명은 자율 주행 차량에 이용하기 위한 방법 및 장치에 관한 것으로; 보다 상세하게는, V2X(Vehicle-to-everything) 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서, 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 상기 방법 및 상기 장치에 관한 것이다.
최근 자율 주행 기술은 많은 관심을 받고 있다. 따라서 가까운 시일 내에 자율 주행 기술이 상용화될 것으로 기대된다. 그런데, 지금까지 이와 같은 자율 주행 기술 관련 연구 대다수는, 자율 주행 차량에 탑재된 컴퓨팅 장치에 의한 자율 주행 차량의 안전 주행에 관한 기술 위주였다. 즉, 자율 주행 시 타 차량과 상호 작용하는 기술은 많이 고려되지 않았고, 상기 컴퓨팅 장치가 탑재되어 있는 차량을 안전하게 주행하는 기술이 주로 고려되었다.
하지만, 최근 통신 기술이 발달되어 차량 간 서로 주고받을 수 있는 정보 량이 증가한 바, V2X(Vehicle-to-everything) 통신 기술을 이용하여 타 차량과 소통하는 것이 중요해졌다. 타 차량에 의해 생성된 정보를 이용해 차량을 주행하게 되면, 타 차량뿐만 아니라 상기 차량의 더욱 안전한 주행을 도모할 수 있다.
하지만, 이와 같은 V2X 통신 기술을 적극적으로 이용하여 자율 주행을 플래닝하는 기술은 많이 존재하지 않는 실정이다.
본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.
본 발명은 V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여 자율 주행을 플래닝하는 방법을 제공함으로써 자율 주행이 더욱 안전하게 이루어지도록 하는 것을 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서, (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨터 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계; (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및 (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 컴퓨팅 장치가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 임계 시간 내 주행할 방향에 대한 예정 주행 방향 정보를 이용하여 예정 주행 방향 벡터를 생성하고, 상기 인근 차량 중 적어도 일부에 대응하는 상기 차량 상대 위치 정보를 이용하여 하나 이상의 상대 위치 벡터를 생성하고, (ii) 상기 예정 주행 방향 벡터와 각각의 상기 상대 위치 벡터 간 각각의 유사 점수를 생성하도록 한 후, (iii) 상기 인근 차량 중, 임계 유사 점수 이상의 특정 유사 점수를 갖는 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈에 의해 획득된 상기 상황 이미지 상에서 상기 인근 차량을 포함하는 바운딩 박스의 위치에 대한 정보를 참조로 하여, 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하되, 상기 특정 인근 차량에 대응하는 부분 이미지는, 상기 대상 자율 주행 차량이 있는 도로의 현재 차로에 대응하는, 상기 상황 이미지의 현재 차로 영역 내에 위치하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, (I) 상기 이미지 처리 모듈에 포함된 제2 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량의 자차 속도 정보를 추가로 참조로 하여, 상기 모델링 이미지에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-1 뉴럴 네트워크 연산을 적용함으로써, (i) 상기 대상 자율 주행 차량과 관련된 상기 방해 차량의 상대 속도 정보, (ii) 상기 방해 차량의 클래스에 대응하는 카테고리 정보, 및 (iii) 상기 방해 차량의 부피와 질량 중 적어도 일부에 대응하는 가속 변수 정보를 생성하도록 하고, (II) 상기 제2 뉴럴 네트워크로 하여금, 상기 차량 상대 속도 정보, 상기 카테고리 정보 및 상기 가속 변수 정보를 구성 요소로서 포함하는, 컨캐터네이팅(concatenating)된 벡터에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 방해 차량의 상기 가속 능력 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 제2 뉴럴 네트워크로 하여금, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하는 도로의 현재 섹션 내 차량의 평균 속도에 대한, 현재 섹션 평균 속도 정보를 더 포함하는 상기 컨캐터네이팅된 벡터에 상기 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 가속 능력 정보를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 방해 차량의 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 생성된, 상기 가속 능력 정보와 상기 현재 속도 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하되, 상기 속도 비율 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교함으로써 생성된 후 중앙 서버로부터 상기 V2X 통신 모듈로 전송되고, 상기 현재 섹션 평균 속도 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하고 있는 도로의 현재 섹션 내 차량의 평균 속도를 계산함으로써 생성된 후 상기 중앙 서버로부터 상기 V2X 통신 모듈로 전송된 것을 특징으로 한다.
일 실시예에서, 상기 컴퓨팅 장치가, 상기 제2 뉴럴 네트워크로 하여금, 상기 제2 뉴럴 네트워크 연산을 상기 모델링 이미지에 적용하여 상기 가속 능력 정보와 함께 상기 현재 속도 정보를 생성한 후, 상기 현재 속도 정보와 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, 상기 플래닝 모듈로 하여금, 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 상기 잠재적 방해 주행을 피하기 위한 시간에 대응하는 TTC 값, (ii) 상기 가속 능력 정보, 및 (iii) 상기 현재 속도 정보를 참조로 하여, 예측 속도 범위 정보를 생성하도록 함으로써 상기 예측 속도 범위 정보를 포함하는 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제2군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, (i) 상기 중앙 서버로부터, (i-1) 상기 방해 차량의 가속 능력 정보, (i-2) 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교하여 생성된 상기 방해 차량의 속도 비율 정보, 및 (i-3) 상기 현재 섹션 내 차량의 평균 속도를 계산하여 생성된 현재 섹션 평균 속도 정보를 획득하도록 하고, (ii) 상기 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 상기 방해 차량의 현재 속도 정보를 생성하도록 한 후, (iii) 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제1군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, 상기 방해 차량과 통신함으로써 상기 방해 차량의 예정 경로 정보를 획득하도록 하고, 상기 플래닝 모듈로 하여금, 상기 예정 경로 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (c) 단계에서, 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 있는 현재 차로의 좌측 및 우측 중 적어도 하나에 위치한 적어도 하나의 인근 차로의 차로 평균 속도 정보를 획득하도록 하고, (ii) 상기 차로 평균 속도 정보를 참조로 하여, 상기 잠재적 방해 주행을 피하기 위해, 상기 인근 차로에 대응하여 실행될 회피 주행이 추가되도록 상기 현재 최적화 경로 정보를 수정함으로써, 상기 갱신 최적화 경로 정보를 생성하도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨터 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 컴퓨팅 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세에서, 상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 임계 시간 내 주행할 방향에 대한 예정 주행 방향 정보를 이용하여 예정 주행 방향 벡터를 생성하고, 상기 인근 차량 중 적어도 일부에 대응하는 상기 차량 상대 위치 정보를 이용하여 하나 이상의 상대 위치 벡터를 생성하고, (ii) 상기 예정 주행 방향 벡터와 각각의 상기 상대 위치 벡터 간 각각의 유사 점수를 생성하도록 한 후, (iii) 상기 인근 차량 중, 임계 유사 점수 이상의 특정 유사 점수를 갖는 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서가, 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈에 의해 획득된 상기 상황 이미지 상에서 상기 인근 차량을 포함하는 바운딩 박스의 위치에 대한 정보를 참조로 하여, 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하되, 상기 특정 인근 차량에 대응하는 부분 이미지는, 상기 대상 자율 주행 차량이 있는 도로의 현재 차로에 대응하는, 상기 상황 이미지의 현재 차로 영역 내에 위치하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, (i) 상기 이미지 처리 모듈에 포함된 제2 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량의 자차 속도 정보를 추가로 참조로 하여, 상기 모델링 이미지에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-1 뉴럴 네트워크 연산을 적용함으로써, (i-1) 상기 대상 자율 주행 차량과 관련된 상기 방해 차량의 상대 속도 정보, (i-2) 상기 방해 차량의 클래스에 대응하는 카테고리 정보, 및 (i-3) 상기 방해 차량의 부피와 질량 중 적어도 일부에 대응하는 가속 변수 정보를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크로 하여금, 상기 차량 상대 속도 정보, 상기 카테고리 정보 및 상기 가속 변수 정보를 구성 요소로서 포함하는, 컨캐터네이팅(concatenating)된 벡터에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 방해 차량의 상기 가속 능력 정보를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 제2 뉴럴 네트워크로 하여금, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하는 도로의 현재 섹션 내 차량의 평균 속도에 대한, 현재 섹션 평균 속도 정보를 더 포함하는 상기 컨캐터네이팅된 벡터에 상기 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 가속 능력 정보를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 플래닝 모듈로 하여금, 상기 방해 차량의 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 생성된, 상기 가속 능력 정보와 상기 현재 속도 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하되, 상기 속도 비율 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교함으로써 생성된 후 중앙 서버로부터 상기 V2X 통신 모듈로 전송되고, 상기 현재 섹션 평균 속도 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하고 있는 도로의 현재 섹션 내 차량의 평균 속도를 계산함으로써 생성된 후 상기 중앙 서버로부터 상기 V2X 통신 모듈로 전송된 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 제2 뉴럴 네트워크로 하여금, 상기 제2 뉴럴 네트워크 연산을 상기 모델링 이미지에 적용하여 상기 가속 능력 정보와 함께 상기 현재 속도 정보를 생성한 후, 상기 현재 속도 정보와 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, 상기 플래닝 모듈로 하여금, 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 상기 잠재적 방해 주행을 피하기 위한 시간에 대응하는 TTC 값, (ii) 상기 가속 능력 정보, 및 (iii) 상기 현재 속도 정보를 참조로 하여, 예측 속도 범위 정보를 생성하도록 함으로써 상기 예측 속도 범위 정보를 포함하는 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 방해 차량이 상기 제2군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, (i) 상기 중앙 서버로부터, (i-1) 상기 방해 차량의 가속 능력 정보, (i-2) 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교하여 생성된 상기 방해 차량의 속도 비율 정보, 및 (i-3) 상기 현재 섹션 내 차량의 평균 속도를 계산하여 생성된 현재 섹션 평균 속도 정보를 획득하도록 하고, (ii) 상기 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 상기 방해 차량의 현재 속도 정보를 생성하도록 한 후, (iii) 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 방해 차량이 상기 제1군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, 상기 방해 차량과 통신함으로써 상기 방해 차량의 예정 경로 정보를 획득하도록 하고, 상기 플래닝 모듈로 하여금, 상기 예정 경로 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (III) 프로세스에서, 상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 있는 현재 차로의 좌측 및 우측 중 적어도 하나에 위치한 적어도 하나의 인근 차로의 차로 평균 속도 정보를 획득하도록 하고, (ii) 상기 차로 평균 속도 정보를 참조로 하여, 상기 잠재적 방해 주행을 피하기 위해, 상기 인근 차로에 대응하여 실행될 회피 주행이 추가되도록 상기 현재 최적화 경로 정보를 수정함으로써, 상기 갱신 최적화 경로 정보를 생성하도록 하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, V2X 통신 및 이미지 처리를 이용하여 자율 주행을 플래닝하는 방법을 제공함으로써 자율 주행이 더욱 안전하게 이루어지도록 할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해, 방해 차량을 선택하는 방식을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용되는 제2 뉴럴 네트워크를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용될 상기 방해 차량의 현재 속도 정보가, 현재 섹션 평균 속도 정보를 사용하여 생성되는 프로세스를 개략적으로 나타낸 예시 도면이다.
도 5는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용될 현재 최적화 경로 정보를 수정하는 방식을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법을 수행하는 컴퓨팅 장치의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 상기 컴퓨팅 장치(100)는, 추후 자세히 설명할 구성 요소인, 적어도 하나의 V2X 통신 모듈(130), 적어도 하나의 이미지 처리 모듈(140) 및 적어도 하나의 플래닝 모듈(150)을 포함할 수 있다. 상기 V2X 통신 모듈(130), 상기 이미지 처리 모듈(140) 및 상기 플래닝 모듈(150)의 입출력 및 연산 과정은 각각 적어도 하나의 통신부(110) 및 적어도 하나의 프로세서(120)에 의해 이루어질 수 있다. 다만, 도 1에서는 상기 통신부(110) 및 상기 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 상기 프로세서(120)는 상기 메모리(115)에 저장된 상기 인스트럭션들을 수행할 수 있으며, 상기 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 상기 컴퓨팅 장치(100)가 묘사되었다고 하여, 상기 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 매체, 상기 프로세서, 상기 메모리, 또는 타 컴퓨팅 구성 요소가 통합된 형태인 적어도 하나의 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같은 컴퓨팅 장치(100)는, 대상 자율 주행 차량에 포함되거나, 원격 무선 통신을 통해 상기 대상 자율 주행 차량을 제어하도록 구성된 제어 서버에 포함될 수 있다.
또한, 상기 컴퓨팅 장치(100)는 중앙 서버(200)와 통신하여 연동될 수 있다. 추후 설명하겠지만, 본 발명의 상기 플래닝 방법은, 상기 방해 차량이 상기 V2X 통신이 불가능한 경우에도, 상기 중앙 서버(200)와 연동하여 상기 대상 자율 주행 차량 인근에 위치하는 적어도 하나의 방해 차량에 관한 정보를 획득하는 방법을 포함한다.
이상 본 발명의 일 실시예에 따라 상기 플래닝 방법을 수행하는 상기 컴퓨팅 장치(100)의 구성에 대해 알아본 바, 본 발명의 상기 플래닝 방법에 대해 개괄적으로 살피도록 한다.
먼저, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 V2X 통신 모듈(130) 및 상기 이미지 처리 모듈(140) 중 적어도 하나와 연동하여, 인근 차량 중 적어도 일부에 대한 인식 정보를 획득할 수 있다. 이때, 상기 인근 차량은, 상기 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함할 수 있다.
이후, 상기 컴퓨팅 장치(100)가, 상기 플래닝 모듈(150)로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 방해 차량을 선택하도록 할 수 있다. 이때, 상기 방해 차량은, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량일 수 있다.
그리고, 상기 컴퓨팅 장치(100)가, 상기 플래닝 모듈(150)로 하여금, 상기 V2X 통신 모듈(130) 및 상기 이미지 처리 모듈(140) 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 할 수 있다. 그 후, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 할 수 있다. 이러한 갱신 최적화 경로 정보는 상기 자율 주행을 플래닝하는데 활용될 수 있다.
이상 개괄적인 본 발명의 상기 플래닝 방법에 대해 설명하였다. 이하 이에 대해 더욱 구체적으로 설명하도록 한다.
본 발명의 상기 플래닝 방법을 수행하기 위한 첫 번째 단계로서, 인식 정보를 획득하기 위해, 상기 컴퓨팅 장치(100)는 상기 플래닝 모듈(150)로 하여금 상기 V2X 통신 모듈(130) 또는 상기 이미지 처리 모듈(140)과 연동하도록 할 수 있다. 먼저, 상기 플래닝 모듈(150)이 상기 이미지 처리 모듈(140)과 연동하는 방법에 대해 설명하도록 한다.
즉, 상기 컴퓨팅 장치(100)가, 상기 이미지 처리 모듈(140)에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 할 수 있다. 이와 같은 상황 이미지가 획득되면, 상기 컴퓨팅 장치(100)는, 상기 제1 뉴럴 네트워크로 하여금 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성하도록 할 수 있다. 일례로서, 상기 제1 뉴럴 네트워크는 적어도 하나의 제1 컨벌루션 레이어, 적어도 하나의 제1 풀링 레이어 및 적어도 하나의 제1 FC(fully connected) 레이어를 포함하며 제1 RPN(Region Proposal Network)과 연동할 수 있다. 그리고, 상기 제1 뉴럴 네트워크는, 본 발명의 상기 플래닝 방법을 수행하기 전에, 적어도 하나의 제1 트레이닝 이미지 및 이에 대응하는 적어도 하나의 제1 GT(ground truth)를 사용하여 학습이 완료된 상태일 수 있다. 이때, 상기 제1 뉴럴 네트워크 연산이란, 상기 제1 뉴럴 네트워크에 입력되는 상기 상황 이미지에 상기 제1 컨벌루션 레이어, 상기 제1 풀링 레이어 및 상기 제1 FC 레이어에 의한 연산이 적용되도록 하는 연산일 수 있다.
이때, 이와 같은 상기 제1 뉴럴 네트워크의 과정을 통해 생성된 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함할 수 있다. 일례로서, 상기 차량 식별자 정보는, 상기 상황 이미지에 포함된, 상기 인근 차량의 번호판에 대응하는 부분 이미지를 참조로 하여 획득된 상기 인근 차량의 하나 이상의 등록 번호에 관한 정보를 포함할 수 있다. 그리고 상기 차량 외형 정보는 상기 인근 차량의, 하나 이상의 색상, 하나 이상의 모양 및 하나 이상의 클래스에 관한 정보를 포함할 수 있다. 또한, 상기 차량 상대 위치 정보는, 상기 대상 자율 주행 차량으로부터 상기 인근 차량까지의, 하나 이상의 종방향 거리 및 하나 이상의 횡방향 거리를 요소로서 포함하는 상기 인근 차량의 하나 이상의 상대 좌표에 관한 정보를 포함할 수 있다. 상기에서 보여준 바와 같이, 상기 인식 정보는 상기 이미지 처리 모듈(140)을 통해 획득될 수 있다.
이하 상기 인식 정보가 상기 V2X 통신 모듈(130)을 통해 획득되는 방법에 대해 설명하도록 한다. 상기 컴퓨팅 장치(100)는, 상기 V2X 통신 모듈(130)로 하여금, 상기 제1 군의 특정 인근 차량과 통신하도록 하고, 상기 특정 인근 차량에 관한 인식 정보를 획득하도록 할 수 있다. 상기 V2X 통신 모듈(130)을 이용하면 상기 인식 정보를 더 정확히 획득할 수 있지만, 상기 제1 군에 속하는 상기 특정 인근 차량에 대해서만 정보를 획득할 수 있다.
상기 인식 정보는, 상기 이미지 처리 모듈(140) 또는 상기 V2X 통신 모듈(130)을 이용한 두 가지 방법을 통해 획득될 수 있다. 이하 상기 인근 차량 중 상기 방해 차량을 선택하는 방법에 대해 설명하도록 한다.
먼저, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여 상기 방해 차량을 선택하도록 할 수 있다. 상기 현재 최적화 경로 정보는, 사전에 플래닝된 상기 대상 자율 주행 차량의 예정 경로에 관한 정보를 포함하는 것으로, 상기 방해 차량이 인식된 후 수정될 수 있다. 구체적으로, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 대상 자율 주행 차량이 임계 시간 내 주행할 방향에 대한 예정 주행 방향 정보를 이용하여 예정 주행 방향 벡터를 생성할 수 있다. 또한, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 인근 차량 중 적어도 일부에 대응하는 상기 차량 상대 위치 정보를 이용하여 하나 이상의 상대 위치 벡터를 생성하도록 할 수 있다. 이후, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 예정 주행 방향 벡터와 각각의 상기 상대 위치 벡터 간 각각의 유사 점수를 생성하도록 한 후, 상기 인근 차량 중, 임계 유사 점수 이상의 특정 유사 점수를 갖는 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 할 수 있다.
쉽게 설명하면, 상기 대상 자율 주행 차량이 주행할 방향에 위치한 상기 특정 인근 차량은 상기 방해 차량으로서 선택되고, 상기 특정 인근 차량은 상기 예정 주행 방향 벡터와 상기 상대 위치 벡터를 비교함으로써 선택된다. 이에 대해 구체적으로 설명하기 위해 도 2를 참조하도록 한다.
도 2는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해, 상기 방해 차량을 선택하는 방식을 개략적으로 나타낸 도면이다.
도 2를 참조로 하면, 제1 상대 위치 벡터(151), 제2 상대 위치 벡터(152), 제3 상대 위치 벡터(153) 및 제4 상대 위치 벡터(154)를 확인할 수 있다. 이때, 상기 현재 최적화 경로 정보가 상기 임계 시간 내 직진 주행에 대응한다면, 상기 제3 상대 위치 벡터에 대응하는 상기 특정 인근 차량은 상기 방해 차량으로서 선택될 수 있다.
전술한 방식과 달리, 상기 이미지 처리 모듈(140)과 연동하여 상기 방해 차량을 선택하는 다른 실시예가 있으므로 이에 대해 살펴본다.
다른 실시예의 경우, 상기 컴퓨팅 장치(100)는, 상기 제1 뉴럴 네트워크로 하여금, 상기 인식 정보와 더불어, (i) 상기 상황 이미지 상에서 상기 인근 차량을 포함하는 바운딩 박스의 위치에 대한 정보 및 (ii) 상기 대상 자율 주행 차량이 있는 도로의 현재 차로에 대응하는 상기 상황 이미지의 현재 차로 영역에 대한 정보를 생성하도록 할 수 있다. 이러한 제1 뉴럴 네트워크는, 전술한 정보를 출력하도록 최종 레이어에 노드를 추가하고, 상기 제1 뉴럴 네트워크를 학습하는데 이용될, 상기 현재 차로 영역에 대한 정보 및 상기 바운딩 박스의 위치에 관한 GT 정보를 포함한 조정된 GT를 설계함으로써 구현될 수 있다.
이후, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 인근 차량의 부분 이미지 각각이, 즉 상기 바운딩 박스 각각에 대응하는 상기 상황 이미지의 영역 각각이 상기 현재 차로 영역에 위치하는지 여부를 결정하여 상기 인근 차량이 상기 현재 차로에서 주행하는지를 판단하고, 상기 현재 차로에서 주행하는 상기 특정 인근 차량을 상기 방해 차량으로서 선택하도록 할 수 있다. 이와 같은 실시예는, 상기 대상 자율 주행 차량이 직진 방향으로 주행하는 경우에 적용될 수 있다.
이상 상기 방해 차량을 선택하는 방법에 대해 설명하였다. 이하 상기 잠재적 방해 예측 모델이 생성되는 방법에 대해 설명하고자 한다. 상기 잠재적 방해 예측 모델을 생성하는 데에 있어서, 상기 V2X 통신 모듈(130) 및 상기 이미지 처리 모듈(140)의 사용에 따라 상이한 실시예로 구분될 수 있다. 이러한 상이한 실시예에 대해 한 가지씩 순차적으로 설명하고자 한다.
먼저, 상기 방해 차량이 상기 제1군에 속하여 상기 V2X 통신 모듈(130)을 중점적으로 사용하는 제1 실시예에 대해 설명하고자 한다. 상기 대상 자율 주행 차량이 상기 제1군의 상기 방해 차량과 통신이 가능한 경우, 상기 컴퓨팅 장치(100)는, 상기 V2X 통신 모듈(130)로 하여금, 상기 방해 차량과 통신함으로써, 상기 방해 차량의 예정 경로 정보를 획득하도록 하고, 상기 예정 경로 정보를 사용하여 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다.
더욱 구체적으로는, 상기 방해 차량이 상기 제1군에 속하며 자율 주행이 가능한 차량인 경우, 상기 방해 차량은 자신의 현재 최적화 경로 정보를 상기 예정 경로 정보로서 상기 컴퓨팅 장치(100)에 전송할 수 있다. 이 경우, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 예정 경로 정보에 포함된 예측 속도 범위 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다. 이와 달리, 상기 방해 차량이 상기 제1군에 속하지만 자율 주행이 불가능한 차량인 경우에는, 상기 방해 차량은 자신의 현재 속도 정보와 자신의 가속 능력 정보를 상기 컴퓨팅 장치(100)에 전송할 수 있고, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금 상기 현재 속도 정보와 상기 가속 능력 정보를 이용하여 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다. 상기 현재 속도 정보 및 상기 가속 능력 정보를 어떠한 방식으로 사용해 상기 잠재적 방해 예측 모델을 생성할 수 있는지는 추후 설명될 것이다.
또한, 상기 방해 차량이 상기 제2군에 속하는 제2 실시예는, 세 개의 하위 실시예, 즉 상기 V2X 통신 모듈(130) 및 상기 이미지 처리 모듈(140)에 대응하는 제2-1 실시예, 상기 이미지 처리 모듈(140)에 대응하는 제2-2 실시예 및 상기 V2X 통신 모듈(130)에 대응하는 제2-3 실시예로 나누어질 수 있다. 먼저, 상기 제2-1 실시예에 대해 설명하도록 한다.
상기 제2-1 실시예의 경우, 상기 컴퓨팅 장치(100)는, 상기 이미지 처리 모듈(140)로 하여금, 상기 대상 자율 주행 차량에 설치된 상기 카메라를 통해, 상기 방해 차량을 포함하는 적어도 하나의 모델링 이미지를 획득하도록 할 수 있다. 상기 모델링 이미지는 상기 상황 이미지와 같을 수도 있고, 상기 상황 이미지보다 나중에 찍힌, 상기 방해 차량을 포함하는 새롭게 획득된 이미지일 수도 있다. 이후, 상기 컴퓨팅 장치(100)는, 상기 이미지 처리 모듈(140)에 포함된 제2 뉴럴 네트워크로 하여금, 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 가속 능력 정보를 생성하고, 이를 상기 플래닝 모듈(150)에 전송하도록 할 수 있다. 상기 제2 뉴럴 네트워크 및 상기 제2 뉴럴 네트워크 연산에 대해 설명하기 위해 도 3을 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용되는 상기 제2 뉴럴 네트워크를 개략적으로 나타낸 도면이다.
도 3을 참조로 하면, 상기 제2 뉴럴 네트워크(142)는 적어도 하나의 제2-1 뉴럴 네트워크(142-1) 및 적어도 하나의 제2-2 뉴럴 네트워크(142-2)를 포함할 수 있다. 상기 제2-1 뉴럴 네트워크(142-1)는 적어도 하나의 제2-1 컨벌루션 레이어, 적어도 하나의 제2-1 풀링 레이어 및 적어도 하나의 제2-1 FC 레이어를 포함할 수 있으며, 제2 RPN(미도시)의 보조를 받아 동작할 수 있다. 또한, 상기 제2-2 뉴럴 네트워크(142-2)는 컨캐터네이팅(concatenating) 레이어 및 제2-2 FC 레이어를 포함할 수 있다. 이와 같은 상기 제2-1 뉴럴 네트워크(142-1) 및 상기 제2-2 뉴럴 네트워크(142-2)는, 본 발명의 상기 플래닝 방법을 수행하기 전에, 적어도 하나의 제2 트레이닝 이미지 및 이에 대응하는 적어도 하나의 제2 GT를 사용하여 학습될 수 있다. 이 때, 상기 제2 뉴럴 네트워크 연산이 상기 모델링 이미지에 적용되어, 상기 제2-1 뉴럴 네트워크(142-1)와 상기 제2-2 뉴럴 네트워크(142-2)의 연산이 순차적으로 상기 모델링 이미지에 적용되도록 한다.
구체적으로, 상기 모델링 이미지가 상기 제2-1 뉴럴 네트워크(142-1)에 입력되면, 상기 제2-1 컨벌루션 레이어, 상기 제2-1 풀링 레이어 및 상기 제2-1 FC 레이어의 연산이 상기 모델링 이미지에 순차적으로 적용되어, (i) 상기 대상 자율 주행 차량과 관련된 상기 방해 차량의 상대 속도 정보, (ii) 상기 방해 차량의 클래스에 대응하는 카테고리 정보, 및 (iii) 상기 방해 차량의 부피와 질량 중 적어도 일부에 대응하는 가속 변수 정보를 생성하도록 할 수 있다. 이후, 상기 상대 속도 정보, 상기 카테고리 정보, 상기 가속 변수 정보에 더하여, 추후 설명될, 상기 중앙 서버(200)로부터 상기 V2X 통신 모듈(130)로 전송되어 획득된 현재 섹션 평균 속도 정보가 상기 제2-2 뉴럴 네트워크(142-2)에 입력되면, 상기 상대 속도 정보, 상기 카테고리 정보, 상기 가속 변수 정보 및 상기 현재 섹션 평균 속도 정보를 구성 요소로서 포함하는 컨캐터네이팅된 벡터가 상기 컨캐터네이팅 레이어에 의해 생성될 수 있고, 상기 컨캐터네이팅된 벡터에 상기 제2-2 FC 레이어의 연산을 적용함으로써 상기 가속 능력 정보가 생성될 수 있다.
이 때, 상기 잠재적 방해 예측 모델을 생성하기 위해서는, 상기 가속 능력 정보 이외에도 상기 현재 속도 정보가 더 필요하게 된다. 이에 따라, 상기 현재 속도 정보가 획득되는 프로세스에 대해서 설명하도록 한다. 상기 제2-1 실시예의 경우, 상기 현재 속도 정보는, 상기 V2X 통신 모듈과 연동하여 획득될 수 있다.
상기 컴퓨팅 장치(100)는, 상기 V2X 통신 모듈(130)로 하여금, 상기 중앙 서버(200)에 의해 생성된, 속도 비율 정보 및 상기 현재 섹션 평균 속도 정보를 획득하도록 할 수 있다. 이때, 상기 속도 비율 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교하여 생성된 것일 수 있다. 또한, 상기 현재 섹션 평균 속도 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하는 도로의 현재 섹션 내 차량의 평균 속도를 계산하여 생성된 것일 수 있다. 이와 같은 상기 현재 섹션 평균 속도 정보와 상기 속도 비율 정보는, 상기 방해 차량의 상기 현재 속도 정보를 획득하기 위해 참조될 수 있다. 이와 같은 과정에 대해 설명하기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용될 상기 방해 차량의 상기 현재 속도 정보가, 현재 섹션 평균 속도 정보를 사용하여 생성되는 프로세스를 개략적으로 나타낸 예시 도면이다.
도 4를 참조로 하면, 제1 섹션의 제1 평균 속도(VAVE1)가 95km/h, 제2 섹션의 제2 평균 속도(VAVE2)는 98km/h, 제3 섹션의 제3 평균 속도(VAVE3)는 102km/h일 때, 상기 제1 섹션에서 상기 방해 차량의 제1 속도(Vi1)는 61km/h, 상기 제2 섹션에서 상기 방해 차량의 제2 속도(Vi2)는 65km/h, 제3 섹션에서 상기 방해 차량의 제3 속도(Vi3)는 68km/h인 것을 확인할 수 있다. 이 경우, 상기 속도 비율 정보는
Figure 112020001339787-pat00001
로 생성될 수 있고, 이 때, 현재 섹션인 제4 섹션의 제4 평균 속도(VAVE4)가 101km/h이므로, 상기 현재 속도 정보는
Figure 112020001339787-pat00002
로 생성될 수 있다.
이와 같은 상기 현재 섹션 평균 속도 정보와 상기 속도 비율 정보는, 각 섹션을 나눈 각 지점에 설치된 각각의 카메라를 이용해 생성될 수 있다. 구체적으로, 상기 중앙 서버(200)는 (i) 지나가는 차량 각각을 그의 등록 번호와 외형 정보를 이용하여 특정하고, (ii) 상기 지나가는 차량 각각의 속도를 측정하기 위한, 각각의 상기 섹션을 통과하는 데 소요된 시간을 계산하여, (iii) 상기 현재 섹션 평균 속도 정보를 포함하는, 각각의 상기 섹션에 관한 섹션 평균 속도 정보를 생성할 수 있다. 상기 방해 차량의 상기 속도 비율 정보 생성의 경우, 상기 섹션 평균 속도 정보 각각을 이용하여 지나가는 차량 각각에 대한 일반 속도 비율 정보가 각각의 상기 섹션마다 준비된 상태일 수 있다. 모든 상기 지나가는 차량의 상기 일반 속도 비율 정보가 준비되므로, 상기 중앙 서버(200)가 상기 V2X 통신 모듈(130)로부터, 상기 차량 식별자 정보 및 상기 차량 외형 정보와 같이, 상기 지나가는 차량 중 상기 방해 차량을 특정하기 위한 정보를 획득하면, 상기 일반 속도 비율 정보 중 상기 방해 차량의 상기 속도 비율 정보가 선택되어 상기 컴퓨팅 장치(100)로 전송될 수 있다.
이와 같은 상기 현재 속도 정보가 획득되면, 상기 가속 능력 정보와 함께 참조되어, 상기 잠재적 방해 예측 모델이 생성될 수 있다.
상기 제2-1 실시예에 대해 상술한 바, 상기 이미지 처리 모듈(140)에 대응하는 상기 제2-2 실시예에 대해 설명하도록 한다.
상기 제2-2 실시예의 경우, 상기 제2 뉴럴 네트워크(142)는, 상기 현재 속도 정보를 출력하기 위한 하나 이상의 노드를 상기 제2-2 FC 레이어 내에 포함하도록 구성된 상태이고, GT 현재 속도 정보를 포함하는 수정된 제2 GT를 이용하여 학습된 상태일 수 있다. 이 경우, 상기 컴퓨팅 장치(100)는, 상기 이미지 처리 모듈(140)에 포함된 상기 제2 뉴럴 네트워크로 하여금, 상기 제2 뉴럴 네트워크 연산을 상기 모델링 이미지에 적용하여, 상기 가속 능력 정보와 함께 상기 현재 속도 정보를 생성한 후, 상기 현재 속도 정보와 상기 가속 능력 정보를 상기 플래닝 모듈(150)에 전송하도록 할 수 있다. 이후, 상기 컴퓨팅 장치는 상기 플래닝 모듈(150)로 하여금, 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다.
상기 제2-3 실시예의 경우, 상기 V2X 통신 모듈(130)을 주로 사용하여 상기 가속 능력 정보 및 상기 현재 속도 정보가 획득될 수 있다. 즉, 상기 컴퓨팅 장치(100)는, 상기 V2X 통신 모듈(130)로 하여금 상기 중앙 서버(200)와 통신하도록 하여, 상기 가속 능력 정보, 상기 속도 비율 정보 및 상기 현재 섹션 평균 속도 정보를 획득하도록 할 수 있다. 이후, 상기 컴퓨팅 장치(100)는, 상기 V2X 통신 모듈(130)로 하여금, 상기 속도 비율 정보 및 상기 현재 섹션 평균 속도 정보를 이용하여 계산된, 상기 방해 차량의 상기 가속 능력 정보 및 상기 방해 차량의 상기 현재 속도 정보를 전송하도록 하고, 상기 플래닝 모듈(150)로 하여금, 상기 가속 능력 정보 및 상기 현재 속도 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다. 본 실시예에서, 상기 중앙 서버(200)는, 각 상기 섹션 사이의 지점에 설치된 각각의 상기 카메라를 이용하여, 상기 방해 차량을 포함한 상기 지나가는 차량의 적재량과 카테고리에 관한 정보를 획득하여, 상기 가속 능력 정보를 생성하고, 이를 상기 컴퓨팅 장치(100)에 전송할 수 있다.
전술한 각각의 실시예에서 제시된 방법을 통해 상기 가속 능력 정보 및 상기 현재 속도 정보가 획득되면, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, (i) 상기 대상 자율 주행 차량이 상기 잠재적 방해 주행을 피하기 위한 시간에 대응하는 TTC 값, (ii) 상기 가속 능력 정보, 및 (iii) 상기 현재 속도 정보를 참조로 하여, 예측 속도 범위 정보를 생성하도록 함으로써 상기 예측 속도 범위 정보를 포함하는 상기 잠재적 방해 예측 모델을 생성하도록 할 수 있다.
Figure 112020001339787-pat00003
Figure 112020001339787-pat00004
상기 TTC 값에 대응하는 상기 시간의 범위 내에서 상기 방해 차량의 최고 속도 및 최저 속도에 관한 정보를 포함한 상기 예측 속도 범위 정보는, 상기 계산식에 의해 생성될 수 있고, 상기 잠재적 방해 예측 모델을 생성하기 위해 사용될 수 있다. 이후, 상기 대상 자율 주행 차량의 전방에서 주행하는 상기 방해 차량의 속도에 대응하는 상기 잠재적 방해 주행은, 상기 잠재적 방해 예측 모델을 이용하여 예측될 수 있다.
상기 잠재적 방해 주행이 예측된 후, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 잠재적 방해 주행을 피하기 위해, 상기 현재 최적화 경로 정보를 수정하여 갱신 최적화 경로 정보를 생성하도록 할 수 있다. 일례로, 상기 잠재적 방해 주행이, 상기 방해 차량이 상기 상대 자율 주행 차량의 전방에서 동일 차로를 천천히 주행할 가능성이 있다고 나타내면, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 대상 자율 주행 차량이 있는 현재 차로의 좌측 및 우측 중 적어도 하나에 위치한 적어도 하나의 인근 차로의 차로 평균 속도 정보를 획득하도록 할 수 있다. 이와 같은 상기 차로 평균 속도 정보는, 각 상기 섹션 사이에 위치한 상기 카메라를 이용하여 획득된 것일 수 있으며, 상기 V2X 통신 모듈(130)을 통해 상기 중앙 서버(200)로부터 상기 플래닝 모듈(150)로 전송된 것일 수 있다.
이후, 상기 컴퓨팅 장치(100)는, 상기 플래닝 모듈(150)로 하여금, 상기 차로 평균 속도 정보를 참조로 하여, 상기 잠재적 방해 주행을 피하기 위해, 상기 인근 차로에 대응하여 실행될 회피 주행이 추가되도록 상기 현재 최적화 경로 정보를 수정함으로써, 상기 갱신 최적화 경로 정보를 생성하도록 할 수 있다. 상기 차로 평균 속도 정보는 추월에 더욱 적합한 차로를 찾기 위해 사용된 것일 수 있다. 이와 같은 상기 차로 평균 속도 정보의 사용에 관한 예시를 확인하기 위해 도 5를 참조하도록 한다.
도 5는 본 발명의 일 실시예에 따라 상기 V2X 통신 및 상기 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 상기 도로 상황에서 상기 자율 주행을 플래닝하는 방법을 수행하기 위해 사용될 현재 최적화 경로 정보를 수정하는 방식을 개략적으로 나타낸 도면이다.
도 5를 참조로 하면, 상기 좌측에 위치한 차로의 평균 속도가 상기 우측에 위치한 차로의 평균 속도보다 더 빠른 것을 확인할 수 있다. 이와 같은 경우, 상기 좌측에 위치한 차로를 선택하는 것이 추월에 더 적합하다. 따라서, 상기 좌측에 위치한 차로가 선택될 것이고, 상기 좌측에 위치한 차로를 이용한 상기 회피 주행은 상기 현재 최적화 경로 정보에 추가되어, 상기 갱신 최적화 경로 정보가 생성될 수 있을 것이다.
상술한 것과 같은 상기 플래닝 방법을 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재되어 있는 도로 상황에서도 자율 주행이 효율적으로 이루어질 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (26)

  1. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 하고,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 임계 시간 내 주행할 방향에 대한 예정 주행 방향 정보를 이용하여 예정 주행 방향 벡터를 생성하고, 상기 인근 차량 중 적어도 일부에 대응하는 상기 차량 상대 위치 정보를 이용하여 하나 이상의 상대 위치 벡터를 생성하고, (ii) 상기 예정 주행 방향 벡터와 각각의 상기 상대 위치 벡터 간 각각의 유사 점수를 생성하도록 한 후, (iii) 상기 인근 차량 중, 임계 유사 점수 이상의 특정 유사 점수를 갖는 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (a) 단계에서,
    상기 컴퓨팅 장치가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 하고,
    상기 (b) 단계에서,
    상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈에 의해 획득된 상기 상황 이미지 상에서 상기 인근 차량을 포함하는 바운딩 박스의 위치에 대한 정보를 참조로 하여, 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하되, 상기 특정 인근 차량에 대응하는 부분 이미지는, 상기 대상 자율 주행 차량이 있는 도로의 현재 차로에 대응하는, 상기 상황 이미지의 현재 차로 영역 내에 위치하는 것을 특징으로 하는 방법.
  5. 삭제
  6. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하고,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, (I) 상기 이미지 처리 모듈에 포함된 제2 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량의 자차 속도 정보를 추가로 참조로 하여, 상기 모델링 이미지에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-1 뉴럴 네트워크 연산을 적용함으로써, (i) 상기 대상 자율 주행 차량과 관련된 상기 방해 차량의 상대 속도 정보, (ii) 상기 방해 차량의 클래스에 대응하는 카테고리 정보, 및 (iii) 상기 방해 차량의 부피와 질량 중 적어도 일부에 대응하는 가속 변수 정보를 생성하도록 하고, (II) 상기 제2 뉴럴 네트워크로 하여금, 상기 방해 차량 상대 속도 정보, 상기 카테고리 정보 및 상기 가속 변수 정보를 구성 요소로서 포함하는, 컨캐터네이팅(concatenating)된 벡터에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 방해 차량의 상기 가속 능력 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 제2 뉴럴 네트워크로 하여금, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하는 도로의 현재 섹션 내 차량의 평균 속도에 대한, 현재 섹션 평균 속도 정보를 더 포함하는 상기 컨캐터네이팅된 벡터에 상기 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 가속 능력 정보를 생성하는 것을 특징으로 하는 방법.
  8. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하고,
    상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 방해 차량의 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 생성된, 상기 가속 능력 정보와 상기 현재 속도 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하되, 상기 속도 비율 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교함으로써 생성된 후 중앙 서버로부터 상기 V2X 통신 모듈로 전송되고, 상기 현재 섹션 평균 속도 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하고 있는 도로의 현재 섹션 내 차량의 평균 속도를 계산함으로써 생성된 후 상기 중앙 서버로부터 상기 V2X 통신 모듈로 전송된 것을 특징으로 하는 방법.
  9. 제 6항에 있어서,
    상기 컴퓨팅 장치가, 상기 제2 뉴럴 네트워크로 하여금, 상기 제2 뉴럴 네트워크 연산을 상기 모델링 이미지에 적용하여 상기 가속 능력 정보와 함께 상기 현재 속도 정보를 생성한 후, 상기 현재 속도 정보와 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, 상기 플래닝 모듈로 하여금, 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 방법.
  10. 제 6항에 있어서,
    상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 상기 잠재적 방해 주행을 피하기 위한 시간에 대응하는 TTC 값, (ii) 상기 가속 능력 정보, 및 (iii) 상기 현재 속도 정보를 참조로 하여, 예측 속도 범위 정보를 생성하도록 함으로써 상기 예측 속도 범위 정보를 포함하는 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 방법.
  11. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝(planning)하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 단계;
    (b) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 단계;
    를 포함하는 것을 특징으로 하되,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제2군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, (i) 중앙 서버로부터, (i-1) 상기 방해 차량의 가속 능력 정보, (i-2) 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교하여 생성된 상기 방해 차량의 속도 비율 정보, 및 (i-3) 현재 섹션 내 차량의 평균 속도를 계산하여 생성된 현재 섹션 평균 속도 정보를 획득하도록 하고, (ii) 상기 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 상기 방해 차량의 현재 속도 정보를 생성하도록 한 후, (iii) 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 방법.
  12. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 방해 차량이 상기 제1군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, 상기 방해 차량과 통신함으로써 상기 방해 차량의 예정 경로 정보를 획득하도록 하고, 상기 플래닝 모듈로 하여금, 상기 예정 경로 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 방법.
  13. 제 1항에 있어서,
    상기 (c) 단계에서,
    상기 컴퓨팅 장치가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 있는 현재 차로의 좌측 및 우측 중 적어도 하나에 위치한 적어도 하나의 인근 차로의 차로 평균 속도 정보를 획득하도록 하고, (ii) 상기 차로 평균 속도 정보를 참조로 하여, 상기 잠재적 방해 주행을 피하기 위해, 상기 인근 차로에 대응하여 실행될 회피 주행이 추가되도록 상기 현재 최적화 경로 정보를 수정함으로써, 상기 갱신 최적화 경로 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  14. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 하고,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 임계 시간 내 주행할 방향에 대한 예정 주행 방향 정보를 이용하여 예정 주행 방향 벡터를 생성하고, 상기 인근 차량 중 적어도 일부에 대응하는 상기 차량 상대 위치 정보를 이용하여 하나 이상의 상대 위치 벡터를 생성하고, (ii) 상기 예정 주행 방향 벡터와 각각의 상기 상대 위치 벡터 간 각각의 유사 점수를 생성하도록 한 후, (iii) 상기 인근 차량 중, 임계 유사 점수 이상의 특정 유사 점수를 갖는 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  15. 삭제
  16. 삭제
  17. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (I) 프로세스에서,
    상기 프로세서가, 상기 이미지 처리 모듈에 포함된 제1 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 대상 자율 주행 차량으로부터의 적어도 하나의 방향에 대응하는 적어도 하나의 상황 이미지를 획득하도록 하고, 상기 상황 이미지에 하나 이상의 제1 뉴럴 네트워크 연산을 적용하여, 상기 인식 정보를 생성한 후, 상기 인식 정보를 상기 플래닝 모듈에 전송하되, 상기 인식 정보는, (i) 차량 식별자 정보, (ii) 차량 외형 정보, 및 (iii) 상기 대상 자율 주행 차량으로부터의 차량 상대 위치 정보 중 적어도 일부를 포함하는 것을 특징으로 하고,
    상기 (II) 프로세스에서,
    상기 프로세서가, 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈에 의해 획득된 상기 상황 이미지 상에서 상기 인근 차량을 포함하는 바운딩 박스의 위치에 대한 정보를 참조로 하여, 적어도 하나의 특정 인근 차량을 상기 방해 차량으로서 선택하도록 하되, 상기 특정 인근 차량에 대응하는 부분 이미지는, 상기 대상 자율 주행 차량이 있는 도로의 현재 차로에 대응하는, 상기 상황 이미지의 현재 차로 영역 내에 위치하는 것을 특징으로 하는 컴퓨팅 장치.
  18. 삭제
  19. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하고,
    상기 (III) 프로세스에서,
    상기 프로세서가, (i) 상기 이미지 처리 모듈에 포함된 제2 뉴럴 네트워크로 하여금, 상기 대상 자율 주행 차량의 자차 속도 정보를 추가로 참조로 하여, 상기 모델링 이미지에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-1 뉴럴 네트워크 연산을 적용함으로써, (i-1) 상기 대상 자율 주행 차량과 관련된 상기 방해 차량의 상대 속도 정보, (i-2) 상기 방해 차량의 클래스에 대응하는 카테고리 정보, 및 (i-3) 상기 방해 차량의 부피와 질량 중 적어도 일부에 대응하는 가속 변수 정보를 생성하도록 하고, (ii) 상기 제2 뉴럴 네트워크로 하여금, 상기 방해 차량 상대 속도 정보, 상기 카테고리 정보 및 상기 가속 변수 정보를 구성 요소로서 포함하는, 컨캐터네이팅(concatenating)된 벡터에 상기 제2 뉴럴 네트워크 연산의 적어도 일부인 하나 이상의 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 방해 차량의 상기 가속 능력 정보를 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  20. 제 19항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 제2 뉴럴 네트워크로 하여금, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하는 도로의 현재 섹션 내 차량의 평균 속도에 대한, 현재 섹션 평균 속도 정보를 더 포함하는 상기 컨캐터네이팅된 벡터에 상기 제2-2 뉴럴 네트워크 연산을 적용함으로써 상기 가속 능력 정보를 생성하는 것을 특징으로 하는 컴퓨팅 장치.
  21. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 방해 차량이 상기 제2군에 속하는 경우, (i) 상기 이미지 처리 모듈로 하여금, (i-1) 상기 대상 자율 주행 차량에 설치된 적어도 하나의 카메라를 통해, 상기 방해 차량을 포함하는 모델링 이미지를 획득하도록 하고, (i-2) 상기 모델링 이미지에 하나 이상의 제2 뉴럴 네트워크 연산을 적용하여 상기 방해 차량의 가속 능력 정보를 생성하고, 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, (ii) 상기 플래닝 모듈로 하여금, 상기 이미지 처리 모듈 및 상기 V2X 통신 모듈 중 적어도 하나를 이용하여 획득된 상기 방해 차량의 현재 속도 정보 및 상기 가속 능력 정보를 참조로 하여, 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하고,
    상기 프로세서가, 상기 플래닝 모듈로 하여금, 상기 방해 차량의 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 생성된, 상기 가속 능력 정보와 상기 현재 속도 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하되, 상기 속도 비율 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교함으로써 생성된 후 중앙 서버로부터 상기 V2X 통신 모듈로 전송되고, 상기 현재 섹션 평균 속도 정보는, 상기 인근 차량과 상기 대상 자율 주행 차량이 현재 주행하고 있는 도로의 현재 섹션 내 차량의 평균 속도를 계산함으로써 생성된 후 상기 중앙 서버로부터 상기 V2X 통신 모듈로 전송된 것을 특징으로 하는 컴퓨팅 장치.
  22. 제 19항에 있어서,
    상기 프로세서가, 상기 제2 뉴럴 네트워크로 하여금, 상기 제2 뉴럴 네트워크 연산을 상기 모델링 이미지에 적용하여 상기 가속 능력 정보와 함께 상기 현재 속도 정보를 생성한 후, 상기 현재 속도 정보와 상기 가속 능력 정보를 상기 플래닝 모듈에 전송하도록 하고, 상기 플래닝 모듈로 하여금, 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  23. 제 19항에 있어서,
    상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 상기 잠재적 방해 주행을 피하기 위한 시간에 대응하는 TTC 값, (ii) 상기 가속 능력 정보, 및 (iii) 상기 현재 속도 정보를 참조로 하여, 예측 속도 범위 정보를 생성하도록 함으로써 상기 예측 속도 범위 정보를 포함하는 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  24. V2X(Vehicle-to-everything) 통신 및 이미지 처리를 이용하여, 상기 V2X 통신이 가능한 차량과 상기 V2X 통신이 불가능한 차량이 혼재하고 있는 도로 상황에서 자율 주행을 플래닝하는 컴퓨팅 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 플래닝 모듈로 하여금, V2X 통신 모듈 및 이미지 처리 모듈 중 적어도 하나와 연동하여, (i) 상기 컴퓨팅 장치에 대응하는 대상 자율 주행 차량으로부터 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 가능한 하나 이상의 제1 차량을 포함하는 제1군, 및 (ii) 상기 대상 자율 주행 차량으로부터 상기 임계 거리보다 가까운 거리에 위치하며 상기 V2X 통신이 불가능한 하나 이상의 제2 차량을 포함하는 제2군 중 적어도 일부를 포함하는 인근 차량 중 적어도 일부에 대한 인식 정보를 획득하도록 하는 프로세스, (II) 상기 플래닝 모듈로 하여금, 상기 대상 자율 주행 차량에 대한 현재 최적화 경로 정보 및 상기 인식 정보를 참조로 하여, 상기 인근 차량 중, 상기 대상 자율 주행 차량을 방해할 확률이 임계 확률 이상인 차량인 적어도 하나의 방해 차량을 선택하도록 하는 프로세스, 및 (III) 상기 플래닝 모듈로 하여금, 상기 V2X 통신 모듈 및 상기 이미지 처리 모듈 중 적어도 하나와 연동하여 상기 방해 차량에 대한 잠재적 방해 예측 모델을 생성하도록 하고, 상기 잠재적 방해 예측 모델을 참조로 예측되는 상기 방해 차량의 잠재적 방해 주행을 피하기 위하여 상기 현재 최적화 경로 정보를 수정함으로써, 상기 대상 자율 주행 차량에 대한 갱신 최적화 경로 정보를 생성하도록 하는 프로세스를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하되,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 방해 차량이 상기 제2군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, (i) 중앙 서버로부터, (i-1) 상기 방해 차량의 가속 능력 정보, (i-2) 상기 인근 차량과 상기 대상 자율 주행 차량이 주행해 온 도로의 과거 섹션 각각에 대한 평균 속도 각각과 상기 과거 섹션 각각 내 상기 방해 차량의 속도 각각을 비교하여 생성된 상기 방해 차량의 속도 비율 정보, 및 (i-3) 현재 섹션 내 차량의 평균 속도를 계산하여 생성된 현재 섹션 평균 속도 정보를 획득하도록 하고, (ii) 상기 속도 비율 정보와 현재 섹션 평균 속도 정보를 참조로 하여 상기 방해 차량의 현재 속도 정보를 생성하도록 한 후, (iii) 상기 현재 속도 정보와 상기 가속 능력 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  25. 제 14항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 방해 차량이 상기 제1군에 속하는 경우, 상기 V2X 통신 모듈로 하여금, 상기 방해 차량과 통신함으로써 상기 방해 차량의 예정 경로 정보를 획득하도록 하고, 상기 플래닝 모듈로 하여금, 상기 예정 경로 정보를 참조로 하여 상기 잠재적 방해 예측 모델을 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
  26. 제 14항에 있어서,
    상기 (III) 프로세스에서,
    상기 프로세서가, 상기 플래닝 모듈로 하여금, (i) 상기 대상 자율 주행 차량이 있는 현재 차로의 좌측 및 우측 중 적어도 하나에 위치한 적어도 하나의 인근 차로의 차로 평균 속도 정보를 획득하도록 하고, (ii) 상기 차로 평균 속도 정보를 참조로 하여, 상기 잠재적 방해 주행을 피하기 위해, 상기 인근 차로에 대응하여 실행될 회피 주행이 추가되도록 상기 현재 최적화 경로 정보를 수정함으로써, 상기 갱신 최적화 경로 정보를 생성하도록 하는 것을 특징으로 하는 컴퓨팅 장치.
KR1020200001725A 2019-01-31 2020-01-06 V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치 KR102306939B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799207P 2019-01-31 2019-01-31
US62/799,207 2019-01-31
US16/724,475 US10861183B2 (en) 2019-01-31 2019-12-23 Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing
US16/724,475 2019-12-23

Publications (2)

Publication Number Publication Date
KR20200096115A KR20200096115A (ko) 2020-08-11
KR102306939B1 true KR102306939B1 (ko) 2021-10-05

Family

ID=69191915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001725A KR102306939B1 (ko) 2019-01-31 2020-01-06 V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10861183B2 (ko)
EP (1) EP3693944A1 (ko)
JP (1) JP6916551B2 (ko)
KR (1) KR102306939B1 (ko)
CN (1) CN111506058B (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210327280A1 (en) * 2020-04-21 2021-10-21 Qualcomm Incorporated Cluster-based approach to positioning of vehicles in vehicle platooning or autonomous trucking
WO2022097869A1 (ko) * 2020-11-05 2022-05-12 엘지전자 주식회사 사이드링크를 지원하는 무선 통신 시스템에서 제1 장치가 v2x 차량의 주행을 제어하는 방법 및 이를 위한 장치
CN112185123A (zh) * 2020-11-06 2021-01-05 广州南洋理工职业学院 一种基于车联网车辆安全间距预警的方法
US11443518B2 (en) 2020-11-30 2022-09-13 At&T Intellectual Property I, L.P. Uncrewed aerial vehicle shared environment privacy and security
US11797896B2 (en) 2020-11-30 2023-10-24 At&T Intellectual Property I, L.P. Autonomous aerial vehicle assisted viewing location selection for event venue
US11726475B2 (en) 2020-11-30 2023-08-15 At&T Intellectual Property I, L.P. Autonomous aerial vehicle airspace claiming and announcing
CN112758105B (zh) * 2020-12-30 2022-03-22 上海汽车集团股份有限公司 一种自动驾驶车队跟车行驶控制方法、装置及系统
DE102021201063A1 (de) 2021-02-04 2022-08-04 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Systems für ein zumindest teilweise assistiert betriebenes Kraftfahrzeug, Computerprogrammprodukt sowie System
JP7347461B2 (ja) * 2021-03-05 2023-09-20 トヨタ自動車株式会社 自動駐車システム及び自動駐車システムの制御方法
CN113442950B (zh) * 2021-08-31 2021-11-23 国汽智控(北京)科技有限公司 基于多车辆的自动驾驶控制方法、装置和设备
TWI790825B (zh) 2021-11-19 2023-01-21 財團法人工業技術研究院 安全距離估算系統及其估算方法
CN114283574B (zh) * 2021-12-29 2022-10-28 湖南师范大学 一种基于卷积策略的车辆调度评价方法
CN115019503B (zh) * 2022-05-12 2023-06-16 东风汽车集团股份有限公司 基于信息共享的飞行汽车混合交通流下空间轨道分配方法
CN117341723A (zh) * 2022-06-28 2024-01-05 深圳市中兴微电子技术有限公司 自动驾驶方法及系统
CN116774590B (zh) * 2023-08-17 2023-11-07 山东金彭新能源科技有限公司 一种影响干扰用自适应调控方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088796A (ja) 2003-09-18 2005-04-07 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
JP2011227582A (ja) 2010-04-15 2011-11-10 Toyota Motor Corp 車両用衝突予測装置
US20170025013A1 (en) 2015-07-07 2017-01-26 Mando Corporation Distance calculation apparatus, distance calculation method, driving assist apparatus, and driving assist system
US20170131114A1 (en) 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Vehicle data processing method and vehicle terminal
JP2017083326A (ja) 2015-10-29 2017-05-18 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 車両状態監視装置
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030798A (ja) * 1999-07-26 2001-02-06 Mazda Motor Corp 車両の走行制御装置
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
JP6155973B2 (ja) * 2013-08-27 2017-07-05 株式会社デンソー 運転支援装置、および運転支援方法
US9767687B2 (en) * 2015-09-11 2017-09-19 Sony Corporation System and method for driving assistance along a path
US9922553B2 (en) * 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
US10747234B1 (en) * 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
JP6616275B2 (ja) * 2016-12-15 2019-12-04 株式会社Ｓｏｋｅｎ 運転支援装置
JP6733535B2 (ja) * 2016-12-19 2020-08-05 株式会社デンソー 運転支援装置
KR102412615B1 (ko) * 2017-09-07 2022-06-23 삼성전자주식회사 단말간 전송들 사이 충돌들을 고려하는 무선 통신 방법 및 장치
KR102414456B1 (ko) * 2017-10-23 2022-06-30 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
KR102445365B1 (ko) * 2018-03-19 2022-09-20 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US11113971B2 (en) * 2018-06-12 2021-09-07 Baidu Usa Llc V2X communication-based vehicle lane system for autonomous vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088796A (ja) 2003-09-18 2005-04-07 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2008129804A (ja) * 2006-11-20 2008-06-05 Toyota Motor Corp 走行制御計画生成システム及びコンピュータプログラム
JP2011227582A (ja) 2010-04-15 2011-11-10 Toyota Motor Corp 車両用衝突予測装置
US20170025013A1 (en) 2015-07-07 2017-01-26 Mando Corporation Distance calculation apparatus, distance calculation method, driving assist apparatus, and driving assist system
JP2017083326A (ja) 2015-10-29 2017-05-18 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
US20170131114A1 (en) 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Vehicle data processing method and vehicle terminal
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 車両状態監視装置
JP2018195301A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 制御装置及び制御方法

Also Published As

Publication number Publication date
CN111506058B (zh) 2023-08-22
KR20200096115A (ko) 2020-08-11
CN111506058A (zh) 2020-08-07
US20200250848A1 (en) 2020-08-06
EP3693944A1 (en) 2020-08-12
US10861183B2 (en) 2020-12-08
JP6916551B2 (ja) 2021-08-11
JP2020126619A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
KR102306939B1 (ko) V2x 통신 및 이미지 처리를 이용한 정보 융합을 통해 자율 주행의 단기 경로를 플래닝하기 위한 방법 및 장치
EP3638981B1 (en) Fusion framework of navigation information for autonomous navigation
Chen et al. Deep imitation learning for autonomous driving in generic urban scenarios with enhanced safety
KR102328732B1 (ko) 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치
US11499834B2 (en) Aligning road information for navigation
WO2022100107A1 (en) Methods and systems for predicting dynamic object behavior
US11767035B2 (en) Autonomous parking with hybrid exploration of parking space
US20220101155A1 (en) Trajectory Generation Using Road Network Model
JP2020123346A (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
CN109213153A (zh) 一种车辆自动驾驶方法及电子设备
US20220144309A1 (en) Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
Reda et al. Path planning algorithms in the autonomous driving system: A comprehensive review
US20230071810A1 (en) System and method for providing spatiotemporal costmap inference for model predictive control
EP4124995A1 (en) Training method for training an agent for controlling a controlled device, control method for controlling the controlled device, computer program(s), computer readable medium, training system and control system
US11787439B1 (en) Multistage autonomous vehicle motion planning
US12023812B2 (en) Systems and methods for sensor data packet processing and spatial memory updating for robotic platforms

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right