KR20210134635A - 자율 주행 차량 시스템 - Google Patents
자율 주행 차량 시스템 Download PDFInfo
- Publication number
- KR20210134635A KR20210134635A KR1020217027159A KR20217027159A KR20210134635A KR 20210134635 A KR20210134635 A KR 20210134635A KR 1020217027159 A KR1020217027159 A KR 1020217027159A KR 20217027159 A KR20217027159 A KR 20217027159A KR 20210134635 A KR20210134635 A KR 20210134635A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- behavior
- model
- behavior model
- autonomous
- Prior art date
Links
- 230000006399 behavior Effects 0.000 claims abstract description 561
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims description 133
- 230000033001 locomotion Effects 0.000 claims description 100
- 238000010801 machine learning Methods 0.000 claims description 61
- 230000001788 irregular Effects 0.000 claims description 56
- 238000004891 communication Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 13
- 230000036541 health Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 69
- 230000000875 corresponding effect Effects 0.000 description 42
- 230000006870 function Effects 0.000 description 42
- 238000001514 detection method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 38
- 230000001537 neural effect Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 31
- 238000004422 calculation algorithm Methods 0.000 description 30
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 26
- 230000003542 behavioural effect Effects 0.000 description 23
- 238000012549 training Methods 0.000 description 23
- 230000007613 environmental effect Effects 0.000 description 21
- 230000002547 anomalous effect Effects 0.000 description 16
- 230000004927 fusion Effects 0.000 description 16
- 239000013598 vector Substances 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 9
- 230000001149 cognitive effect Effects 0.000 description 9
- 230000002950 deficient Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 9
- 238000011179 visual inspection Methods 0.000 description 9
- 208000021048 Dianzani autoimmune lymphoproliferative disease Diseases 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 8
- 230000004807 localization Effects 0.000 description 8
- 239000012528 membrane Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008093 supporting effect Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 2
- 208000012761 aggressive behavior Diseases 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002964 excitative effect Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 1
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000005079 cognition system Anatomy 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 230000004884 risky behavior Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
- G05D1/0061—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
- H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/047—Prioritizing desires of multiple occupants, e.g. when setting climate control or driving behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/215—Selection or confirmation of options
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4046—Behavior, e.g. aggressive or erratic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/35—Data fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle for navigation systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 적어도 하나의 인터페이스; 및 제2 차량과 연관된 거동 모델을 획득하고 - 거동 모델은 제2 차량의 운전 거동을 정의함 -; 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하며; 제2 차량의 예측된 행동들에 기초하여 제1 차량에 대한 경로 계획을 결정하는 프로세싱 회로부를 포함하는 장치.
Description
관련 출원에 대한 상호 참조
본 출원은 2019년 3월 29일에 출원된, 발명의 명칭이 "Autonomous Vehicle System"인 미국 가특허 출원 제62/826,955호의 이익 및 우선권을 주장하며, 이 미국 가특허 출원의 전체 개시는 본 명세서에 참고로 포함된다.
기술 분야
본 개시는 일반적으로 컴퓨터 시스템 분야, 보다 상세하게는 자율 주행 차량(autonomous vehicle)을 가능하게 하는 컴퓨팅 시스템에 관한 것이다.
일부 차량들은 차량이 환경에서 운전자로부터의 입력을 거의 또는 전혀 사용하지 않고 운행하는 자율 주행 모드(autonomous mode)에서 동작하도록 구성된다. 그러한 차량은 전형적으로 환경에 관한 정보를 감지하도록 구성된 하나 이상의 센서를 포함한다. 차량은 감지된 정보를 사용하여 환경에서 운행할 수 있다. 예를 들어, 차량이 장애물에 접근하고 있음을 센서들이 감지하는 경우, 차량은 장애물을 피하여 운행할 수 있다.
도 1은 적어도 하나의 실시예에 따른 예시적인 자율 주행 운전 환경을 보여주는 단순화된 예시이다.
도 2는 적어도 하나의 실시예에 따른 자율 주행 운전 기능성을 갖춘 차량(및 대응하는 차량 내 컴퓨팅 시스템)의 예시적인 구현을 예시하는 단순화된 블록 다이어그램이다.
도 3은 적어도 하나의 실시예에 따라 특정 실시예들에 따른 신경 네트워크의 예시적인 부분을 예시한다.
도 4는 적어도 하나의 실시예에 따른 다양한 차량들에서, 예를 들면, 그들의 대응하는 차량 내 컴퓨팅 시스템들에 의해 지원될 수 있는 자율 주행 운전의 예시적인 레벨들을 예시하는 단순화된 블록 다이어그램이다.
도 5는 적어도 하나의 실시예에 따른 일부 자율 주행 운전 시스템들에서 구현될 수 있는 예시적인 자율 주행 운전 흐름을 예시하는 단순화된 블록 다이어그램이다.
도 6은 적어도 하나의 실시예에 따른 자율 주행 차량들을 제어하기 위한 예시적인 "감지, 계획, 실행" 모델을 묘사한다.
도 7은 적어도 하나의 실시예에 따른 단순화된 사회적 규범 이해 모델(700)을 예시한다.
도 8은 적어도 하나의 실시예에 따른 차량의 적어도 일 부분이 반자율 또는 완전 자율인 환경에서 차량들 간의 조율 측면들을 예시하는 다이어그램을 묘사한다.
도 9는 적어도 하나의 실시예에 따른 두 대의 차량 간의 예시적인 정보 교환을 예시하는 블록 다이어그램이다.
도 10은 적어도 하나의 실시예에 따른 예시적인 도로 교차로를 예시하는 단순화된 블록 다이어그램이다.
도 11은 적어도 하나의 실시예에 따른 로컬화된 거동 모델 합의의 결정을 예시하는 다이어그램을 묘사한다.
도 12는 적어도 하나의 실시예에 따른 예시적인 "피츠버그 좌회전" 시나리오를 예시한다.
도 13은 적어도 하나의 실시예에 따른 인간 운전 차량에 의한 예시적인 "노상 분노" 시나리오를 예시한다.
도 14는 적어도 하나의 실시예에 따른 자율 주행 차량에 대한 불규칙적/변칙적 거동 추적 모델을 보여주는 단순화된 블록 다이어그램이다.
도 15는 적어도 하나의 실시예에 따른 주어진 콘텍스트에서 운전 패턴이 얼마나 자주 발생하는지를 추적하는 콘텍스트 그래프를 예시한다.
도 16은 적어도 하나의 실시예에 따른 차량에 의해 관측되는 불규칙적 거동들을 추적하는 예시적인 프로세스의 흐름 다이어그램이다.
도 17은 적어도 하나의 실시예에 따른 콘텍스트 거동 패턴들을 식별하는 예시적인 프로세스의 흐름 다이어그램이다.
도 18은 적어도 하나의 실시예에 따른 고도로 자동화된 자율 주행 차량들을 위한 결함 및 침입 탐지 시스템을 예시한다.
도 19는 적어도 하나의 실시예에 따른 조작된 그래픽의 예를 예시한다.
도 20은 적어도 하나의 실시예에 따른 차량에 대한 단순화된 중앙집중식 차량 제어 아키텍처의 블록 다이어그램이다.
도 21은 적어도 하나의 실시예에 따른 자율 감지 및 제어 파이프라인의 단순화된 블록 다이어그램이다.
도 22는 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 예시적인 엑스 바이 와이어(x-by-wire) 아키텍처를 예시하는 단순화된 블록 다이어그램이다.
도 23은 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 예시적인 안전 리셋 아키텍처를 예시하는 단순화된 블록 다이어그램이다.
도 24는 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 일반 안전 아키텍처의 예를 예시하는 단순화된 블록 다이어그램이다.
도 25는 적어도 하나의 실시예에 따른 고도로 자동화된 자율 주행 차량들을 위한 결함 및 침입 탐지 시스템의 예시적인 동작 흐름을 예시하는 단순화된 블록 다이어그램이다.
도 26은 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름을 예시하는 단순화된 플로차트이다.
도 27은 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름을 예시하는 단순화된 플로차트이다.
도 28a는 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름(2800)을 예시하는 단순화된 플로차트이다.
도 28b는 적어도 하나의 실시예에 따른 비교기 동작과 연관된 추가적인 동작들의 가능한 상위 레벨 흐름(2850)을 예시하는 단순화된 플로차트이다.
도 29는 적어도 하나의 실시예에 따른 자율 주행 차량들에서 통상적으로 발견되는 센서 어레이들의 예를 예시한다.
도 30은 적어도 하나의 실시예에 따른 차량에 이용 가능한 감지 및 프로세싱 능력에 기초하여 자율 주행 차량 기능성들을 적응시키는 동적 자율성 레벨 검출("DALD") 시스템의 예를 예시한다.
도 31은 적어도 하나의 실시예에 따른 두 대의 차량의 예시적인 위치들을 예시한다.
도 32는 적어도 하나의 실시예에 따른 차량에 대한 Ackerman 모델을 예시한다.
도 33은 적어도 하나의 실시예에 따른 부착물을 가진 차량의 예를 예시한다.
도 34는 적어도 하나의 실시예에 따른 차량에 결합된 연장부에 의해 추가되는 치수들을 포함하는 차량의 새로운 치수들을 추적하는 간단한 방법의 사용의 예를 예시한다.
도 35는 적어도 하나의 실시예에 따른 차량 모델 폐색 보상 흐름의 예를 예시한다.
도 36 및 도 37은 적어도 하나의 실시예에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처들의 블록 다이어그램들이다.
도 2는 적어도 하나의 실시예에 따른 자율 주행 운전 기능성을 갖춘 차량(및 대응하는 차량 내 컴퓨팅 시스템)의 예시적인 구현을 예시하는 단순화된 블록 다이어그램이다.
도 3은 적어도 하나의 실시예에 따라 특정 실시예들에 따른 신경 네트워크의 예시적인 부분을 예시한다.
도 4는 적어도 하나의 실시예에 따른 다양한 차량들에서, 예를 들면, 그들의 대응하는 차량 내 컴퓨팅 시스템들에 의해 지원될 수 있는 자율 주행 운전의 예시적인 레벨들을 예시하는 단순화된 블록 다이어그램이다.
도 5는 적어도 하나의 실시예에 따른 일부 자율 주행 운전 시스템들에서 구현될 수 있는 예시적인 자율 주행 운전 흐름을 예시하는 단순화된 블록 다이어그램이다.
도 6은 적어도 하나의 실시예에 따른 자율 주행 차량들을 제어하기 위한 예시적인 "감지, 계획, 실행" 모델을 묘사한다.
도 7은 적어도 하나의 실시예에 따른 단순화된 사회적 규범 이해 모델(700)을 예시한다.
도 8은 적어도 하나의 실시예에 따른 차량의 적어도 일 부분이 반자율 또는 완전 자율인 환경에서 차량들 간의 조율 측면들을 예시하는 다이어그램을 묘사한다.
도 9는 적어도 하나의 실시예에 따른 두 대의 차량 간의 예시적인 정보 교환을 예시하는 블록 다이어그램이다.
도 10은 적어도 하나의 실시예에 따른 예시적인 도로 교차로를 예시하는 단순화된 블록 다이어그램이다.
도 11은 적어도 하나의 실시예에 따른 로컬화된 거동 모델 합의의 결정을 예시하는 다이어그램을 묘사한다.
도 12는 적어도 하나의 실시예에 따른 예시적인 "피츠버그 좌회전" 시나리오를 예시한다.
도 13은 적어도 하나의 실시예에 따른 인간 운전 차량에 의한 예시적인 "노상 분노" 시나리오를 예시한다.
도 14는 적어도 하나의 실시예에 따른 자율 주행 차량에 대한 불규칙적/변칙적 거동 추적 모델을 보여주는 단순화된 블록 다이어그램이다.
도 15는 적어도 하나의 실시예에 따른 주어진 콘텍스트에서 운전 패턴이 얼마나 자주 발생하는지를 추적하는 콘텍스트 그래프를 예시한다.
도 16은 적어도 하나의 실시예에 따른 차량에 의해 관측되는 불규칙적 거동들을 추적하는 예시적인 프로세스의 흐름 다이어그램이다.
도 17은 적어도 하나의 실시예에 따른 콘텍스트 거동 패턴들을 식별하는 예시적인 프로세스의 흐름 다이어그램이다.
도 18은 적어도 하나의 실시예에 따른 고도로 자동화된 자율 주행 차량들을 위한 결함 및 침입 탐지 시스템을 예시한다.
도 19는 적어도 하나의 실시예에 따른 조작된 그래픽의 예를 예시한다.
도 20은 적어도 하나의 실시예에 따른 차량에 대한 단순화된 중앙집중식 차량 제어 아키텍처의 블록 다이어그램이다.
도 21은 적어도 하나의 실시예에 따른 자율 감지 및 제어 파이프라인의 단순화된 블록 다이어그램이다.
도 22는 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 예시적인 엑스 바이 와이어(x-by-wire) 아키텍처를 예시하는 단순화된 블록 다이어그램이다.
도 23은 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 예시적인 안전 리셋 아키텍처를 예시하는 단순화된 블록 다이어그램이다.
도 24는 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 일반 안전 아키텍처의 예를 예시하는 단순화된 블록 다이어그램이다.
도 25는 적어도 하나의 실시예에 따른 고도로 자동화된 자율 주행 차량들을 위한 결함 및 침입 탐지 시스템의 예시적인 동작 흐름을 예시하는 단순화된 블록 다이어그램이다.
도 26은 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름을 예시하는 단순화된 플로차트이다.
도 27은 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름을 예시하는 단순화된 플로차트이다.
도 28a는 적어도 하나의 실시예에 따른 결함 및 침입 탐지 시스템과 연관된 가능한 상위 레벨 동작 흐름(2800)을 예시하는 단순화된 플로차트이다.
도 28b는 적어도 하나의 실시예에 따른 비교기 동작과 연관된 추가적인 동작들의 가능한 상위 레벨 흐름(2850)을 예시하는 단순화된 플로차트이다.
도 29는 적어도 하나의 실시예에 따른 자율 주행 차량들에서 통상적으로 발견되는 센서 어레이들의 예를 예시한다.
도 30은 적어도 하나의 실시예에 따른 차량에 이용 가능한 감지 및 프로세싱 능력에 기초하여 자율 주행 차량 기능성들을 적응시키는 동적 자율성 레벨 검출("DALD") 시스템의 예를 예시한다.
도 31은 적어도 하나의 실시예에 따른 두 대의 차량의 예시적인 위치들을 예시한다.
도 32는 적어도 하나의 실시예에 따른 차량에 대한 Ackerman 모델을 예시한다.
도 33은 적어도 하나의 실시예에 따른 부착물을 가진 차량의 예를 예시한다.
도 34는 적어도 하나의 실시예에 따른 차량에 결합된 연장부에 의해 추가되는 치수들을 포함하는 차량의 새로운 치수들을 추적하는 간단한 방법의 사용의 예를 예시한다.
도 35는 적어도 하나의 실시예에 따른 차량 모델 폐색 보상 흐름의 예를 예시한다.
도 36 및 도 37은 적어도 하나의 실시예에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처들의 블록 다이어그램들이다.
도 1은 예시적인 자율 주행 운전 환경을 보여주는 단순화된 예시(100)이다. 차량들(예를 들면, 105, 110, 115 등)은 각자의 자율 주행 운전 스택들을 가능하게 하는 로직이 하드웨어, 펌웨어 및/또는 소프트웨어로 구현되어 있는 차량 내 컴퓨팅 시스템들을 통해 용이하게 되는 다양한 레벨의 자율 주행 운전 능력을 구비할 수 있다. 그러한 자율 주행 운전 스택들은 차량들이 자가 제어를 할 수 있게 하거나 또는 도로들을 검출하고, 한 지점에서 다른 지점으로 운행하며, 다른 차량들 및 도로 행위자들(예를 들면, 보행자(예를 들면, 135), 자전거 타는 사람 등)을 검출하고, 장애물과 위험물(예를 들면, 120) 및 도로 조건(예를 들면, 교통, 도로 조건, 기상 조건 등)을 검출하며, 그에 따라 차량의 제어 및 안내를 조정하는 운전자 보조를 제공할 수 있게 한다. 본 개시 내에서, "차량"은 한 명 이상의 인간 승객을 운반하도록 설계된 유인 차량(예를 들면, 자동차, 트럭, 밴, 버스, 모터사이클, 기차, 항공 운송 차량, 구급차 등), 인간 승객들이 있거나 없는 상태로 운전하는 무인 차량(예를 들면, 화물 차량(예를 들면, 트럭, 레일 기반 차량 등)), 비인간 승객들을 운송하기 위한 차량(예를 들면, 가축 운송 수단 등), 및/또는 드론(예를 들면, (예를 들면, 운전 환경에 관한 정보를 수집하고, 다른 차량들의 자동화에 도움을 제공하며, 도로 유지 관리 작업을 수행하고, 산업 작업을 제공하며, 공공 안전 및 비상 대응 작업을 제공하는 등을 위해) 운전 환경 내에서 이동해야 하는 지상 기반 또는 공중 드론 또는 로봇)일 수 있다. 일부 구현들에서, 차량은, 예들 중에서도, 다수의 상이한 모드들(예를 들면, 승용 차량, 무인 차량 또는 드론 차량)에서 번갈아 동작하도록 구성된 시스템일 수 있다. 차량은 지상(예를 들면, 포장 또는 비포장 도로, 경로 또는 지형)을 따라, 물을 통해 또는 공중을 통해 차량을 이동시키기 위해 환경 내에서 "운전"할 수 있다. 이러한 의미에서, "도로(road)" 또는 "도로(roadway)"는, 구현에 따라, 실외 또는 실내 지상 기반 경로, 수로 또는 규정된 공중 경계를 포함할 수 있다. 그에 따라, 이하의 개시 및 관련 실시예들이 다양한 콘텍스트들 및 차량 구현 예들에 동일하게 적용될 수 있음을 이해해야 한다.
일부 구현들에서, 차량 내 컴퓨팅 시스템들이 하나 이상의 기술(예를 들면, IEEE 802.11 통신(예를 들면, WiFi), 셀룰러 데이터 네트워크들(예를 들면, 3GPP(3rd Generation Partnership Project) 네트워크, GSM(Global System for Mobile Communication), 일반 패킷 무선 서비스, CDMA(code division multiple access) 등), 4G, 5G, 6G, 블루투스, 밀리미터 파(mmWave), ZigBee, Z-Wave 등)을 사용하여 차량 내 컴퓨팅 시스템들이, 다른 차량들의 차량 내 컴퓨팅 시스템들, 도로변 유닛들, 클라우드 기반 컴퓨팅 시스템들 또는 다른 지원 인프라스트럭처와 같은, 다른 컴퓨팅 시스템들에 연결하여 그와 통신할 수 있게 하는 무선 통신을 지원하는 통신 모듈들을 포함한다는 점에서 환경 내의 차량들(예를 들면, 105, 110, 115)은 "커넥티드(connected)"되어 있을 수 있다. 예를 들어, 일부 구현들에서, 차량들(예를 들면, 105, 110, 115)은 차량들의 자체 자율 주행 운전 능력을 지원하는 센서들, 데이터 및 서비스들을 제공하는 컴퓨팅 시스템들과 통신할 수 있다. 예를 들어, 도 1의 예시적인 예에 도시된 바와 같이, 예들 중에서도, 차량들을 통해 제공되는 자율 주행 운전 결과들을 지원하고 개선시키기 위해 차량들(예를 들면, 105, 110, 115)에 구현되는 컴퓨팅 시스템들, 센서들 및 로직과 별도로 지원 드론들(180)(예를 들면, 지상 기반 및/또는 공중), 도로변 컴퓨팅 디바이스들(예를 들면, 140), 다양한 외부(차량에 대해 외부에 있거나 "외재적(extraneous)"인) 센서 디바이스들(예를 들면, 160, 165, 170, 175 등) 및 다른 디바이스들이 자율 주행 운전 인프라스트럭처로서 제공될 수 있다. 차량들은 또한, 예시적인 통신들 중에서도, 자율 주행 운전 환경 내에서 데이터를 공유하고 움직임을 조율하기 위해 무선 통신 채널들을 통해 다른 커넥티드 차량들과 통신할 수 있다.
도 1의 예에 예시된 바와 같이, 자율 주행 운전 인프라스트럭처는 각종의 상이한 시스템들을 포함할 수 있다. 그러한 시스템들은 위치에 따라 달라질 수 있으며, 보다 많이 발달된 도로들(예를 들면, 특정 지방 자치 단체 또는 통행료 당국에 의해 통제되는 도로, 도시 지역에 있는 도로, 자율 주행 차량에 문제가 되는 것으로 알려진 도로 섹션 등)은 다른 도로 섹션들보다 더 많은 수의 또는 더 진보된 지원 인프라스트럭처 디바이스들 등을 갖는다. 예를 들어, 도로들의 부분들 및 환경 내에서 이동하는 차량들을 관측하고 센서들의 관측치들을 기술하거나 포함하는 대응하는 데이터를 생성하는 센서들을 포함하는 추가 센서 디바이스들(예를 들면, 160, 165, 170, 175)이 제공될 수 있다. 예로서, 센서 디바이스들은, 예들 중에서도, 도로 자체 내에 매립된 것(예를 들면, 센서(160)), 도로변 또는 오버헤드 사이니지(overhead signage) 상에 매립된 것(예를 들면, 표지판(125) 상의 센서(165)), 전자 도로변 장비 또는 장치물(예를 들면, 교통 신호등(예를 들면, 130), 전자 도로 표지판, 전자 광고판 등)에 부착된 센서(예를 들면, 170, 175), 전용 도로변 유닛(예를 들면, 140) 내에 내장된 것일 수 있다. 센서 디바이스들은 그들의 수집된 센서 데이터를 인근의 커넥티드 차량들에 또는 포그 기반 또는 클라우드 기반 컴퓨팅 시스템들(예를 들면, 140, 150)에 직접 통신하는 통신 능력을 또한 포함할 수 있다. 차량들은 외부 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)에 의해 수집되는 센서 데이터, 또는 이러한 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)로부터의 센서 데이터에 기초하여 다른 시스템들(예를 들면, 140, 150)에 의해 생성되는 관측치들 또는 권고사항들을 포함하는 데이터를 획득할 수 있고, 센서 융합, 추론, 경로 계획, 및 차량 내 자율 주행 운전 시스템에 의해 수행되는 다른 작업들에서 이 데이터를 사용할 수 있다. 일부 경우에, 그러한 외부 센서들 및 센서 데이터는, 실제로는, 예컨대, 차량에 부착된 애프터 마켓(after-market) 센서, 차량의 승객들에 의해 휴대되거나 착용된 개인용 컴퓨팅 디바이스(예를 들면, 스마트 폰, 웨어러블 등) 등의 형태로, 차량 내에 있을 수 있다. 보행자, 자전거, 드론, 무인 항공 차량, 로봇, 전자 스쿠터 등을 포함한 다른 도로 행위자들이 또한, 예들 중에서도, 자율 주행 차량들, 클라우드 기반 또는 포그 기반 지원 시스템들(예를 들면, 140, 150), 다른 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)에 의해 사용되고 소비될 수 있는, 자율 주행 운전 환경을 기술하는 센서 데이터를 생성하기 위해 센서들을 구비하거나 휴대할 수 있다.
자율 주행 차량 시스템들이 다양한 레벨의 기능성과 복잡성(sophistication)을 가질 수 있으므로, 일부 차량들의 감지 능력뿐만 아니라 일부 차량들의 자율 주행 운전 기능성을 가능하게 하는 컴퓨터 및 머신 러닝 기능성을 보완하기 위해 지원 인프라스트럭처가 요구될 수 있다. 예를 들어, 머신 러닝 모델 트레이닝 및 그러한 머신 러닝 모델들의 사용을 용이하게 하는 데 사용되는 컴퓨팅 리소스들 및 자율 주행 운전 로직이 차량 내 시스템들 및 일부 외부 시스템들(예를 들면, 140, 150) 둘 모두에서 완전히 또는 부분적으로 차량 내 컴퓨팅 시스템들 상에 제공되어 있을 수 있다. 예를 들어, 커넥티드 차량은 도로의 특정 세그먼트에 로컬인 도로변 유닛들, 에지 시스템들 또는 클라우드 기반 디바이스들(예를 들면, 140)과 통신할 수 있으며, 그러한 디바이스들(예를 들면, 140)은 데이터(예를 들면, 로컬 센서들(예를 들면, 160, 165, 170, 175, 180)로부터 집계되는 센서 데이터 또는 다른 차량들의 센서들로부터 보고되는 데이터)를 제공하고, 차량 본래의 능력을 보완하기 위해 차량에 의해 제공되는 데이터에 대해 (서비스로서) 계산을 수행하고/하거나 (예를 들면, 디바이스(140)에서 또는 인근의 센서 디바이스들 등으로부터 수집되는 센서 데이터에 기초하여) 지나가거나 접근하는 차량들에 정보를 푸시할 수 있다. 커넥티드 차량(예를 들면, 105, 110, 115)은 또한 또는 그 대신에, 유사한 메모리, 감지 및 계산 리소스들을 제공하여 차량에서 이용 가능한 것들을 향상시킬 수 있는, 클라우드 기반 컴퓨팅 시스템들(예를 들면, 150)과 통신할 수 있다. 예를 들어, 클라우드 기반 시스템(예를 들면, 150)은 (예시적인 구현들 중에서도, 클라우드 기반 시스템(150)과 통신하는 다양한 차량들(예를 들면, 105, 110, 115)에 결과들을 제공하기 위해, 또는 차량들의 차량 내 시스템들에 의한 사용을 위해 차량들에 결과들을 푸시하기 위해) 클라우드 기반 시스템에서 사용될 수 있는 머신 러닝 모델들을 구축 및/또는 트레이닝시키기 위해 하나 이상의 위치에 있는 다양한 디바이스들로부터 센서 데이터를 수집하고 이 데이터를 활용할 수 있다. 셀 폰 타워, 도로변 유닛, 다양한 도로 인프라스트럭처에 장착된 네트워크 액세스 포인트, 이웃 차량 또는 건물에 의해 제공되는 액세스 포인트, 및 다른 액세스 포인트와 같은, 액세스 포인트들(예를 들면, 145)이 환경 내에 제공되고 클라우드 기반 시스템들(예를 들면, 150)과 다양한 차량들(예를 들면, 105, 110, 115) 사이의 하나 이상의 로컬 영역 네트워크 또는 광역 네트워크(예를 들면, 155)를 통한 통신을 용이하게 하는 데 사용될 수 있다. 그러한 인프라스트럭처 및 컴퓨팅 시스템들을 통해, 본 명세서에서 논의되는 예들, 특징들 및 해결책들이 전적으로 그러한 차량 내 컴퓨팅 시스템들, 포그 기반 또는 에지 컴퓨팅 디바이스들, 또는 클라우드 기반 컴퓨팅 시스템들 중 하나 이상에 의해 또는 시스템들 간의 통신 및 협력을 통해 전술한 것들의 조합들에 의해 수행될 수 있음을 이해해야 한다.
일반적으로, 본 명세서에서 논의되는 "서버", "클라이언트", "컴퓨팅 디바이스", "네트워크 요소", "호스트", "플랫폼", "센서 디바이스", "에지 디바이스", "자율 주행 운전 시스템", "자율 주행 차량", "포그 기반 시스템", "클라우드 기반 시스템" 및 "시스템" 등은 일반적으로 자율 주행 운전 환경과 연관된 데이터 및 정보를 수신, 전송, 프로세싱, 저장 또는 관리하도록 동작 가능한 전자 컴퓨팅 디바이스들을 포함할 수 있다. 본 문서에서 사용되는 바와 같이, 용어 "컴퓨터", "프로세서", "프로세서 디바이스" 또는 "프로세싱 디바이스"는, 예들 중에서도, CPU(central processing unit)들, GPU(graphical processing unit)들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, DSP(digital signal processor)들, 텐서 프로세서들 및 다른 행렬 산술 프로세서들을 포함한, 임의의 적합한 프로세싱 장치를 포함하는 것으로 의도된다. 예를 들어, 환경 내에서 단일 디바이스로서 도시되어 있는 요소들은, 다수의 서버 컴퓨터들을 포함하는 서버 풀과 같은, 복수의 컴퓨팅 디바이스들 및 프로세서들을 사용하여 구현될 수 있다. 게다가, 컴퓨팅 디바이스들 중 임의의 것, 전부 또는 일부는, Linux, UNIX, Microsoft Windows, Apple OS, Apple iOS, Google Android, Windows Server 등을 포함한, 임의의 운영 체제는 물론, 맞춤형 및 독점 운영 체제들을 포함한, 특정 운영 체제의 실행을 가상화하도록 적응된 가상 머신을 실행하도록 적응될 수 있다.
아래에 기술되거나 도면들에 예시되는 다양한 컴포넌트들 중 임의의 것의 흐름, 방법, 프로세스(또는 그의 부분) 또는 기능성 중 임의의 것이, 하나 이상의 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 다른 적합한 컴퓨팅 로직과 같은, 임의의 적합한 컴퓨팅 로직에 의해 수행될 수 있다. "모듈", "엔진", "블록", "유닛", "모델", "시스템" 또는 "로직"에 대한 본 명세서에서의 언급은 하나 이상의 기능을 수행하는 하드웨어, 펌웨어, 소프트웨어 및/또는 각각의 조합들을 지칭할 수 있다. 일 예로서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 마이크로컨트롤러 또는 프로세서에 의해 실행되도록 적응된 코드를 저장하는 비일시적 매체와 연관된, 마이크로컨트롤러 또는 프로세서와 같은, 하나 이상의 하드웨어 컴포넌트를 포함할 수 있다. 따라서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직에 대한 언급은, 일 실시예에서, 비일시적 매체에 보유되는 코드를 인식 및/또는 실행하도록 특별히 구성된 하드웨어를 지칭할 수 있다. 게다가, 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직의 사용은 미리 결정된 동작들을 수행하기 위해 마이크로컨트롤러 또는 프로세서에 의해 실행되도록 특별히 적응된 코드를 포함하는 비일시적 매체를 지칭한다. 그리고 추론될 수 있는 바와 같이, 또 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 하드웨어와 비일시적 매체의 조합을 지칭할 수 있다. 다양한 실시예들에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 소프트웨어 명령어들을 실행하도록 동작 가능한 마이크로프로세서 또는 다른 프로세싱 요소, ASIC(application specific integrated circuit)과 같은 이산 로직, FPGA(field programmable gate array)와 같은 프로그래밍된 로직 디바이스, 명령어들을 포함하는 메모리 디바이스, (예를 들면, 인쇄 회로 기판에서 발견되는 바와 같은) 로직 디바이스들의 조합들, 또는 다른 적합한 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은, 예를 들면, 트랜지스터들에 의해 구현될 수 있는, 하나 이상의 게이트 또는 다른 회로 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 소프트웨어로서 완전히 구체화될 수 있다. 소프트웨어는 비일시적 컴퓨터 판독 가능 저장 매체에 기록된 소프트웨어 패키지, 코드, 명령어들, 명령어 세트들 및/또는 데이터로서 구체화될 수 있다. 펌웨어는 메모리 디바이스들에 하드 코딩된(예를 들면, 비휘발성인) 코드, 명령어들 또는 명령어 세트들 및/또는 데이터로서 구체화될 수 있다. 게다가, 별개인 것으로서 예시되는 로직 경계들이 통상적으로 달라지고 잠재적으로 중첩한다. 예를 들어, 제1 모듈과 제2 모듈(또는 다수의 엔진들, 블록들, 유닛들, 모델들, 시스템들 또는 로직들)이 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 공유할 수 있지만 잠재적으로 어떤 독립적인 하드웨어, 소프트웨어 또는 펌웨어를 보유할 수 있다.
아래에서 및 첨부 도면들에 기술되는 흐름들, 방법들 및 프로세스들은 단지 특정 실시예들에서 수행될 수 있는 기능들을 나타낸다. 다른 실시예들에서, 흐름들, 방법들 및 프로세스들에서 추가 기능들이 수행될 수 있다. 본 개시의 다양한 실시예들은 본 명세서에서 기술된 기능들을 달성하기 위한 임의의 적합한 시그널링 메커니즘들을 고려한다. 본 명세서에서 예시되는 기능들 중 일부가 적절한 경우 흐름들, 방법들 및 프로세스들 내에서 반복, 결합, 수정 또는 삭제될 수 있다. 추가적으로, 기능들이 특정 실시예들의 범위를 벗어나지 않으면서 흐름들, 방법들 및 프로세스들 내에서 임의의 적합한 순서로 수행될 수 있다.
이제 도 2를 참조하면, 자율 주행 운전 기능성을 갖춘 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)의 예시적인 구현을 예시하는 단순화된 블록 다이어그램(200)이 도시되어 있다. 일 예에서, 차량(105)은, 예들 중에서도, CPU(central processing unit)들, GPU(graphical processing unit)들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, DSP(digital signal processor)들, 텐서 프로세서들 및 다른 행렬 산술 프로세서들과 같은, 하나 이상의 프로세서(202)를 갖추고 있을 수 있다. 그러한 프로세서들(202)은, 예들 중에서도, 머신 러닝 추론 또는 트레이닝(아래에서 기술되는 머신 러닝 추론 또는 트레이닝 중 임의의 것을 포함함), 특정 센서 데이터(예를 들면, 카메라 이미지 데이터, LIDAR 포인트 클라우드 등)의 프로세싱, 자율 주행 운전에 관한 특정 산술 기능들(예를 들면, 행렬 산술, 콘볼루션 산술 등)을 수행하는 것에 관련된 기능들과 같은, 특정 프로세싱 및 메모리 액세스 기능들을 가속화하는 하드웨어를 구비할 수 있는 통합 하드웨어 가속기 디바이스들(예를 들면, 204)에 결합되거나 이를 가질 수 있다. 차량에 구현되는 자율 주행 운전 스택의 모듈들 또는 서브 모듈들 중 임의의 것의 전부 또는 일부를 구현하는 머신 실행 가능 명령어들을 저장하는 것은 물론, 머신 러닝 모델들(예를 들면, 256), 센서 데이터(예를 들면, 258), 및 차량에 의해 수행될 자율 주행 운전 기능성과 관련하여 수신, 생성 또는 사용되는(또는 본 명세서에서 논의되는 예들 및 해결책들과 관련하여 사용되는) 다른 데이터를 저장하기 위해 하나 이상의 메모리 요소(예를 들면, 206)가 제공될 수 있다. 하나 이상의 네트워크 통신 기술을 이용하는 하나 이상의 네트워크 채널을 통해 다른 외부 컴퓨팅 시스템들과 통신하기 위해 차량의 시스템에 의해 사용되는 통신 능력을 구현하기 위해 하드웨어 회로부 및/또는 소프트웨어로 구현되는 다양한 통신 모듈들(예를 들면, 212)이 또한 제공될 수 있다. 이러한 다양한 프로세서들(202), 가속기들(204), 메모리 디바이스들(206) 및 네트워크 통신 모듈들(212)은, 그 중에서도, 패브릭 이용 기술들 예컨대 PCIe(Peripheral Component Interconnect Express), 이더넷, OpenCAPITM, Gen-ZTM, UPI, USB(Universal Serial Bus), CCIXTM(Cache Coherent Interconnect for Accelerators), AMDTM(Advanced Micro DeviceTM)의 InfinityTM, CCI(Common Communication Interface), 또는 QualcommTM의 CentriqTM 인터커넥트와 같은, 하나 이상의 상호연결 패브릭 또는 링크(예를 들면, 208)를 통해 차량 시스템 상에서 상호연결될 수 있다.
도 2의 예를 계속하면, 예시적인 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)은, 하드웨어 및/또는 소프트웨어로 자율 주행 차량의 기능성을 구현한 예시적인 모듈들 중에서도, 차량 내 프로세싱 시스템(210), 운전 컨트롤들(예를 들면, 220), 센서들(예를 들면, 225) 및 사용자/승객 인터페이스(들)(예를 들면, 230)를 포함할 수 있다. 예를 들어, 차량 내 프로세싱 시스템(210)은, 일부 구현들에서, (예를 들면, 도 5의 예에서 도시되고 논의된 바와 같이) 자율 주행 운전 스택과 프로세스 흐름의 전부 또는 일부를 구현할 수 있다. 자율 주행 운전 스택은 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다. 본 명세서에서의 예들에서 논의된 것과 같은, 차량에서 또는 차량에 대해 제공 및 구현되는 하나 이상의 자율 주행 기능 및 특징과 관련하여 차량(105)에서 제공되는 다양한 머신 러닝 모델들(예를 들면, 256)을 활용하기 위해 머신 러닝 엔진(232)이 제공될 수 있다. 그러한 머신 러닝 모델들(256)은 인공 신경 네트워크 모델들, 콘볼루션 신경 네트워크들, 의사 결정 트리 기반 모델들, 서포트 벡터 머신들(SVM들), 베이지안 모델들, 딥 러닝 모델들, 및 다른 예시적인 모델들을 포함할 수 있다. 일부 구현들에서, 예시적인 머신 러닝 엔진(232)은 머신 러닝 모델들(256) 중 하나 이상의 트레이닝(예를 들면, 초기 트레이닝, 지속적 트레이닝 등)에 참여하는 하나 이상의 모델 트레이너 엔진(252)을 포함할 수 있다. 다양한 추론들, 예측들, 분류들 및 다른 결과들을 도출하는 데 트레이닝된 머신 러닝 모델들(256)을 활용하기 위해 하나 이상의 추론 엔진(254)이 또한 제공될 수 있다. 일부 실시예들에서, 본 명세서에서 기술된 머신 러닝 모델 트레이닝 또는 추론은 차량 외부에서(off-vehicle), 예컨대, 컴퓨팅 시스템(140 또는 150)에 의해 수행될 수 있다.
차량에 제공되는 머신 러닝 엔진(들)(232)은 자율 주행 운전 스택 및 다른 자율 주행 운전 관련 기능부들을 구현하는 차량 내 프로세싱 시스템(210)의 다른 논리 컴포넌트들 및 모듈들에 의한 사용을 위한 결과들을 지원 및 제공하기 위해 활용될 수 있다. 예를 들어, 데이터 수집 모듈(234)은 (예를 들면, 차량에 의해 사용되는 다양한 머신 러닝 모델들(256)의 트레이닝 또는 사용에서의 입력들에 대한) 데이터가 수집될 소스들을 결정하는 로직을 구비할 수 있다. 예를 들어, 특정 소스(예를 들면, 내부 센서들(예를 들면, 225) 또는 외부 소스들(예를 들면, 115, 140, 150, 180, 215 등))가 선택될 수 있는 것은 물론, 데이터가 샘플링될 수 있는 주파수 및 충실도(fidelity)가 선택된다. 일부 경우에, 그러한 선택들 및 구성들은 (예를 들면, 특정의 검출된 시나리오가 주어진 경우 적절하게 데이터를 수집하기 위해) 하나 이상의 대응하는 머신 러닝 모델을 사용하여 데이터 수집 모듈(234)에 의해 적어도 부분적으로 자율적으로 이루어질 수 있다.
차량 내 프로세싱 시스템의 머신 러닝 엔진(232) 및 다른 모듈들(예를 들면, 238, 240, 242, 244, 246 등)에 의해 활용되는 다양한 센서 입력들의 사용 및 프로세싱을 통제하기 위해 센서 융합 모듈(236)이 또한 사용될 수 있다. (예를 들면, 차량 상에 또는 차량 외부에 있는) 다수의 센서 데이터 소스들로부터 출력을 도출할 수 있는, 하나 이상의 센서 융합 모듈(예를 들면, 236)이 제공될 수 있다. 소스들은 동종 또는 이종 유형의 소스들(예를 들면, 공통 유형의 센서의 다수의 인스턴스들로부터의 다수의 입력들, 또는 다수의 상이한 유형의 센서들의 인스턴스들로부터의 다수의 입력들)일 수 있다. 예시적인 센서 융합 모듈(236)은, 예시적인 센서 융합 기술들 중에서도, 직접 융합(direct fusion), 간접 융합(indirect fusion)을 적용할 수 있다. 센서 융합의 출력은, 일부 경우에, 자율 주행 운전 기능성 또는, 본 명세서에서 논의되는 예시적인 해결책들에서 기술된 것과 같은, 다른 기능성을 제공하는 것과 관련하여 차량 내 프로세싱 시스템의 다른 모듈 및/또는 하나 이상의 머신 러닝 모델에 (잠재적으로 추가 입력들과 함께) 입력으로서 공급될 수 있다.
일부 예들에서, 차량(105)이 직면하는(또는 직면하게 될) 환경의 자율 인지에 대응하는 예시적인 기능들 중에서도, 검출된 대상체들의 대상체 인식 및/또는 추적을 수행하기 위해, 일부 경우에, 외부 소스들 및/또는 센서 융합 모듈(236)로부터의 데이터를 포함한 다양한 센서 데이터(예를 들면, 258)를 입력으로서 취할 수 있는, 인지 엔진(238)이 제공될 수 있다. 인지 엔진(238)은 딥 러닝을 사용하여, 예컨대, 하나 이상의 콘볼루션 신경 네트워크 및 다른 머신 러닝 모델(256)을 통해, 센서 데이터 입력들에 근거하여 대상체 인식을 수행할 수 있다. 센서 데이터 입력들에 근거하여, 대상체가 이동하고 있는지, 및, 만약 그렇다면, 어떤 궤적을 따라 이동하고 있는지를 자율적으로 추정하기 위해 대상체 추적이 또한 수행될 수 있다. 예를 들어, 주어진 대상체가 인식된 후에, 인지 엔진(238)은 주어진 대상체가 차량과 관련하여 어떻게 이동하는지를 검출할 수 있다. 그러한 기능성은, 예를 들어, 예시적인 사용들 중에서도, 도로 상의 차량의 경로에 영향을 미칠 수 있는, 환경 내에서 이동하는 다른 차량들, 보행자들, 야생 동물, 자전거 타는 사람들 등과 같은 대상체들을 검출하는 데 사용될 수 있다.
일부 구현들에서 차량 내 프로세싱 시스템(210) 내에 로컬화(localization) 엔진(240)이 또한 포함될 수 있다. 일부 경우에, 로컬화 엔진(240)은 인지 엔진(238)의 서브컴포넌트로서 구현될 수 있다. 로컬화 엔진(240)은 또한 차량의 고신뢰도 위치 및 주어진 물리적 공간(또는 "환경") 내에서 차량이 점유하는 공간을 결정하기 위해 하나 이상의 머신 러닝 모델(256) 및 (예를 들면, LIDAR와 GPS 데이터 등의) 센서 융합을 사용할 수 있다.
차량(105)은 환경 내에서의 차량(105)의 운전을 제어하기 위해 운전 컨트롤들(예를 들면, 220)에 의해 사용될 수 있는 차량에 대한 경로 계획 및/또는 실행 계획(action plan)을 결정하기 위해, 그 중에서도, 데이터 수집(234), 센서 융합(236), 인지 엔진(238) 및 로컬화 엔진(예를 들면, 240)과 같은 다양한 다른 모듈들(예를 들면, 추천 엔진(244))의 결과들을 사용할 수 있는, 경로 플래너(242)를 더 포함할 수 있다. 예를 들어, 경로 플래너(242)는 환경 내에서 실행할 효과적인 실시간 계획들을 결정하기 위해 운전 환경 내에서의 다양한 이벤트들의 확률들을 결정하는 데 이러한 입력들 및 하나 이상의 머신 러닝 모델을 활용할 수 있다.
일부 구현들에서, 차량(105)은 차량(105)의 자체 센서들(예를 들면, 225)에 의해 생성되는 센서 데이터는 물론 (예를 들면, 센서 디바이스들(115, 180, 215 등) 상의 외부 센서들로부터의 센서 데이터에 근거하여 다양한 추천들을 생성하는 하나 이상의 추천 엔진(244)을 포함할 수 있다. 차량의 자율 주행 운전 스택의 다른 컴포넌트들에 의해 행해지는 결정들에 영향을 미치기 위해 이러한 컴포넌트들에 대한 입력들로서 제공될 수 있는 일부 추천들이 추천 엔진(244)에 의해 결정될 수 있다. 예를 들어, 추천이 결정될 수 있고, 이 추천은, 경로 플래너(242)에 의해 고려될 때, 추천이 없었더라면 경로 플래너(242)로 하여금 통상적으로 다른 방식으로 결정할 결정들 또는 계획들로부터 벗어나게 한다. 추천들이 또한 승객 편안함 및 경험의 고려사항들에 기초하여 추천 엔진들(예를 들면, 244)에 의해 생성될 수 있다. 일부 경우에, 차량 내의 내부 기능부들이 (차량의 센서들 및/또는 외부 센서들 등에 의해 캡처되는 센서 데이터(예를 들면, 258)에 근거하여 결정되는) 이러한 추천들에 기초하여 예측적으로 및 자율적으로 조작될 수 있다.
위에서 소개된 바와 같이, 일부 차량 구현들은, 센서 데이터(예를 들면, 258)에 의해 캡처되는 관측치들에 기초하여 차량 내의 승객들의 경험을 향상시키기 위해 운전 기동들을 변경하고 차량의 객실 환경에 대한 변경들을 실시하도록 차량의 제어 유닛을 제어하기 위해 센서 데이터 및 차량의 자율 주행 운전 스택 내의 다른 모듈들의 출력들을 활용할 수 있는, 사용자/승객 경험 엔진들(예를 들면, 246)을 포함할 수 있다. 일부 경우에, 사용자들이 차량 및 그의 자율 주행 운전 시스템과 상호작용할 수 있게 하기 위해 차량 상에 제공되는 사용자 인터페이스들(예를 들면, 230)의 측면들이 향상될 수 있다. 일부 경우에, 예시적인 사용들 중에서도 차량(예를 들면, 105) 내에서의 승객 경험들에 영향을 미치고 개선시키는 데 도움을 주기 위해 정보 제공적 프레젠테이션들(예를 들면, 오디오, 시각적 및/또는 촉각적 프레젠테이션들)이 생성되고 사용자 디스플레이들을 통해 제공될 수 있다.
일부 경우에, 차량의 자율 주행 운전 시스템의 성능에 관련된 이슈들을 검출하기 위해 차량 상의 다양한 센서들에 의해 수집되는 정보를 모니터링하는, 시스템 관리자(250)가 또한 제공될 수 있다. 예를 들어, 계산 오류, 센서 사용 불능(outage) 및 이슈, (예를 들면, 통신 모듈들(212)을 통해 제공되는) 통신 채널의 이용 가능성 및 품질, 차량 시스템 검사(예를 들면, 모터, 변속기, 배터리, 냉방 시스템, 전기 시스템, 타이어 등에 관련된 이슈) 또는 다른 동작 이벤트들이 시스템 관리자(250)에 의해 검출될 수 있다. 그러한 이슈들은 시스템 관리자(250)에 의해 생성되는 시스템 보고 데이터에서 식별될 수 있으며, 이 시스템 보고 데이터는, 일부 경우에, 차량(105)의 자율 주행 운전 기능성에서 센서 데이터(258)에 수집되는 다른 정보와 함께 차량 시스템 건강(health) 및 이슈들이 또한 고려될 수 있게 하기 위해 머신 러닝 모델들(256) 및 관련 자율 주행 운전 모듈들(예를 들면, 232, 234, 236, 238, 240, 242, 244, 246 등)에 대한 입력들로서 활용될 수 있다.
일부 구현들에서, 차량(105)의 자율 주행 운전 스택은, 예들 중에서도, 조향 컨트롤들(예를 들면, 260), 액셀러레이터/스로틀 컨트롤들(예를 들면, 262), 제동 컨트롤들(예를 들면, 264), 시그널링 컨트롤들(예를 들면, 266)을 포함한, 차량이 어떻게 운전되는지에 영향을 미치는 운전 컨트롤들(220)과 결합될 수 있다. 일부 경우에, 차량은 또한 사용자 입력들에 전체적으로 또는 부분적으로 기초하여 제어될 수 있다. 예를 들어, 사용자 인터페이스들(예를 들면, 230)은 인간 운전자가 (예를 들면, 핸드오버(handover) 시에 또는 운전자 보조 실행(driver assist action) 이후에) 자율 주행 운전 시스템으로부터 제어권을 받을 수 있게 하는 운전 컨트롤들(예를 들면, 물리 또는 가상 조향 휠, 액셀러레이터, 브레이크, 클러치 등)을 포함할 수 있다. 음성 검출(292), 제스처 검출 카메라들(294) 및 다른 예들과 같은, 다른 센서들이 사용자/승객 입력들을 수용하기 위해 활용될 수 있다. 사용자 인터페이스들(예를 들면, 230)은 승객 사용자들의 욕구 및 의도를 포착할 수 있고, 차량(105)의 자율 주행 운전 스택은 이들을 차량의 운전을 제어하는 데 있어서의(예를 들면, 운전 컨트롤들(220)에서의) 추가 입력들로서 간주할 수 있다. 일부 구현들에서, 운전 컨트롤들은, 예컨대, 예시적인 구현들 중에서도, 승객이 운전 방향 또는 제어를 제공하기 위해 외부 디바이스(예를 들면, 스마트 폰 또는 태블릿)를 활용하는 경우에, 또는 외부 운전자 또는 시스템이 (예를 들면, 비상 이벤트에 기초하여) 차량의 제어권을 인계받는 원격 발레 서비스의 경우에, 외부 컴퓨팅 시스템들에 의해 통제될 수 있다.
위에서 논의된 바와 같이, 차량의 자율 주행 운전 스택은 차량 상에 및 차량 외부에 제공되는 다양한 센서들에 의해 생성되는 다양한 센서 데이터(예를 들면, 258)를 활용할 수 있다. 일 예로서, 차량(105)은 차량의 외부 및 주변 환경, 차량 시스템 상태, 차량 내의 조건, 및 차량의 프로세싱 시스템(210)의 모듈들에 의해 사용 가능한 다른 정보에 관련된 다양한 정보를 수집하기 위해 센서들(225)의 어레이를 가질 수 있다. 예를 들어, 그러한 센서들(225)은, 예시적인 센서들 중에서도, GPS(global positioning) 센서(268), LIDAR(light detection and ranging) 센서(270), 2D(two-dimensional) 카메라(272), 3D(three-dimensional) 또는 스테레오 카메라(274), 음향 센서(276), IMU(inertial measurement unit) 센서(278), 열 센서(280), 초음파 센서(282), 바이오 센서(284)(예를 들면, 얼굴 인식, 음성 인식, 심박수 센서, 체온 센서, 감정 검출 센서 등), 레이더 센서(286), 날씨 센서(도시되지 않음)를 포함할 수 있다. 그러한 센서들은, 예들 중에서도, 차량이 동작하는 환경(예를 들면, 날씨, 장애물, 교통, 도로 조건 등), 차량 내의 승객(예를 들면, 승객 또는 운전자 인식(awareness) 또는 각성(alertness), 승객 편안함 또는 기분, 승객 건강 또는 생리학적 조건 등), 차량의 다른 내용물(예를 들면, 소포, 가축, 화물, 수하물 등), 차량의 서브시스템의 다양한 속성들 및 조건들을 결정하기 위해 조합하여 활용될 수 있다. 센서 데이터(258)는 또한(또는 그 대신에), (차량 간 통신들(vehicle-to-vehicle communications) 또는 다른 기술들을 통해 차량(105)과 통신할 수 있는) 다른 차량들(예를 들면, 115) 상의 센서들, 지상 기반 또는 공중 드론들(180) 상의 센서들, 차량(105) 내부 또는 외부의 인간 사용자들에 의해 휴대되는 사용자 디바이스들(215)(예를 들면, 스마트 폰 또는 웨어러블)의 센서들, 및 도로변 유닛(예를 들면, 140), 도로 표지판, 교통 신호등, 가로등 등과 같은, 다른 도로변 요소들에 장착되거나 구비된 센서들을 포함한, 차량에 일체로 결합되지 않은 센서들에 의해 생성될 수 있다. 그러한 외부 센서 디바이스들로부터의 센서 데이터는, 예시적인 구현들 중에서도, 센서 디바이스들로부터 차량에 직접 제공될 수 있거나 또는 데이터 집계 디바이스들을 통해 또는 다른 컴퓨팅 시스템들(예를 들면, 140, 150)에 의해 이러한 센서들에 기초하여 생성된 결과로서 제공될 수 있다.
일부 구현들에서, 자율 주행 차량 시스템(105)은 디바이스(105)의 자율 주행 운전 기능성을 향상시키거나, 인에이블시키거나 또는 다른 방식으로 지원하기 위해 다른 컴퓨팅 시스템들과 인터페이싱하고 그들에 의해 제공되는 정보 및 서비스들을 활용할 수 있다. 일부 경우에, 일부 자율 주행 운전 기능부들(본 명세서에서 논의된 예시적인 해결책들 중 일부를 포함함)이 차량 외부의 컴퓨팅 시스템들의 서비스들, 컴퓨팅 로직, 머신 러닝 모델들, 데이터 또는 다른 리소스들을 통해 인에이블될 수 있다. 그러한 외부 시스템들이 차량에 이용 불가능할 때, 이러한 기능부들이 적어도 일시적으로 디스에이블될 수 있다. 예를 들어, 도로변 유닛들 또는 포그 기반 에지 디바이스들(예를 들면, 140), 다른(예를 들면, 상위 레벨) 차량들(예를 들면, 115) 및 클라우드 기반 시스템들(150)(예를 들면, 다양한 네트워크 액세스 포인트들(예를 들면, 145)을 통해 액세스 가능함)에서 호스팅되는, 외부 컴퓨팅 시스템들이 제공되고 활용될 수 있다. 차량(예를 들면, 105)과 상호작용하는 도로변 유닛(140) 또는 클라우드 기반 시스템(150)(또는 다른 협력 시스템)은, 잠재적으로 추가 기능성 및 로직과 함께, 예시적인 차량 내 프로세싱 시스템(예를 들면, 210)에 속하는 것으로 예시된 로직의 전부 또는 일부를 포함할 수 있다. 예를 들어, 클라우드 기반 컴퓨팅 시스템, 도로변 유닛(140), 또는 다른 컴퓨팅 시스템은 모델 트레이닝 및 추론 엔진 로직 중 어느 하나 또는 둘 모두를 지원하는 머신 러닝 엔진을 포함할 수 있다. 예를 들어, 그러한 외부 시스템들은 보다 고급의 컴퓨팅 리소스들 및 보다 발달되거나 최신의 머신 러닝 모델들을 가질 수 있어, 이러한 서비스들이 차량의 프로세싱 시스템(210)에서 기본적으로 생성되는 것보다 우수한 결과를 제공할 수 있게 한다. 예를 들어, 차량 내 프로세싱 시스템(210)은 특정 작업들 및 특정 시나리오들을 처리하는 것을 위해 클라우드 기반 서비스를 통해 제공되는 머신 러닝 트레이닝, 머신 러닝 추론 및/또는 머신 러닝 모델들에 의존할 수 있다. 실제로, 차량(105)에 속하는 것으로 논의되고 예시된 모듈들 중 하나 이상이, 일부 구현들에서, 자율 주행 운전 환경을 지원하는 클라우드 기반, 포그 기반 또는 다른 컴퓨팅 시스템 내에서 대안적으로 또는 중복적으로 제공될 수 있음을 이해해야 한다.
본 명세서에서의 다양한 실시예들은 자율 주행 차량 스택의 기능들(또는 본 명세서에서 기술된 다른 기능들)을 수행하기 위해 하나 이상의 머신 러닝 모델을 활용할 수 있다. 특정 작업의 성능을 점진적으로 개선시키기 위해 컴퓨팅 시스템에 의해 머신 러닝 모델이 실행될 수 있다. 일부 실시예들에서, 머신 러닝 모델의 파라미터들이 트레이닝 페이즈 동안 트레이닝 데이터에 기초하여 조정될 수 있다. 이어서 트레이닝된 머신 러닝 모델이 입력 데이터에 기초하여 예측 또는 결정을 하기 위해 추론 페이즈 동안 사용될 수 있다.
본 명세서에서 기술된 머신 러닝 모델들은 임의의 적합한 형태를 취하거나 임의의 적합한 기술들을 활용할 수 있다. 예를 들어, 머신 러닝 모델들 중 임의의 것은 지도 학습, 준지도 학습, 비지도 학습 또는 강화 학습 기술들을 활용할 수 있다.
지도 학습에서는, 모델이 입력들 및 대응하는 원하는 출력들 둘 모두를 포함하는 트레이닝 데이터 세트를 사용하여 구축될 수 있다. 각각의 트레이닝 인스턴스는 하나 이상의 입력 및 원하는 출력을 포함할 수 있다. 트레이닝은 트레이닝 인스턴스들을 통해 반복하는 것 및 새로운 입력들에 대한 출력을 예측하도록 모델을 가르치기 위해 목적 함수를 사용하는 것을 포함할 수 있다. 준지도 학습에서는, 트레이닝 세트의 입력들 중 일부가 원하는 출력들을 누락할 수 있다.
비지도 학습에서는, 모델이 입력들만을 포함하고 원하는 출력들을 포함하지 않는 데이터 세트로부터 구축될 수 있다. 비지도 모델은 데이터에서 패턴들을 발견하는 것에 의해 데이터에서의 구조(예를 들면, 데이터 포인트들의 그룹화 또는 클러스터링)를 찾는 데 사용될 수 있다. 비지도 학습 모델에서 구현될 수 있는 기술들은, 예를 들면, 자기 조직화 맵, 최근접 이웃 매핑, k 평균 클러스터링 및 특이값 분해를 포함한다.
강화 학습 모델들은 정확도를 개선시키기 위해 긍정적 피드백 또는 부정적 피드백을 제공받을 수 있다. 강화 학습 모델은 하나 이상의 목적/보상을 최대화하려고 시도할 수 있다. 강화 학습 모델에서 구현될 수 있는 기술들은, 예를 들면, Q 러닝, 시간차(TD) 및 심층 적대 네트워크들을 포함할 수 있다.
본 명세서에서 기술된 다양한 실시예들은 하나 이상의 분류 모델을 활용할 수 있다. 분류 모델에서, 출력들은 제한된 값 세트로 제한될 수 있다. 분류 모델은 하나 이상의 입력 값의 입력 세트에 대한 클래스를 출력할 수 있다. 분류 모델에 대한 본 명세서에서의 언급들은, 예를 들면, 다음과 같은 기술들: 선형 분류기(예를 들면, 로지스틱 회귀 또는 나이브 베이즈 분류기), 서포트 벡터 머신, 의사 결정 트리, 부스티드 트리(boosted tree), 랜덤 포레스트, 신경 네트워크 또는 최근접 이웃 중 임의의 하나 이상을 구현하는 모델을 고려할 수 있다.
본 명세서에서 기술된 다양한 실시예들은 하나 이상의 회귀 모델을 활용할 수 있다. 회귀 모델은 하나 이상의 값의 입력 세트에 기초하여 연속적인 범위로부터의 숫자 값을 출력할 수 있다. 회귀 모델에 대한 본 명세서에서의 언급들은, 예를 들면, 다음과 같은 기술들(또는 다른 적합한 기술들): 선형 회귀, 의사 결정 트리, 랜덤 포레스트 또는 신경 네트워크들 중 임의의 하나 이상을 구현하는 모델을 고려할 수 있다.
다양한 실시예들에서, 본 명세서에서 논의되는 머신 러닝 모델들 중 임의의 것은 하나 이상의 신경 네트워크를 활용할 수 있다. 신경 네트워크는 시냅스들에 의해 연결되는 대규모 뉴런 클러스터들을 포함하는, 생물학적 뇌의 구조를 따라 느슨하게 모델링된 신경 단위들의 그룹을 포함할 수 있다. 신경 네트워크에서, 신경 단위들은 연결된 신경 단위들의 활성화 상태에 대한 영향에서 흥분성(excitatory)이거나 억제성(inhibitory)일 수 있는 링크들을 통해 다른 신경 단위들에 연결된다. 신경 단위는 신경 단위의 막 전위(membrane potential)를 업데이트하기 위해 자신의 입력들의 값들을 활용하는 함수를 수행할 수 있다. 신경 단위는 신경 단위와 연관된 임계치가 초과될 때 스파이크 신호(spike signal)를 연결된 신경 단위들로 전파할 수 있다. 신경 네트워크는, 컴퓨터 비전 작업, 음성 인식 작업, 또는 다른 적합한 컴퓨팅 작업과 같은, 다양한 데이터 프로세싱 작업들(자율 주행 차량 스택에 의해 수행되는 작업들을 포함함)을 수행하도록 트레이닝되거나 다른 방식으로 적응될 수 있다.
도 3은 특정 실시예들에 따른 신경 네트워크(300)의 예시적인 부분을 예시한다. 신경 네트워크(300)는 신경 단위들(X1 내지 X9)을 포함한다. 신경 단위들(X1 내지 X4)은 제각기 (신경 네트워크(300)가 출력을 프로세싱하는 동안 일정하게 유지될 수 있는) 1차 입력들(primary inputs)(I1 내지 I4)을 수신하는 입력 신경 단위들이다. 임의의 적합한 1차 입력들이 사용될 수 있다. 일 예로서, 신경 네트워크(300)가 이미지 프로세싱을 수행할 때, 1차 입력 값은 이미지로부터의 픽셀의 값일 수 있다(그리고 1차 입력의 값은 이미지가 프로세싱되는 동안 일정하게 유지될 수 있다). 다른 예로서, 신경 네트워크(300)가 음성 프로세싱을 수행할 때, 특정 입력 신경 단위에 인가되는 1차 입력 값은 입력 음성의 변화들에 기초하여 시간에 따라 변할 수 있다.
특정 토폴로지 및 연결성 스킴이 도 3에 도시되어 있지만, 본 개시의 교시는 임의의 적합한 토폴로지 및/또는 연결성을 갖는 신경 네트워크들에서 사용될 수 있다. 예를 들어, 신경 네트워크는 피드포워드 신경 네트워크, 순환 네트워크, 또는 신경 단위들 간의 임의의 적합한 연결성을 가진 다른 신경 네트워크일 수 있다. 다른 예로서, 신경 네트워크가 입력 계층, 은닉 계층 및 출력 계층을 갖는 것으로 묘사되어 있지만, 신경 네트워크는 임의의 적합한 방식으로 배열된 임의의 적합한 계층들을 가질 수 있다. 묘사된 실시예에서, 2개의 신경 단위 사이의 각각의 링크는 2개의 신경 단위 사이의 관계의 강도를 나타내는 시냅스 가중치를 갖는다. 시냅스 가중치들은 WXY로서 묘사되며, 여기서 X는 시냅스전 신경 단위(pre-synaptic neural unit)를 나타내고 Y는 시냅스후 신경 단위(post-synaptic neural unit)를 나타낸다. 신경 단위들 사이의 링크들은 연결된 신경 단위들의 활성화 상태에 대한 영향에서 흥분성 또는 억제성일 수 있다. 예를 들어, X1으로부터 X5로 전파되는 스파이크는 W15의 값에 따라 X5의 막 전위를 증가 또는 감소시킬 수 있다. 다양한 실시예들에서, 연결들은 유향(directed)이거나 무향(undirected)일 수 있다.
다양한 실시예들에서, 신경 네트워크의 각각의 시간 스텝(time-step) 동안, 신경 단위는, 각자의 시냅스들을 통해 신경 단위에 연결되는 신경 단위들(이러한 신경 단위 세트는 신경 단위의 팬인(fan-in) 신경 단위들이라고 지칭됨) 중 하나 이상으로부터의 바이어스 값 또는 하나 이상의 입력 스파이크와 같은, 임의의 적합한 입력들을 수신할 수 있다. 신경 단위에 적용되는 바이어스 값은 입력 신경 단위에 인가되는 1차 입력 및/또는 신경 단위에 인가되는 어떤 다른 값(예를 들면, 신경 네트워크의 트레이닝 또는 다른 동작 동안 조정될 수 있는 상수 값)의 함수일 수 있다. 다양한 실시예들에서, 각각의 신경 단위는 자체 바이어스 값과 연관될 수 있거나 또는 바이어스 값이 다수의 신경 단위들에 적용될 수 있다.
신경 단위는 그의 입력들의 값들 및 그의 현재 막 전위를 활용하여 함수를 수행할 수 있다. 예를 들어, 업데이트된 막 전위를 생성하기 위해 신경 단위의 현재 막 전위에 입력들이 가산될 수 있다. 다른 예로서, 시그모이드 전달 함수와 같은, 비선형 함수가 입력들 및 현재 막 전위에 적용될 수 있다. 임의의 다른 적합한 함수가 사용될 수 있다. 이어서 신경 단위는 함수의 출력에 기초하여 그의 막 전위를 업데이트한다.
도 4를 참조하면, 다양한 차량들에서 (예를 들면, 그들의 대응하는 차량 내 컴퓨팅 시스템들에 의해) 지원될 수 있는, 예시적인 자율 주행 운전 레벨들을 예시하는 단순화된 블록 다이어그램(400)이 도시되어 있다. 예를 들어, 다양한 레벨들(예를 들면, L0(405) 내지 L5(435))이 정의될 수 있으며, 레벨 5(L5)는 최고 레벨의 자율 주행 운전 기능성(예를 들면, 완전 자동화(full automation))을 가진 차량들에 대응하고 레벨 0(L0)은 최저 레벨의 자율 주행 운전 기능성(예를 들면, 비자동화(no automation))에 대응한다. 예를 들어, L5 차량(예를 들면, 435)은, 극단적인 도로 조건 및 날씨를 포함하여, 모든 운전 시나리오에서 인간 운전자에 의해 제공되는 것과 동일하거나 더 나은 자율 주행 운전 성능을 제공할 수 있는 완전 자율 주행 컴퓨팅 시스템을 가질 수 있다. L4 차량(예를 들면, 430)도 완전 자율 주행으로 간주될 수 있으며 안전 필수(safety-critical) 운전 기능들을 자율적으로 수행할 수 있고 출발 위치로부터 목적지까지의 전체 여정에 걸쳐 도로 조건들을 효과적으로 모니터링할 수 있다. L4 차량들은, 모든 운전 시나리오들을 포함하지 않을 수 있는 차량의 "운영 설계 도메인(operational design domain)"의 한계 내에서 L4의 자율 주행 능력이 정의된다는 점에서, L5 차량들과 상이할 수 있다. L3 차량들(예를 들면, 420)은 특정 교통 및 환경 조건들의 세트에서 안전 필수 기능들을 차량으로 완전히 넘기는 자율 주행 운전 기능성을 제공하지만 여전히 모든 다른 시나리오들에서의 운전을 처리하기 위해 인간 운전자의 관여와 이용 가능성을 기대한다. 그에 따라, L3 차량들은 인간 운전자로부터 자율 주행 운전 스택으로 및 원래로의 제어권의 이전을 조율하기 위해 핸드오버 프로토콜들을 제공할 수 있다. L2 차량들(예를 들면, 415)은, 운전자의 손과 발 둘 모두가 차량의 물리적 제어로부터 주기적으로 해방될 수 있도록, 운전자가 차량을 물리적으로 동작시키는 것으로부터 때때로 해방될 수 있게 하는 운전자 보조 기능성을 제공한다. L1 차량들(예를 들면, 410)은 하나 이상의 특정 기능(예를 들면, 조향, 제동 등)의 운전자 보조를 제공하지만 여전히 차량의 대부분의 기능들에 대한 끊임없는 운전자 제어를 필요로 한다. L0 차량들은 자율 주행이 아닌 것으로 간주될 수 있다 - 인간 운전자가 차량의 운전 기능성 전부를 제어한다(그렇지만 그러한 차량들이 그럼에도 불구하고 차량 내의 GPS 및 인포테인먼트 서비스들 등을 향상시키기 위해 센서 데이터를 사용하여, 예컨대, 센서 데이터를 상위 레벨 차량들에 제공하는 것에 의해, 자율 주행 운전 환경에 수동적으로 참여할 수 있다) -. 일부 구현들에서, 단일 차량이 다수의 자율 주행 운전 레벨들에서의 동작을 지원할 수 있다. 예를 들어, 운전자는 주어진 여정 동안 어떤 지원되는 자율성 레벨(예를 들면, L4 또는 더 낮은 레벨)이 사용되는지를 제어 및 선택할 수 있다. 다른 경우에, 차량은, 예를 들어, 도로 또는 차량의 자율 주행 운전 시스템에 영향을 미치는 조건들에 기초하여, 레벨들 사이에서 자율적으로 토글할 수 있다. 예를 들어, 하나 이상의 센서가 손상되었음을 검출하는 것에 응답하여, L5 또는 L4 차량은, 예들 중에서도, 센서 이슈를 고려하여 인간 승객을 관여시키기 위해 더 낮은 모드(예를 들면, L2 이하)로 전환될 수 있다.
도 5는 일부 자율 주행 운전 시스템들에서 구현될 수 있는 예시적인 자율 주행 운전 흐름을 예시하는 단순화된 블록 다이어그램(500)이다. 예를 들어, 자율 주행(또는 반자율 주행) 차량에서 구현되는 자율 주행 운전 흐름은 감지 및 인지(sensing and perception) 스테이지(505), 계획 및 결정(planning and decision) 스테이지(510), 및 제어 및 실행(control and action) 페이즈(515)를 포함할 수 있다. 감지 및 인지 스테이지(505) 동안, 데이터가 다양한 센서들에 의해 생성되고 자율 주행 운전 시스템에 의한 사용을 위해 수집된다. 데이터 수집은, 일부 경우에, 데이터 필터링 및 외부 소스들로부터 센서를 수신하는 것을 포함할 수 있다. 이 스테이지는 센서 융합 동작들 및 하나 이상의 머신 러닝 모델을 사용하여 수행되는, 로컬화와 같은, 대상체 인식 및 다른 인지 작업들을 또한 포함할 수 있다. 계획 및 결정 스테이지(510)는 전방 도로(들)의 확률적 예측들을 수행하고 이러한 예측들에 기초하여 실시간 경로 계획을 결정하기 위해 센서 데이터 및 다양한 인지 동작들의 결과들을 활용할 수 있다. 계획 및 결정 스테이지(510)는 장애물들 및 다른 이벤트들의 검출에 반응하여 이러한 이벤트들을 고려하여 결정된 경로를 안전하게 운행하기 위해 행동을 취해야 하는지 여부 및 어떤 행동을 취해야 하는지를 결정하도록 경로 계획에 관련된 결정을 내리는 것을 추가로 포함할 수 있다. 계획 및 결정 스테이지(510)의 경로 계획 및 결정들에 기초하여, 제어 및 실행 스테이지(515)는 조향, 가속 및 제동을 포함한 운전 컨트롤들은 물론, 방향 지시등, 센서 클리너, 윈도실드 와이퍼, 헤드라이트 등과 같은 보조 컨트롤들을 조작하기 위해 액추에이터를 통해 이러한 결정들을 행동들로 변환할 수 있다.
일부 구현들에서, 자율 주행 운전 스택은 "감지, 계획, 실행" 모델을 활용할 수 있다. 예를 들어, 도 6은 적어도 하나의 실시예에 따른 자율 주행 차량들을 제어하기 위한 예시적인 "감지, 계획, 실행" 모델(600)을 도시한다. 모델(600)은 일부 경우에 자율 주행 차량 제어 파이프라인이라고도 지칭될 수 있다. 도시된 예에서, 감지/인지 시스템(602)은, 움직이는 에이전트와 움직이지 않는 에이전트 및 감지 요소에 대한 이들의 현재 위치를 포함하여, 환경의 (센서 융합을 통한) 디지털 구성을 가능하게 하는 단일 유형의 센서들 또는 멀티 모달 센서들의 조합(예를 들면, LIDAR, 레이더, 카메라(들), 도시된 바와 같은 HD 지도, 또는 다른 유형의 센서들)을 포함한다. 이는 자율 주행 차량이 그의 주변 환경에 대한 내부 표현을 구성하고 해당 표현(환경 모델이라고 지칭될 수 있음) 내에 자신을 배치할 수 있게 한다. 환경 모델은, 일부 경우에서, 세 가지 유형의 컴포넌트: 환경에 관한 정적 정보(HD 지도과 상관될 수 있음), 환경에 관한 동적 정보(예를 들면, 현재 위치 정보 및 속도 벡터에 의해 표현될 수 있는, 도로 상의 움직이는 대상체) 및 자율 주행 차량이 모델 내에서 들어맞는 곳을 나타내는 자차(Ego) 로컬화 정보를 포함할 수 있다.
이어서 환경 모델은 차량 내 자율 주행 운전 시스템의 계획 시스템(604)에 공급될 수 있으며, 차량 내 자율 주행 운전 시스템은 능동적으로 업데이트된 환경 정보를 취하고 이러한 환경 조건들의 예측된 거동에 응답하여 실행 계획(plan of action)(예를 들면, 루트 정보, 거동 정보, 예측 정보 및 궤적 정보를 포함할 수 있음)을 구성한다. 계획은 이어서 작동 시스템(606)에 제공되고, 작동 시스템(606)은 (예를 들면, 자율 주행 차량의 액셀러레이터(gas), 브레이크 및 조향 시스템을 작동시키는 것에 의해) 상기 계획에 따라 자동차를 작동시킬 수 있다.
하나 이상의 양태에서, 사회적 규범 모델링 시스템(608)은 감지 시스템과 계획 시스템 사이에 존재하고, 계획 시스템에 대한 병렬 입력으로서 기능한다. 제안된 사회적 규범 모델링 시스템은 차량의 거동을 특정 위치에서 관측되는 사회적 규범에 적응시키는 것을 목표로 차량의 환경에 관한 적응적 의미론적 거동 이해를 제공하는 역할을 한다. 예를 들어, 도시된 예에서, 사회적 규범 모델링 시스템(608)은, 계획 시스템(604)에 의해 사용되는 거동 모델과 함께, 인지 시스템(602)에 의해 생성되는 환경 모델을 수신하고, 그러한 정보를 입력으로서 사용하여 사회적 규범 모델을 결정하며, 사회적 규범 모델은 고려를 위해 계획 시스템(604)에 다시 제공될 수 있다.
사회적 규범 모델링 시스템(608)은 차량의 감지 컴포넌트들로부터의 감각 정보를 취하고 사회적 운전 규범들의 위치 기반 거동 모델들을 형성할 수 있다. 이 정보는, 인간 운전자들이 일반 도로 협상에서 고려하는 것에 대해 자율 주행 차량을 덜 위험 회피적으로 만드는 방식으로 인간 운전자 거동을 정량화하고 해석하는 데 활용될 수 있으므로, 소심한 자율 주행 차량 거동을 해결하는 데 유용할 수 있다. 예를 들어, 현재 모델들은 계산된 접근법을 취할 수 있고 따라서 특정 조치가 취해질 때 충돌 위험을 측정할 수 있지만; 이러한 접근법만으로는 난폭 운전이 사회적 규범인 환경에서 고속도로를 잘 빠져나갈 때 자율 주행 차량을 무력하게 만들 수 있다.
도 7은 적어도 하나의 실시예에 따른 단순화된 사회적 규범 이해 모델(700)을 예시한다. 사회적 규범 이해 모델은, 자율 주행 차량 제어 파이프라인(600)의 사회적 규범 모델링 시스템(608)과 같은, 자율 주행 차량 제어 파이프라인의 사회적 규범 모델링 시스템에 의해 구현될 수 있다.
도시된 예에서, 사회적 규범 모델링 시스템은 먼저 702에서 자율 주행 차량에 대한 환경 모델과 거동 모델을 로딩한다. 환경 모델은 (예를 들면, 도 6에 도시된 바와 같은) 자율 주행 차량 제어 파이프라인의 인지 시스템으로부터 사회적 규범 모델링 시스템으로 전달되는 환경 모델일 수 있다. 거동 정책은 (예를 들면, 도 6에 도시된 바와 같은) 자율 주행 차량 제어 파이프라인의 계획 페이즈로부터 수신될 수 있다. 일부 경우에, 계획 페이즈에 의해 사용되는 기본 거동 정책이 송신될 수 있다. 다른 경우에, 거동 정책은 인지 시스템에 의해 계획 시스템에 전달되는 환경 모델에 기초할 수 있다.
704에서, 사회적 규범 모델링 시스템은 환경 모델에 의해 묘사되는 시나리오가 기존의 사회적 규범 프로파일에 매핑되는지 여부를 결정한다. 만약 그렇다면, 기존의 사회적 규범 프로파일이 참조를 위해 로딩된다. 만약 그렇지 않다면, 새로운 사회적 규범 프로파일이 생성된다. 새로 생성된 사회적 규범 프로파일은 사회적 규범을 기술하는 기본 제약 또는 다른 정보를 포함할 수 있다. 각각의 사회적 규범 프로파일은 특정 시나리오/환경(예를 들면, 자율 주행 차량 주위의 자동차들의 수, 하루 중 시간, 주변 차량들의 속력, 기상 조건 등)과 연관될 수 있으며, 거동 정책과 관련하여 사회적 규범을 기술하는 제약(아래에 더 기술됨) 또는 다른 정보를 포함할 수 있다. 각각의 사회적 규범 프로파일은 또한 특정 지리적 위치와 연관될 수 있다. 예를 들어, 상이한 지리적 위치들에서 동일한 시나리오가 제시될 수 있지만, 관측된 거동들이 상이한 위치들에서 상당히 상이할 수 있기 때문에, 각각의 시나리오가 상이한 대응하는 사회적 규범 프로파일을 가질 수 있다.
다음으로, 710에서, 사회적 규범 모델링 시스템은 환경 모델에서 동적 정보를 관측한다. 동적 정보는 동적 장애물들(예를 들면, 도로 상의 다른 차량들 또는 사람들)에 관한 거동 정보를 포함할 수 있다. 사회적 규범 모델링 시스템은 이어서, 병렬로: (1) 712에서 동적 장애물들이 나타내는 관측된 거동의 변동을 결정하거나 추정하고, (2) 714에서 자율 주행 차량 자체의 거동으로부터의 동적 장애물들이 나타내는 관측된 거동의 편차를 결정하거나 추정한다. 예를 들어, 모델은 712에서 다른 차량들의 관측된 거동이 702에서 로딩된 거동 모델의 현재 파라미터들 내에 있는지 여부를 결정할 수 있고, 714에서 차량들의 거동 간의 편차가 거동 모델의 현재 파라미터들 내에 있는지 여부를 결정할 수 있다.
결정된 변동 및 편차에 기초하여, 사회적 규범 이해 모델은 716에서 관측된 사회적 규범이 사회적 규범 프로파일로부터 변경되었는지 여부를 결정할 수 있다. 만약 그렇다면, 새로운 정보(예를 들면, 아래에서 기술되는 바와 같은 제약)가 사회적 규범 프로파일에 저장될 수 있다. 만약 그렇지 않다면, 모델은 720에서 시나리오가 변경되었는지 여부를 결정할 수 있다. 만약 그렇지 않다면, 모델은 계속해서 동적 정보를 관측하고 위에서 기술된 바와 같이 관측된 거동의 변동 및 편차를 결정한다. 시나리오가 변경된 경우, 모델은, 702에서 시작하여, 프로세스를 처음부터 수행한다.
일부 실시예들에서, 사회적 규범 이해 모델(700)은 자차 거동 정책에 대한 관측 기반 제약으로서 사회적 규범을 생성하는 일을 담당할 수 있다. 이러한 제약의 생성은 주변 차량들의 시나리오에서의 시간 추적 거동으로부터 도출될 수 있다. 상세하게는, 2개의 프로세스가 병렬로 실행될 수 있다:
이러한 2개의 병렬 프로세스의 결과는 사회적 규범을 형성하는 거동 경계 한계를 결정하는 데 사용될 수 있다. 이러한 사회적 규범(예를 들면, 경계 한계)은 이어서 특정 운전 시나리오에 적합한 제약으로서 작용하기 위해 계획 모듈로 반환될 수 있다. 병렬 프로세스들에서 관측되는 거동의 변동과 편차에 따라, 결과적인 사회적 규범은 거동 플래너에 보다 엄격하거나 느슨해진 제약을 적용할 수 있어, 보다 자연스러운 운전 거동을 가능하게 할 수 있다. 일부 경우에, 사회적 규범 구성은 도로 지오메트리(road geometry) 및 신호 체계(signaling)와 같은 시나리오 특성들은 물론 관측된 주변 차량들에 따라 달라질 수 있다. 자차와 상호작용하는 차량 참여자들의 수와 도로 환경의 조합으로부터 상이한 사회적 규범들이 등장할 수 있다. 일부 경우에, 모델은 시간에 따라 발생하는 사회적 규범의 변화를 허용할 수 있다.
하나의 예시적인 구현에서, 시나리오는 HD 지도의 일부로서 차선들을 명시하는 로드맵 지오메트리와 
에 의해 특징지어지는 상태들을 가진 이러한 차선들에 배치된 차량들로 구성될 수 있으며, 여기서 
는 위치를 나타내고, 
는 방향을 나타내며, 
는 각각의 차량 i의 속도를 나타낸다. 따라서, 다수의(m개의) 차량 상태가 집합 
으로서 제공될 수 있다. 차량들 각각에 대한 궤적들은 시간 간격을 두고 다음과 같은 비용 함수를 사용하여 계산할 수 있다:
여기서 
는 거동 모델과 관련하여 관측된 차량 제어 차이이다. 정의된 관측 윈도 N에 걸쳐 비용 함수를 적용하는 것은 궤적 
를 생성한다. 이러한 궤적 계획에 대한 제약은 정적 장애물로부터 
로서 검색될 수 있거나, 동적 장애물(안전 제약)로부터 
로서 검색될 수 있거나 또는 특정 출력의 실현 가능성으로부터 
로서 검색될 수 있다. 차량들 각각 간의 상호작용은 
로서 관측될 수 있으며, 관측된 상호작용으로부터 제약의 변화가 (예를 들면, 비용 함수 
를 최소화하는 것에 의해) 도출될 수 있다. 도출된 제약은 시나리오에 대한 "사회적 규범"으로 간주될 수 있고, 일부 실시예들에서, 궤적 계획을 위한 자차 비용 함수(ego cost function)에 직접 적용되도록 계획 시스템에 전달될 수 있다. 다른 구현들은 제약을 도출하기 위해 다른 비용 함수들을 사용할 수 있다. 일부 경우에, 예를 들어, 구현들은 사회적 규범을 학습하기 위해 신경 네트워크를 사용하는 것 또는 부분적으로 관측 가능한 마르코프 의사 결정 프로세스를 포함할 수 있다.
(예를 들면, 난폭 운전에 대한) 운전 문화/사회적 규범에 대한 이해가 알려져 있을 때, 위험 감소가 도로 상의 다른 에이전트들에 의해 예상되고 있는 위험에 대해 아는 것으로부터 비롯되기 때문에 계획 시스템이 다소 공격적이고 위험을 감수하기 위해 협상 전술을 변경하도록 적응될 수 있다. 게다가, 사회적 규범들을 모니터링하는 것에 의해, 거동 모델이 다수의 지리적 위치들에 대한 설계일 수 있고 시간이 지남에 따라 개선될 수 있으므로, 특정 지리적 콘텍스트에 맞게 설계된 자율 주행 운전 시스템에서의 이슈가 해결될 수 있다. 이 접근법은 또한 사회적 운전 규범의 생성 및 배포를 위한 기반을 구축한다. 자율 주행 차량이 도로 상의 집단의 대부분이 됨에 따라, 이러한 적응적 의미론적 거동 이해 시스템은 모든 도로 행위자들에 대한 도로 협상을 좌우할 수 있는 공유 거동 모델을 가능하게 할 수 있다.
도 6 및 도 7에 도시된 예시적인 프로세스들에서의 동작들은 예시적인 자율 주행 차량의 차량 내 컴퓨팅 시스템의 다양한 측면들 또는 컴포넌트들에 의해 수행될 수 있다. 예시적인 프로세스들은 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 6 및 도 7에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
위험 감소를 실현하기 위해 자율 주행 차량에 의해 V2V(vehicle-to-vehicle communications)가 활용될 수 있다. 예를 들어, 그러한 통신들은 충돌, 도로에서의 장애물들의 위치 등과 같은 이벤트들을 브로드캐스트하는 데 사용될 수 있다. 다른 사용 사례들은 매핑 또는 기동 협업과 같은 협업 작업을 위해 원격 감지를 사용할 수 있다. 제2 유형의 협업 작업에서는, 대부분의 개념들이 플래투닝(platooning)을 조율하는 데 사용되는 C-ACC(Cooperative Adaptive Cruise Control)와 같은 매우 특정적인 교통 상황 또는 응용 분야로 제한된다. C-ACC는, 예를 들어, 선행 차량에 대해 최소 시간 간격(minimal time gap)을 유지하고 교통 흐름 및 연비 개선을 달성하기 위해 종방향 조율(longitudinal coordination)을 이용한다. 차량 통로(vehicle corridor)와 인접 차선에 안전 간격(secure gap)을 확보하기 위해, 종방향 조율과 횡방향 조율의 조합을 통한 차선 변경 및 합류와 같은, 다른 조율된 기동들이 일부 시스템들에서 지원될 수 있다. 그렇지만, 협력을 달성하기 위해 다수의 차량들의 조율 및 우선 통행권(right-of-way) 규칙의 적용이 필요한 교차로에서는 종방향 및 횡방향 조율된 제어로 충분하지 않을 수 있다. 기존의 해결책들은 특정 운전 시나리오들에 유용하지만, 상호운용성을 위한 메커니즘이 없다. 게다가, 대부분의 그러한 해결책들은 각각의 차량이 커넥티드이고 자동화되어 있으며 동일한 전략에 의해 제어된다고 가정한다. 이러한 의미에서, 일부 자율 주행 운전 시스템들에서 사용되는 머신 러닝 모델들은 일반 차량 거동을 가정하고 이러한 가정에 기초하여 자율 주행 운전 의사 결정을 조정한다. 자율 주행 운전 시스템에 대한 표준 접근법이 또한 이상적인 것(예를 들면, 다른 자동차가 자율 주행인 것, 인간 운전자가 법을 준수하는 것 등)을 가정하는 모델을 적용할 수 있지만, 그러한 해결책이, 인간 운전자 및 그의 거동이 통제될 수 없고 규칙 또는 교통 협력 목표를 준수할 수 있거나 준수하지 않을 수 있는 혼합 교통 시나리오에서는 적용 가능하지 않다.
일부 구현들에서, 특정 차량의 차량 내 자율 주행 운전 시스템은 특정 차량의 자율 주행 운전 의사 결정 및 경로 계획 기능성을 지원하기 위해 완전 자동화 또는 혼합 교통 시나리오에서 기동 조율을 수행하고 V2X 통신 기술(V2V(Vehicle to Vehicle) 또는 I2V(Infrastructure to Vehicle) 등을 포함함)을 통해 통신되는 공유 거동 모델을 사용하도록 구성될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 차량들의 적어도 일 부분이 반자율 주행 또는 완전 자율 주행인 환경에서 차량들 간의 조율 측면을 예시하는 다이어그램들(800a 내지 800c)이 도시되어 있다. 예를 들어, 자동화된 차량의 경우에 운전 규칙을 사용하여 또는 자연스러운 운전 거동을 도출하는 데이터 학습 프로세스를 통해 거동 모델이 구성될 수 있다. 예를 들어, 위에서 논의된 바와 같이, 모델에서 정의되는 학습된 제약을 수정하기 위한 기초로서 역할하는 환경으로부터의 관측에 기초한 적응을 통한 지속적으로 발전 및 개선이 가능한 거동 모델이 제공될 수 있다. 모델이 존재하지 않을 수 있는 인간 운전 차량의 경우에, 대략적인 거동 모델들이 인공 신경 네트워크를 사용하여 시간이 지남에 따라 구성될 수 있다. 그러한 신경 네트워크 모델들은 모델에 제공되는 입력들에 기초하여 지속적으로 학습하고 정제될 수 있다. 예를 들어, 그러한 모델들에 대한 예시적인 입력 파라미터들은, 예들 중에서도, 도로 환경 정보(예를 들면, 지도 데이터), 주변 차량의 위치 및 속도 벡터, 자차 초기 위치 및 속도 벡터, 운전자 식별 정보(예를 들면, 인간 운전자의 인적사항)를 포함할 수 있다. 그에 따라, 차량이 자신의 거동 모델을 다른 차량들과 공유할 때, 거동 모델의 버전은 온로드(on-road) 동작 동안 차량에 의한 관측치 및 추가 학습에 기초하여 정제되고 추가 조정된 것일 수 있다.
도 8에 도시된 바와 같이, 다이어그램(800a)은 운전 환경에 있는 두 대의 차량 A와 B를 보여준다. V2V 통신은 차량들 중 하나 또는 둘 모두가 관측치 및 센서 데이터를 다른 차량과 공유할 수 있게 할 수 있다. 예를 들어, 차량 A는 도로의 한 섹션에 영향을 주는 장애물(예를 들면, 805)을 검출할 수 있고, 도로의 동일한 섹션에 있거나 진입하는 다른 차량(예를 들면, 차량 B)의 존재를 더 검출할 수 있다. 이에 응답하여, 차량 A는, 다른 정보 중에서도, 장애물(805)에 관한 정보(예를 들면, 그의 좌표, 장애물 또는 위험 요소의 유형(예를 들면, 대상체, 사고, 기상 이벤트, 표지판 또는 교통 신호등 사용 불능 등)), 장애물에 대해 결정된 컴퓨터 비전 기반 분류(예를 들면, 장애물이 자전거라는 것)를 통신할 수 있다. 추가적으로, 위에서 소개된 바와 같이, 차량 A와 B는 또한 다른 차량들과 거동 모델들을 공유하기 위해 V2V 또는 V2X 통신들을 활용할 수 있다. 이러한 모델들은 이웃 차량들이 특정 상황에서 특정 조치를 취할 확률을 결정하기 위해 수신 차량에 의해 활용될 수 있다. 이러한 결정된 확률은 이어서 이러한 이웃 차량들의 존재 시에 의사 결정 및 경로 계획에 영향을 미치기 위해 차량의 자체 머신 러닝 또는 다른(예를 들면, 규칙 기반과 같은 논리 기반) 모델 및 자율 주행 운전 로직에 대한 입력으로서 사용될 수 있다.
도 8은 자율 주행 운전 환경 내에서 거동 모델을 교환하고 사용하기 위한 흐름을 예시한다. 예를 들어, 다이어그램(800a)에 예시된 바와 같이, 두 대의 차량은 도로의 한 섹션 내에서 서로의 존재를 식별하고 송신 차량의 현재 위치, 자세 및 속력 등을 식별해 주는 정보를 다른 차량에 송신할 수 있다. 거동 모델이 아직 공유되지 않았거나 다른 차량으로부터 획득되지 않은 한, 하나 이상의 거동 모델이 차량들 간에 또는 인프라스트럭처 중개자와 교환될 수 있다. 다이어그램(800c)에 도시된 바와 같이, 거동 모델은 (예를 들면, 어느 잠재적 경로가 운전 가능한지를 식별해 주는) 매핑 및 다른 지리적 데이터, 이러한 경로 내의 검출된 장애물, 및 차량의 상태(예를 들면, 그의 위치, 배향, 속력, 가속도, 제동 등)를 입력으로서 취한다. 거동 모델에 의해 생성되는 출력은 대응하는 차량이 특정 행동(예를 들면, 조향, 제동, 가속 등)을 취할 확률을 나타낼 수 있다. 거동 모델은 일반적이거나 시나리오 특정적(예를 들면, 차선 유지, 차선 변경, 램프 합류 또는 교차로 모델 등)일 수 있다. 예를 들어, 거동 모델은, 임의의 특정 운전 시나리오에 대해, 시나리오에서의 대응하는 차량의 행동의 확률을 분류한다는 의미에서 "보편적인" 모델일 수 있다. 다른 경우에, 단일 차량(또는 차량 제조사/모델)에 대해 다수의 시나리오 특정적 또는 위치 특정적 거동 모델들이 개발될 수 있으며, 모델들의 집합체가 (예를 들면, 모두가 패키지로서 한꺼번에, 차량이 다른 차량들을 조우하는 위치(들) 또는 시나리오(들) 등에 기초하여 상황에 따라, 기타 등등으로) 교환될 수 있다. 그러한 경우에, 예시적인 구현들 중에서도, 차량은 먼저 (예를 들면, 차량의 자체 경로 계획 페이즈에서 이루어진 결정에 기초하여) 계획 중인 시나리오를 검출하고, 현재 시나리오에 가장 "적합"한 거동 모델을 식별하고 이 거동 모델을 사용하기 위해, 결과를 사용하여 다른 차량의 공유 모델들 중 특정 모델을 식별할 수 있다.
도 8의 예를 계속하면, 차량 A에 대한 거동 모델을 수신할 때, 차량 B는 차량 A가 그 근처에 있음을 검출하고, 예컨대, 차량 B의 자체 센서 어레이, 외부 데이터 소스(예를 들면, 도로변 유닛), 또는 환경, 장애물, 차량 A의 속력 등을 기술하는 (예를 들면, 비콘 신호(beacon signal)를 통해) 차량 A에 의해 V2V 공유되는 데이터로부터, 거동 모델에 대한 현재 입력을 더 검출할 수 있다. 이러한 입력(예를 들면, 810)은 확률 값 P(예를 들면, 820)를 도출하기 위해 공유 거동 모델(예를 들면, 815)에 대한 입력으로서 제공될 수 있다. 이 확률 값(820)은 차량 A가, 특정 방향으로의 조향하는 것, 가속하는 것, 제동하는 것, 속력을 유지하는 것 등과 같이, (차량 A의 현재 환경 및 관측된 상태가 주어진 경우) 특정 행동을 수행할 확률을 나타낼 수 있다. 이 확률 값(820)은 이어서 자신의 경로를 계획하고 차량 A의 존재에 대한 의사 결정을 할 때 차량 B의 자율 주행 운전 스택(예를 들면, 825)에 의해 활용될 수 있다. 그에 따라, 예시적인 구현들 중에서도, 공유 거동 모델을 사용하여, 차량 B는 거동 모델이 이용 가능하지 않은 차량들의 존재 하에서 운전할 때 자율 주행 운전 스택(825)이 사용하는 기본 접근법 또는 프로그래밍으로부터 운전 환경 내에서 취할 행동을 결정하는 방식을 변경할 수 있다.
그에 따라, 일부 구현들에서, 하나의 차량이 다른 차량들, 특히 상이한 주행 자율성 레벨들을 가진 차량들의 행동들 및 기동들을 (자체 머신 러닝 능력을 사용하여) 예상하고 계획할 수 있게 하기 위해, 차량은 이러한 다른 차량들에 대한 거동 모델들을 획득하거나 다른 방식으로 그에 액세스할 수 있다. 이러한 이웃 차량들의 모델들에 기초하여, 이러한 차량들과 도로를 공유하는 차량은 차량들 각각에 영향을 미치는 환경에서 관측되는 조건들에 기초하여 이러한 차량들이 어떻게 반응할 것인지를 예측할 수 있다. 주변 차량들의 거동 모델들을 차량에 제공하는 것에 의해, 차량은 환경 조건들의 추측을 통해 미래 시나리오들을 추정할 수 있다. 이러한 방식으로, 이러한 추가적인 거동 모델들을 갖춘 차량은 보다 낮은 불확도를 제공하는 모델 기반 예측과 현재 관측치에 기초하여 위험 최적화된(risk-optimized) 결정을 계획할 수 있다. 그러한 해결책은 자율 주행 운전 환경 내에서 안전성을 향상시킬 뿐만 아니라, 이러한 다른 모델들을 사용하는 차량이 주변 차량들에 대한 확률적 추측에 기초하여 개별 거동 모델들을 계산할 필요가 없고 단지 추측이 믿을 만한지를 검사하고 그에 따라 그의 거동을 수정하기 때문에, 계산적으로 더 효율적일 수 있다.
도 9를 참조하면, 두 대의 차량(105, 110) 사이의 예시적인 정보 교환을 예시하는 블록 다이어그램(900)이 도시되어 있다. 일 예에서, 커넥티드 차량들은, 비콘 교환 및 모델 교환을 포함한, 정보 교환을 위한 다수의 상이한 모드들을 가질 수 있다. 일 예에서, 비콘 교환은 동일한 차량의 위치, 배향 및 헤딩(heading)을 나타내는 상태 벡터와 함께 대응하는 차량의 아이덴티티(identity)(예를 들면, 커넥티드 자율 주행 차량 식별자(CAVid))을 시그널링하기 위한 비콘(908)의 브로드캐스트를 포함한다. 모델 교환은 브로드캐스트 차량의 거동 모델을 다른 차량들(및 도로변 시스템들)로 브로드캐스트하는 것을 포함할 수 있다.
다른 차량이 미래의 차량 거동을 예측하고 대응하는 행동을 취하기 위해 거동 모델을 바탕으로 행동할 수 있다는 점을 감안할 때, 일부 경우에, 거동 모델은 신뢰할 수 있는 차량들로부터 수신될 때에만 수락되고 사용될 수 있다. 그에 따라, 차량 간의 모델의 교환은 디바이스가 해당 차량으로부터 수신되는 거동 모델의 초기 신뢰성을 확립할 수 있게 하는 신뢰 프로토콜을 포함할 수 있다. 일부 구현들에서, 이 신뢰성 값은 출력 거동이 관측된 차량 거동과 크게 상이한 경우 시간에 따라 변경될 수 있다. 신뢰성 값이 특정 임계치 아래로 떨어지면, 모델이 적합하지 않은 것으로 간주될 수 있다. 도 9에 예시된 바와 같이, 일부 구현들에서, 두 대 차량(105, 110)이 환경 내에서 서로 조우할 때, 두 대의 차량(예를 들면, 105, 110)은 비콘 교환을 사용하여 브로드캐스트되는 각자의 CAVid들을 통해 상대방을 식별한다. 차량(105)이(예를 들면, 로컬 캐시에 있거나 신뢰할 수 있는(예를 들면, 클라우드 기반 또는 포그 기반) 데이터베이스(예를 들면, 915)에 저장되어 있는) 대응하는 거동 모델을 식별하고 그에 액세스할 수 있도록, 차량(예를 들면, 105)은, (예를 들면, 910에서) CAVid로부터, 상대방 차량(예를 들면, 110)이 알려진 차량인지(또는 그의 거동 모델이 알려진 모델인지) 여부를 결정할 수 있다. 그에 따라, 일부 구현들에서, 필요한 거동 모델들이 비콘 신호에 포함되어 있는 광고된 CAVid에 대응하는 데이터베이스(915)에 있는지 여부를 결정하기 위해, 다른 차량을 조우할 때, 룩업이 수행될 수 있다. 차량(105)이 식별된 차량(110)에 대한 거동 모델을 가지고 있지 않은 것으로 결정될 때, 차량들은 (920에서) 토큰들의 교환을 통해 세션을 확립하는 것에 의해 모델 교환을 시작할 수 있다. 일 예에서, 각각의 토큰(예를 들면, 925)은 CAVid, 공개 키, 비밀 값은 물론 세션 ID를 포함할 수 있다. 각각의 차량(예를 들면, 105, 110)은 상대방의 토큰을 수신하고 토큰이 유효한지를 확인하기 위해 토큰의 검증(930)을 수행할 수 있다. 토큰 서명의 검증 시에, 차량이 상대방을 신뢰하고 모델 교환을 진행하기를 원한다는 것을 나타내는 확인응답이 상대방 차량과 공유될 수 있다. 일부 구현들에서, 모델 교환은 마지막 패키지에서 모델 교환(940)이 완료될 때까지(예를 들면, 이는 확인응답에 의해 표시될 수 있음) 분할되어 다수의 패킷을 통해 통신되는 거동 모델(예를 들면, 935)의 통신을 포함할 수 있다. 두 대의 차량 간의 연결성의 상실이 있는 경우 데이터가 복구될 수 있게 하기 위해, 필요한 경우, 세션의 세션 ID가 사용될 수 있다. 두 대의 차량 간의 통신들에서 V2V 또는 V2X 통신들이 활용될 수 있다. 일부 예에서, 통신 채널은, 5G 무선 채널과 같은, 저 지연 고 처리율일 수 있다.
다른 차량의 거동 모델을 수신할 시에, 차량은 모델에 대한 모델 검증(945)을 수행할 수 있다. 모델 검증(945)은 수신 차량의 자율 주행 운전 스택 또는 머신 러닝 엔진과의 표준 적합성 및 호환성에 대해 모델을 검사하는 것을 포함할 수 있다. 일부 경우에, 수신 차량의 거동 모델의 과거 입력들 및 기록된 출력들은 수신 차량에 캐싱될 수 있으며 수신 차량은 이러한 캐싱된 입력들을 수신된 거동 모델에 적용하고 출력을 캐싱된 출력과 비교하는 것(예를 들면, 출력이 비슷한 경우 수신된 거동 모델을 유효성 확인하는 것)에 의해 수신된 거동 모델의 유효성을 검증할 수 있다. 다른 구현들에서, 거동 모델(945)의 검증은 대응하는 차량(예를 들면, 110)의 성능을 관측하고 관측된 성능이 거동 모델을 통해 결정된 예상된 성능에 대응하는지 여부를 결정하는 것에 의해(예를 들면, 현재 환경에 대응하는 입력들을 모델에 제공하고 출력이 차량의 관측된 거동과 부합하는지를 식별하는 것)에 의해 수행될 수 있다. 도 9의 예에서, 수신된 거동 모델의 검증 시에, 확인응답(예를 들면, 950)이 소스 차량으로 송신될 수 있고 세션이 닫힐 수 있다. 그로부터, 차량들은 그들의 지속된 근접성을 식별하는 것은 물론 다른 정보(예를 들면, 센서 데이터, 그들의 모델들의 출력 등)를 공유하기 위해 계속하여 (955에서) 비콘을 교환할 수 있다.
도 9의 예가 낯선 차량과 조우하고 새로운 거동 모델들이 공유되는 경우를 예시하지만, 두 대의 차량(예를 들면, 105, 110)이 과거에 이미 서로 거동 모델을 공유한 경우, 캐시 또는 거동 모델 데이터베이스(915)에서의 룩업은 긍정적인 결과를 산출할 것이고 모델 검증의 확인응답 메시지가 두 대의 차량 간에 공유될 수 있다. 일부 경우에, 거동 모델이 업데이트되거나 만료될 수 있으며, 이 경우에, 예들 중에서도, 차량들은 다른 알려진 차량(또는 차량 모델)에 대한 업데이트를 식별할 수 있고 (예를 들면, 새로운 세션에서의 전체 모델 교환과 유사한 방식으로) 모델 업데이트 교환이 수행될 수 있다. 일부 경우에, 차량(예를 들면, 105)은 특정 다른 차량(예를 들면, 110)에 대한 이전에 저장된 거동 모델이, (특정 차량과의 후속하는 조우에서) 특정 차량의 관측된 거동이 거동 모델의 이전에 저장된 버전을 적용할 때 결정되는 예측된 거동과 부합하지 않음을 검출하는 것에 기초하여, 오래되었거나 부정확하거나 결함이 있음을 일방적으로 결정할 수 있다. 그러한 결정은 차량(예를 들면, 105)으로 하여금 거동 모델의 업데이트된 버전을 요청하게(예를 들면, 그리고 도 9에 예시된 것과 유사한 모델 교환을 트리거하게) 할 수 있다.
검증되고 정확하며 신뢰할 수 있는 거동 모델의 교환 및 수집을 통해, 차량은 환경을 운행할 때 신뢰할 수 있고 정확한 거동 모델을 사용하는 차량들을 식별하기 위해 미래에 비콘 교환을 활용할 수 있으며, 그에 의해 주변 차량의 거동의 미래 예측을 효율적인 방식으로 생성할 수 있다. 일부 경우에, 거동 모델 및 CAVid는 차량별로 제공될 수 있다. 다른 예에서, 예들 중에서도, 특정 자율 주행 차량 모델(예를 들면, 제조사, 모델 및 연식)의 각각의 인스턴스는 동일한 거동 모델을 사용하는 것으로 가정될 수 있으며, 따라서 차량은 이 자동차 모델의 임의의 인스턴스와의 조우에서 이 자동차 모델과 연관된 단일 거동 모델의 검증을 사용할 수 있다.
거동 모델은 대응하는 차량에서 자율 주행 운전을 가능하게 하는 데 사용되는 머신 러닝 모델에 기초할 수 있다. 일부 경우에, 거동 모델은 그 대신에 규칙 엔진 또는 휴리스틱에 기초할 수 있다(따라서 규칙 기반일 수 있음). 일부 경우에, 다른 차량들과 공유되고 교환될 거동 모델이 차량에 의해 실제로 사용되는 머신 러닝 모델과 상이할 수 있다. 예를 들어, 위에서 논의된 바와 같이, 거동 모델이 전체 모델의 더 작고 더 단순한 "청크(chunk)"일 수 있으며, 특정 환경, 시나리오, 도로 세그먼트 등에 대응할 수 있다. 예로서, 시나리오 특정 거동 모델은 특정 시나리오(예를 들면, 교차로에서 기동하는 것, 원형 교차로에서 기동하는 것, 제어권 전환 또는 풀오버 이벤트를 처리하는 것, 고속도로 운전, 악천후에서 운전하는 것, 다양한 경사도(grade)의 고도 변화를 통해 운전하는 것, 차선 변경 등)와 관련하여 대응하는 차량의 다양한 행동들의 확률을 보여주기 위해 신경 네트워크 모델을 포함할 수 있다. 그에 따라, 단일 차량에 대해 다수의 거동 모델들이 제공될 수 있으며 이러한 모델들을 사용하는 특정 차량의 메모리에 저장될 수 있다. 게다가, 예시적인 구현들 중에서도, 이러한 다수의 모델들을 개별적으로 사용하는 것은, 특정 차량의 모든 잠재적인 거동들을 모델링하는 범용 거동 모델을 사용하는 것과 비교하여, 특정 차량에 의한 더 빠르고 더 효율적인(그리고 정확한) 예측을 가능하게 할 수 있다.
거동 모델의 교환 및 수집은, 일부 경우에, 하위 레벨 자율 주행 차량을 포함한, 인간 운전 차량을 커버하도록 확장될 수 있다. 일부 경우에, 개별 운전자, 운전자 그룹(특정 이웃 또는 위치에 있는 운전자, 특정 인구 통계의 운전자 등)에 대한 거동 모델, 혼합 모델(차량이 자율 주행 모드 또는 인간 운전자 모드에서 동작하는지 여부에 따라 다름) 및 다른 예가 생성될 수 있다. 예를 들어, 차량은 (OEM 컴포넌트 또는 애프터마켓 컴포넌트로서) 인간 운전자의 성능을 관측하고 (예를 들면, 클라우드 기반 애그리게이터 애플리케이션(cloud-based aggregator application)과 모니터링 데이터를 공유하는 것에 의해) 이 운전자 또는 운전자 그룹에 대한 거동 모델을 구축하기 위한 모니터를 포함할 수 있다. 다른 경우에, 개별 인간 운전자 또는 운전자 그룹의 관측된 운전을 기술하는, 도로변 센서 및/또는 크라우드 소싱된 센서 데이터가 활용될 수 있으며, 이 정보에 기초하여 거동 모델이 구축될 수 있다. 위의 예에서 기술된 것과 같이, 인간 운전자를 위한 거동 모델은 연관된 차량에 저장될 수 있고 거동 모델의 다른 교환에 따라 다른 차량들과 공유될 수 있다. 인간 운전 자동차가 커넥티드가 아니거나 모델 교환을 지원하지 않는 경우와 같은 다른 경우에, 예들 중에서도, 도로변 유닛, 다른 차량들에 의한 피어 투 피어(예를 들면, V2V) 배포와 같은, 인간 운전자를 위한 거동 모델을 공유하고 전파하는 데 다른 시스템들이 활용될 수 있다.
보다 많은 도로 행위자들이 자가 운전으로 되고 도시 인프라스트럭처가 현대화됨에 따라, 다양한 자율 주행 운전 스택들과 이러한 행위자들이 의존하는 머신 러닝 기반 거동 모델들 간에 충돌이 발생할 수 있다. 실제로, 상이한 자동차 및 자율 주행 시스템 제공업체가 독립적인 해결책과 경쟁함에 따라, 이러한 많은 차량들과 다른 행위자들에 의해 활용되는 다양한 모델들 간의 조율 및 합의 구축을 용이하게 하는 것이 바람직할 수 있다. 안전성 및 다양한 기술들 간의 호환성을 용이하게 하는 데 도움을 주기 위해 정부 입법과 규제 및 산업 표준화가 개발될 수 있다. 그렇지만, 다수의 주요 업체들이 자체 해결책을 개발함에 따라, 도로에서의 전반적인 안전을 개선시키는 문제는 아직 해답을 찾지 못하고 있다. 정책 입안자와 일반 대중이 이러한 차량들에 의해 이루어진 결정을 검증하기 위한 명확한 방법이 존재하지 않기 때문에, 안전 표준은 여전히 성숙 전 단계(adolescence)에 있다. 게다가, 자율 주행 차량이 그의 모델 및 대응하는 의사 결정을 개선시킴에 따라, (예를 들면, 자율 주행 운전의 초기 단계(infancy) 동안 차량에 포함된) 오래된 모델 및 해결책은 도로 상의 위험 요소의 증가를 야기할 수 있다. 이는, 보다 오래되었거나 오동작하는 자율 주행 차량 도로 행위자들이 충돌하는 모델들을 활용할 수 있고 보다 새롭고 진화된 모델들을 통해 제공되는 개선된 기능성의 이점을 누리지 못할 수 있기 때문에, 거동 합의에 문제를 야기한다.
젊고 발전하는 자율 주행 차량 산업과 5G 네트워크 및 인프라스트럭처의 초기 단계를 감안할 때, V2X 통신들 및 해결책들이 유사하게 제한된다. 예를 들어, 오늘날 제공되는 현재 V2X 해결책들은 주로 로컬화 및 매핑 도메인에 있다. 자율 주행 차량과 지원 인프라스트럭처가 보다 주류가 됨에 따라, 커넥티드 차량과 그의 환경 간의 협력 및 상호통신을 활용하는 새로운 해결책들을 확장하고 개발할 기회가 대두되고 있다. 예를 들어, 일부 구현들에서, 차량들의 머신 러닝 모델들이 가장 안전하고 가장 효율적이며 승객 친화적인 혁신과 "지식"을 채택하게 지속적으로 진화하도록, 차량들로 "최상의" 모델들을 지속적으로 전파하기 위해 공유되고 활용될 수 있는, 합의 거동 모델의 구축을 가능하게 하는 것과 같은, 합의 및 지원 프로토콜들이 구현될 수 있다. 예를 들어, 고속 무선 네트워킹 기술(예를 들면, 5G 네트워크) 및 개선된 거리 인프라스트럭처가 그러한 합의 시스템을 지원하기 위해 활용될 수 있다.
일 예에서, 내결함성 합의를 구현하기 위해 자율 주행 운전 시스템에서의 행위자들 간에 비잔틴 합의 알고리즘이 정의 및 구현될 수 있다. 그러한 합의는 합의 시스템에 정확한 정보를 제공하는 대부분의 기여자들(예를 들면, 공유 거동 모델의 기여자들)에 의존할 수 있다. 주어진 시간에 주어진 교차로에 있는 도로 행위자들의 총량이 잠재적으로 낮을 수 있으며 따라서(예를 들면, 소수의 행위자들 간의 모델 공유를 통해) 잘못된 합의의 확률을 증가시킬 수 있기 때문에, 기여분의 정확성이 자율 주행 차량 콘텍스트에서 문제가 될 수 있다. 일부 구현들에서, 컴퓨팅 노드는, 예시적인 위치들 중에서도, 가로등, 인근 건물, 교통 신호 등에 장착된 도로변 유닛(예를 들면, 140)에서와 같이, 도로 및 도로 인터체인지(예를 들면, 교차로, 회전 교차로 등)의 세그먼트와 일치하도록 제공될 수 있다. 일부 경우에, 컴퓨팅 노드는 도로 세그먼트에 대응하는 교통을 관측할 수 있는 보조 센서 디바이스와 통합되거나 그에 연결될 수 있다. 그러한 도로변 컴퓨팅 디바이스(본 명세서에서 편의상 집합적으로 "도로변 유닛" 또는 "RSU"라고 지칭됨)는 대응하는 도로 세그먼트 위치에서 모델 기여분의 수집, 차량들 간의 모델의 배포, 들어오는 커넥티드 자율 주행 차량들에 걸친 모델의 유효성 검사, 및 이러한 모델들로부터(그리고, 인에이블된 경우, RSU의 센서들의 관측치에 기초하여) 합의를 결정하는 것을 위한 중심점으로서 역할하도록 지정 및 구성될 수 있다.
일부 구현들에서, 도로의 특정 섹션에 대한 합의 노드를 구현하는 도로변 유닛은 각각의 차량의 고유한 감각 및 인지 스택으로부터 모델 기반 거동 정보를 수용할 수 있으며, 시간이 지남에 따라 해당 도로 세그먼트에 대한 이상적인 거동 모델이 무엇인지를 정제할 수 있다. 그렇게 함으로써, 이 중심점은 그 당시의 도로 상의 피어는 물론 과거에 해당 동일한 도로 섹션을 이전에 협상한 적이 있는 피어와 비교하여 모델의 정확성을 검증할 수 있다. 이러한 방식으로, 합의 노드는 과거의 방식으로 모델을 고려할 수 있다. 이 중심 노드는 다양한 양과 분포의 정확한 합의 기여자들에도 불구하고 다양한 행위자들 간에 도로 안전을 표준화하기 위한 비잔틴 합의 통신에서 리더로서 역할할 수 있다.
도 10을 참조하면, 예시적인 도로 교차로(1005)를 예시하는 단순화된 블록 다이어그램(1000)이 도시되어 있다. 도로 세그먼트(1005)에 대한 합의 노드로서 기능하기 위해 하나 이상의 도로변 유닛(예를 들면, 140)이 제공될 수 있다. 이 예에서, 합의 노드 디바이스(예를 들면, 140)는, 카메라(1010)와 같은, 하나 이상의 센서를 포함할 수 있다. 일부 구현들에서, 합의 노드는, 예시적인 구현들 중에서도, 대응하는 도로 세그먼트(1005)에 대한 합의 서비스를 수행할 때 단일 디바이스로서 통신하고 상호연동하는 둘 이상의 별개의 공존하는 컴퓨팅 디바이스로서 구현될 수 있다. 합의 노드를 구현하는 도로변 유닛(들)(예를 들면, 140)의 신뢰성은 기본적일 수 있고, RSU(140)는, 정부 기관과 같은, 신뢰할 수 있는 행위자와 제휴할 수 있다. 일부 구현들에서, 예시적인 특징들 중에서도, RSU(140)는 다른 인근 도로 행위자(예를 들면, 차량들(105, 110, 115 등))와 연관된 다른 컴퓨팅 시스템들에 자신의 아이덴티티 및 신뢰성을 증명하기 위한 증명 트랜잭션을 수행하는 하드웨어, 펌웨어 및/또는 소프트웨어로 구성될 수 있다. 예시적인 RSU는 다른 도로 행위자 시스템들과 무선으로 통신하고, (도 8 및 도 9의 예에서 위에서 논의된 것과 같이) 차량들 간의 거동 모델 교환을 관측 및 캡처하며, 다른 도로 행위자들로부터 직접 거동 모델들을 수신하고, (예를 들면, 비잔틴 합의 방식 또는 알고리즘에 기초하여) (수신하는 모델 입력으로부터) 합의 모델을 결정하며, 대응하는 도로 세그먼트(예를 들면, 1005)의 도로 행위자의 운행을 최적화하기 위해 그의 내부 모델을 업데이트(또는 교체)하는 데 사용하도록 합의 모델을 도로 행위자들(예를 들면, 105, 110, 115)에 배포하는 하드웨어 기반 및/또는 소프트웨어 기반 로직을 가진 컴퓨팅 및 메모리 리소스들을 포함할 수 있다.
보조 센서 디바이스가 없더라도 합의 노드를 구현하는 RSU가 그렇게 할 수 있다는 것을 이해해야 한다. 그렇지만, 일부 구현들에서, RSE 센서 시스템(예를 들면, 1010)은 합의 거동 모델을 구축할 때 RSE에 의해 활용될 수 있는 유용한 입력을 제공할 수 있다. 예를 들어, RSU는 (예를 들면, 도로 세그먼트(예를 들면, 1005)에 대한) 로컬화된 모델을 생성하기 위해 비자율 주행 차량 도로 행위자(예를 들면, 비자율 주행 차량, 전기 스쿠터 및 다른 소형 전동 교통 수단, 자전거 타는 사람, 보행자, 동물 등)를 관측하고 이러한 관측치를 합의 모델에 포함시키기 위해 하나 이상의 센서(예를 들면, 1010)를 활용할 수 있다. 예를 들어, 비자율 주행 차량이 거동 모델을 통신하지 못할 수 있고, RSU의 센서 시스템이 그의 센서들(예를 들면, 1010)의 관측치에 기초하여 비자율 주행 차량, 인간 운전자 및 다른 도로 행위자에 대한 거동 모델을 구축할 수 있는 것으로 가정될 수 있다. 예를 들어, 예시적인 RSU(예를 들면, 140)의 센서 시스템 및 로직은 특정 비자율 주행 차량의 인식 또는 심지어 특정 인간 운전자의 인식을 가능하게 할 수 있으며, 대응하는 거동 모델이 도로 환경 내에서의 존재(및 이러한 행위자들의 존재의 빈도)에 기초하여 개발될 수 있다. 그러한 비자율적 행위자가 합의 모델을 적용하는 자율 주행 차량(예를 들면, 105)에 의해 검출될 때 경로 계획 및 의사 결정을 하는 최상의 방법에 대한 지식을 통합하기 위해 이 도로 세그먼트(1005)에 대한 합의 모델이 구축될 수 있다. 또 다른 예에서, 비자율 주행 차량은 그럼에도 불구하고 센서들(예를 들면, OEM 또는 애프터마켓)을 갖출 수 있으며, 이 센서들은 차량 또는 그의 운전자의 행동을 기록하고 이러한 기록된 행동에 대응하는 환경 조건을 (예를 들면, 이러한 조건에 대한 운전 반응의 검출을 가능하게 하기 위해) 기록하며 데이터를 기여하는 데 도움을 주기 위해 이 정보를 도로변 유닛에 통신할 수 있고, 이 정보는 이러한 RSU들 각각에 의해 그 각자의 로케일 또는 도로 세그먼트에 대해 생성되는 합의 모델 내에서 사용 및 통합될 수 있다. 예시적인 구현들 중에서도, OEM 및 애프터마켓 시스템들은 또한 비자율 주행 차량 내의 일부 자율 주행 운전 기능부들을 인에이블시키고/시키거나 운전자 보조를 제공하기 위해 제공될 수 있으며, 그러한 시스템들은 RSU들과 통신하고 그러한 운전자 보조 시스템들을 통해 제공되는 서비스들 및 정보를 보강하는 데 사용하기 위한 합의 모델들을 획득하는 기능성을 갖출 수 있다.
합의 기여자들은 자율 주행 차량 또는 비자율 주행 차량 도로 행위자들일 수 있다. 예를 들어, 차량들(예를 들면, 105, 110, 115)이 서로로부터 및 도로 세그먼트(예를 들면, 1005)를 통제하는 도로변 유닛(140)으로부터 도달거리 내에 있을 때, 차량들은 각각이 그 각자의 거동 모델을 공유하고 합의 협상에 참여하기 위해 상호통신할 수 있다. RSU(140)는 시간이 지남에 따라 RSU(140)에 의해 개발되는 합의 모델에 기초하여 오래되거나, 악의적으로 부정확하거나 또는 결함이 있는 모델을 식별하기 위해 협상에 개입할 수 있다. 합의 모델은 협상에서의 소수의 행위자들이 합의 모델에 구체화된 누적 지식의 품질을 극적으로 악화시키고 무시하는 것으로부터 보호하는 작업 명세서(statement of work)와 유사하다. 도 11을 참조하면, 대응하는 RSU(예를 들면, 140)가 도로 세그먼트에 대한 각각의 합의 협상에 개입하는 것을 고려하여 시간(t)이 지남에 따라 주어진 도로 세그먼트에 대한 로컬화된 거동 모델 합의가 수집되고 결정될 수 있음을 예시하는 다이어그램들(1105, 1110)이 도시되어 있다. 다양한 자율 주행 운전 시스템들을 가진 상이한 제조사들 및 제조업체들의 자율 주행 차량들이 현재와 과거 둘 모두에서 서로로부터 이익을 얻을 수 있으므로, 이러한 과거의 합의 접근법은 개선된 도로 안전을 가능하게 한다. 그러한 합의 기반 시스템은 거동 모델 공유를 통해 도로 안전에 대한 전체적이고 오랜 사용으로 보증된(time-tested) 접근법을 적용한다. 각각의 도로 행위자(예를 들면, 105, 110, 115)는, 자율 주행 차량이든 비자율 주행 차량이든 상관없이, 환경을 관측하고 어떻게 독립적으로 행동해야 하는지에 대한 결정을 할 것으로 예상된다. 모든 합의 기여자들(예를 들면, 105, 110, 115, 140 등)은 또한 그 각자의 감각 시스템을 통해 다른 도로 행위자들의 행동들을 예측하려고 시도할 것이다. 다이어그램(1105, 1110)에서의 예시에서 알 수 있는 바와 같이, 자율 주행 차량들(예를 들면, 105, 110, 115)은 이어서 RSU(예를 들면, 140)와 그리고 서로 자신의 거동 모델들을 공유한다.
(예를 들면, 비잔틴 합의 모델에 기초한) 합의 구축 방식 내에서의 모델들의 협력적 공유를 통해, 자율 주행 차량들은 이어서 합의 거동 모델(들)을 통해 환경에 대한 자체 인지를 활용하고 다른 도로 행위자들의 정확한 행동들을 결정할 수 있으며, 이는 그들은 물론 그들의 피어들이 서로에 대한 그들의 초기 예측들이 정확한지 여부를 검증할 수 있게 한다. 이러한 정보 및 검증이 이러한 합의 협상에 또한 관여된 RSU에도 보인다. 충돌을 결과할 보다 위험한 거동 모델들에 대한 지식을 사용하여, 다른 도로 행위자들을 포함한 환경에 대한 오해 또는 충돌을 결과하지 않는 거동 모델의 배포가 제공되는 경우 투표가 시작될 수 있다. 비교를 단순화하고 프로세스 동안 로컬 거동 모델 예측의 재실행을 피하기 위해 선택된 모델에 기초한 해시 또는 시드가 사용될 수 있다. 일부 구현들에서, 합의 노드로서, 합의에 대한 RSU 기여도가 RSU가 관여된 이전의 성공적인 합의 협상에 기초하여 가중될 수 있으며, 이것이 다른 도로 행위자들에 의해 고려되어야 한다. 이어서 도로 행위자들의 행동들에 기초하여 합의의 검증이 검사될 수 있다.
자율 주행 차량이 문서화된 운전 관행을 따르지 않는 불규칙적 거동을 나타낼 수 있는 인간 운전 차량(HV)과 계속하여 도로를 공유할 것으로 예상된다. 인간 운전자는 공격적인 거동(예를 들면, 바짝 따라가는 것 또는 차 사이를 곡예 운전하는 것) 또는 소심한 거동(예를 들면, 게시된 속력 제한보다 훨씬 느린 속력으로 운전하는 것, 이는 또한 사고를 일으킬 수 있음)을 나타낼 수 있다. 불규칙적 인간 운전 패턴은 또한 일부 경우에 특정 지역에서의 운전 관행으로 인해 발생할 수 있다. 예를 들어, 펜실베이니아 서부에서 관측되는 때때로 "피츠버그 좌회전(Pittsburgh Left)"이라고도 지칭되는 기동은 (예를 들면, 정지 신호등이 양쪽 방향에 대해 녹색으로 바뀐 후에) 교차로를 직진하는 차량보다 첫 번째 좌회전 차량이 우선순위를 갖도록 허용하는 것에 의해 교차로에 있는 차량들에 대한 표준 우선순위 규칙을 위반한다. 다른 예로서, 국가의 특정 지역에 있는 운전자는 또한 국가의 다른 지역에 있는 운전자보다 다소 공격적으로 운전할 수 있다.
예시적인 자율 주행 차량의 차량 내 컴퓨팅 시스템을 통해 구현되는 자율 주행 운전 스택은 HV가 나타내는 불규칙적 거동을 학습 및 검출하고 그에 대해 안전하게 반응하도록 향상될 수 있다. 일부 양태들에서, 예를 들어, 자율 주행 차량 시스템은 불규칙적 거동(예를 들면, 아래 표에 나와 있는 거동)을 관측하고 그의 빈도를 추적할 수 있으며, 개별 HV가 가까운 미래에 불규칙적 거동을 나타낼 가능성이 있다는 것 또는 특정 유형의 불규칙적 거동이 국가의 주어진 지역에서 발생할 가능성이 더 높다는 것을 예측하도록 학습할 수 있다.
일부 실시예들에서, 불규칙적 운전 패턴은 자율 주행 차량에 의해 예상되는 정상 거동으로부터 벗어나는 운전 행동 시퀀스로서 모델링될 수 있다. 도 12 및 도 13은 불규칙적 운전 패턴의 두 가지 예와 자율 주행 차량이 그러한 거동을 관측하는 것에 응답하여 그의 거동을 적응시키기 위해 어떻게 학습할 수 있는지를 예시한다.
도 12는 위에서 기술된 바와 같은 예시적인 "피츠버그 좌회전" 시나리오를 예시한다. 도시된 예에서, HV(1202)와 자율 주행 차량(1204)은 둘 모두, 신호등(1208)이 녹색으로 변할 때, 교차로(1206)에 정지해 있다. 전형적인 시나리오에서는, 자율 주행 차량이 HV보다 먼저 교차로를 계속 통과할 우선순위를 갖는다. 그렇지만, 도시된 피츠버그 좌회전 시나리오에서, HV는 교차로를 직진하는 자율 주행 차량에 양보하는 대신에 먼저 좌회전한다. 어떤 지리적 영역에서 여러 번 이러한 거동을 관측하는 것을 통해, 자율 주행 차량은 (첫 번째 좌회전 차량이 우선순위를 갖는 경우) 이것과 같은 거동을 예상하도록 학습할 수 있으며 따라서 해당 지리적 영역에 있을 때 보다 조심스럽게 교차로에 진입한다.
도 13은 HV에 의한 예시적인 "노상 분노" 시나리오를 예시한다. 도시된 예에서, HV(1302)의 운전자는 자율 주행 차량에 화를 낼 수 있으며 그에 따라 자율 주행 차량(1304) 앞에 끼어들 수 있고 갑자기 속력을 낮출 수 있다. 이에 응답하여, 자율 주행 차량은 HV를 피하기 위해 속력을 낮추고 차선을 변경할 수 있다. HV는 이어서 더욱 가속하여 자율 주행 차량 앞에 또다시 끼어들 수 있고, 이어서 갑자기 또다시 속력을 낮출 수 있다. HV가 HV로부터의 이러한 기동을 여러 번 보았기 때문에, 자율 주행 차량은 HV가 자율 주행 차량 앞에 반복적으로 끼어드는 화가 난 운전자임을 검출할 수 있다. 자율 주행 차량은 그에 따라, 예를 들어, 다음에 특정 HV를 조우할 때 자신의 인간 운전자에게 제어권을 다시 핸드오프하는 것과 같은, 정정 조치를 취할 수 있다.
도 14는 적어도 하나의 실시예에 따른 자율 주행 차량에 대한 불규칙적/변칙적 거동 추적 모델(1400)을 보여주는 단순화된 블록 다이어그램이다. 도시된 예에서, 자율 주행 차량 소프트웨어 스택의 감지 페이즈(1410)는 자율 주행 차량의 센서들(1402)로부터 센서 데이터를 수신하고 (예를 들면, 도시된 바와 같은 변칙적 거동 검출 소프트웨어 모듈(1404)에서) 센서 데이터를 사용하여 특정 HV에 의해 관측된 변칙적 거동을 검출/식별한다. 변칙적 거동 검출에 응답하여 또는 검출과 병렬로, (예를 들면, 도시된 바와 같이 익명 아이덴티티(anonymous identity) 생성 소프트웨어 모듈(1406)에서) HV에 대한 익명 아이덴티티가 생성된다. HV의 관측된 거동 및 연관된 아이덴티티는 이어서 (예를 들면, 도시된 바와 같은 안전하지 않은 거동 추적 소프트웨어 모듈(1408)에서) HV 및 자율 주행 차량 주위의 다른 HV들에 의해 관측된 거동의 빈도를 추적하는 데 사용된다. 일부 경우에, 추적된 거동은 HV에서 변칙적 거동의 패턴을 보는 것에 응답하여 자율 주행 차량에 대한 동적 거동 정책을 트리거하기 위해 자율 주행 차량 소프트웨어 스택의 계획 페이즈(1420)에 의해 사용될 수 있다. 모델(1400)의 측면들은 아래에서 더 기술된다.
일부 실시예들에서, 자율 주행 차량은, 예를 들어, 다음과 같은 운전 행동 시퀀스들을 추적하는 것에 의해 주어진 HV에 의한 변칙적 또는 불규칙적 거동을 검출할 수 있다:
운전 행동 시퀀스를 추적하는 것 외에도, 일부 실시예들에서, 자율 주행 차량은 또한 운전자의 유형(예를 들면, 주의가 산만한 운전자 대 다른 자동차들로부터의 안전 거리를 준수하는 안전한 운전자), 운전자 속성(예를 들면, 도로에 주의를 기울이는 것 대 전화기를 내려다보는 것), 또는 가까운 미래에 안전하지 않은 거동을 결과할 가능성이 보다 많을 수 있는 차량 속성(예를 들면, 미러가 없는 것, 깨진 윈드실드, 또는 차량이 운전하기에 안전하지 않을 수 있는 다른 특성)을 분류하기 위해 청각적 및 시각적 콘텍스트 정보를 사용할 수 있다. 예를 들어, 자율 주행 차량 상의 외향 카메라들로부터의 비디오는, 셀 폰을 사용 중인 인간 운전자 또는 눈 덮인 창문으로 인한 제한된 시계와 같은, 사고 위험을 증가시키는 차량 또는 운전자 속성들을 검출하도록 컴퓨터 비전 모델들을 트레이닝시키는 데 사용될 수 있다. 컴퓨터 비전 모델들은, 특정 경우에, 공격적인 경적 울리기, 고함 지르기와 같은 공격적인 거동을 인식할 수 있는 음향 모델 또는 끽 소리는 내는 브레이크와 같은 안전하지 않은 상황으로 보강될 수 있다. 아래 표는 미래의 안전하지 않은 거동의 증가된 가능성을 나타낼 수 있는 청각적 및 시각적 콘텍스트 정보의 특정 예를 나열하고 있다.
일부 실시예들에서, 자율 주행 차량은 주어진 시간 윈도에서 동일한 거동을 나타내는 단일 운전자인지(한 명의 안전하지 않은 운전자를 나타낼 수 있음) 여부, 또는 주어진 로케일에 동일한 거동을 나타내는 다수의 운전자가 있는지 여부(로케일에 대한 사회적 규범을 나타낼 수 있음)를 결정하기 위해 특정 차량(예를 들면, HV)에 의해 관측된 불규칙적 거동의 빈도를 추적할 수 있다.
인간 운전자의 프라이버시를 보호하기 위해, 자율 주행 차량은 안전하지 않은 HV에 대한 익명 아이덴티티를 생성할 수 있고 HV 또는 다른 HV들에 의한 재발(recurrence)을 추적하기 위해 이 아이덴티티를 안전하지 않은 거동으로 태깅할 수 있다. 익명 아이덴티티는, 항상 이용 가능하거나 신뢰할 수 있는 것은 아닐 수 있는, 번호판 인식에 의존하지 않고 생성될 수 있다. 일부 실시예들에서, 자동차를 인식하는 데 사용되는 딥 러닝 모델로부터 대표적인 특징들을 추출하는 것에 의해 익명 서명이 생성될 수 있다. 예를 들어, 자율 주행 차량의 딥 러닝 네트워크의 특정 계층들은 자동차의 형상 및 색상과 같은 자동차에 관한 특징들을 캡처할 수 있다. 이러한 특징들은 또한 자동차의 제조사, 모델, 또는 찌그러진 부분, 긁힌 자국, 깨진 윈드실드, 사이드 뷰 미러가 없는 것 등과 같은 특이한 특징들과 같은 자동차에 관해 인식하는 추가적인 속성들로 보강될 수 있다. 이어서 조합된 특징들에 대해 암호화 해시가 적용될 수 있고, 해시는 자율 주행 차량의 현재 여정 동안 HV에 대한 식별자로서 사용될 수 있다. 일부 경우에, 이 서명이 차량에 대해 완전히 고유하지 않을 수 있지만(예를 들면, 자율 주행 차량 주위에 유사하게 보이는 차량들이 있는 경우); 자율 주행 차량이 여정의 지속기간 동안 안전하지 않은 차량을 식별하는 것으로 충분할 수 있다. 자율 주행 차량이 위험한 차량에 관해 당국에 경고할 필요가 있는 경우와 같은, 특정 경우에 번호판 인식이 사용될 수 있다.
자율 주행 차량은, 예를 들어, 안전하지 않은 이벤트들 사이의 지속기간이 감소하는지 여부 또는 안전하지 않은 행동의 심각도가 증가하는지 여부를 모니터링하는 것에 의해, 안전하지 않은 거동이 증대되고 있다고 결정할 수 있다. 이 정보는 이어서 자율 주행 차량이 안전하지 않은 차량을 다시 조우하는 경우 이를 피하는 것 또는 안전하지 않은 거동이 도로 상의 다른 자동차 운전자들을 위험에 빠뜨리는 경우 당국에 경고하는 것과 같은 동적 정책을 트리거하기 위해 AD 파이프라인의 계획 페이즈에 공급될 수 있다. 자율 주행 차량은 또한 주어진 차량에 대한 안전하지 않은 거동을 추적하기 위한 유지 정책을 정의할 수 있다. 예를 들어, 유지 정책은 여정의 지속기간 동안, 설정된 횟수의 여정 동안, 설정된 시간 지속기간 동안 등에서만 안전하지 않은 운전자에 관한 정보를 유지하도록 자율 주행 차량에 요구할 수 있다.
일부 실시예들에서, 자율 주행 차량은 검출한 변칙적 거동에 관한 데이터를, 차량별로, 클라우드로 전송할 수 있다. 이 데이터는 인간 운전 불규칙적 거동의 패턴을 학습하고 주어진 콘텍스트에서 그러한 거동이 발생할 가능성이 보다 많은지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 주어진 도시에서의 운전자가 차량들 사이의 측방 간격이 특정 거리보다 클 때 교통에 끼어들 가능성이 있다는 것, 특정 교차로에서의 운전자가 롤링 스톱(rolling stop)하는 경향이 보다 많은 것, 또는 셀 폰을 사용 중인 운전자가 차선을 벗어날 가능성이 보다 많은 것이 학습될 수 있다. 자율 주행 차량으로부터 클라우드로 전송되는 데이터는, 예를 들어, 다음과 같은 것을 포함할 수 있다:
일부 실시예들에서, 인간 운전 불규칙적 거동의 콘텍스트 기반 패턴을 학습하는 것은 LCS(Longest Common Subsequences)와 같은 기술들을 사용하여 안전하지 않은 거동과 연관된 운전 행동들의 시간 시퀀스를 클러스터링하는 것을 포함할 수 있다. 클러스터링은 차량 궤적 데이터의 차원성을 감소시킬 수 있으며 각각의 안전하지 않은 거동에 대한 운전 행동들에 대한 대표적인 시퀀스를 식별해 줄 수 있다. 아래의 표는 클러스터링될 수 있는 특정 시간 시퀀스의 예를 제공한다.
게다가, 일부 실시예들에서, 주어진 콘텍스트에서 발생할 가능성이 보다 많은 운전 패턴이 학습될 수 있다. 예를 들어, 추적된 시퀀스들에 기초하여, 주어진 도시에서 눈이 내릴 때 특정 불규칙적 운전 패턴이 보다 흔한지 여부 또는 특정 운전 행동이 화난 운전자에서 발생할 가능성이 보다 많은지가 학습될 수 있다. 이 정보는 주어진 콘텍스트에 대한 운전 패턴의 조건부 확률 분포를 모델링하는 데 사용될 수 있다. 이러한 콘텍스트 기반 모델은 주어진 시나리오에서 안전하지 않은 차량이 취할 수 있는 유력한 행동 시퀀스를 자율 주행 차량이 예측할 수 있게 한다. 예를 들어, 주어진 콘텍스트에서 운전 패턴이 얼마나 자주 발생하는지를 추적하는 콘텍스트 그래프가 도 15에 도시되어 있다. 도시된 바와 같이, 콘텍스트 그래프는 특정 콘텍스트에서 다른 것들보다 자주 발생하는 특정 거동 패턴(예를 들면, 특정 지리적 콘텍스트, 시간 콘텍스트 등에서 압도적으로 발생하는 패턴)이 있는지 여부를 식별하기 위해 콘텍스트 정보(도 15에서의 "콘텍스트" 노드) 그리고 시퀀스 및 콘텍스트의 연관된 관측 빈도(도 15에서의 에지의 가중치)와 함께 식별된 시퀀스(도 15에서의 "운전 패턴" 노드)를 추적할 수 있다. 식별된 패턴은 또한 자율 주행 차량이 안전하지 않은 거동을 피하기 위해 취해야 하는 행동을 식별하는 강화 학습 모델을 트레이닝시키는 데 사용될 수 있다. 예를 들어, 학습된 콘텍스트 거동 패턴은, 예를 들어, 자율 주행 차량이 콘텍스트 거동 패턴과 연관된 특정 콘텍스트에 진입하거나 이를 관측할 때 동적으로와 같이, 자율 주행 차량의 거동 모델을 수정하는 데 사용될 수 있다.
도 16은 적어도 하나의 실시예에 따른 차량에 의해 관측되는 불규칙적 거동들을 추적하는 예시적인 프로세스(1600)의 흐름 다이어그램이다. 예시적인 프로세스(1600)에서의 동작들은 자율 주행 차량 또는 클라우드 기반 학습 모듈의 하나 이상의 컴포넌트에 의해 수행될 수 있다. 예시적인 프로세스(1600)는 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 16에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
1602에서, 센서 데이터가, 차량 및 주변 환경을 식별하기 위해 자율 주행 차량에 의해 사용되는 카메라들, LIDAR 또는 다른 센서들을 포함하여, 자율 주행 차량에 결합된 복수의 센서들로부터 수신된다.
1604에서, 불규칙적 또는 변칙적 거동들이 하나 이상의 차량에 의해 수행되는 것으로 검출된다. 일부 경우에, 검출은 특정 차량에 의해 수행되는 관측된 거동을 자율 주행 차량의 안전 모델과 비교하는 것; 및 비교에 기초하여, 관측된 거동이 자율 주행 차량의 안전 모델을 위반한다고 결정하는 것에 의해 행해질 수 있다. 일부 경우에, 검출은 특정 차량에 의해 수행되는 관측된 거동을 다른 차량들에 의해 수행되는 관측된 거동들과 비교하는 것; 및 비교에 기초하여, 특정 차량에 의해 수행되는 관측된 거동이 다른 차량들에 의해 수행되는 관측된 거동들로부터 벗어난다고 결정하는 것에 의해 행해질 수 있다. 일부 경우에, 검출은 특정 차량에 의해 수행되는 관측된 거동을 다른 차량들에 의해 수행되는 관측된 거동들과 비교하는 것; 및 비교에 기초하여, 특정 차량에 의해 수행되는 관측된 거동이 다른 차량들에 의해 수행되는 관측된 거동들로부터 벗어난다고 결정하는 것에 의해 행해질 수 있다. 검출이 다른 방식으로 수행될 수 있다. 검출은 센서 데이터에서의 청각적 및 시각적 콘텍스트 정보에 기초할 수 있다.
1606에서, 불규칙적 거동이 관측된 각각의 차량에 대한 식별자가 생성된다. 식별자는 특정 차량의 각자의 특징들에 대한 값들을 획득하는 것; 및 식별자를 획득하기 위해 값들의 조합에 암호화 해시를 적용하는 것에 의해 생성될 수 있다. 값들은 다른 차량들을 인식하기 위해 자율 주행 차량에 의해 사용되는 딥 러닝 모델로부터 대표적인 특징들을 추출하는 것에 의해 획득될 수 있다. 식별자가 다른 방식으로 생성될 수 있다.
1608에서, 1604에서 검출된 불규칙적 거동들이 각자의 불규칙적 거동들을 수행한 차량들에 대해 1606에서 생성된 식별자들과 연관된다.
1610에서, 식별된 차량들에 대한 불규칙적 거동들의 발생 빈도가 추적된다.
1612에서, 관측된 불규칙적 거동이 특정 차량에 의해 임계 횟수 초과로 수행된 것으로 관측되었는지 여부가 결정된다. 만약 그렇다면, 1614에서, (예를 들면, 추가로 차량을 피하기 위해) 동적 거동 정책이 개시된다. 만약 그렇지 않다면, 자율 주행 차량은 기본 거동 정책에 따라 계속 동작한다.
도 17은 적어도 하나의 실시예에 따른 콘텍스트 거동 패턴들을 식별하는 예시적인 프로세스(1700)의 흐름 다이어그램이다. 예시적인 프로세스(1700)에서의 동작들은 자율 주행 차량의 학습 모듈 또는 클라우드 기반 학습 모듈에 의해 수행될 수 있다. 예시적인 프로세스(1700)는 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 17에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
1702에서, 복수의 자율 주행 차량들로부터 불규칙적 거동 추적 데이터가 수신된다. 불규칙적 거동 추적 데이터는 차량 식별자, 차량 식별자와 연관된 차량에 의해 수행되는 것으로 관측되는 연관된 불규칙적 거동, 및 불규칙적 거동이 자율 주행 차량들에 의해 검출된 콘텍스트를 나타내는 콘텍스트 데이터를 포함하는 엔트리들을 포함할 수 있다. 일부 경우에, 콘텍스트 데이터는 불규칙적 거동들을 수행하는 차량들에 대한 궤적 정보, 불규칙적 거동들을 수행하는 차량들에 대한 차량 속성들, 불규칙적 거동들을 수행하는 차량들에 대한 운전자 속성들, 불규칙적 거동들을 수행하는 차량들의 지리적 위치, 불규칙적 거동들을 수행하는 차량들 주위의 기상 조건들, 및 불규칙적 거동들을 수행하는 차량들 주위의 교통 조건들을 나타내는 교통 정보 중 하나 이상을 포함할 수 있다.
1704에서, 하나 이상의 불규칙적 거동 시퀀스가 식별된다. 이는 거동들을 클러스터링하는 것에 의해, 예컨대, LCS(Longest Common Subsequence) 기술들을 사용하는 것에 의해, 행해질 수 있다.
1706에서, 1704에서 식별된 시퀀스들 및 1702에서 수신된 데이터에 기초하여 콘텍스트 그래프가 생성된다. 콘텍스트 그래프는 식별된 시퀀스들을 나타내는 제1 노드 세트와 콘텍스트 데이터를 나타내는 제2 노드 세트를 포함할 수 있으며, 여기서 콘텍스트 그래프의 에지들은 노드들 사이의 연관들의 빈도를 나타낸다.
1708에서, 콘텍스트 거동 패턴이 콘텍스트 그래프를 사용하여 식별되고, 1710에서, 식별된 콘텍스트 거동 패턴에 기초하여 하나 이상의 자율 주행 차량에 대한 거동 정책이 수정된다. 예를 들어, 하나 이상의 자율 주행 차량이 식별된 콘텍스트 거동 패턴과 연관된 특정 콘텍스트 내에 있다는 것을 검출하는 것에 기초하여 하나 이상의 자율 주행 차량에 대한 거동 정책들이 수정될 수 있다.
본 명세서에서 논의된 바와 같이, 고도로 자동화된 자율 주행 차량들에 사용되는 예시적인 자율 주행 운전 스택들을 구현하기 위해 차량 내 컴퓨팅 시스템들에서 현대 컴퓨터 비전(CV) 및 인공 지능(AI)의 원리들 및 특징들이 활용될 수 있다. 그렇지만, CV 및 AI 모델 및 로직은 때때로 분류 오류 및 조작에 취약할 수 있다. 전형적인 침입 탐지 시스템(IDS)은 느리고 복잡하며 상당한 양의 잡음 및 거짓 양성을 생성할 수 있다. 딥 신경 네트워크(DNN) 알고리즘에서의 단일 비트 플립(bit flip)은 이미지를 완전히 잘못 분류하게 할 수 있다. 그에 따라, 고도로 자동화된 자율 주행 차량에 대한 공격 및 결함을 보다 정확하게 식별하기 위해 개선된 자율 주행 운전 시스템이 구현될 수 있다.
이하의 개시는 도 18에 도시된 바와 같은 고도로 자동화된 자율 주행 차량을 위한 결함 및 침입 탐지 시스템(1800)을 구현하기 위한 다양한 가능한 실시예들 또는 예들을 제공한다. 하나 이상의 실시예에서, 둘 모두 보다 높은 추상화 레벨인, 차량 움직임 예측 이벤트들 및 제어 커맨드들이 모니터링된다. 차량 움직임 파라미터들 및 도로 파라미터들의 현재 상태에 기초하여, 차량이 특정 움직임 엔벨로프(motion envelope) 내에 유지된다. 시간 정상 거동 모델(1841)은 움직임 엔벨로프의 준수를 유지하도록 구성된다. 적어도 하나의 실시예에서, 시간 정상 거동 모델을 구축하기 위해 적어도 2개의 알고리즘이 사용된다. 알고리즘은 정상 차량 거동을 학습하기 위한 (예를 들면, HMM(Hidden Markov Model)에 기초한) 차량 거동 모델(1842) 및 차량 거동 모델로부터의 편차를 구하기 위한 회귀 모델(1844)을 포함한다. 상세하게는, 회귀 모델은 차량 거동 모델이 결함을 올바르게 검출하는지 여부를 결정하는 데 사용되며, 여기서 결함은 차량 시스템 오류 또는 차량 시스템에 대한 악의적 공격일 수 있다.
고도로 자동화된 자율 주행 차량을 위한 결함 및 침입 탐지 시스템의 여러 실시예들을 예시하기 위해, 고도로 자동화된 자율 주행 차량에 관련된 가능한 활동들을 먼저 이해하는 것이 중요하다. 그에 따라, 다음과 같은 기본적인 정보는 본 개시가 적절하게 설명될 수 있는 기초로서 간주될 수 있다.
자율 주행 차량에 사용되는 현대 컴퓨터 비전(CV) 및 인공 지능(AI)은 분류 오류 및 조작에 취약하다. 예를 들어, 공격자는 표지판이 실제로 다른 것을 의미하는 것으로 믿도록 차량을 속일 수 있는 스티커를 생성할 수 있다. 도 19는, "LOVE"가 정지 표지판에서 "STOP" 위에 인쇄되고 "HATE"가 정지 표지판에서 "STOP" 아래에 인쇄되어 있는 "love/hate" 그래픽(1900)에서 알 수 있는 바와 같이, 그러한 조작을 예시한다. 낙서가 표시된 표지판이 영어를 사용하는 운전자에게는 정지 표지판이라는 것이 분명하지만, 이 낙서는 적어도 일부 컴퓨터 비전 알고리즘으로 하여금 정지 표지판이 실제로 속력 제한 또는 양보 안내판이라고 믿게 만들 수 있다. 추가적으로, 이미지를 분류하는 딥 신경 네트워크(DNN) 알고리즘에서의 단일 비트 플립 오류는 이미지의 분류 오류를 야기할 수 있다. 예를 들어, 거대한 트럭 대신에, 단지 단일 비트 플립이 분류기로 하여금 작은 동물 또는 새를 보게 할 수 있다.
현재의 (규칙 기반) 침입 탐지 시스템(IDS)은 자동차 네트워크의 비결정적 특성으로 인해 너무 많은 잡음과 너무 많은 거짓 양성을 생성하여, 자동차 네트워크를 전체 범위의 이상 거동을 커버하기에 부적절하게 만든다. 오류 정정 코드(error correction code, ECC) 알고리즘은 한계가 있으며 일반적으로 인공 지능에 도움이 되지 않는다. 적대적 생성 네트워크(generative adversarial network, GAN)는 가치가 있지만 트레이닝 세트에서 적대적 데이터를 선택하는 것에 크게 의존한다. 현재의 머신 러닝 기반 침입 탐지 시스템은 높은 복잡성과 모니터링되는 많은 내부 네트워크 및 외부 연결로 인해 자동차 시스템에서 사용하기에 적절하지 않다.
도 18에 도시된 바와 같은 결함 및 침입 탐지 시스템(1800)은 앞서 언급된 이슈들 중 다수(및 그 이상)를 해결한다. 시스템(1800)은 2개의 알고리즘을 가진 시간 정상 거동 모델(1841): 차량의 정상 거동을 학습하기 위한 차량 거동 모델(1842) 및 시간 간격 t에 대한 차량의 거동의 가능성을 예측하기 위한 회귀 모델(1844)을 포함한다. 차량 거동 모델은 정상 차량 거동에 대한 확률 모델일 수 있다. 차량 거동 모델은 베이스라인 로우 랭크 정적 모델(baseline low-rank stationary model)을 학습하고 이어서 정적 모델로부터 시간 모델의 편차를 모델링한다. 이벤트 세트가 일반적으로 시간에 따라 정적이기 때문에, 차량 거동 모델은 결함 및 침입 탐지 시스템을 통과하여 유지된 이전의 및 새로운 검증된 트레이닝 샘플들이 주어지면 가끔의 파라미터 재가중을 통해 업데이트될 수 있다. 회귀 알고리즘은 차량 거동 모델로부터 계산되는 새로운 수신된 제어 이벤트에 기초한 움직임 변화의 가능성을 회귀 알고리즘에 의해 예측되는 모델(예를 들면, 움직임 엔벨로프)과 비교한다.
결함 및 침입 탐지 시스템(1800)은 여러 잠재적인 이점들을 제공한다. 예를 들어, 시스템(1800)은 전형적인 침입 탐지 시스템에 의해 모니터링되는 것보다 높은 추상화 레벨인 차량 움직임 예측 이벤트들 및 제어 커맨드들을 모니터링한다. 본 명세서에서의 실시예들은, 전형적인 침입 탐지 시스템에 의해 포착되지 않을 수 있는 저레벨 변화보다는, 악의적인 공격 및 의도가 탐지될 수 있는 보다 높은 레벨에서의 탐지를 가능하게 한다. 그에 따라, 시스템(1800)은 정교하고 복잡한 공격 및 시스템 고장의 탐지를 가능하게 한다.
도 18을 참조하면, 결함 및 침입 탐지 시스템(1800)은 클라우드 프로세싱 시스템(1810), 차량(1850), 다른 에지 디바이스들(1830), 및 차량(1850)과 클라우드 프로세싱 시스템(1810) 사이 및 차량(1850)과 다른 에지 디바이스들(1830) 사이의 통신을 용이하게 하는 하나 이상의 네트워크(예를 들면, 네트워크(1805))를 포함한다. 클라우드 프로세싱 시스템(1810)은 클라우드 차량 데이터 시스템(1820)을 포함한다. 차량(1850)은 CCU(1840) 및, 센서들(1855A 내지 1855E)와 같은, 수많은 센서들을 포함한다. 도 18의 요소들은 또한, 다수의 상이한 실시예들에서 실현될 수 있는, 프로세서들(예를 들면, 1817, 1857) 및 메모리(예를 들면, 1819, 1859)를 포함하지만 반드시 이에 제한되는 것은 아닌 적절한 하드웨어 컴포넌트들을 포함한다.
차량(1850)에서, CCU(1840)는 센서들(1855A 내지 1855E)로부터 거의 연속적인 데이터 피드들을 수신할 수 있다. 센서들은, 조향, 스로틀 및 브레이크 센서들을 포함하여, 본 명세서에 기술된 임의의 유형의 센서들을 포함할 수 있다. 수많은 다른 유형의 센서들(예를 들면, 이미지 캡처 디바이스, 타이어 압력 센서, 도로 조건 센서 등)이 또한 데이터를 CCU(1840)에 제공할 수 있다. CCU(1840)는, 차량 거동 모델(1842), 회귀 모델(1844) 및 비교기(1846)를 포함하는, 시간 정상 거동 모델(1841)을 포함한다.
차량 거동 모델(1842)은 저레벨에서 차량 거동을 학습하기 위해, 조향 센서 데이터, 스로틀 센서 데이터 및 브레이크 센서 데이터와 같은, 센서들의 원시 데이터에 대해 트레이닝할 수 있다. 차량에서 발생하는 이벤트가 일반적으로 시간에 따라 정적이며, 따라서 차량 거동 모델은 결함 및 침입 탐지 시스템을 통과하여 유지된 이전의 및 새로운 검증된 트레이닝 샘플들이 주어지면 가끔의 파라미터 재가중을 통해 업데이트될 수 있다.
적어도 하나의 예에서, 차량 거동 모델(1842)은 확률 모델이다. 확률 모델은 변수들 간의 관계들을 정의하는 데 사용되는 통계 모델이다. 적어도 일부 실시예들에서, 이러한 변수들은 조향 센서 데이터, 스로틀 센서 데이터 및 브레이크 센서 데이터를 포함한다. 확률 모델에서, 하나의 변수를 다른 변수로부터 예측하는 데 오류가 있을 수 있다. 다른 인자들은 데이터의 변동성을 설명할 수 있으며, 확률 모델은 이러한 다른 인자들을 설명하는 하나 이상의 확률 분포를 포함한다. 적어도 하나의 실시예에서, 확률 모델은 HMM(Hidden Markov Model)일 수 있다. HMM에서, 모델링되는 시스템은 관측되지 않은(예를 들면, 숨겨진) 상태를 가진 마르코프 프로세스로 간주된다.
적어도 하나의 실시예에서, 차량 거동 모델은 물리적 차량 작동에 대한 파이프라인에 있다. 작동 이벤트(본 명세서에서 '제어 이벤트'라고도 지칭됨)는 이전 소프트웨어 계층에 의해 작동 이벤트로서 표시될 수 있다. 상이한 유형의 입력 데이터(예를 들면, 날씨에 대한 벡터, 속력에 대한 벡터, 방향에 대한 벡터 등)에 대한 벡터 구조들이 차량 거동 모델(1842)에 의해 사용될 수 있다. 벡터 구조에서의 각각의 파라미터에 대해, 차량 거동 모델(1842)은 확률을 할당한다. 차량의 액추에이터로 가는 데이터에 대해 차량 거동 모델(1842)이 지속적으로 실행될 수 있다. 그에 따라, (예를 들면, 차량의 움직임을 변경하기 위한) 모든 커맨드가 차량 거동 모델을 거칠 수 있고 차량이 무엇을 하고 있는지의 거동 상태가 유지될 수 있다.
전형적으로, 제어 이벤트는 운전자 커맨드(예를 들면, 조향 휠을 회전시키는 것, 브레이크를 밟는 것, 스로틀을 밟는 것)에 의해 또는 차량의 다음 행동을 나타내는 자율 주행 자동차의 센서들로부터 개시된다. 제어 이벤트는 또한 센서들 및 액추에이터들 자체로부터의 피드백 루프로부터 비롯될 수 있다. 일반적으로, 제어 이벤트는 차량의 움직임 변화를 나타낸다. 차량 거동 모델(1842)은 움직임 변화가 잠재적으로 변칙적인지 또는 예상된 거동인지를 결정할 수 있다. 상세하게는, 차량 거동 모델의 출력은 움직임 변화의 분류일 수 있다. 일 예에서, 분류는 움직임 변화가 결함(예를 들면, 악의적 공격 또는 차량 컴퓨터 시스템의 고장)일 가능성을 나타낼 수 있다.
회귀 모델(1844)은 주어진 시간 간격 t로 발생하는, 제어 이벤트에 의해 표시되는, 차량의 움직임 변화의 가능성을 예측한다. 회귀 알고리즘은 둘 이상의 변수 간의 관계를 조사하기 위한 통계적 방법이다. 일반적으로, 회귀 알고리즘은 종속 변수에 대한 하나 이상의 독립 변수의 영향을 조사한다.
회귀 모델(1844)에 대한 입력은 제어 이벤트와 연관된 움직임 센서 이외의 움직임 센서들로부터의 입력들과 같은 상위 레벨 이벤트들을 포함할 수 있다. 예를 들어, 제어 이벤트가 제동 센서와 연관되어 있을 때 회귀 모델에 대한 입력은 스로틀 센서 및 조향 센서로부터의 입력도 포함할 수 있다. 입력은, 예를 들어, 차량의 관성을 나타내는 자이로스코프와 같은 다른 관련 차량 센서들로부터 수신될 수 있다. 회귀 모델(1844)은 또한 차량과 연관된 이미지 캡처 디바이스(예를 들면, 카메라)에 의해 캡처되는 이미지를 분류할 수 있는 이미지 분류기와 같은 차량 내의 다른 모델들로부터 입력들을 수신할 수 있다. 추가적으로, 회귀 모델(1944)은 셀 타워, 요금소, 인프라스트럭처 디바이스, 위성, 다른 차량, (예를 들면, 일기 예보, 교통 조건 등을 위한) 라디오 방송국 등과 같은 다른 에지 디바이스들을 포함하지만 반드시 이에 제한되는 것은 아닌 원격 소스들로부터의 입력들을 포함할 수 있다. 다른 에지 디바이스들로부터의 입력들은 추가 정보가 제어 이벤트에 어떻게 영향을 미치는지를 결정하기 위해 회귀 모델에 의해 조사될 수 있는 추가 정보(예를 들면, 환경 조건, 일기 예보, 도로 조건, 하루 중 시간, 차량의 위치, 교통 조건 등)를 제공하는 환경 데이터를 포함할 수 있다.
적어도 하나의 실시예에서, 회귀 모델(1844)은 백그라운드에서 실행되고, 센서들, 다른 모델들, 다른 에지 디바이스들과 같은 원격 소스들 등으로부터의 입력들을 조사하는 것에 기초하여, 차량이 무엇을 했는지에 대한 메모리를 생성하고 차량이 정상(무결함) 조건 하에서 무엇을 해야 하는지를 예측한다. 차량 거동 모델에 제한을 적용하기 위해 움직임 엔벨로프가 생성될 수 있다. 움직임 엔벨로프는 잘못된 것이 없다고 가정하여 주어진 시간 간격 t 동안 차량의 경로와 차량의 목적지의 입력들에 기초한 계산된 예측이다. 회귀 모델(1844)은 제어 이벤트가 움직임 엔벨로프 밖에 있는 차량에 대한 움직임 변화를 나타내는지 여부를 결정할 수 있다. 예를 들어, 제어 이벤트가 급제동 이벤트인 경우, 차량 거동 모델은 제동 이벤트가 정상 제동 임계치를 벗어나고 차량 시스템에서의 높은 결함 확률을 나타낸다고 결정할 수 있다. 그렇지만, 회귀 모델은 (예를 들면, 사고로 인한) 극심한 교통량을 나타내는 도로변 인프라스트럭처 디바이스로부터의 입력을 조사할 수 있다. 따라서, 회귀 모델은 시간 간격 t 동안 특정 교통 조건에 적어도 부분적으로 기초하여 계산되는 예측된 움직임 엔벨로프 내에서 급제동 이벤트가 발생할 가능성이 있다고 결정할 수 있다.
결함 및 침입 탐지 시스템(1800)은 사용되는 회귀 알고리즘의 유형에 대해 무관하다. 예를 들어, 은닉 변수들에 의존하는, HMM과 같은, 통계 모델에서 파라미터들의 최대 가능성을 구하는 반복법(iterative method)인 EM(expectation maximization) 알고리즘이 사용될 수 있다. 적어도 하나의 실시예에서, 회귀 알고리즘(예를 들면, 선형 또는 라쏘(lasso))은 원하는 움직임 엔벨로프 크기에 따라 편차를 어느 정도 허용하도록 선택될 수 있다. 예를 들어, 하나의 움직임 엔벨로프는 민간인에 의해 사용되는 차량에 대해 제약될(또는 작을) 수 있는 반면, 다른 움직임 엔벨로프는 군용 차량에 대해 보다 완화될 수 있다.
차량 거동 모델(1842)에 제한을 적용하기 위해 비교기(1846)가 사용될 수 있다. 비교기는 차량 거동 모델(1842)의 출력 분류와 회귀 모델(1844)의 출력 예측을 비교하고 제어 이벤트에 의해 표시되는 움직임 변화가 예측된 움직임 엔벨로프 내에서 발생할 수 있는 결함 또는 허용 가능한 움직임 변화인지 여부를 결정할 수 있다. 차량 거동 모델의 출력 분류는 제어 이벤트에 의해 표시되는 움직임 변화가 결함(예를 들면, 악의적 공격 또는 차량 컴퓨터 시스템에서의 고장)일 가능성의 표시일 수 있다. 회귀 모델(1844)의 출력 예측은, 센서들, 에지 디바이스들, 차량 내의 다른 모델들 등으로부터의 입력 데이터에 기초하여, 주어진 시간 간격 t에서 움직임 변화가 발생할 가능성일 수 있다. 비교기는 차량 거동 모델에 의해 제어 이벤트의 출력 분류에 제한을 적용하기 위해 회귀 모델을 사용할 수 있다.
비교기 기능의 일 예에서, 차량 거동 모델은 제동 이벤트가 잠재적으로 변칙적임을 나타내지만 회귀 모델은, 입력으로서 수신되는 특정 환경 조건(예를 들면, 센서로부터의 높은 속력 변화율, 도로 지도로부터의 전방 정지 신호등, 일기 예보로부터의 비)에 대해, 예상되는 제동 이벤트가 허용 가능한 임계치 내에(예를 들면, 움직임 엔벨로프 내에) 있다는 것을 나타내는 경우, 제동 이벤트가 움직임 엔벨로프에 기초한 허용 가능한 임계치 내에 있기 때문에, 비교기는 제동 이벤트가 잠재적으로 변칙적이라는 차량 거동 모델의 평가가 무시될 수 있고 제동 동작이 계속될 수 있게 하기 위해 제어 신호가 송신될 수 있다고 결정할 수 있다. 다른 예시적인 예에서, 회귀 모델(1844)은 차량이 도시 거리를 35 mph로 달리고 있었음을 알고 있으며 지도에 접근할 수 있기 때문에 교차 거리에 있는 정지 표지판을 예상한다. 회귀 모델은 또한 일기 예보가 빙판이라는 것을 알고 있다. 대조적으로, 차량 거동 모델(1842)은, 그의 이미지 분류기가 다가오는 정지 표지판이 더 높은 속력을 의미한다고 잘못 결정했기 때문에 또는 해커가 제어 데이터를 조작하고 잘못된 커맨드를 액셀러레이터로 송신했기 때문에, 가속하는 제어 이벤트(예를 들면, 액추에이터에 대한 커맨드)를 수신한다. 이 시나리오에서, 차량 거동 모델로부터의 출력 분류가 제어 이벤트가 잠재적으로 변칙적임을 나타내지는 않더라도, 비교기는, 주어진 시간 간격 t 동안, 차량이 정지 표지판에 접근함에 따라 제동해야 함을 나타내는 움직임 엔벨로프가 주어진 경우 제어 이벤트가 발생할 가능성이 없다는 회귀 모델 출력 예측에 기초하여 오류 또는 제어 신호를 생성할 수 있다.
시간 정상 거동 모델(1841)의 가능성 비교 특징을 구현하기 위해 다수의 적합한 비교기들 중 임의의 것이 사용될 수 있다. 적어도 하나의 실시예에서, 비교기는 사용되는 특정 차량 거동 모델 및 회귀 모델에 기초하여 선택될 수 있다.
비교기(1846)는 차량 거동 모델(1842)에 피드백을 송신하여 그의 모델을 수정하도록 트리거될 수 있다. 차량 거동 모델에 대한 피드백은 재트레이닝을 가능하게 한다. 일 예에서, 시스템은 피드백에 기초하여 저지른 실수들의 메모리를 생성하고, 예를 들어, 위치 및 시간에 기초하여 유사한 시나리오들을 식별하도록 재트레이닝된다. 재트레이닝에서 다른 변수들이 또한 사용될 수 있다.
클라우드 차량 데이터 시스템(1820)은 다수의 차량들에 대한 회귀 모델들(예를 들면, 1844)을 트레이닝시키고 업데이트할 수 있다. 일 예에서, 클라우드 차량 데이터 시스템(1820)은 동작 차량들(예를 들면, 1850) 내의 회귀 모델들(예를 들면, 1844)로부터 피드백(1825)을 수신할 수 있다. 다수의 차량들에서의 회귀 모델들을 업데이트하여 거동을 최적화하기 위해 집계 및 재계산을 위한 클라우드 차량 데이터 시스템(1820)으로 피드백(1825)이 송신될 수 있다. 적어도 일부 예에서, 하나 이상의 에지 디바이스(1830)는 집계 및 어쩌면 일부 트레이닝/업데이트 동작들을 수행할 수 있다. 이러한 예에서, 이러한 집계, 트레이닝 및/또는 업데이트 동작들을 가능하게 하기 위해 회귀 모델(예를 들면, 1844)로부터 피드백(1835)이 수신될 수 있다.
도 20을 참조하면, 적어도 하나의 실시예에 따른 차량에 대한 단순화된 중앙집중식 차량 제어 아키텍처(2000)의 블록 다이어그램이 예시되어 있다. 차량 제어 아키텍처에서, 버스(2020)(예를 들면, CAN(controller area network), FlexRay 버스 등)는 타이어들(2010A, 2010B, 2010C 및 2010D) 및 그 각자의 액추에이터들(2012A, 2012B, 2012C 및 2012D)을 조향 ECU(2056A), 스로틀 ECU(2056B) 및 브레이크 ECU(2056C)를 포함한 다양한 엔진 제어 유닛들(ECU들)에 연결시킨다. 버스는 또한 CCU(connectivity control unit)(2040)를 ECU들에 연결시킨다. CCU(2040)는 조향 센서(2055A), 스로틀 센서(2055B) 및 브레이크 센서(2055C)와 같은 센서들에 통신 가능하게 연결된다. CCU(2040)는, 조향, 스로틀 및 브레이크 센서들 및/또는 액추에이터들 중 하나 이상으로부터의 피드백 외에도, 자율 주행 ECU 또는 운전자로부터 지시들을 수신하여, 커맨드들을 적절한 ECU들로 송신할 수 있다. 차량 거동 모델을 생성하기 위한 차량 거동 학습은 종종 위에서 논의된 바와 같이 생성될 수 있는 원시 데이터를 사용한다. 예를 들어, 현재 특정 유형의 각도로 각을 이루고 있는 바퀴들, 특정 퍼센트인 브레이크 압력, 가속도 변화율(acceleration rate) 등.
도 21은 자율 주행 감지 및 제어 파이프라인(2100)의 단순화된 블록 다이어그램이다. 차량의 제어권은 작동을 담당하는 엔진 제어 유닛(ECU)에 주어진다. 도 21은 센서들로부터 센서 융합 및 계획 ECU를 거치고 차량 제어 ECU들을 거치는 자율 주행 프로세싱 파이프라인을 예시한다. 도 21은 비가시선, 가시선, 차량 상태 및 위치결정을 포함한 다양한 센서 입력들을 도시한다. 상세하게는, 그러한 입력들은 V2X(2154A), 레이더(2154B), 카메라(2154C), LIDAR(2154D), 초음파 디바이스(2154E), 차량의 움직임(2154F), 차량의 속력(2154G), GPS, 관성 및 원격 측정(2154H), 및/또는 HD(High definition) 지도들(2154I)에 의해 제공될 수 있다. 이러한 입력들은 센서 모델들(2155)을 통해 중앙 유닛(예를 들면, 중앙 프로세싱 유닛)에 공급된다. 센서 모델들(2155)은 확률적 센서 융합 및 움직임 계획(2110)을 수행하기 위한 입력을 제공한다. 일반적으로, 센서 융합은 차량 상태, 움직임 및 환경을 이해하기 위해 입력 데이터 모두를 평가하는 것을 포함한다. 연속 루프는 차량의 다음 동작을 예측하고, 차량의 계기 클러스터(2120)에 관련 정보를 디스플레이하며, 적절한 신호들을 차량 제어 액추에이터들(2130)로 송신하기 위해 사용될 수 있다.
도 22는 고도로 자동화된 또는 자율 주행 차량의 예시적인 엑스 바이 와이어 아키텍처(2200)를 예시하는 단순화된 블록 다이어그램이다. CCU(2240)는 차량의 조향 휠(2202) 및 페달들(2204)로부터 입력(예를 들면, 제어 신호들)을 수신할 수 있다. 그렇지만, 자율 주행 차량에서는, 조향 휠 및/또는 페달들이 존재하지 않을 수 있다. 그 대신에, 자율 주행 운전(AD) ECU가 이러한 메커니즘들을 대체하고 모든 운전 결정을 내릴 수 있다.
유선 네트워크(예를 들면, CAN, FlexRay)는 CCU(2240)를 조향 ECU(2256A) 및 그의 조향 액추에이터(2258A)에, 브레이크 ECU(2256B) 및 그의 브레이크 액추에이터(2258B)에, 그리고 스로틀 ECU(2256C) 및 그의 스로틀 액추에이터(2258C)에 연결시킨다. 유선 네트워크들은 스티어 바이 와이어(steer-by-wire)(2210), 브레이크 바이 와이어(brake-by-wire)(2220) 및 스로틀 바이 와이어(throttle-by-wire)(2230)라고 명명된다. 자율 주행 또는 고도의 자율 주행 차량에서, CCU(2240)와 같은 CCU는 디지털적으로 서명될 필요가 있는 보안 부트, 증명 및 소프트웨어 컴포넌트들을 가진 폐쇄형 시스템이다. 그렇지만, 공격자가 센서들에 대한 입력(예를 들면, 이미지, 레이더 스푸핑 등)을 제어하며, CCU까지의 네트워크 트래픽을 조작하고/하거나, (CCU 이외의) 차량 내의 다른 ECU들을 손상시킬 수 있다. CCU(2240)와 액추에이터들(2258A 내지 2258C) 사이의 네트워크들은 허용된 트래픽 및 연결들에 대한 추가적인 하드웨어 검사로 인해 손상될 수 없다. 상세하게는, CCU(2240) 이외의 어떤 ECU도 유선 네트워크에서 허용되지 않는다. 이러한 디바이스들을 바인딩하는 것 및/또는 트래픽 트랜시버 및 수신기(Tx/Rx)를 사용하는 다른 물리적 시행을 사용하는 것에 의해 시행이 암호화될 수 있다.
도 23은 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 예시적인 안전 리셋 아키텍처(2300)를 예시하는 단순화된 블록 다이어그램이다. 아키텍처(2300)는 버스(2320)(예를 들면, CAN, FlexRay) 및 하드웨어/소프트웨어 모니터(2360)에 연결된 CCU(2340)를 포함한다. HW/SW 모니터(2360)는 오류에 대해 CCU(2340)를 모니터링하고, 제어 이벤트에 의해 표시되는 바와 같은 움직임 변화가 회귀 모델에 의해 계산되는 움직임 엔벨로프를 벗어난 것으로 결정되는 경우 CCU를 리셋시킨다. 적어도 하나의 실시예에서, HW/SW 모니터(2360)는 비교기로부터 입력을 수신할 수 있으며, 비교기는 오류 신호를 송신할지 여부를 결정한다. 적어도 일부 실시예들에서, 오류 신호가 송신되고 CCU에 대한 자체 리셋(self-reset)이 차량 거동을 예측된 움직임 엔벨로프 내에 있도록 효과적으로 정정하지 않는 경우, CCU(2340)는 차량을 안전하게 정지시킬 수 있다.
도 24는 적어도 하나의 실시예에 따른 고도로 자동화된 또는 자율 주행 차량의 일반 안전 아키텍처(2400)의 예를 예시하는 단순화된 블록 다이어그램이다. 안전 아키텍처(2400)는 버스(2420)(예를 들면, CAN, FlexRay)를 통해 조향 ECU(2456A) 및 그의 조향 액추에이터(2458A), 스로틀 ECU(2456B) 및 그의 스로틀 액추에이터(2458B), 브레이크 ECU(2456C) 및 그의 브레이크 액추에이터(2458C)에 연결되는 CCU(2440)를 포함한다. CCU(2440)는 또한 조향 센서(2455A), 스로틀 센서(2455B) 및 브레이크 센서(2455C)에 통신 가능하게 연결된다. CCU(2440)는 또한 환경 메타데이터(2415)를 수신하기 위해 다른 엔티티들에 통신 가능하게 연결될 수 있다. 그러한 다른 엔티티들은 다른 센서들, 에지 디바이스들, 다른 차량들 등을 포함할 수 있지만 반드시 이에 제한되는 것은 아니다.
안전에 관여되는 여러 통신들이 발생할 수 있다. 첫째, 스로틀, 조향 및 브레이크 커맨드들과 감각 피드백이 액추에이터들 및/또는 센서들로부터 CCU에 수신된다. 추가적으로, 환경 메타데이터(2415)는 ADAS(autonomous driver assistance system) 또는 AD ECU(autonomous driver ECU)로부터 전달될 수 있다. 이 메타데이터는, 예를 들어, 거리 및 도로의 유형, 기상 조건 및 교통 정보를 포함할 수 있다. 이는 제약하는 움직임 엔벨로프를 생성하고 다음 몇 분에 대한 움직임을 예측하는 데 사용될 수 있다. 예를 들어, 자동차가 교외 거리를 이동하고 있는 경우, 속력 제한은 시속 25 또는 35 마일로 제약될 수 있다. 속력 제한에 위배되는 AD ECU로부터의 커맨드가 수신되는 경우, CCU는 이를 결함(예를 들면, 악의적 공격 또는 비악의적 오류)으로서 식별할 수 있다.
시스템이 복구될 수 있는지를 확인하기 위해 다른 중복성 방식들이 또한 사용될 수 있다. 커맨드들을 여러 번 판독하고 중위 투표(median voting)를 사용하기 위해 시간 중복성(2402)이 사용될 수 있다. 값들을 여러 번 프로세싱하고 여러 사본들을 메모리에 저장하기 위해 정보 중복성(2404)이 사용될 수 있다. 추가적으로, ECU들에 대한 제어 커맨드들을 스케줄링하기 위해 다수결 투표(2406)가 사용될 수 있다. 중복성 방식이 시스템을 오류로부터 복구시키지 못하는 경우, CCU는 차량을 안전하게 정지시킬 수 있다. 예를 들어, 2408에서, 다른 안전 제어들은 차량 움직임 벡터 가설을 구축하는 것, 움직임을 가설 엔벨로프 내로 제약하는 것, 및 제어 값들이 엔벨로프를 벗어나는 경우 차량을 정지시키는 것을 포함할 수 있다.
도 25는 적어도 하나의 실시예에 따른 고도로 자동화된 자율 주행 차량을 위한 결함 및 침입 탐지 시스템의 예시적인 동작 흐름(2500)을 예시하는 단순화된 블록 다이어그램이다. 도 25에서, CCU(2540) 내에 여러 동작들이 도시되어 있다. CCU(2540)는 CCU(1840)의 일 예를 나타내고 CCU(1840)에서 발생할 수 있는 가능한 동작들 및 활동들을 예시한다. 동작들은 시간 정상 거동 모델(예를 들면, 1841)의 알고리즘에 대응한다. HMM 평가(2542)는 차량 거동 모델(예를 들면, 1842)에 대응하고, 회귀 평가(2544)는 회귀 모델(예를 들면, 1844)에 대응하며, 가능성 비교(2546)는 비교기(예를 들면, 1846)에 대응한다.
제어 이벤트들(2502)은 CCU(2540)에 의해 수신되고 HMM 평가(2542) 및 회귀 평가(2544) 둘 모두에서 사용될 수 있다. 제어 이벤트는 운전자 커맨드로부터, 차량의 다음 행동을 나타내는 자율 주행 자동차의 센서들로부터, 또는 센서들 또는 액추에이터들로부터의 피드백 루프로부터 비롯될 수 있다. HMM 평가는 제어 이벤트에 의해 표시되는 움직임 변화가 결함일 가능성을 결정할 수 있다. HMM 평가(2542)는 또한 움직임 변화가 정상 거동인지 또는 결함을 나타내는지를 결정하는 데 도움을 주기 위해 센서 데이터(2555)(예를 들면, 스로틀 센서 데이터, 조향 센서 데이터, 타이어 압력 센서 데이터 등)를 수신할 수 있다. 차량 거동 모델은 비교기(예를 들면, 1846)로부터 피드백(2504)을 수신할 수 있으며, 여기서 피드백은 이전에 저지른 실수들을 인식하고 (예를 들면, 위치 및/또는 시간에 기초하여) 유사한 사례들을 식별하기 위해 차량 거동 모델을 수정한다. 그에 따라, HMM 평가(2542)는 비교기로부터의 피드백에 기초하여 상이하게 수행될 수 있다.
회귀 평가(2544)는 정상 조건 하에서 주어진 시간 간격 t에서, 제어 이벤트에 의해 표시되는, 움직임 변화가 발생할 가능성을 예측한다. 회귀 평가를 위한 입력들은 센서 데이터(2555) 및 원격 데이터 소스들(2530)(예를 들면, 다른 에지 디바이스들(1830))로부터의 입력 데이터를 포함할 수 있다. 추가적으로, 클라우드로부터의(예를 들면, 클라우드 차량 데이터 시스템(1820)으로부터의) 피드백(2504)은 회귀 평가(2544)를 수행하는 회귀 모델을 업데이트할 수 있으며, 여기서 회귀 모델은 차량 거동을 최적화하기 위해 업데이트되고 다른 차량들에서의 학습으로부터 이익을 얻는다.
일 예에서, 회귀 평가(2544)는 센서들, 다른 모델들, 다른 에지 디바이스들 등으로부터의 입력들을 조사하는 것에 기초하여 정상 차량 거동에 대한 하나 이상의 한계 또는 임계치에 의해 정의되는 움직임 엔벨로프를 생성한다. 회귀 평가(2544)는 이어서 제어 이벤트에 의해 표시되는 움직임 변화가 움직임 엔벨로프 한계들 또는 임계치들 중 하나 이상을 벗어나는지 여부를 결정할 수 있다.
가능성 비교(2546)는 HMM 평가(2542)로부터의 움직임 변화의 출력 분류 및 회귀 평가(2544)로부터의 출력 예측에 기초하여 수행될 수 있다. HMM 평가로부터의 출력 분류는 움직임 변화가 결함(예를 들면, 악의적 공격 또는 차량 컴퓨터 시스템에서의 고장)일 가능성의 표시일 수 있다. 회귀 평가(2544)로부터의 출력 예측은, 센서들, 에지 디바이스들, 차량 내의 다른 모델들 등으로부터의 입력 데이터에 기초하여, 주어진 시간 간격 t에서 움직임 변화가 발생할 가능성일 수 있다. 회귀 평가로부터의 출력 예측이 주어진 시간 간격 t 동안 움직임 변화가 발생할 가능성이 없다는 것을 나타내는 경우 그리고 HMM 평가로부터의 출력 분류가 움직임 변화가 결함일 가능성이 있다는 것을 나타내는 경우, 예측이 움직임 엔벨로프 한계 또는 임계치를 벗어날 수 있고 출력 분류가, 2547에 표시된 바와 같이, 정상 임계치를 벗어날 수 있으며, 오류 신호(2506)는 정정 조치를 취하기 위해 적절한 ECU들로 송신될 수 있고/있거나 적절한 계기 디스플레이들로 송신될 수 있다. 회귀 평가로부터의 출력 예측이 주어진 시간 간격 t 동안 움직임 변화가 발생할 가능성이 있다는 것을 나타내는 경우 그리고 HMM 평가에 의한 출력 분류가 움직임 변화가 결함일 가능성이 없다는 것을 나타내는 경우(예를 들면, 정상일 가능성이 있는 경우), 예측은 움직임 엔벨로프 한계 또는 임계치 내에 있을 수 있고 출력 분류는, 2548에 표시된 바와 같이, 정상 임계치 내에 있을 수 있으며, 제어 이벤트에 의해 표시되는 움직임 변화를 야기하는 행동(2508)이 발생할 수 있다. 적어도 일부 구현들에서, 행동이 발생할 수 있게 하기 위해 신호가 송신될 수 있다. 다른 구현들에서, 행동은 오류 신호가 없을 때 발생할 수 있다.
다른 시나리오들에서, 회귀 평가(2544)에 의한 출력 예측과 HMM 평가(2542)에 의한 출력 분류가 충돌할 수 있다. 예를 들어, 회귀 평가에 의한 출력 예측이 주어진 시간 간격 t 동안 움직임 변화가 발생할 가능성이 없다는 것을 나타내는 경우 그리고 HMM 평가의 출력 분류가 움직임 변화가 결함일 가능성이 없다는 것을 나타내는 경우(예를 들면, 정상 거동일 가능성이 있는 경우), 오류 신호(2506)가 차량 거동을 제어하기 위해 적절한 ECU들로 송신될 수 있고/있거나 적절한 계기 디스플레이들로 송신될 수 있다. 이는 움직임 변화가 한계들 또는 임계치들 중 하나 이상을 벗어나서 해당 특정 조건들 및 인자들 하에서 발생할 가능성이 없도록 움직임 엔벨로프를 제약하는 (예를 들면, 다른 센서 데이터, 환경 데이터 등으로부터의) 추가적인 조건들 및 인자들을 고려하는 회귀 평가로 인한 것일 수 있다. 결과적으로, HMM 평가에 의한 출력 분류가 움직임 변화가 정상임을 나타내더라도, 회귀 평가는 오류 신호가 송신되게 할 수 있다.
다른 예에서, 회귀 평가에 의한 출력 예측이 주어진 시간 간격 t 동안 제어 이벤트에 의해 표시되는 움직임 변화가 발생할 가능성이 있다는 것을 나타내는 경우 그리고 HMM 평가에 의한 출력 분류가 움직임 변화가 결함일 가능성이 있다는 것을 나타내는 경우, HMM 평가로부터의 출력 분류가 원하는 임계치를 초과하는 결함 가능성을 나타내는지 여부를 결정하기 위해 임계치가 평가될 수 있다. 예를 들어, HMM 출력 분류가 움직임 변화가 변칙적 거동일 95% 확률을 나타내지만 회귀 평가 출력 예측이 움직임 변화가 그의 예측된 움직임 엔벨로프의 한계들 또는 임계치들 내에 있기 때문에 발생할 가능성이 있다는 것을 나타내는 경우, 변칙적 거동의 확률이 원하는 임계치를 초과하는지 여부를 결정하기 위해 HMM 출력 분류가 평가될 수 있다. 만약 그렇다면, 오류 신호(2506)가 차량 거동을 제거하거나 다른 방식으로 그에 영향을 미치기 위해 적절한 ECU들로 송신될 수 있고/있거나 적절한 계기 디스플레이들로 송신될 수 있다. 그렇지만, 원하는 임계치가 초과되지 않는 경우, 움직임 변화가 움직임 엔벨로프의 한계들 또는 임계치들 내에 있고 해당 특정 조건들 및 인자들 하에서 예상된 거동을 나타내도록 움직임 엔벨로프를 완화시키는 (예를 들면, 다른 센서 데이터, 환경 데이터 등으로부터의) 추가적인 조건들 및 인자들을 고려하는 회귀 평가로 인해 움직임 변화를 야기하는 행동이 허용될 수 있다.
추가적으로, 특정 제어 이벤트들(또는 모든 제어 이벤트들)에 대한 가능성 비교(2546)의 결과의 샘플 유지(2549)가 저장될 수 있으며 차량 거동 모델 및/또는 회귀 모델을 재트레이닝시키기 위해 사용될 수 있고/있거나 평가를 위해 저장 및 사용될 수 있다.
도 26은, 시스템(1800)과 같은, 결함 및 침입 탐지 시스템과 연관된 동작들의 가능한 상위 레벨 흐름(2600)을 예시하는 단순화된 플로차트이다. 적어도 하나의 실시예에서, 동작 세트는 도 26의 활동들에 대응한다. 차량(1850) 내의 CCU(1840)와 같은, 차량 내의 CCU는 동작 세트의 적어도 일 부분을 활용할 수 있다. 차량(1850)은 동작들을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들면, 1857)를 포함할 수 있다. 적어도 하나의 실시예에서, 차량 거동 모델(1842)은 동작들 중 하나 이상을 수행한다.
2602에서, 제어 이벤트가 차량 거동 모델(1842)에 의해 수신된다. 2604에서, 차량의 센서 데이터가 차량 거동 모델에 의해 획득된다. 2606에서, 제어 이벤트에 의해 표시되는 움직임 변화(예를 들면, 제동, 가속, 조향)를 결함으로 또는 결함이 아닌 것으로 분류하기 위해 차량 거동 모델이 사용된다. 적어도 하나의 실시예에서, 분류는 움직임 변화가 결함일 가능성(예를 들면, 확률)의 표시일 수 있다. 2608에서, 움직임 변화의 출력 분류가 비교기에 제공된다.
도 27은, 시스템(1800)과 같은, 결함 및 침입 탐지 시스템과 연관된 동작들의 가능한 상위 레벨 흐름(2700)을 예시하는 단순화된 플로차트이다. 적어도 하나의 실시예에서, 동작 세트는 도 27의 활동들에 대응한다. 차량(1850) 내의 CCU(1840)와 같은, 차량 내의 CCU는 동작 세트의 적어도 일 부분을 활용할 수 있다. 차량(1850)은 동작들을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들면, 1857)를 포함할 수 있다. 적어도 하나의 실시예에서, 회귀 모델(1844)은 동작들 중 하나 이상을 수행한다.
2702에서, 제어 이벤트가 회귀 모델(1844)에 의해 수신된다. 제어 이벤트는 제동, 조향 또는 가속과 같은 움직임 변화를 나타낸다. 2704에서, 차량의 센서 데이터가 회귀 모델에 의해 획득된다. 2706에서, 다른 소스들(예를 들면, 에지 디바이스들(1830)과 같은 원격 소스들, 차량에 다운로드 및 업데이트된 로컬 소스들 등)로부터의 관련 데이터가 회귀 모델에 의해 획득된다.
2708에서, 주어진 시간 간격 t 동안 제어 이벤트에 의해 표시되는 움직임 변화가 발생할 가능성을 예측하기 위해 회귀 모델이 사용된다. 예측은 센서 데이터 및 다른 소스들로부터의 데이터에, 적어도 부분적으로, 기초한다. 2710에서, 시간 간격 t 동안 움직임 변화가 발생할 가능성의 출력 예측이 비교기에 제공된다.
도 28a는, 시스템(1800)과 같은, 결함 및 침입 탐지 시스템과 연관된 동작들의 가능한 상위 레벨 흐름(2800)을 예시하는 단순화된 플로차트이다. 적어도 하나의 실시예에서, 동작 세트는 도 27의 활동들에 대응한다. 차량(1850) 내의 CCU(1840)와 같은, 차량 내의 CCU는 동작 세트의 적어도 일 부분을 활용할 수 있다. 차량(1850)은 동작들을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들면, 1857)를 포함한다. 적어도 하나의 실시예에서, 비교기(1846)는 동작들 중 하나 이상을 수행한다.
2802에서, 차량에 대한 움직임 변화의 분류가 차량 거동 모델로부터 수신된다. 도 26의 2608에서 출력 분류가 비교기에 제공되는 것은 도 28a의 2802에서 차량 거동 모델로부터 분류를 수신하는 것에 대응한다.
2804에서, 시간 간격 t 동안 움직임 변화가 발생할 가능성의 예측이 회귀 모델로부터 수신된다. 도 27의 2710에서 출력 예측이 비교기에 제공되는 것은 도 28a의 2804에서 예측을 수신하는 것에 대응한다.
2806에서, 비교기는 움직임 변화의 분류를 시간 간격 t 동안 움직임 변화가 발생할 가능성의 예측과 비교한다. 2808에서, 차량 거동 모델에 의해 분류되는 바와 같은 움직임 변화가 회귀 모델에 의해 예측되는 예상된 차량 거동의 임계치(또는 한계) 내에 있는지 여부에 대한 결정이 이루어진다. 일반적으로, 차량 거동 모델에 의해 분류되는 바와 같은 움직임 변화가 회귀 모델에 의해 예측되는 예상된 차량 거동의 임계치 내에 있는 경우, 2810에서, 움직임 변화가 진행될 수 있게 하기 위해 신호가 송신될 수 있다(또는 오류 신호가 없을 때 움직임 변화가 진행될 수 있다). 일반적으로, 차량 거동 모델에 의해 분류되는 바와 같은 움직임 변화가 회귀 모델에 의해 예측되는 차량 거동의 임계치(또는 한계) 내에 있지 않은 경우, 2812에서, 정정 조치를 취하도록 운전자에게 경고하기 위해 또는 정정 조치를 취하도록 자율 주행 운전 시스템에 경고하기 위해 오류 신호가 송신될 수 있다. 가능한 비교기 동작들에 대한 보다 상세한 논의는 도 28b에서 제공된다.
도 28b는 도 28a 그리고 보다 구체적으로 2808에서 도시된 바와 같이 비교기 동작과 연관된 추가적인 동작들의 가능한 상위 레벨 흐름(2850)을 예시하는 단순화된 플로차트이다.
2852에서, 다음과 같은 조건들: 동일한 제어 이벤트에 기초하여 차량 거동 모델(예를 들면, HMM)로부터의 출력 분류가 결함을 나타내는 것 및 회귀 모델에 의한 출력 예측이 결함을 나타내는 것이 참인지 여부에 대한 결정이 이루어진다. 이들 조건 둘 모두가 참인 경우, 2854에서, 정정 조치를 취하도록 운전자에게 경고하기 위해 또는 정정 조치를 취하도록 자율 주행 운전 시스템에 경고하기 위해 오류 신호(또는 제어 신호)가 송신될 수 있다.
2852에서의 적어도 하나의 조건이 참이 아닌 경우, 2856에서, 다음과 같은 2개의 조건: 동일한 제어 이벤트에 기초하여 차량 거동 모델로부터의 출력 분류가 결함을 나타내는 것 및 회귀 모델에 의한 출력 예측이 결함을 나타내지 않는 것이 참인지 여부에 대한 결정이 이루어진다. 이들 조건 둘 모두가 참인 경우, 2858에서, 차량 거동 모델로부터의 출력 분류가 회귀 모델 출력을 무시할 수 있는 원하는 임계치를 초과하는지 여부에 대한 다른 결정이 이루어진다. 만약 그렇다면, 2854에서, 정정 조치를 취하도록 운전자에게 경고하기 위해 또는 정정 조치를 취하도록 자율 주행 운전 시스템에 경고하기 위해 오류 신호(또는 제어 신호)가 송신될 수 있다. 만약 그렇지 않다면, 2860에서, 제어 이벤트에 의해 표시되는 차량 거동이 진행될 수 있게 하기 위해 신호가 송신될 수 있다(또는 오류 신호가 없을 때 움직임 변화가 진행될 수 있다).
2856에서의 적어도 하나의 조건이 참이 아닌 경우, 2862에서, 다음과 같은 조건: 동일한 제어 이벤트에 기초하여 차량 거동 모델로부터의 출력 분류가 결함을 나타내지 않는 것 및 회귀 모델에 의한 출력 예측이 결함을 나타내는 것이 참인지 여부에 대한 결정이 이루어진다. 이들 조건 둘 모두가 참인 경우, 2864에서, 정정 조치를 취하도록 운전자에게 경고하기 위해 또는 정정 조치를 취하도록 자율 주행 운전 시스템에 경고하기 위해 오류 신호(또는 제어 신호)가 송신될 수 있다.
2862에서의 적어도 하나의 조건이 참이 아닌 경우, 2866에서, 다음과 같은 조건: 동일한 제어 이벤트에 기초하여 차량 거동 모델로부터의 출력 분류가 결함을 나타내지 않는 것 및 회귀 모델에 의한 출력 예측이 결함을 나타내지는 것이 참이어야 한다. 이들 조건 둘 모두가 참인 경우, 2868에서, 제어 이벤트에 의해 표시되는 차량 거동이 진행될 수 있게 하기 위해 신호가 송신될 수 있다(또는 오류 신호가 없을 때 움직임 변화가 진행될 수 있다).
자율 주행 차량의 자율성 레벨은 자율 주행 차량이 갖추고 있는 센서들의 수와 유형에 따라 크게 달라진다. 추가적으로, 예를 들어, 자율 주행 고속도로 운전과 같은, 자율 주행 차량의 상이한 기능성들 중 다수가 차량의 제어 시스템들의 알고리즘들에 의해 프로세싱되는 적절한 정보를 자율 주행 차량에 제공하는 잘 동작하는 센서들의 특정 세트로 달성된다.
센서들이 자율 주행 차량의 동작에 그러한 중요한 역할을 하기 때문에, 다양한 센서들의 건강을 아는 것이 중요하다. 센서들의 건강의 안전 문제(센서 고장이 있는 경우, 차량이 자율적으로 운전하는 것을 계속할 수 없을 가능성이 있음) 외에도, 차량의 센서들의 건강을 아는 것에 대한 다른 이점들이 있다. 이것은, 예를 들어, 운전자/승객의 신뢰도를 증가시키는 것 및 자율 주행 차량의 효율성을 개선시키는 것을 포함할 수 있다.
자율 주행 차량 기술이 개선됨에 따라, 자율 주행 차량 상의 센서들의 수가 증가한다. 예를 들어, 자동화 레벨 3에 도달하기 위해, 일부 자동차 제조업체들은 자동차에 14개 이상의 센서를 장착하였다. 도 29는 자율 주행 차량에서 통상적으로 발견되는 센서 어레이의 예를 예시한다. 센서들은, 예를 들어, 레이더, LIDAR, 카메라 및 초음파 센서를 포함할 수 있다. 보다 많은 센서들을 갖는 것이 중복성과 향상된 기능성을 설명할 수 있지만, 센서 고장의 경우에, 자율 주행 차량은 자가 인식하고 고장 이후의 차량의 능력을 결정할 수 있도록 구성될 수 있다.
도 30은 차량에 이용 가능한 감지 및 프로세싱 능력에 기초하여 자율 주행 차량 기능성들을 적응시키는 동적 자율성 레벨 검출("DALD") 시스템(3000)의 예를 예시한다. 일부 실시예들에서, 시스템(3000)은 운전자의 원하는 경험(예를 들면, 운전자가 원하는 자율성 레벨) 및 차량의 현재 행동 방침을 고려할 수 있다. 이러한 DALD 시스템은 차량이 정의된 루트에 대해 기능해야 하는 최대 필요 자율성 레벨을 동적으로 결정하기 위해, 예를 들어, 기상 조건, 센서 성능, 차량 맞춤화 및 운전자의 계획 중 하나 이상과 같은, 상이한 입력들을 활용한다. 이에 따라, 차량은 기존의 센서들의 건강, 차량 맞춤화(예를 들면, 후방 센서들을 차단하는 트레일러를 가진 차량), 기상 조건 등에 기초하여 그의 기능성들을 적응시킬 수 있다.
도 30을 계속 참조하면, 시스템(3000)은 점수 모듈(3005) 및 안전 모듈(3010)을 포함한다. 점수 모듈(3005)은 또한 "L" 점수 계산 모듈로 간주될 수 있다. 점수 모듈은 시스템(3000)에 의해 수신되는 상이한 입력들에 기초하여 차량이 구현할 수 있는 자율성 레벨("L")을 추정한다. DALD 시스템(3000)에 의해 수신되는 입력의 예는 센서 상태(또는 건강(health)) 정보(3030), 원하는 사용자 경험(3040), 기상 조건(3050), 계산 리소스(3020) 및 차량 맞춤화 상태(3060)를 포함할 수 있다. 본 명세서에서의 입력들의 목록이 단지 예시적인 것이며 나열된 것보다 더 많거나 더 적은 입력들이 시스템(3000)에 대한 입력들로서 간주될 수 있다는 점에 유의해야 한다.
예로서, 'L' 점수는 다음과 같이 정의될 수 있다:
여기서 inputi는 도 30에 묘사된 DALD 시스템(3000)에 대한 N개의 상이한 입력 중 하나이고, 여기서 wi는 각각의 inputi와 연관된 상이한 가중치들이다. 가중치들은 자율 주행 차량 능력이 시간에 따라 변함에 따라 동적으로 변할 수 있으며, 예를 들어, 차량의 센서들 및 알고리즘들과 같은, 자율 주행 차량의 아키텍처에 따라 달라진다. wi = 0을 갖는 것은 inputi가 디스에이블되었음을 의미한다. 자율 주행 차량은 이어서 해당 Lscore를, 자동차에서 이용 가능한 최대 자동화 레벨이 레벨 5인 경우, 0 내지 5의 정수일 수 있는, 자동차에서 이용 가능한 상이한 자동화 레벨들에 대응하는 숫자로 적응시켜야 한다.
적어도 일부 실시예들에서, 가중치들이 또한 기여하는 입력들의 수가 변할 때 일관되게 Lscore를 생성하기 위해 다음과 같은 조건을 충족시켜야 한다는 점에 유의한다:
그에 따라, 일 실시예에서, 하나 이상의 입력이 0 가중치를 가질 때, 나머지 0이 아닌 가중치들은 항상 합계가 1이 되도록 조정된다.
위의 Lscore의 예가 선형 관계를 예시하지만, Lscore가 보다 복잡한 계산 및 교정을 활용하는 고차 다항식으로 정의될 수 있는 것이 가능하다. 따라서, 위의 선형 관계는 Lscore를 계산하는 상대적으로 간단한 방법을 나타내는 예로서 제공되었다.
도 30을 계속 참조하면, 'L' 점수 계산 모듈(3005)은 차량 의존적이며 차량의 현재 상태에 기초하여 차량의 능력을 나타내도록 의도되어 있다. "L" 점수에 영향을 미칠 수 있는 입력의 예는 차량의 계산 능력(3020), 차량의 센서들(3030), 사용자 경험(3040), 날씨(3050) 및 차량 맞춤화(3060)를 포함할 수 있다. 이 목록은 "L" 점수를 계산하는 데 사용될 수 있는 모든 인자들을 총망라한 것이 아니며, 나열된 인자들 전부가 "L" 점수 계산에서 사용되어야 하는 것은 아니다.
위에서 언급된 바와 같이, 센서들(3030)은 자율 주행 차량의 자율성 레벨에서 주된 역할을 한다. 이에 따라, 센서들(3030)은 "L" 점수에 크게 영향을 미칠 수 있다. 센서 또는 다수의 센서들이 손상될 때, DALD 시스템(3000)은 센서를 디스에이블시키거나 영향을 받는(impacted/affected) 센서 또는 센서들에 대해 보다 작은 입력 가중치를 설정할 수 있다. 따라서, 보다 낮은 신뢰 레벨을 나타내면, "L" 점수를 낮출 가능성이 있다. 손상된 센서 외에도, "L" 점수 계산에서 센서 입력의 가중 점수가 낮아질 수 있는 이유의 예는 다음과 같다: 제대로 작동하지 않는 센서, 비정상적으로 작동하는 센서(예를 들면, 점진적인 열화로 인해 비정상적으로 작동하기 시작하는 센서), 센서 드리프트, 및 현재 운전 성능에 필요하지 않은 경우 센서를 의도적으로 디스에이블시켜, 계산 및 배터리 전력을 절감할 수 있는 것.
다른 환경 조건을 포함할 수 있는 날씨(3050)가 또한 차량의 자율성 레벨에 영향을 미칠 수 있다. 예로서, 자율 주행 차량은, 예를 들어, 적절하게 관리할 준비가 되지 않은 루트를 따라 있는 눈과 같은, 위험한 기상 조건을 검출하는 경우 그의 자율성 레벨을 낮출 수 있다. 그러한 환경 조건은 자율 주행 차량의 감지 능력에 악영향을 미칠 수 있거나 또는 타이어 견인력을 크게 감소시킬 수 있으며, 이는 자율성 레벨 후퇴를 프롬프트할 수 있다.
차량 맞춤화(3060)도 차량의 자율성 레벨에 영향을 미칠 수 있다. 센서들이 교정된 후에 사람이 차량에 요소들을 추가하는 경우, 일부 센서들이 폐색될 수 있다. 일부 예에서, 차량 개조 시에 센서가 디스에이블될 필요가 있을 수 있다. 그러한 상황에서, 일시적 또는 영구적 개조로 인해 센서들이 더 적게 가중될 필요가 있을 수 있다. 차량 개조의 예는, 예를 들어, 차량의 후방에 부착된 트레일러/등, 부착된 루프 랙, 또는 심지어 추가적인 적재물(예를 들면, 여행 가방, 가구 등)을 포함할 수 있다. 차량의 센서들 또는 핸들링에 영향을 미칠 수 있는 차량에 대한 임의의 변경이 차량 맞춤화(3060)에 포함될 수 있음에 유의해야 한다.
차량의 운전자/승객은 운전/루트의 특정 측면들을 우선순위화하기를 원할 수 있다. 이러한 사용자 경험(3040)은 또한 차량의 자율성 레벨에 영향을 미칠 수 있다. 예로서, 운전자는 자율 주행 차량이 제어권 전환(도시 지역을 통해 운전하는 것)을 요청할 수 있는 횟수에 관계없이 주행 시간을 우선순위화하기를 원할 수 있거나 또는 보다 많은 시간이 걸리는 경치 좋은 전망을 우선순위화하기를 원할 수 있다. 운전자는 심지어, 고속도로 운전과 같은, 보다 높은 자율성 레벨이 필요하지 않은(최소한의 센서 세트로 달성될 수 있는) 루트를 우선순위화할 수 있다. 일부 상황에서, 예를 들어, 운전자가 단순히 자동차를 운전하는 것을 즐기거나 경치를 즐기는 때와 같이, 자율성 레벨이 완전히 관련 없을 수 있다.
"L" 점수에서의 다른 인자는 이용 가능한 계산 능력(3020)이다. 예를 들어, 자동차의 배터리가 완전히 충전되지 않은 경우 또는 결함이 있는 경우, 자율 주행 차량에서 보다 높은 자동화 레벨에 도달하는 데 필요한 추가 계산을 위한 충분한 전력이 있지 않을 수 있다. 다른 예로서, 하드 드라이브와 같은, 자율 주행 차량의 자가 운전 능력에 관련된 컴포넌트가 오동작하거나 데이터를 보관하기 위한 제한된 공간을 가지는 경우, 자율 주행 차량은 자신이 가지고 있는 계산 능력에 기초하여 그의 자율성 레벨을 적응시켜야 한다.
위에서 언급된 입력들을 수신한 후에, DALD 시스템(3000)은 루트를 따라 어느 기능성들을 인에이블시킬지를 결정할 수 있다. 이에 따라, 시스템(3000)은 여정 이전에 자율 주행 차량에 진보된 콘텍스트 인식을 제공한다. 예를 들어, 비정상적으로 기능하는 센서가 있는 경우, 차량은 해당 센서를 디스에이블시킬 수 있고, 해당 센서가 현재 자율성 레벨에 어떻게 기여했는지와 어느 알고리즘들이 해당 센서 정보에 의존했는지를 결정할 수 있다. 센서 중복성 덕분에, 해당 센서를 디스에이블시키는 것에 의해 자동차가 기능할 수 있다면, 'L' 점수는 동일하게 유지될 수 있다. 그렇지만, 해당 센서가, 예를 들어, 레벨 4에서의 로컬화에 사용되는 360도 LIDAR 센서와 같이, 자율 주행 차량의 성능에 필수적인 경우, 자율 주행 차량은 해당 센서가 없더라도 자동화 기능들을 최대화할 수 있는 것으로 그의 자율성 레벨을 감소시켜야 한다. 이는, 차량의 설계에 따라, 예컨대, L3 또는 L2로, 자율성 레벨을 떨어뜨리는 것을 의미할 수 있다. 다른 예에서, 트레일러가 차량에 부착되고, 따라서 임의의 후방 센서들을 차단하는 경우, 자율성 레벨을 떨어뜨리는 것이 또한 필요할 수 있다. 또 다른 예로서, 스노우 보드를 가진 루프 랙이 자동차의 GPS 신호를 방해할 때 자율성 레벨이 떨어질 수 있다.
도 30을 계속 참조하면, 자동화 레벨 표시기(3070)는 보다 나은 시각화를 위해 현재 "L" 점수를 디스플레이할 수 있으며, 이는 사용자의 인식 및 자율 주행 차량에 대한 신뢰를 증가시킬 수 있다. 표시기(3070)는 사용자가 차량의 능력에 영향을 미칠 수 있는 이벤트 이후에 자율성 레벨이 어떻게 변하는지를 볼 수 있게 한다. 그 결과, 사용자는 차량의 변화(예를 들면, 센서 손상, 맞춤화 등)가 차량의 자율성 레벨에 어떻게 영향을 미치는지를 인식할 수 있으며, 사용자가 루트를 따라 안전 및 자동화 능력에 더 관심이 있는 경우, 예를 들어, 트레일러를 연결(hitch)하지 않는 것과 같은, 다른 대안을 고려할 수 있다. 다른 예로서, 이는 심지어 루트를 따라 상황을 처리하는 사용자의 능력에 대한 자신감 레벨에 영향을 미칠 수 있거나 또는 차량이 지속적으로 또는 때때로 능력/기대보다 낮은 성능을 발휘하는 경우 차량을 정비하도록 운전자/소유자를 프롬프트할 수 있다.
DALD 시스템(3000)은 또한 자율 주행 차량의 파라미터들 중 어느 것이 경로 계획 알고리즘에 중요한지를 결정하는 일을 담당하는 안전 검사 모듈(3080)을 포함한다. 그러한 파라미터들의 예는 상이한 기상 조건으로 인해 변경될 수 있는 루트의 특정 영역에서의 마찰 계수; 차량 맞춤화로 인해 변경될 수 있으며 자율 주행 차량의 최대 가속도와 최대 및 최소 제동에 영향을 미치는 자율 주행 차량의 중량을 포함할 수 있다. 각각의 루트 및 경로 계획 알고리즘에 고유한 파라미터들을 수정할 수 있는 것은 자율 주행 차량의 안전에 중요한 역할을 할 것이다. 안전 모듈은 사용자에 대한 최상의 제어 파라미터를 추정하기 위해 이러한 파라미터들의 정확도에 의존한다.
명백한 안전 이점 외에도, 시스템(3000)의 추가적인 이점은, 자율 주행 차량이 자가 인식하게 하는 것 및 그의 기능성들을 동적으로 적응시키는 것에 의해, 자동차의 전력 소비와 자율 주행 차량의 유지 보수 비용이 장기적으로 감소될 수 있다는 것이다. 따라서, 사용자의 입력이 시스템(3000)에 중요할 수 있다. 예를 들어, 가장 빠른 루트로 또는 또는 경치 좋은 루트로 가고자 하는 사용자의 욕구에 따라, L5 자율 주행 차량은 센서 상태 및 예측된 기상 조건을 검사한 후에 루트(또는 루트의 일부)를 따라 L3 모드를 유지하도록 선택할 수 있으며, 이는 값 비싼 센서와 계산 리소스의 마모를 피할 수 있다.
자율 주행 차량이 유비쿼터스화됨에 따라, 자율 주행 차량은 집안 사람들의 공통 부분으로 되어, 일반 가족 차량을 대체할 것이다. 이들이 더욱 보편화됨에 따라, 이들은 일상적인 매일의 출퇴근이나 통학뿐만 아니라 전통적인 인간 운전 차량의 기능을 수행할 것으로 기대될 것이다. 이는 사람들이, 예를 들어, 캠핑 여행, 해변이나 호수로의 주말 휴가, 또는 스포츠 행사에서의 테일 게이트 파티(tailgate party)를 용이하게 하는 것과 같은, 보다 많은 다기능성을 제공하는 자율 주행 차량을 기대할 것임을 의미한다. 따라서, 자율 주행 차량은 장비의 일시적 운반을 수행할 수 있을 것으로 기대된다. 예로서, 그러한 장비는 캠핑 장비, 자전거, 보트, 제트 스키, 쿨러, 그릴 등을 포함할 수 있다. 그에 따라, 자율 주행 차량은 트레일러, 후크(hook), 플랫폼, 연장부(extension) 등을 연결하는 능력을 포함할 수 있다.
그렇지만, 자율 주행 차량 상의 그러한 부속물은 센서 폐색을 결과할 수 있으며, 차량의 치수와 관련하여 차량 거동 모델의 변경을 결과할 수 있다. 도로를 따라 기동할 때 차량이 이제 보상할 필요가 있는 안전 거리를 유지하기 위한 필요불가결한 부분인 기존의 파라미터들에 대해 특히 그렇다. 예로서, 도 31을 참조하면, 자율 주행 차량이 다른 차량 앞에 끼어들 충분한 공간이 있다고 생각하지만, 그것이 그의 제어 시스템이 인식하는 것보다 훨씬 긴 경우, 이는 후행 자동차가 정지할 충분한 공간을 갖지 못하게 할 수 있거나, 또는 보다 나쁘게는, 자율 주행 차량이 추월하고 있는 차량과 부딪칠 수 있다.
다른 예로서, 차량 소유자가 차량을 로워링(lowering)하는 것, 또는 (휠 웰(wheel well) 외부로 튀어나올 수 있는) 특대형 타이어, 스포일러 또는 다른 추가물(add-on)을 통합시키는 것과 같은, 차량 맞춤화를 시작하는 경우 유사한 고려 사항이 고려될 필요가 있다. 이러한 맞춤화는 차량 파라미터들의 모델링 및 교정을 변경할 수 있다.
이에 따라, 개조에 의해 차량의 치수가 확장된 것으로 인해 새로운 차량 치수를 획득하는 것이 중요할 수 있다. 이는 자율 주행 차량이 확장을 보상하기 위해 안전 거리 여유(safe distance clearance) 모델을 변경하는 데 얼마만큼의 가드 밴드(guard-band)가 필요한지를 결정할 수 있게 할 것이다. 자율 주행 차량이 사고를 피할 수 있게 하는 이 거리는 내비게이션에 중요하며, 적응적 크루즈 제어, 주차 공간으로부터 빠져나올 때, 및 유사한 자율 주행 행동을 수행하는 것과 같은, 시스템들에 적용 가능하다.
예를 들어, 안전 운전 거리와 같은, 운전 안전을 위한 모델들이 존재하지만, 자율 주행 차량이 차량의 치수가 변경되었음을 아는 경우 자율 주행 차량의 안전성이 증가될 수 있다. 게다가, 자율 주행 차량의 로봇 운전자는 적절한 실행을 위해 센서들 및 엄격한 교정에 의존한다. 차량 센서 교정의 일부로서, 아마도 고도를 제외하고는, 차량 기준점이 이동/변경될 가능성이 거의 없는 좌표계가 채택된다. 일 예인, 도 32에 도시된 바와 같은, Ackerman 모델은 두 바퀴 사이에 차량의 후방 축 중심점을 포함한다. 이 모델에 대한 모든 변경들은 그러한 좌표와 관련하여 고려 및 참조될 수 있다. 예로서, 차량 치수에 대한 확장이 차량에 부착된 히치(hitch)의 결과일 때, 히치 포인트(hitch point)를 감안하기 위해 좌표가 오프셋된다.
차량 모델링 시스템에 대한 방해 외에도, 트레일러 히치의 추가와 같은, 맞춤화는 차량의 센서들과 차량의 기동성 둘 모두를 방해할 수 있다. 이러한 방해는 차량의 자율성 레벨에 영향을 미칠 가능성이 있을 것이다. 도 33은 부착물(3310)을 가진 차량(3300)의 예를 예시한다(예를 들면, 이 예에서 보트가 차량에 의해 견인됨). 이 예에 도시된 바와 같이, 맞춤화는 폐색된 영역들(3320)을 생성한다.
차량의 새로운 치수에 대처할 수 있는 하나의 가능한 해결책은 트레일러 또는 히치에 대응하는 센서들을 설치하는 것이다. 그렇지만, 이것은 시스템의 복잡성을 증가시키고 시간과 비용 둘 모두가 많이 들 수 있다. 예를 들어, 사용자는 새로운 센서 시스템과 기존의 차량 시스템의 호환성에 대해 걱정해야 하고; 엄격한 교정 단계들을 완료하기 위해 비용과 시간이 많이 들 것이며; 요소들에 대한 노출이 있을 수 있고(예를 들면, 연장부가 보트, 제트 스키, 카누 등인 경우 센서들이 물에 잠길 수 있음); 트레일러 너머로 연장되는 기둥 또는 다른 철물류가 있을 수 있다(예를 들면, 보트가 그의 트레일러보다 훨씬 더 클 수 있음). 추가적으로, (예를 들어, 보트에 대한) 그러한 트레일러의 사용은 일시적(주말 여행)일 것이며, 이는 이 해결책을 비실용적이고 시행/준수될 가능성이 없도록 만들 것이다.
다른 가능한 대안은 센서들의 폐색을 야기하는 맞춤화의 폭과 깊이를, 얼마간 대략적으로, 캡처할 수 있는 초음파 센서 어레이를 3D 모델링이 가능한 차량 모델과 동일한 좌표계를 따라 구현하는 것이다.
또 다른 예로서, 간단하고 저렴한 해결책은 맞춤화(예를 들면, 부착된 트레일러/히치)의 결과로서 새로운 외부 차량 치수를 캡처하고 추적하는 방법을 포함한다. 자율 주행 차량은 이어서 필요에 따라(트레일러/히치가 부착되어 있는 동안) 임시로 보상할 수 있다.
도 34는 차량에 결합된 연장부에 의해 추가되는 치수들을 포함하는 차량의 새로운 치수들을 추적하는 간단한 방법의 사용의 예를 예시한다. 비교로서, 3410은 차량에 부착될 수 있거나 부착되지 않을 수 있는 초음파 센서에 의해 감지될 수 있는 차량 및 연장부의 3D 초음파 맵을 보여준다. 일부 예에서, 3410의 예는 자동화될 수 있다. 그러한 예에서, 차량이 폐색을 검출하거나 트레일러가 부착되어 있음을 검출할 때, 자동 초음파 스캔이 시작되어, 3D 모델의 렌더링을 생성할 수 있다. 다른 예는 3430에 예시되어 있다. 3430의 예에서, 차량의 새로운 치수는, 예를 들어, LIDAR 기반 스테이션의 사용과 같이, LIDAR를 사용하여 캡처된다. 3420은 차량의 새로운 치수를 추적하는 것을 용이하게 하기 위해 사용자가 수동 외관 검사(walkthrough)를 수행하는 것의 예를 예시한다. 외관 검사 이후에, 차량의 치수에 대한 새로운 모델(3440)이 생성된다. 외관 검사를 수행하기 위해, 차량 소유자는 센서를 들고서 차량 및 연장부의 경로를 따라 주어진 길이(예를 들면, 팔 길이)로 재면서 걸어갈 수 있다. 일부 예에서, 이 센서는 스마트 폰과 페어링(예를 들면, 통신 가능하게 결합)될 수 있다. 다른 예에서, 센서는 차량과 페어링될 수 있다. 다양한 실시예에서, 3420에 의해 예시된 바와 같이, 차량의 치수는, 차량 주위를 물리적으로 걷는 것이 아니라, 드론 및 카메라를 사용하여 추적될 수 있다. 추적 결과는 이어서 자율 주행 차량에 전달될 수 있으며 다각형 모델 표현(3440)이 근사화될 수 있다. 이 모델은 자율 주행 차량의 운전 알고리즘에 통합될 수 있다.
상기 옵션들을 통합하기 위한 시스템은 다음과 같은 요소들: 히치가 연장부에 부착되거나 그로부터 분리될 때를 등록하는 센서를 가진 차량 상에 통합된 히치를 가진 차량; 히치 부착의 감지에 응답하여 '안전 외관 검사(safety-walkthrough)'가 필요하다는 것을 운전자에게 경고하는 경보; 추적을 생성하기 위한 감지 요소/디바이스; 추적이 진행 중인 동안 검증하고/교차 참조로서 역할하는 폐색되지 않은 센서들; 및 추적 및 나머지 기능 센서들의 결과로서 그의 자율성 레벨의 변화를 운전자에게 경고하는 차량 경고 시스템 중 하나 이상을 포함할 수 있다. 일 실시예에서, 감지 요소/추적 디바이스는 스마트 폰 카메라에 의해 캡처되는 하나 이상의 이미지에 기초하여 새로운 자율 주행 차량 치수를 계산하는 스마트 폰 앱을 포함할 수 있다. 사용자는, 새로운 치수를 스캔하기 위해, 단순히 자동차 주위를 걸을 수 있거나, 또는 드론이 사용될 수 있다. 다른 예에서, 스캐닝 디바이스는 위에서 기술된 것과 유사한 기능을 수행하는 통합된 분리형 차량 카메라를 포함할 수 있다. 스캔 이후에, 트레이스에 갭이 있는 경우, 또는 결과가 정확히 직선 트레이스가 아닌 경우(또는 원점에서 정확히 멈추지 않는 경우), 트레이스는 여전히 트레이스의 캡처된 포인트들에 기초하여 차량 주위의 닫힌 다각형/루프로 변환될 수 있다. 차량은 곡률에 대한 '피벗' 포인트의 효과를 보상하기 위해 원래 치수를 고려할 수 있으며, 치수의 새로운 모델은 모델이 차량 한계를 벗어나도록 보장하는 오프셋을 포함할 수 있으며, 이 오프셋은 추가된 안전 버퍼일 수 있다. 다른 실시예들에서, 예를 들어, 차량에 부착될 수 있거나 부착되지 않을 수 있는 초음파 및 LIDAR 센서들과 같은, 새로운 치수를 결정하는 다른 방법들이 사용될 수 있다.
도 35는 본 개시의 실시예에 따른 차량 모델 폐색 보상 흐름의 예를 예시한다. 도 35의 예는 또한 자율 주행 차량의 차량 치수를 업데이트하는 방법으로 간주될 수 있다.
도 35의 예는 히치 스위치가 체결되었는지 여부를 결정하는 것을 포함하는 동작을 포함한다. 일부 실시예들에서, 히치는 히치가 체결되었는지 여부를 나타내는 자동 센서(예를 들면, 스위치)를 포함할 수 있다. 다양한 실시예들에서, 자율 주행 차량은 히치가 체결되었음을 표시하기 위해 추가적으로 또는 대안적으로 수동 스위치를 포함할 수 있다.
히치 스위치가 체결된 경우, 차량이 추가된 치수로 이동하기 전에 모든 필요한 안전 조치가 수행되었는지를 결정하기 위해 차량이 점사를 수행할 수 있다. 만약 그렇다면, 흐름이 종료된다. 만약 그렇지 않다면, 차량은 새로운 차량 치수를 캡처하는 안전 외관 검사가 완료되었는지 여부를 결정할 수 있다. 만약 그렇지 않다면, 운전자는 외관 검사가 필요하다는 것을 경고받을 수 있으며, 외관 검사가 시작될 수 있다.
외관 검사를 수행하기 위해, 차량은 먼저 감지 디바이스를 활성화시키고/시키거나 그와 페어링할 것이다. 이는 스마트 폰 또는 유사한 디바이스 내에 통합되거나 그와 페어링된 감지 디바이스이거나 차량에 직접 연결되는 별도의 디바이스일 수 있다. 디바이스가 페어링된/활성화된 후에, 소유자는 차량을 돌면서 외관 검사를 수행한다.
다음으로, 감지 디바이스는 외관 검사 동안 획득되는 데이터를 자율 주행 차량으로 전송할 것이다. 자율 주행 차량은 이어서 감지 디바이스에 의해 획득되는 데이터를 다각형 모델로 변환할 수 있다. 자율 주행 차량은 이어서, 예를 들어, 안전 거리 알고리즘을 포함한, 그의 자율 주행 차량 알고리즘에서 새로운 치수를 사용할 수 있다. 마지막으로, 자율 주행 차량은 새로운 치수가 차량이 동작되는 자율성 레벨에 영향을 미치는지 여부를 결정하기 위해 자체 테스트를 수행할 수 있다. 레벨이 변경된 경우, 이 새로운 레벨이 운전자에게 디스플레이(또는 다른 방식으로 통신)될 수 있다(또는 레벨이 변경되지 않았다는 표시가 운전자에게 디스플레이되거나 다른 방식으로 통신될 수 있다).
도 36 및 도 37은 본 명세서에 개시된 실시예들에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처들의 블록 다이어그램들이다. 프로세서들 및 컴퓨팅 시스템들에 대해 본 기술 분야에서 알려진 다른 컴퓨터 아키텍처 설계들이 또한 사용될 수 있다. 일반적으로, 본 명세서에 개시된 실시예들에 적합한 컴퓨터 아키텍처들은 도 36 및 도 37에 예시된 구성들을 포함할 수 있지만, 이들로 제한되지 않는다.
도 36은 일 실시예에 따른 프로세서의 예시적인 예시이다. 프로세서(3600)는 상기 구현들과 관련하여 사용될 수 있는 한 유형의 하드웨어 디바이스의 예이다. 프로세서(3600)는, 마이크로프로세서, 임베디드 프로세서, 디지털 신호 프로세서(DSP), 네트워크 프로세서, 다중 코어 프로세서, 단일 코어 프로세서, 또는 코드를 실행하기 위한 다른 디바이스와 같은, 임의의 유형의 프로세서일 수 있다. 비록 단지 하나의 프로세서(3600)가 도 36에 예시되어 있지만, 프로세싱 요소는 대안적으로 도 36에 예시된 프로세서(3600)를 하나 초과 포함할 수 있다. 프로세서(3600)는 단일 스레드(single-threaded) 코어일 수 있거나, 또는 적어도 일 실시예에서, 프로세서(3600)는 코어당 하나 초과의 하드웨어 스레드 콘텍스트(또는 "논리 프로세서")를 포함할 수 있다는 점에서 다중 스레드(multi-threaded)일 수 있다.
도 36은 또한 실시예에 따른 프로세서(3600)에 결합된 메모리(3602)를 예시한다. 메모리(3602)는 본 기술분야의 통상의 기술자에게 알려져 있거나 다른 방식으로 이용 가능한 바와 같은 매우 다양한 메모리들(메모리 계층구조의 다양한 계층들을 포함함) 중 임의의 것일 수 있다. 그러한 메모리 요소들은 RAM(random access memory), ROM(read only memory), FPGA(field programmable gate array)의 로직 블록들, EPROM(erasable programmable read only memory), 및 EEPROM(electrically erasable programmable ROM)을 포함할 수 있지만, 이들로 제한되지 않는다.
프로세서(3600)는 본 명세서에 상세히 설명된 알고리즘들, 프로세스들, 또는 연산들과 연관된 임의의 유형의 명령어들을 실행할 수 있다. 일반적으로, 프로세서(3600)는 요소 또는 물품(예를 들어, 데이터)을 하나의 상태 또는 사물로부터 다른 상태 또는 사물로 변환시킬 수 있다.
프로세서(3600)에 의해 실행될 하나 이상의 명령어일 수 있는 코드(3604)는 메모리(3602)에 저장될 수 있거나, 또는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 적합한 조합으로, 또는 적절한 경우 그리고 특정 요구들에 기초하여 임의의 다른 내부 또는 외부 컴포넌트, 디바이스, 요소, 또는 객체에 저장될 수 있다. 일 예에서, 프로세서(3600)는 코드(3604)에 의해 표시된 프로그램 명령어 시퀀스(program sequence of instructions)를 따를 수 있다. 각각의 명령어는 프런트 엔드 로직(3606)에 들어가고 하나 이상의 디코더(3608)에 의해 프로세싱된다. 디코더는 미리 정의된 형식의 고정 폭 마이크로 연산과 같은 마이크로 연산을, 그의 출력으로서, 생성할 수 있거나, 또는 원래의 코드 명령어를 반영하는 다른 명령어들, 마이크로명령어들, 또는 제어 신호들을 생성할 수 있다. 프런트 엔드 로직(3606)은 또한 레지스터 리네이밍 로직(register renaming logic)(3610) 및 스케줄링 로직(3612)을 포함하는데, 이들은 일반적으로 리소스들을 할당하고 실행을 위한 명령어에 대응하는 연산을 큐잉한다.
프로세서(3600)는 또한 실행 유닛들(3616a, 3616b, 3616n 등)의 세트를 갖는 실행 로직(3614)을 포함할 수 있다. 일부 실시예들은 특정 기능들 또는 기능 세트들에 전용된 다수의 실행 유닛들을 포함할 수 있다. 다른 실시예들은 특정 기능을 수행할 수 있는 하나의 실행 유닛만 또는 하나의 실행 유닛을 포함할 수 있다. 실행 로직(3614)은 코드 명령어들에 의해 명시된 연산들을 수행한다.
코드 명령어들에 의해 명시된 연산들의 실행의 완료 이후에, 백 엔드 로직(3618)은 코드(3604)의 명령어들을 회수(retire)할 수 있다. 일 실시예에서, 프로세서(3600)는 비순차 실행(out of order execution)을 가능하게 하지만 명령어들의 순차 회수(in order retirement)를 요구한다. 회수 로직(3620)은 다양한 알려진 형태들(예를 들어, 재정렬 버퍼(re-order buffer) 등)을 취할 수 있다. 이러한 방식으로, 적어도 디코더에 의해 생성되는 출력, 레지스터 리네이밍 로직(3610)에 의해 활용되는 하드웨어 레지스터들 및 테이블들, 그리고 실행 로직(3614)에 의해 수정되는 임의의 레지스터들(도시되지 않음) 면에서, 코드(3604)의 실행 동안 프로세서(3600)가 변환된다.
도 36에 도시되어 있지 않지만, 프로세싱 요소는 프로세서(3600)를 가진 칩 상의 다른 요소들을 포함할 수 있다. 예를 들어, 프로세싱 요소는 프로세서(3600)와 함께 메모리 제어 로직을 포함할 수 있다. 프로세싱 요소는 I/O 제어 로직을 포함할 수 있고/있거나 메모리 제어 로직과 통합된 I/O 제어 로직을 포함할 수 있다. 프로세싱 요소는 또한 하나 이상의 캐시를 포함할 수 있다. 일부 실시예들에서, (플래시 메모리 또는 퓨즈들과 같은) 비휘발성 메모리가 또한 프로세서(3600)를 가진 칩 상에 포함될 수 있다.
도 37은 일 실시예에 따른 포인트 투 포인트(PtP) 구성으로 배열되는 컴퓨팅 시스템(3700)을 예시한다. 특히, 도 37은 프로세서들, 메모리, 및 입출력 디바이스들이 다수의 포인트 투 포인트 인터페이스들에 의해 상호연결되는 시스템을 도시한다. 일반적으로, 본 명세서에 기술된 컴퓨팅 시스템들 중 하나 이상은 컴퓨팅 시스템(3600)과 동일하거나 유사한 방식으로 구성될 수 있다.
프로세서들(3770 및 3780)은 또한 각각이 메모리 요소들(3732 및 3734)과 통신하기 위해 집적 메모리 제어기 로직(MC)(3772 및 3782)을 포함할 수 있다. 대안적인 실시예에서, 메모리 제어기 로직(3772 및 3782)은 프로세서들(3770 및 3780)로부터 분리된 이산 로직(discrete logic)일 수 있다. 메모리 요소들(3732 및/또는 3734)은 본 명세서에 개략적으로 기술된(outlined) 동작들 및 기능을 달성함에 있어서 프로세서들(3770 및 3780)에 의해 사용될 다양한 데이터를 저장할 수 있다.
프로세서들(3770 및 3780)은, 본 명세서에서의 다른 도면들과 관련하여 논의된 것들과 같은, 임의의 유형의 프로세서일 수 있다. 프로세서들(3770 및 3780)은, 제각기, 포인트 투 포인트 인터페이스 회로들(3778 및 3788)을 사용하여 포인트 투 포인트(PtP) 인터페이스(3750)를 통해 데이터를 교환할 수 있다. 프로세서들(3770 및 3780)은 각각이 포인트 투 포인트 인터페이스 회로들(3776, 3786, 3794, 및 3798)을 사용하여 개별 포인트 투 포인트 인터페이스들(3752 및 3754)을 통해 칩세트(3790)와 데이터를 교환할 수 있다. 칩세트(3790)는 또한 PtP 인터페이스 회로일 수 있는 인터페이스(3739)를 통해 고성능 그래픽 회로, 머신 러닝 가속기, 또는 다른 코프로세서(3738)와 같은, 코프로세서(3738)와 데이터를 교환할 수 있다. 대안적인 실시예에서, 도 37에 예시된 PtP 링크들 중 임의의 것 또는 전부는 PtP 링크가 아닌 멀티 드롭 버스(multi-drop bus)로서 구현될 수 있다.
칩세트(3790)는 인터페이스 회로(3796)를 통해 버스(3720)와 통신할 수 있다. 버스(3720)는 그를 통해 통신하는, 버스 브리지(3718) 및 I/O 디바이스들(3716)과 같은, 하나 이상의 디바이스를 가질 수 있다. 버스(3710)를 통해, 버스 브리지(3718)는 (키보드, 마우스, 터치스크린, 또는 다른 입력 디바이스들과 같은) 사용자 인터페이스(3712), (모뎀들, 네트워크 인터페이스 디바이스들, 또는 컴퓨터 네트워크(3760)를 통해 통신할 수 있는 다른 유형의 통신 디바이스들과 같은) 통신 디바이스들(3726), 오디오 I/O 디바이스들(3714), 및/또는 데이터 저장 디바이스(3728)와 같은 다른 디바이스들과 통신할 수 있다. 데이터 저장 디바이스(3728)는 프로세서들(3770 및/또는 3780)에 의해 실행될 수 있는 코드(3730)를 저장할 수 있다. 대안적인 실시예에서, 버스 아키텍처들의 임의의 부분들은 하나 이상의 PtP 링크로 구현될 수 있다.
도 37에 묘사된 컴퓨터 시스템은 본 명세서에서 논의된 다양한 실시예들을 구현하기 위해 이용될 수 있는 컴퓨팅 시스템의 일 실시예의 개략적 예시이다. 도 37에 묘사된 시스템의 다양한 컴포넌트들이 시스템 온 칩(SoC) 아키텍처에 또는 본 명세서에서 제공된 예들 및 구현들의 기능 및 특징들을 달성할 수 있는 임의의 다른 적당한 구성으로 결합될 수 있음이 인식될 것이다.
본 명세서에서 설명되고 예시된 시스템들 및 해결책의 일부가 복수의 요소들을 포함하거나 이들과 연관되어 있는 것으로 기술되었지만, 명시적으로 예시되거나 기술된 모든 요소들이 본 개시의 각각의 대안적 구현에서 이용될 수 있는 것은 아니다. 부가적으로, 본 명세서에 기술된 요소들 중 하나 이상은 시스템의 외부에 위치될 수 있는 반면, 다른 경우에, 특정 요소들은 다른 기술된 요소들은 물론, 예시된 구현에서 기술되지 않은 다른 요소들 중 하나 이상 내에 또는 그의 일 부분으로서 포함될 수 있다. 게다가, 특정 요소들이 다른 컴포넌트들과 결합될 수 있는 것은 물론, 본 명세서에 기술된 그 목적들에 부가하여 대안의 또는 부가의 목적들을 위해 사용될 수 있다.
게다가, 앞서 제시된 예들이 특정 원리들 및 특징들을 예시하기 위한 목적으로만 제공되고 본 명세서에 기술된 개념들의 잠재적 실시예들을 반드시 제한하지는 않는 또는 제약하지는 않는 비제한적 예들임이 인식되어야 한다. 예를 들어, 본 명세서에 기술된 컴포넌트들의 다양한 구현을 통해 실현되는 조합들을 포함하여, 본 명세서에 기술된 특징들 및 컴포넌트들의 다양한 조합들을 이용하여 각종의 상이한 실시예들이 실현될 수 있다. 다른 구현들, 특징들, 및 상세들은 본 명세서의 내용으로부터 인식될 것이다.
비록 본 개시가 특정 구현들 및 일반적으로 연관된 방법들 면에서 설명되었지만, 이러한 구현들 및 방법들의 변경들 및 치환들은 본 기술 분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 본 명세서에 기술된 동작들은 설명된 것과 상이한 순서로 수행될 수 있고 여전히 바람직한 결과들을 달성할 수 있다. 일 예로서, 첨부 도면들에 묘사된 프로세스들은, 원하는 결과들을 달성하기 위해, 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하지는 않는다. 특정 구현들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 부가적으로, 다른 사용자 인터페이스 레이아웃들 및 기능성이 지원될 수 있다. 다른 변형들이 이하의 청구항들의 범위 내에 있다.
본 명세서가 많은 특정 구현 상세들을 포함하고 있지만, 이들이 임의의 발명들의 또는 청구될 수 있는 것의 범위에 대한 제한들로서 해석되어서는 안되고, 오히려 특정의 발명들의 특정의 실시예들에 특정적인 특징들에 대한 설명으로서 해석되어야 한다. 개별적인 구현들의 맥락에서 본 명세서에 기술되는 특정한 특징들이 또한 단일 실시예에서 조합하여 구현될 수 있다. 이와 달리, 단일 실시예의 맥락에서 기술되는 다양한 특징들이 또한 다수의 실시예들에 개별적으로 또는 임의의 적당한 하위 조합(subcombination)으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 기능하는 것으로 위에서 기술되고 심지어 처음에 그 자체로서 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
이와 유사하게, 동작들이 도면에서 특정의 순서로 묘사되지만, 이것은, 바람직한 결과를 달성하기 위해, 그러한 동작들이 도시된 특정의 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 앞서 기술된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 기술된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
차량 내 컴퓨팅 시스템들(예를 들면, 자동 운전 스택의 적어도 일 부분을 구현하고 차량의 자동 운전 기능을 가능하게 하는 데 사용됨), 도로변 컴퓨팅 시스템들(예를 들면, 차량과 분리됨; 도로변 전용 캐비닛 내에, 교통 표지판 상에, 교통 신호등 또는 가로등 등 상에 구현됨), 자율 주행 운전 환경을 지원하는 클라우드 기반 또는 포그 기반 시스템을 구현하는 하나 이상의 컴퓨팅 시스템, 또는 자율 주행 운전 환경에서 멀리 떨어진 컴퓨팅 시스템을 포함한, 하나 이상의 컴퓨팅 시스템이 제공될 수 있다. 이러한 컴퓨팅 시스템들은 이하의 예들(또는 그의 부분들) 중 하나 또는 그 조합을 수행하거나 구현하기 위한 하나 이상의 데이터 프로세싱 장치(예를 들면, 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛, 텐서 프로세싱 유닛, ASIC, FPGA 등), 가속기 하드웨어, 다른 하드웨어 회로부, 펌웨어 및/또는 소프트웨어 중 하나 또는 그 조합을 사용하여 구현된 로직을 포함할 수 있다. 예를 들어, 다양한 실시예들에서, 아래의 예시적인 방법의 동작들은, 차량(예를 들면, 105)의 컴퓨팅 시스템 또는 그의 컴포넌트(예를 들면, 프로세서(202), 가속기(204), 통신 모듈(212), 사용자 디스플레이(288), 메모리(206), IX 패브릭(208), 운전 컨트롤들(220), 센서들(225), 사용자 인터페이스(230), 차량 내 프로세싱 시스템(210), 머신 러닝 모델(256), 다른 컴포넌트 또는 이들 중 임의의 것의 서브컴포넌트), 도로변 컴퓨팅 디바이스(140), 포그 기반 또는 클라우드 기반 컴퓨팅 시스템(150), 드론(180) 및 액세스 포인트(145), 센서(예를 들면, 165), 메모리(3602), 프로세서 코어(3600), 시스템(3700), 다른 적합한 컴퓨팅 시스템 또는 디바이스, 이들 중 임의의 것의 서브컴포넌트, 또는 다른 적합한 로직과 같은, 임의의 적합한 로직을 사용하여 수행될 수 있다. 다양한 실시예들에서, 아래의 예시적인 방법의 하나 이상의 특정 동작은 특정 컴포넌트 또는 시스템에 의해 수행될 수 있는 반면, 예시적인 방법의 하나 이상의 다른 동작은 다른 컴포넌트 또는 시스템에 의해 수행될 수 있다. 다른 실시예들에서, 예시적인 방법의 동작들은 각각 동일한 컴포넌트 또는 시스템에 의해 수행될 수 있다.
예 1은 장치를 포함하며, 이 장치는 제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 적어도 하나의 인터페이스; 및 프로세싱 회로부를 포함하고, 프로세싱 회로부는 제2 차량과 연관된 거동 모델을 획득하고 - 거동 모델은 제2 차량의 운전 거동을 정의함 -; 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하며; 제2 차량의 예측된 행동들에 기초하여 제1 차량에 대한 경로 계획을 결정한다.
예 2는 예 1의 장치를 포함하며, 프로세싱 회로부는 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하기 전에 제2 차량과 연관된 거동 모델의 신뢰성을 결정한다.
예 3은 예 2의 장치를 포함하며, 여기서 거동 모델의 신뢰성을 결정하는 것은 거동 모델의 형식을 검증하는 것을 포함한다.
예 4는 예 1 내지 예 3 중 어느 한 예의 장치를 포함하며, 여기서 거동 모델의 신뢰성을 결정하는 것은 거동 모델의 정확도를 검증하는 것을 포함한다.
예 5는 예 4의 장치를 포함하며, 여기서 거동 모델의 정확도를 검증하는 것은 적어도 하나의 머신 러닝 모델에 제공되는 입력들 및 적어도 하나의 머신 러닝 모델의 대응하는 출력들을 저장하는 것; 및 거동 모델에 입력들을 제공하고 거동 모델의 출력들을 적어도 하나의 머신 러닝 모델의 출력들과 비교하는 것을 포함한다.
예 6은 예 4의 장치를 포함하며, 여기서 거동 모델의 정확도를 검증하는 것은 관측된 조건들에 대응하는 입력들에 기초하여 거동 모델에 따라 제2 차량의 예상된 거동을 결정하는 것; 관측된 조건들에 대응하는 제2 차량의 거동을 관측하는 것; 및 관측된 거동을 예상된 거동과 비교하는 것을 포함한다.
예 7은 예 1 내지 예 6 중 어느 한 예의 장치를 포함하며, 여기서 거동 모델은 제2 차량의 자율 주행 운전 거동을 결정하기 위해 제2 차량에 의해 사용되는 적어도 하나의 머신 러닝 모델에 대응한다.
예 8은 예 1 내지 예 7 중 어느 한 예의 장치를 포함하며, 여기서 프로세싱 회로부는 거동 모델을 획득하기 위해 제2 차량과 통신하고, 여기서 제2 차량과 통신하는 것은 제1 차량과 제2 차량 간에 보안 통신 세션을 확립하는 것, 및 보안 통신 세션 내에서 통신들을 통해 거동 모델을 수신하는 것을 포함한다.
예 9는 예 8의 장치를 포함하며, 여기서 보안 통신 세션을 확립하는 것은 제1 차량과 제2 차량 사이에서 토큰들을 교환하는 것을 포함하고, 각각의 토큰은 대응하는 차량의 각자의 식별자, 각자의 공개 키 및 공유 비밀 값을 포함한다.
예 10은 예 1 내지 예 9 중 어느 한 예의 장치를 포함하며, 여기서 신호는 제2 차량의 아이덴티티 및 위치를 나타내는 비콘을 포함한다.
예 11은 예 1 내지 예 10 중 어느 한 예의 장치를 포함하며, 제1 차량에 근접해 있는 다른 차량들에 제1 차량을 식별해 주는 신호를 다른 차량들로 브로드캐스트하기 위한 송신기를 더 포함한다.
예 12는 예 1 내지 예 11 중 어느 한 예의 장치를 포함하며, 여기서 프로세싱 회로부는 거동 모델을 포함한 거동 모델들의 교환에서 제2 차량으로의 제2 거동 모델의 통신을 개시하고, 제2 거동 모델은 제1 차량의 운전 거동을 정의한다.
예 13은 예 1 내지 예 12 중 어느 한 예의 장치를 포함하며, 여기서 하나 이상의 프로세서는 제2 차량과 연관된 거동 모델이 제1 차량의 모델 데이터베이스에 있는지 여부를 결정하고, 여기서 제2 차량과 연관된 거동 모델이 아직 모델 데이터베이스에 없다는 결정에 기초하여 제2 차량과 연관된 거동 모델이 획득된다.
예 14는 예 1 내지 예 13 중 어느 한 예의 장치를 포함하며, 여기서 제2 차량은 인간 운전 모드에서 동작할 수 있으며, 제2 차량과 연관된 거동 모델은 인간 운전 모드에서의 제2 차량의 동작 동안 제2 차량의 적어도 한 명의 인간 운전자의 특성들을 모델링한다.
예 15는 예 1 내지 예 14 중 어느 한 예의 장치를 포함하며, 여기서 제2 차량과 연관된 거동 모델은 제2 차량에 대한 거동 모델 세트 중 하나의 거동 모델을 포함하고, 거동 모델 세트는 복수의 시나리오 특정 거동 모델들을 포함한다.
예 16은 예 15의 장치를 포함하며, 하나 이상의 프로세서는 제1 차량에 의해 생성되는 센서 데이터에 적어도 부분적으로 기초하여 특정 시나리오를 결정하고; 거동 모델 세트 중의 특정 거동 모델이 특정 시나리오에 대응한다고 결정하며; 특정 거동 모델이 특정 시나리오에 대응한다고 결정하는 것에 기초하여 제2 차량의 행동들을 예측하기 위해 특정 거동 모델을 사용한다.
예 17은 차량을 포함하며, 이 차량은 센서 데이터를 생성하기 위한 복수의 센서들; 차량의 이동을 물리적으로 제어하기 위한 제어 시스템; 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 적어도 하나의 인터페이스; 및 프로세싱 회로부를 포함하고, 프로세싱 회로부는 제2 차량과 연관된 거동 모델을 획득하고 - 거동 모델은 제2 차량의 운전 거동을 정의함 -; 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하며; 제2 차량의 예측된 행동들 및 센서 데이터에 기초하여 차량에 대한 경로 계획을 결정하고; 경로 계획에 따라 차량을 이동시키기 위해 제어 시스템과 통신한다.
예 18은 예 17의 차량을 포함하며, 프로세싱 회로부는 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하기 전에 제2 차량과 연관된 거동 모델의 신뢰성을 결정한다.
예 19는 예 18의 차량을 포함하며, 여기서 거동 모델의 신뢰성을 결정하는 것은 거동 모델의 형식을 검증하는 것을 포함한다.
예 20은 예 17 내지 예 19 중 어느 한 예의 차량을 포함하며, 여기서 거동 모델의 신뢰성을 결정하는 것은 모델의 정확도를 검증하는 것을 포함한다.
예 21는 예 20의 차량을 포함하며, 여기서 거동 모델의 정확도를 검증하는 것은 적어도 하나의 머신 러닝 모델에 제공되는 입력들 및 적어도 하나의 머신 러닝 모델의 대응하는 출력들을 저장하는 것; 및 거동 모델에 입력들을 제공하고 거동 모델의 출력들을 적어도 하나의 머신 러닝 모델의 출력들과 비교하는 것을 포함한다.
예 22는 예 20의 차량을 포함하며, 여기서 거동 모델의 정확도를 검증하는 것은 관측된 조건들에 대응하는 입력들을 거동 모델에 제공하는 것; 입력들에 기초하여 거동 모델로부터 제2 차량의 예상된 거동을 결정하는 것; 관측된 조건들에 대응하는 제2 차량의 거동을 관측하는 것; 및 관측된 거동을 예상된 거동과 비교하는 것을 포함한다.
예 23은 예 17 내지 예 22 중 어느 한 예의 차량을 포함하며, 여기서 거동 모델은 제2 차량의 자율 주행 운전 거동을 결정하기 위해 제2 차량에 의해 사용되는 적어도 하나의 머신 러닝 모델에 대응한다.
예 24는 예 17 내지 예 23 중 어느 한 예의 차량을 포함하며, 프로세싱 회로부는 거동 모델을 획득하기 위해 제2 차량과 통신하고, 여기서 제2 차량과 통신하는 것은 차량과 제2 차량 간에 보안 통신 세션을 확립하는 것, 및 보안 통신 세션 내에서 통신들을 통해 거동 모델을 수신하는 것을 포함한다.
예 25는 예 24의 차량을 포함하며, 여기서 보안 통신 세션을 확립하는 것은 제1 차량과 제2 차량 사이에서 토큰들을 교환하는 것을 포함하고, 각각의 토큰은 대응하는 차량의 각자의 식별자, 각자의 공개 키 및 공유 비밀 값을 포함한다.
예 26은 예 17 내지 예 25 중 어느 한 예의 차량을 포함하며, 여기서 신호는 제2 차량의 아이덴티티 및 위치를 나타내는 비콘을 포함한다.
예 27은 예 17 내지 예 26 중 어느 한 예의 차량을 포함하며, 차량에 근접해 있는 다른 차량들에 차량을 식별해 주는 신호를 다른 차량들로 브로드캐스트하기 위한 송신기를 더 포함한다.
예 28은 예 17 내지 예 27 중 어느 한 예의 차량을 포함하며, 프로세싱 회로부는 거동 모델을 포함한 거동 모델들의 교환에서 제2 거동 모델을 제2 차량으로 통신하고, 제2 거동 모델은 차량의 운전 거동을 정의한다.
예 29는 예 17 내지 예 28 중 어느 한 예의 차량을 포함하며, 프로세싱 회로부는 제2 차량과 연관된 거동 모델이 차량의 모델 데이터베이스에 있는지 여부를 결정하고, 여기서 제2 차량과 연관된 거동 모델이 아직 모델 데이터베이스에 없다는 결정에 기초하여 제2 차량과 연관된 거동 모델이 획득된다.
예 30은 예 17 내지 예 29 중 어느 한 예의 차량을 포함하며, 여기서 제2 차량은 인간 운전 모드에서 동작할 수 있으며, 제2 차량과 연관된 거동 모델은 인간 운전 모드에서의 제2 차량의 동작 동안 제2 차량 내의 적어도 한 명의 인간 운전자의 특성들을 모델링한다.
예 31은 예 17 내지 예 30 중 어느 한 예의 차량을 포함하며, 여기서 제2 차량과 연관된 거동 모델은 제2 차량에 대한 거동 모델 세트 중 하나의 거동 모델을 포함하고, 거동 모델 세트는 복수의 시나리오 특정 거동 모델들을 포함한다.
예 32는 예 31의 차량을 포함하며, 프로세싱 회로부는 차량에 의해 생성되는 센서 데이터에 적어도 부분적으로 기초하여 특정 시나리오를 결정하고; 거동 모델 세트 중의 특정 거동 모델이 특정 시나리오에 대응한다고 결정하며; 특정 거동 모델이 특정 시나리오에 대응한다고 결정하는 것에 기초하여 제2 차량의 행동들을 예측하기 위해 특정 거동 모델을 사용한다.
예 33은 제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 수단; 및 제2 차량과 연관된 거동 모델을 획득하기 위한 수단 - 거동 모델은 제2 차량의 운전 거동을 정의함 -; 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하기 위한 수단; 및 제2 차량의 예측된 행동들에 기초하여 제1 차량에 대한 경로 계획을 결정하기 위한 수단을 포함하는 시스템을 포함한다.
예 34는 예 33의 시스템을 포함하며, 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하기 전에 제2 차량과 연관된 거동 모델의 신뢰성을 결정하기 위한 수단을 더 포함한다.
예 35는 예 33의 시스템을 포함하며, 여기서 거동 모델의 신뢰성을 결정하는 것은 모델의 정확도를 검증하는 것을 포함한다.
예 36은 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 여기서 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금 제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하게 하고; 제2 차량과 연관된 거동 모델을 획득하게 하며 - 거동 모델은 제2 차량의 운전 거동을 정의함 -; 제2 차량의 행동들을 예측하기 위해 거동 모델을 사용하게 하고; 제2 차량의 예측된 행동들에 기초하여 제1 차량에 대한 경로 계획을 결정하게 한다.
예 37은 메모리 및 예 17 내지 예 32 중 하나 이상의 예를 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 38은 예 17 내지 예 32 중 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 39는, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 17 내지 예 32의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 40은 방법을 포함하고, 이 방법은 자율 주행 차량에 결합된 복수의 센서들로부터의 센서 데이터에 기초하여 생성되는 환경 모델을 수신하는 단계; 환경 모델에서의 정보에 기초하여, 자율 주행 차량 이외의 차량들의 하나 이상의 거동의 변동을 결정하는 단계; 환경 모델에서의 정보에 기초하여, 자율 주행 차량 이외의 차량들의 하나 이상의 거동과 자율 주행 차량에 의해 수행되는 동일한 하나 이상의 거동 간의 편차를 결정하는 단계; 결정된 변동 및 편차에 기초하여, 자율 주행 차량에 대한 거동 모델에 대한 하나 이상의 제약을 결정하는 단계; 및 자율 주행 차량의 동작을 제어하기 위해 거동 모델에 대한 하나 이상의 제약을 적용하는 단계를 포함한다.
예 41은 예 40의 방법을 포함하며, 자율 주행 차량에 대한 환경 모델 및 지리적 위치 정보에 기초하여 시나리오를 구성하는 단계; 및 자율 주행 차량의 거동 모델에 대한 사회적 규범 프로파일에서 제약을 시나리오와 연관시키는 단계를 더 포함한다.
예 42는 예 41의 방법을 포함하며, 여기서 시나리오는 자율 주행 차량 근처의 다수의 차량들, 자율 주행 차량 근처의 하나 이상의 차량 각각에 대한 속력, 하루 중 시간, 및 기상 조건 정보에 기초한다.
예 43은 예 40 내지 예 42 중 어느 한 예의 방법을 포함하며, 여기서 변동을 결정하는 단계는 관측된 거동이 자율 주행 차량에 대한 거동 모델의 현재 파라미터들 내에 있는지 여부를 결정하는 단계를 포함한다.
예 44는 예 43의 방법을 포함하며, 여기서 변동은 주변 차량들의 관측치들로부터의 현재 거동 모델에 대한 유클리드 거리에 기초한다.
예 45는 예 40 내지 예 42 중 어느 한 예의 방법을 포함하며, 여기서 편차를 결정하는 단계는 거동 편차가 자율 주행 차량에 대한 거동 모델의 현재 파라미터들 내에 있는지 여부를 결정하는 단계를 포함한다.
예 46은 예 45의 방법을 포함하며, 여기서 편차는 거동에 대한 한계들로서 작용하는 부정적 피드백 위반들에 기초한다.
예 47은 예 40 내지 예 46 중 어느 한 예의 방법을 포함하며, 여기서 변동 및 편차는 동적 장애물들과 연관된 환경 모델에서의 정보에 기초한다.
예 48은 메모리 및 예 40 내지 예 47 중 하나 이상의 예를 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 49는 예 40 내지 예 47 중 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 50은, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 40 내지 예 47의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 51은 방법을 포함하고, 이 방법은 제1 복수의 차량들과의 제1 합의 협상에 참여하는 단계 - 제1 복수의 차량들 중 적어도 일 부분의 거동 모델들 또는 그의 파라미터들은 제1 합의 협상에서 교환되고, 제1 합의 협상에 참여하는 단계는 교환되는 거동 모델들 각각을 수신하고 제1 합의 협상에서 거동 모델들 각각의 유효성을 결정하는 단계를 포함함 -; 제2 복수의 차량들과의 제2 합의 협상에 참여하는 단계 - 제2 복수의 차량들 중 적어도 일 부분의 거동 모델들은 제2 합의 협상에서 교환되고, 제2 합의 협상에 참여하는 단계는 교환되는 거동 모델들 각각을 수신하고 제2 합의 협상에서 거동 모델들 각각의 유효성을 결정하는 단계를 포함함 -; 및 제1 및 제2 합의 협상들로부터 합의 거동 모델을 생성하는 단계를 포함한다.
예 52는 예 51의 방법을 포함하며, 합의 거동 모델을 제3의 복수의 차량들에 배포하는 단계를 더 포함한다.
예 53은 예 52의 방법을 포함하며, 여기서 합의 거동 모델은 제3 합의 협상에서 배포된다.
예 54는 예 51 내지 예 53 중 어느 한 예의 방법을 포함하며, 여기서 제1 및 제2 합의 협상들은 비잔틴 장애 허용 합의 알고리즘에 기초한다.
예 55는 예 51 내지 예 54 중 어느 한 예의 방법을 포함하며, 여기서 거동 모델들은 신경 네트워크 기반 모델들을 포함한다.
예 56은 예 51 내지 예 55 중 어느 한 예의 방법을 포함하며, 여기서 제1 또는 제2 복수의 차량들 중 적어도 하나는 인간 운전자를 가진 비자율 주행 차량을 포함한다.
예 57은 예 56의 방법을 포함하며, 비자율 주행 차량에 대응하는 거동 모델을 결정하는 단계를 더 포함한다.
예 58은 예 57의 방법을 포함하며, 하나 이상의 비자율 주행 차량의 복수의 거동들을 관측하기 위해 하나 이상의 로컬 센서에서 센서 데이터를 생성하는 단계를 더 포함하며, 여기서 비자율 주행 차량에 대응하는 거동 모델은 센서 데이터에 기초한다.
예 59는 예 58의 방법을 포함하며, 여기서 비자율 주행 차량에 대응하는 거동 모델은 합의 거동 모델에 더 기초한다.
예 60은 예 51 내지 예 59 중 어느 한 예의 방법을 포함하며, 여기서 방법은 특정 도로 세그먼트에 대응하는 고정식 컴퓨팅 노드를 사용하여 수행되고, 고정식 컴퓨팅 노드는 특정 도로 세그먼트에 근접하게 위치된다.
예 61은 예 60의 방법을 포함하며, 여기서 합의 거동 모델은 특정 도로 세그먼트에서의 이상적인 운전 거동을 기술하려고 시도한다.
예 62는 예 51 내지 예 61 중 어느 한 예의 방법을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 63은 예 62의 시스템을 포함하며, 여기서 이 수단은 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 여기서 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금 예 51 내지 예 61 중 어느 한 예의 방법의 적어도 일 부분을 수행하게 한다.
예 64는 방법을 포함하고, 이 방법은: 자율 주행 차량에 결합된 복수의 센서들로부터 센서 데이터를 수신하는 단계; 센서 데이터에 기초하여 자율 주행 차량 이외의 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 단계; 특정 차량에 대한 식별자를 생성하는 단계; 및 임계 수보다 많은 횟수로 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 것에 응답하여 자율 주행 차량의 동적 거동 정책을 개시하는 단계를 포함한다.
예 65는 예 64의 방법을 포함하며, 여기서 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 단계는 특정 차량에 의해 수행되는 관측된 거동을 자율 주행 차량의 안전 모델과 비교하는 단계; 및 비교에 기초하여, 관측된 거동이 자율 주행 차량의 안전 모델을 위반한다고 결정하는 단계를 포함한다.
예 66은 예 64의 방법을 포함하며, 여기서 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 단계는 특정 차량에 의해 수행되는 관측된 거동을 다른 차량들에 의해 수행되는 관측된 거동들과 비교하는 단계; 및 비교에 기초하여, 특정 차량에 의해 수행되는 관측된 거동이 다른 차량들에 의해 수행되는 관측된 거동들로부터 벗어난다고 결정하는 단계를 포함한다.
예 67은 예 64의 방법을 포함하며, 여기서 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 단계는 특정 차량에 의해 수행되는 관측된 거동을 다른 차량들에 의해 수행되는 관측된 거동들과 비교하는 단계; 및 비교에 기초하여, 다른 차량들에 의해 수행되는 관측된 거동들이 특정 차량에 의해 수행되는 관측된 거동에 반응하여 수행된다고 결정하는 단계를 포함한다.
예 68은 예 64 내지 예 67 중 어느 한 예의 방법을 포함하며, 여기서 불규칙적 거동을 검출하는 단계는 센서 데이터에서의 청각적 및 시각적 콘텍스트 정보에 기초한다.
예 69는 예 64 내지 예 68 중 어느 한 예의 방법을 포함하며, 여기서 특정 차량에 대한 식별자를 생성하는 단계는 특정 차량의 각자의 특징들에 대한 값들을 획득하는 단계; 및 식별자를 획득하기 위해 값들의 조합에 암호화 해시를 적용하는 단계를 포함한다.
예 69는 예 68의 방법을 포함하며, 여기서 값들은 다른 차량들을 인식하기 위해 자율 주행 차량에 의해 사용되는 딥 러닝 모델로부터 대표적인 특징들을 추출하는 것에 의해 획득된다.
예 70은 예 64 내지 예 69 중 어느 한 예의 방법을 포함하고, 다른 차량들에 의한 불규칙적 거동의 검출 빈도를 추적하는 단계를 더 포함한다.
예 71은 메모리 및 예 64 내지 예 70의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 72는 예 64 내지 예 70의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 73은, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 64 내지 예 70의 방법들 중 하나 이상의 방법의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 74는 방법을 포함하고, 이 방법은 복수의 자율 주행 차량들로부터 불규칙적 거동 추적 데이터를 수신하는 단계 - 불규칙적 거동 추적 데이터는 차량 식별자, 차량 식별자와 연관된 차량에 의해 수행되는 것으로 관측되는 연관된 불규칙적 거동, 및 불규칙적 거동이 자율 주행 차량들에 의해 검출된 콘텍스트를 나타내는 콘텍스트 데이터를 포함하는 엔트리들을 포함함 -; 하나 이상의 차량에 의해 수행되는 하나 이상의 불규칙적 거동 시퀀스를 식별하는 단계; 식별된 시퀀스들 및 불규칙적 거동 추적 데이터에 기초하여 콘텍스트 거동 패턴을 식별하는 단계; 및 식별된 콘텍스트 거동 패턴에 기초하여 하나 이상의 자율 주행 차량에 대한 거동 정책을 수정하는 단계를 포함한다.
예 75는 예 74의 방법을 포함하며, 여기서 콘텍스트 거동 패턴을 식별하는 단계는 식별된 시퀀스들을 나타내는 제1 노드 세트와 콘텍스트 데이터를 나타내는 제2 노드 세트를 포함하는 콘텍스트 그래프를 생성하는 단계 - 콘텍스트 그래프의 에지들은 노드들 사이의 연관들의 빈도를 나타냄 -; 및 콘텍스트 그래프를 사용하여 콘텍스트 거동 패턴을 식별하는 단계를 포함한다.
예 76은 예 74의 방법을 포함하며, 여기서 하나 이상의 자율 주행 차량에 대한 거동 정책을 수정하는 단계는 하나 이상의 자율 주행 차량이 식별된 콘텍스트 거동 패턴과 연관된 특정 콘텍스트 내에 있다는 것을 검출하는 것에 기초한다.
예 77은 예 74 내지 예 76 중 어느 한 예의 방법을 포함하며, 여기서 콘텍스트 데이터는 불규칙적 거동들을 수행하는 차량들에 대한 궤적 정보, 불규칙적 거동들을 수행하는 차량들에 대한 차량 속성들, 불규칙적 거동들을 수행하는 차량들에 대한 운전자 속성들, 불규칙적 거동들을 수행하는 차량들의 지리적 위치, 불규칙적 거동들을 수행하는 차량들 주위의 기상 조건들, 및 불규칙적 거동들을 수행하는 차량들 주위의 교통 조건들을 나타내는 교통 정보 중 하나 이상을 포함한다.
예 78은 예 74 내지 예 77 중 어느 한 예의 방법을 포함하며, 여기서 하나 이상의 불규칙적 거동 시퀀스는 LCS(Longest Common Subsequence)에 기초하여 식별된다.
예 79는 메모리 및 예 74 내지 예 78의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 80은 예 74 내지 예 78의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 81은, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 74 내지 예 78의 방법들 중 하나 이상의 방법의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 82는 방법을 포함하고, 이 방법은: 차량 거동 모델로부터, 차량에 대한 제1 움직임 변화의 분류를 수신하는 단계; 회귀 모델로부터, 주어진 시간 간격 동안 발생하는 차량에 대한 제1 움직임 변화의 가능성의 예측을 수신하는 단계; 차량 거동 모델로부터의 분류를 회귀 모델로부터의 예측과 비교하는 단계; 비교에 적어도 부분적으로 기초하여 차량에 대한 제1 움직임 변화가 장애라고 결정하는 단계; 및 차량에 대한 제1 움직임 변화가 장애라고 결정하는 것에 기초하여 차량에 대한 제1 움직임 변화에 영향을 미치는 제1 제어 신호를 송신하는 단계를 포함한다.
예 83은 예 82의 방법을 더 포함하며, 차량 거동 모델에서, 차량에 대한 제1 움직임 변화를 나타내는 제1 제어 이벤트를 수신하는 단계; 및 제1 제어 이벤트 및 차량 내의 하나 이상의 센서로부터의 데이터에 적어도 부분적으로 기초하여 제1 움직임 변화의 분류를 생성하는 단계를 포함한다.
예 84는 예 82의 방법을 포함하며, 회귀 모델에서, 제1 제어 이벤트를 수신하는 단계; 현재 조건들을 나타내는 하나 이상의 변수를 획득하는 단계; 및 제1 제어 이벤트 및 현재 조건들을 나타내는 하나 이상의 변수에 적어도 부분적으로 기초하여 예측을 생성하는 단계를 더 포함한다.
예 85는 예 84의 방법을 포함하며, 여기서 현재 조건들은 적어도 하나의 환경 조건을 포함한다.
예 86은 예 84 및 예 85 중 어느 한 예의 방법을 포함하며, 여기서 현재 조건들은 적어도 하나의 차량 조건을 포함한다.
예 87은 예 84 내지 예 86 중 어느 한 예의 방법을 포함하며, 여기서 하나 이상의 변수 중 적어도 하나는 하나 이상의 원격 소스로부터 획득된다.
예 88은 예 83 내지 예 87 중 어느 한 예의 방법을 포함하며, 여기서 제1 제어 이벤트는 제동 액추에이터, 조향 액추에이터 또는 스로틀 액추에이터와 연관된다.
예 89는 예 82 내지 예 88 중 어느 한 예의 방법을 포함하며, 여기서 차량 거동 모델은 HMM(Hidden Markov Model) 알고리즘이다.
예 90은 예 82 내지 예 89 중 어느 한 예의 방법을 포함하며, 여기서 회귀 모델은 EM(expectation maximization) 알고리즘이다.
예 91은 예 82 내지 예 90 중 어느 한 예의 방법을 포함하며, 여기서 장애는 차량의 컴퓨팅 시스템에 대한 악의적 공격 또는 차량의 컴퓨팅 시스템에서의 고장 중 하나이다.
예 92는 메모리; 및 예 82 내지 예 91 중 어느 한 예의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 93은 예 82 내지 예 91의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 94는 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어들은, 실행될 때, 장치를 실현하거나 예 82 내지 예 93 중 어느 하나에서와 같은 방법을 구현한다.
예 95는 시스템을 포함하고, 이 시스템은 메모리; 메모리에 결합된 프로세서; 안전 모듈; 및 차량의 센서들의 건강에 적어도 부분적으로 기초하여 차량의 자율성 레벨 점수를 결정하기 위한 점수 모듈을 포함한다.
예 96은 예 95의 시스템을 포함하며, 자율성 레벨 점수를 디스플레이하기 위한 자동화 레벨 표시기를 더 포함한다.
예 97은 예 95 및 예 96 중 임의의 하나 이상의 예의 시스템을 포함하며, 여기서 적어도 하나의 입력은 하나 이상의 센서에 관련된 데이터를 포함한다.
예 98은 예 95 내지 예 97 중 임의의 하나 이상의 예의 시스템을 포함하며, 여기서 적어도 하나의 입력은 기상 조건들에 관련된 데이터를 포함한다.
예 99는 예 95 내지 예 98 중 임의의 하나 이상의 예의 시스템을 포함하며, 여기서 적어도 하나의 입력은 차량에 이용 가능한 계산 능력에 관련된 데이터를 포함한다.
예 100은 예 95 내지 예 99 중 임의의 하나 이상의 예의 시스템을 포함하며, 여기서 적어도 하나의 입력은 차량 맞춤화에 관련된 데이터를 포함한다.
예 101은 예 95 내지 예 100 중 임의의 하나 이상의 예의 시스템을 포함하며, 여기서 적어도 하나의 입력은 사용자 경험에 관련된 데이터를 포함한다.
예 102는 방법을 포함하고, 이 방법은 차량에 관련된 복수의 입력들을 수신하는 단계; 복수의 입력들을 가중하는 단계; 복수의 가중된 입력들을 결합시키는 단계; 및 결합된 가중된 입력들을 사용하여 차량에 대한 자율성 레벨 점수를 결정하는 단계를 포함한다.
예 103은 예 102의 방법을 포함하며, 자동화 레벨 표시기에 자율성 레벨 점수를 디스플레이하는 단계를 더 포함한다.
예 104는 예 95 내지 예 102 중 임의의 하나 이상의 예의 방법을 포함하며, 운전자의 특성들에 관한 정보를 업데이트하는 단계를 더 포함한다.
예 105는 예 102 내지 예 104 중 임의의 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 106은 예 105의 시스템을 포함하며, 여기서 수단은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 여기서 명령어들은, 실행될 때, 예 102 내지 예 104 중 임의의 하나 이상의 예의 임의의 방법을 구현한다.
예 107은 방법을 포함하고, 이 방법은 차량의 치수들이 수정되었는지 여부를 결정하는 단계; 새로운 차량 치수들을 획득하는 단계; 새로운 차량 치수들에 기초하여 새로운 차량 모델을 생성하는 단계; 및 새로운 차량 모델에 기초하여 자율 주행 차량 스택의 하나 이상의 알고리즘을 조정하는 단계를 포함한다.
예 108은 예 107의 방법을 포함하며, 여기서 차량의 치수들이 수정되었는지 여부를 결정하는 단계는 센서를 사용하여 히치가 체결되었다고 결정하는 단계를 포함한다.
예 109는 예 107 및 예 108 중 임의의 하나 이상 예의 방법을 포함하며, 여기서 새로운 차량 치수들을 획득하는 단계는 초음파 스캔을 수행하는 단계를 포함한다.
예 110은 예 107 및 예 108 중 임의의 하나 이상 예의 방법을 포함하며, 여기서 새로운 차량 치수들을 획득하는 단계는 외관 검사(walkthrough) 동안 차량을 스캔하는 단계를 포함한다.
예 111은 예 110의 방법을 포함하며, 여기서 외관 검사 동안 스캔하는 단계는 스마트 폰을 사용하는 단계를 포함한다.
예 112는 예 107 내지 예 111 중 임의의 하나 이상의 예의 방법을 포함하며, 차량 치수들이 변경되었을 때 새로운 차량 치수들에 대해 운전자를 프롬프트하는 단계를 더 포함한다.
예 113은 예 107 내지 예 112 중 임의의 하나 이상의 예의 방법을 포함하며, 차량의 치수들이 수정된 후에 차량의 자율성 레벨을 결정하는 단계를 더 포함한다.
예 114는 예 107 내지 예 113 중 임의의 하나 이상의 예의 방법을 포함하며, 센서들을 사용하여 새로운 차량 치수들을 검증하는 단계를 더 포함한다.
예 115는 예 107 내지 예 114 중 임의의 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 116은 예 115의 시스템을 포함하며, 여기서 수단은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 여기서 명령어들은, 실행될 때, 예 107 내지 예 114 중 임의의 하나 이상의 예의 방법을 구현한다.
따라서, 주제의 특정의 실시예들이 기술되었다. 다른 실시예들이 이하의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 동작들은 상이한 순서로 수행될 수 있고 바람직한 결과들을 여전히 달성할 수 있다. 그에 부가하여, 첨부 도면들에 묘사된 프로세스들은 바람직한 결과들을 달성하기 위해 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하지는 않는다.
Claims (27)
- 장치로서,
제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 적어도 하나의 인터페이스; 및
프로세싱 회로부를 포함하고, 상기 프로세싱 회로부는:
상기 제2 차량과 연관된 거동 모델을 획득하고 - 상기 거동 모델은 상기 제2 차량의 운전 거동을 정의함 -;
상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하며;
상기 제2 차량의 상기 예측된 행동들에 기초하여 상기 제1 차량에 대한 경로 계획을 결정하는, 장치. - 제1항에 있어서, 상기 프로세싱 회로부는 상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하기 전에 상기 제2 차량과 연관된 상기 거동 모델의 신뢰성을 결정하는, 장치.
- 제2항에 있어서, 상기 거동 모델의 신뢰성을 결정하는 것은 상기 거동 모델의 형식을 검증하는 것을 포함하는, 장치.
- 제1항에 있어서, 상기 거동 모델의 신뢰성을 결정하는 것은 상기 거동 모델의 정확도를 검증하는 것을 포함하는, 장치.
- 제4항에 있어서, 상기 거동 모델의 정확도를 검증하는 것은:
적어도 하나의 머신 러닝 모델에 제공되는 입력들 및 상기 적어도 하나의 머신 러닝 모델의 대응하는 출력들을 저장하는 것; 및
상기 거동 모델에 상기 입력들을 제공하고 상기 거동 모델의 출력들을 상기 적어도 하나의 머신 러닝 모델의 상기 출력들과 비교하는 것을 포함하는, 장치. - 제4항에 있어서, 상기 거동 모델의 정확도를 검증하는 것은:
관측된 조건들에 대응하는 입력들에 기초하여 상기 거동 모델에 따라 상기 제2 차량의 예상된 거동을 결정하는 것;
상기 관측된 조건들에 대응하는 상기 제2 차량의 거동을 관측하는 것; 및
상기 관측된 거동을 상기 예상된 거동과 비교하는 것을 포함하는, 장치. - 제1항에 있어서, 상기 제2 차량과 연관된 상기 거동 모델은 상기 제2 차량의 자율 주행 운전 거동을 결정하기 위해 상기 제2 차량에 의해 사용되는 적어도 하나의 머신 러닝 모델에 대응하는, 장치.
- 제1항에 있어서, 상기 프로세싱 회로부는 상기 거동 모델을 획득하기 위해 상기 제2 차량과 통신하고, 상기 제2 차량과 통신하는 것은 상기 제1 차량과 상기 제2 차량 간에 보안 통신 세션을 확립하는 것, 및 상기 보안 통신 세션 내에서 통신들을 통해 상기 거동 모델을 수신하는 것을 포함하는, 장치.
- 제8항에 있어서, 상기 보안 통신 세션을 확립하는 것은 상기 제1 차량과 상기 제2 차량 사이에서 토큰들을 교환하는 것을 포함하고, 각각의 토큰은 대응하는 차량의 각자의 식별자, 각자의 공개 키 및 공유 비밀 값을 포함하는, 장치.
- 제1항에 있어서, 상기 신호는 상기 제2 차량의 아이덴티티 및 위치를 나타내는 비콘을 포함하는, 장치.
- 제1항에 있어서, 상기 제1 차량에 근접해 있는 다른 차량들에 상기 제1 차량을 식별해 주는 신호를 상기 다른 차량들로 브로드캐스트하기 위한 송신기를 더 포함하는, 장치.
- 제1항에 있어서, 상기 프로세싱 회로부는 상기 거동 모델을 포함한 거동 모델들의 교환에서 상기 제2 차량으로의 제2 거동 모델의 통신을 개시하고, 상기 제2 거동 모델은 상기 제1 차량의 운전 거동을 정의하는, 장치.
- 제1항에 있어서, 상기 프로세싱 회로부는 상기 제2 차량과 연관된 상기 거동 모델이 상기 제1 차량의 거동 모델 데이터베이스에 있는지 여부를 결정하고, 상기 제2 차량과 연관된 상기 거동 모델이 아직 상기 거동 모델 데이터베이스에 없다는 결정에 기초하여 상기 제2 차량과 연관된 상기 거동 모델이 획득되는, 장치.
- 제1항에 있어서, 상기 제2 차량은 인간 운전 모드에서 동작할 수 있으며, 상기 제2 차량과 연관된 상기 거동 모델은 상기 인간 운전 모드에서의 상기 제2 차량의 동작 동안 상기 제2 차량의 적어도 한 명의 인간 운전자의 특성들을 모델링하는, 장치.
- 제1항에 있어서, 상기 제2 차량과 연관된 상기 거동 모델은 상기 제2 차량에 대한 거동 모델 세트 중 하나의 거동 모델을 포함하고, 상기 거동 모델 세트는 복수의 시나리오 특정 거동 모델들을 포함하는, 장치.
- 제15항에 있어서, 상기 프로세싱 회로부는:
상기 제1 차량에 의해 생성되는 센서 데이터에 적어도 부분적으로 기초하여 특정 시나리오를 결정하고;
상기 거동 모델 세트 중의 특정 거동 모델이 상기 특정 시나리오에 대응한다고 결정하며;
상기 특정 거동 모델이 상기 특정 시나리오에 대응한다고 결정하는 것에 기초하여 상기 제2 차량의 행동들을 예측하기 위해 상기 특정 거동 모델을 사용하는, 장치. - 차량으로서,
센서 데이터를 생성하기 위한 복수의 센서들;
상기 차량의 이동을 물리적으로 제어하기 위한 제어 시스템;
상기 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 적어도 하나의 인터페이스; 및
프로세싱 회로부를 포함하고, 상기 프로세싱 회로부는:
상기 제2 차량과 연관된 거동 모델을 획득하고 - 상기 거동 모델은 상기 제2 차량의 운전 거동을 정의함 -;
상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하며;
상기 제2 차량의 상기 예측된 행동들 및 상기 센서 데이터에 기초하여 상기 차량에 대한 경로 계획을 결정하고;
상기 경로 계획에 따라 상기 차량을 이동시키기 위해 상기 제어 시스템과 통신하는, 차량. - 제17항에 있어서, 상기 프로세싱 회로부는 상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하기 전에 상기 제2 차량과 연관된 상기 거동 모델의 신뢰성을 결정하는, 차량.
- 제18항에 있어서, 상기 거동 모델의 신뢰성을 결정하는 것은 상기 거동 모델의 정확도를 검증하는 것을 포함하는, 차량.
- 제17항에 있어서, 상기 거동 모델은 상기 제2 차량의 자율 주행 운전 거동을 결정하기 위해 상기 제2 차량에 의해 사용되는 적어도 하나의 머신 러닝 모델에 대응하는, 차량.
- 제17항에 있어서, 상기 제2 차량과 연관된 상기 거동 모델은 상기 제2 차량에 대한 거동 모델 세트 중 하나의 거동 모델을 포함하고, 상기 거동 모델 세트는 복수의 시나리오 특정 거동 모델들을 포함하는, 차량.
- 시스템으로서,
제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하기 위한 수단; 및
상기 제2 차량과 연관된 거동 모델을 획득하기 위한 수단 - 상기 거동 모델은 상기 제2 차량의 운전 거동을 정의함 -;
상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하기 위한 수단; 및
상기 제2 차량의 상기 예측된 행동들에 기초하여 상기 제1 차량에 대한 경로 계획을 결정하기 위한 수단을 포함하는, 시스템. - 제22항에 있어서, 상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하기 전에 상기 제2 차량과 연관된 상기 거동 모델의 신뢰성을 결정하기 위한 수단을 더 포함하는, 시스템.
- 제22항에 있어서, 상기 거동 모델의 신뢰성을 결정하는 것은 상기 거동 모델의 정확도를 검증하는 것을 포함하는, 시스템.
- 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체로서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금:
제1 차량에 근접해 있는 제2 차량을 식별해 주는 신호를 수신하게 하고;
상기 제2 차량과 연관된 거동 모델을 획득하게 하며 - 상기 거동 모델은 상기 제2 차량의 운전 거동을 정의함 -;
상기 제2 차량의 행동들을 예측하기 위해 상기 거동 모델을 사용하게 하고;
상기 제2 차량의 상기 예측된 행동들에 기초하여 상기 제1 차량에 대한 경로 계획을 결정하게 하는, 컴퓨터 판독 가능 매체. - 시스템으로서,
메모리;
상기 메모리에 결합된 프로세서;
안전 모듈; 및
차량의 센서들의 건강에 적어도 부분적으로 기초하여 상기 차량의 자율성 레벨 점수를 결정하기 위한 점수 모듈을 포함하는, 시스템. - 방법으로서,
자율 주행 차량에 결합된 복수의 센서들로부터 센서 데이터를 수신하는 단계;
상기 센서 데이터에 기초하여 상기 자율 주행 차량 이외의 특정 차량에 의해 수행되는 불규칙적 거동을 검출하는 단계;
상기 특정 차량에 대한 식별자를 생성하는 단계; 및
임계 수보다 많은 횟수로 상기 특정 차량에 의해 수행되는 상기 불규칙적 거동을 검출하는 것에 응답하여 상기 자율 주행 차량의 동적 거동 정책을 개시하는 단계를 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962826955P | 2019-03-29 | 2019-03-29 | |
| US62/826,955 | 2019-03-29 | ||
| PCT/US2020/025501 WO2020205648A1 (en) | 2019-03-29 | 2020-03-27 | Autonomous vehicle system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210134635A true KR20210134635A (ko) | 2021-11-10 |
Family
ID=72666352
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217027299A KR20210134638A (ko) | 2019-03-29 | 2020-03-27 | 자율 차량 시스템 |
| KR1020217027324A KR20210134317A (ko) | 2019-03-29 | 2020-03-27 | 자율 차량 시스템 |
| KR1020217027157A KR20210134634A (ko) | 2019-03-29 | 2020-03-27 | 자율 주행 차량 시스템 |
| KR1020217027159A KR20210134635A (ko) | 2019-03-29 | 2020-03-27 | 자율 주행 차량 시스템 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217027299A KR20210134638A (ko) | 2019-03-29 | 2020-03-27 | 자율 차량 시스템 |
| KR1020217027324A KR20210134317A (ko) | 2019-03-29 | 2020-03-27 | 자율 차량 시스템 |
| KR1020217027157A KR20210134634A (ko) | 2019-03-29 | 2020-03-27 | 자율 주행 차량 시스템 |
Country Status (7)
| Country | Link |
|---|---|
| US (4) | US20220161815A1 (ko) |
| EP (4) | EP3947081A4 (ko) |
| JP (4) | JP2022525391A (ko) |
| KR (4) | KR20210134638A (ko) |
| CN (4) | CN113508066A (ko) |
| DE (4) | DE112020001649T5 (ko) |
| WO (4) | WO2020205629A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533711B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
| KR102533710B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
Families Citing this family (341)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220018906A1 (en) * | 2014-02-27 | 2022-01-20 | Invently Automotive Inc. | Predicting An Outcome Associated With A Driver Of A vehicle |
| US9786154B1 (en) | 2014-07-21 | 2017-10-10 | State Farm Mutual Automobile Insurance Company | Methods of facilitating emergency assistance |
| WO2016072116A1 (ja) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
| US20180012492A1 (en) * | 2015-02-06 | 2018-01-11 | Delphi Technologies, Inc. | Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure or other vehicles |
| WO2018119417A1 (en) * | 2016-12-22 | 2018-06-28 | Nissan North America, Inc. | Autonomous vehicle service system |
| JP6708793B2 (ja) * | 2016-12-23 | 2020-06-10 | モービルアイ ビジョン テクノロジーズ リミテッド | 課せられる責任の制約を伴うナビゲーションシステム |
| US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US10569784B2 (en) * | 2017-09-28 | 2020-02-25 | Waymo Llc | Detecting and responding to propulsion and steering system errors for autonomous vehicles |
| US11215984B2 (en) * | 2018-01-09 | 2022-01-04 | Uatc, Llc | Systems and methods for controlling an autonomous vehicle |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| AU2019266266A1 (en) * | 2018-05-09 | 2020-11-12 | Cavh Llc | Systems and methods for driving intelligence allocation between vehicles and highways |
| US20210247199A1 (en) * | 2018-05-14 | 2021-08-12 | 3M Innovative Properties Company | Autonomous navigation systems for temporary zones |
| US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11167836B2 (en) | 2018-06-21 | 2021-11-09 | Sierra Nevada Corporation | Devices and methods to attach composite core to a surrounding structure |
| US10909866B2 (en) * | 2018-07-20 | 2021-02-02 | Cybernet Systems Corp. | Autonomous transportation system and methods |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US10768629B2 (en) * | 2018-07-24 | 2020-09-08 | Pony Ai Inc. | Generative adversarial network enriched driving simulation |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| JP7326667B2 (ja) | 2018-07-31 | 2023-08-16 | マーベル アジア ピーティーイー、リミテッド | ストレージエッジにおけるメタデータ生成 |
| DE102018118761A1 (de) * | 2018-08-02 | 2020-02-06 | Robert Bosch Gmbh | Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11507099B2 (en) | 2018-09-10 | 2022-11-22 | Drisk, Inc. | Systems and methods for graph-based AI training |
| CN112752683B (zh) * | 2018-09-24 | 2023-08-01 | 罗伯特·博世有限公司 | 用于监控机动脚踏车的方法和设备 |
| KR102637599B1 (ko) * | 2018-10-08 | 2024-02-19 | 주식회사 에이치엘클레무브 | 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치 |
| CN115512173A (zh) | 2018-10-11 | 2022-12-23 | 特斯拉公司 | 用于使用增广数据训练机器模型的系统和方法 |
| US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| US20200284598A1 (en) * | 2019-03-06 | 2020-09-10 | Lyft, Inc. | Systems and methods for autonomous vehicle performance evaluation |
| US11694088B2 (en) * | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
| CN110069064B (zh) * | 2019-03-19 | 2021-01-29 | 驭势科技（北京）有限公司 | 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备 |
| US11440471B2 (en) * | 2019-03-21 | 2022-09-13 | Baidu Usa Llc | Automated warning system to detect a front vehicle slips backwards |
| DE102019204318A1 (de) * | 2019-03-28 | 2020-10-01 | Conti Temic Microelectronic Gmbh | Automatische Erkennung und Klassifizierung von Adversarial Attacks |
| DE102019205520A1 (de) * | 2019-04-16 | 2020-10-22 | Robert Bosch Gmbh | Verfahren zum Ermitteln von Fahrverläufen |
| US11757906B2 (en) | 2019-04-18 | 2023-09-12 | Oracle International Corporation | Detecting behavior anomalies of cloud users for outlier actions |
| US11417212B1 (en) * | 2019-04-29 | 2022-08-16 | Allstate Insurance Company | Risk management system with internet of things |
| EP3739521A1 (en) * | 2019-05-14 | 2020-11-18 | Robert Bosch GmbH | Training system for training a generator neural network |
| US11775770B2 (en) * | 2019-05-23 | 2023-10-03 | Capital One Services, Llc | Adversarial bootstrapping for multi-turn dialogue model training |
| EP3748455B1 (en) * | 2019-06-07 | 2022-03-16 | Tata Consultancy Services Limited | A method and a system for hierarchical network based diverse trajectory proposal |
| US11287829B2 (en) * | 2019-06-20 | 2022-03-29 | Cisco Technology, Inc. | Environment mapping for autonomous vehicles using video stream sharing |
| US20200410368A1 (en) * | 2019-06-25 | 2020-12-31 | International Business Machines Corporation | Extended rule generation |
| US11645685B2 (en) * | 2019-06-26 | 2023-05-09 | Lyft, Inc. | Dynamically adjusting transportation provider pool size |
| US11727265B2 (en) * | 2019-06-27 | 2023-08-15 | Intel Corporation | Methods and apparatus to provide machine programmed creative support to a user |
| CN110300175B (zh) * | 2019-07-02 | 2022-05-17 | 腾讯科技（深圳）有限公司 | 消息推送方法、装置、存储介质及服务器 |
| US20210005085A1 (en) * | 2019-07-03 | 2021-01-07 | Cavh Llc | Localized artificial intelligence for intelligent road infrastructure |
| US11386229B2 (en) * | 2019-07-04 | 2022-07-12 | Blackberry Limited | Filtering personally identifiable information from vehicle data |
| CN110281950B (zh) * | 2019-07-08 | 2020-09-04 | 睿镞科技(北京)有限责任公司 | 基于三维声像传感器的载运工具控制与可视化环境体验 |
| JP2021015565A (ja) * | 2019-07-16 | 2021-02-12 | トヨタ自動車株式会社 | 車両制御装置 |
| CN114144699A (zh) * | 2019-07-16 | 2022-03-04 | 佳能株式会社 | 光学装置以及设置有光学装置的车载系统和移动设备 |
| JP7310403B2 (ja) * | 2019-07-23 | 2023-07-19 | トヨタ自動車株式会社 | 車両制御装置及び自動運転禁止システム |
| US11787407B2 (en) * | 2019-07-24 | 2023-10-17 | Pony Ai Inc. | System and method for sensing vehicles and street |
| EP3770881B1 (en) * | 2019-07-26 | 2023-11-15 | Volkswagen AG | Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle |
| CN110415543A (zh) * | 2019-08-05 | 2019-11-05 | 北京百度网讯科技有限公司 | 车辆信息的交互方法、装置、设备以及存储介质 |
| US11482015B2 (en) * | 2019-08-09 | 2022-10-25 | Otobrite Electronics Inc. | Method for recognizing parking space for vehicle and parking assistance system using the method |
| US11853863B2 (en) | 2019-08-12 | 2023-12-26 | Micron Technology, Inc. | Predictive maintenance of automotive tires |
| US11635893B2 (en) | 2019-08-12 | 2023-04-25 | Micron Technology, Inc. | Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks |
| US11775816B2 (en) | 2019-08-12 | 2023-10-03 | Micron Technology, Inc. | Storage and access of neural network outputs in automotive predictive maintenance |
| US11748626B2 (en) | 2019-08-12 | 2023-09-05 | Micron Technology, Inc. | Storage devices with neural network accelerators for automotive predictive maintenance |
| US11586943B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network inputs in automotive predictive maintenance |
| US11586194B2 (en) | 2019-08-12 | 2023-02-21 | Micron Technology, Inc. | Storage and access of neural network models of automotive predictive maintenance |
| US11702086B2 (en) | 2019-08-21 | 2023-07-18 | Micron Technology, Inc. | Intelligent recording of errant vehicle behaviors |
| US11361552B2 (en) | 2019-08-21 | 2022-06-14 | Micron Technology, Inc. | Security operations of parked vehicles |
| US11498388B2 (en) | 2019-08-21 | 2022-11-15 | Micron Technology, Inc. | Intelligent climate control in vehicles |
| CN114585876A (zh) * | 2019-08-31 | 2022-06-03 | 智能网联交通有限责任公司 | 一种自动驾驶车辆的分布式驾驶系统和方法 |
| WO2021044486A1 (ja) * | 2019-09-02 | 2021-03-11 | 三菱電機株式会社 | 自動運転制御装置および自動運転制御方法 |
| US11650746B2 (en) | 2019-09-05 | 2023-05-16 | Micron Technology, Inc. | Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles |
| US11409654B2 (en) | 2019-09-05 | 2022-08-09 | Micron Technology, Inc. | Intelligent optimization of caching operations in a data storage device |
| US11435946B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles |
| US11693562B2 (en) | 2019-09-05 | 2023-07-04 | Micron Technology, Inc. | Bandwidth optimization for different types of operations scheduled in a data storage device |
| US11436076B2 (en) | 2019-09-05 | 2022-09-06 | Micron Technology, Inc. | Predictive management of failing portions in a data storage device |
| US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
| US11460856B2 (en) * | 2019-09-13 | 2022-10-04 | Honda Motor Co., Ltd. | System and method for tactical behavior recognition |
| US11577756B2 (en) * | 2019-09-13 | 2023-02-14 | Ghost Autonomy Inc. | Detecting out-of-model scenarios for an autonomous vehicle |
| US10768620B1 (en) * | 2019-09-17 | 2020-09-08 | Ha Q Tran | Smart vehicle |
| DE102019214445A1 (de) * | 2019-09-23 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum Assistieren eines Kraftfahrzeugs |
| DE102019214482A1 (de) * | 2019-09-23 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum sicheren zumindest teilautomatisierten Führen eines Kraftfahrzeugs |
| US11455515B2 (en) * | 2019-09-24 | 2022-09-27 | Robert Bosch Gmbh | Efficient black box adversarial attacks exploiting input data structure |
| US11780460B2 (en) * | 2019-09-30 | 2023-10-10 | Ghost Autonomy Inc. | Determining control operations for an autonomous vehicle |
| US11645518B2 (en) * | 2019-10-07 | 2023-05-09 | Waymo Llc | Multi-agent simulations |
| US20210133493A1 (en) * | 2019-10-30 | 2021-05-06 | safeXai, Inc. | Disrupting object recognition functionality |
| US11577757B2 (en) * | 2019-11-01 | 2023-02-14 | Honda Motor Co., Ltd. | System and method for future forecasting using action priors |
| TWI762828B (zh) * | 2019-11-01 | 2022-05-01 | 緯穎科技服務股份有限公司 | 高速序列電腦匯流排的訊號調整方法及其相關電腦系統 |
| CN110764509A (zh) * | 2019-11-11 | 2020-02-07 | 北京百度网讯科技有限公司 | 任务调度方法、装置、设备及计算机可读存储介质 |
| KR20210059574A (ko) * | 2019-11-15 | 2021-05-25 | 한국전자통신연구원 | 릴레이 노드, 릴레이 네트워크 시스템 및 이의 동작 방법 |
| US11838400B2 (en) * | 2019-11-19 | 2023-12-05 | International Business Machines Corporation | Image encoding for blockchain |
| US11454967B2 (en) * | 2019-11-20 | 2022-09-27 | Verizon Patent And Licensing Inc. | Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue |
| KR20210070029A (ko) * | 2019-12-04 | 2021-06-14 | 삼성전자주식회사 | 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램 |
| EP3832420B1 (en) * | 2019-12-06 | 2024-02-07 | Elektrobit Automotive GmbH | Deep learning based motion control of a group of autonomous vehicles |
| KR20210073883A (ko) * | 2019-12-11 | 2021-06-21 | 현대자동차주식회사 | 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법 |
| EP4073665A1 (en) * | 2019-12-13 | 2022-10-19 | Marvell Asia Pte, Ltd. | Automotive data processing system with efficient generation and exporting of metadata |
| US11250648B2 (en) | 2019-12-18 | 2022-02-15 | Micron Technology, Inc. | Predictive maintenance of automotive transmission |
| US11748488B2 (en) * | 2019-12-24 | 2023-09-05 | Sixgill Ltd. | Information security risk management |
| KR20220113947A (ko) * | 2019-12-26 | 2022-08-17 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램 |
| US20210221390A1 (en) * | 2020-01-21 | 2021-07-22 | Qualcomm Incorporated | Vehicle sensor calibration from inter-vehicle communication |
| US11709625B2 (en) | 2020-02-14 | 2023-07-25 | Micron Technology, Inc. | Optimization of power usage of data storage devices |
| US11531339B2 (en) * | 2020-02-14 | 2022-12-20 | Micron Technology, Inc. | Monitoring of drive by wire sensors in vehicles |
| US11511771B2 (en) * | 2020-02-17 | 2022-11-29 | At&T Intellectual Property I, L.P. | Enhanced navigation and ride hailing |
| US11873000B2 (en) * | 2020-02-18 | 2024-01-16 | Toyota Motor North America, Inc. | Gesture detection for transport control |
| US11445369B2 (en) * | 2020-02-25 | 2022-09-13 | International Business Machines Corporation | System and method for credential generation for wireless infrastructure and security |
| US11531865B2 (en) * | 2020-02-28 | 2022-12-20 | Toyota Research Institute, Inc. | Systems and methods for parallel autonomy of a vehicle |
| US20210286924A1 (en) * | 2020-03-11 | 2021-09-16 | Aurora Innovation, Inc. | Generating autonomous vehicle simulation data from logged data |
| EP3885237A1 (en) * | 2020-03-24 | 2021-09-29 | Aptiv Technologies Limited | Vehicle, system, and method for determining a position of a moveable element in a vehicle |
| JP2021157343A (ja) * | 2020-03-25 | 2021-10-07 | 京セラドキュメントソリューションズ株式会社 | データ連携システムおよび匿名化制御システム |
| US11493354B2 (en) * | 2020-04-13 | 2022-11-08 | At&T Intellectual Property I, L.P. | Policy based navigation control |
| WO2021216486A1 (en) * | 2020-04-20 | 2021-10-28 | Schlumberger Technology Corporation | Characterizing non-linear dynamic processes |
| US20210331686A1 (en) * | 2020-04-22 | 2021-10-28 | Uatc, Llc | Systems and Methods for Handling Autonomous Vehicle Faults |
| US11945404B2 (en) * | 2020-04-23 | 2024-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Tracking and video information for detecting vehicle break-in |
| US11790458B1 (en) * | 2020-04-23 | 2023-10-17 | State Farm Mutual Automobile Insurance Company | Systems and methods for modeling telematics, positioning, and environmental data |
| CN111413892A (zh) * | 2020-04-29 | 2020-07-14 | 卡斯柯信号有限公司 | 面向轨交全自动无人驾驶场景验证的云仿真装置与方法 |
| KR20210135389A (ko) * | 2020-05-04 | 2021-11-15 | 현대자동차주식회사 | 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법 |
| US11443045B2 (en) * | 2020-05-05 | 2022-09-13 | Booz Allen Hamilton Inc. | Methods and systems for explaining a decision process of a machine learning model |
| US20210347376A1 (en) * | 2020-05-07 | 2021-11-11 | Steering Solutions Ip Holding Corporation | Autonomous driver-feedback system and method |
| US11318960B1 (en) * | 2020-05-15 | 2022-05-03 | Gm Cruise Holdings Llc | Reducing pathogen transmission in autonomous vehicle fleet |
| KR20210144076A (ko) * | 2020-05-21 | 2021-11-30 | 현대자동차주식회사 | 차량 및 그의 안전 운전 지원 방법 |
| CN113763693B (zh) * | 2020-06-05 | 2023-07-14 | 北京图森未来科技有限公司 | 一种车辆数据处理方法、装置、介质和设备 |
| US11760361B2 (en) * | 2020-06-11 | 2023-09-19 | Waymo Llc | Extracting agent intent from log data for running log-based simulations for evaluating autonomous vehicle software |
| US11769332B2 (en) * | 2020-06-15 | 2023-09-26 | Lytx, Inc. | Sensor fusion for collision detection |
| CN113835420A (zh) * | 2020-06-23 | 2021-12-24 | 上海丰豹商务咨询有限公司 | 一种用于自动驾驶系统的功能分配系统 |
| US11807240B2 (en) * | 2020-06-26 | 2023-11-07 | Toyota Research Institute, Inc. | Methods and systems for evaluating vehicle behavior |
| WO2021261680A1 (ko) | 2020-06-26 | 2021-12-30 | 주식회사 에스오에스랩 | 센서 데이터 공유 및 활용 방법 |
| US11588830B1 (en) | 2020-06-30 | 2023-02-21 | Sequoia Benefits and Insurance Services, LLC | Using machine learning to detect malicious upload activity |
| US11605306B2 (en) * | 2020-06-30 | 2023-03-14 | Toyota Research Institute, Inc. | Systems and methods for driver training during operation of automated vehicle systems |
| US11352023B2 (en) | 2020-07-01 | 2022-06-07 | May Mobility, Inc. | Method and system for dynamically curating autonomous vehicle policies |
| DE102020208642A1 (de) * | 2020-07-09 | 2022-01-13 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen |
| WO2022015235A1 (en) * | 2020-07-13 | 2022-01-20 | Grabtaxi Holdings Pte. Ltd. | System and method for handling events of a fleet of personal mobility devices |
| US20220017095A1 (en) * | 2020-07-14 | 2022-01-20 | Ford Global Technologies, Llc | Vehicle-based data acquisition |
| WO2022013794A1 (en) * | 2020-07-15 | 2022-01-20 | Alcon Inc. | Digital image optimization for ophthalmic surgery |
| CA3126236A1 (en) * | 2020-07-29 | 2022-01-29 | Uatc, Llc | Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms |
| US11915122B2 (en) * | 2020-07-29 | 2024-02-27 | Micron Technology, Inc. | Gateway for distributing an artificial neural network among multiple processing nodes |
| DE102020209538A1 (de) * | 2020-07-29 | 2022-02-03 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts |
| JP2022026320A (ja) * | 2020-07-30 | 2022-02-10 | 株式会社Subaru | 運転交代制御装置 |
| US20220036094A1 (en) * | 2020-08-03 | 2022-02-03 | Healthcare Integrated Technologies Inc. | Method and system for monitoring subjects for conditions or occurrences of interest |
| US20220048525A1 (en) * | 2020-08-14 | 2022-02-17 | Nvidia Corporation | Hardware fault detection for feedback control systems in autonomous machine applications |
| JP6935837B1 (ja) | 2020-08-20 | 2021-09-15 | トヨタ自動車株式会社 | 機械学習装置及び機械学習システム |
| JP7010343B1 (ja) * | 2020-08-20 | 2022-01-26 | トヨタ自動車株式会社 | 機械学習装置 |
| US20220068053A1 (en) * | 2020-08-25 | 2022-03-03 | ANI Technologies Private Limited | Determination of health status of vehicular systems in vehicles |
| US20220063660A1 (en) * | 2020-08-31 | 2022-03-03 | Nissan North America, Inc. | Drive Mode Selection |
| US11670120B2 (en) * | 2020-08-31 | 2023-06-06 | Toyota Research Institute, Inc. | System and method for monitoring test data for autonomous operation of self-driving vehicles |
| US11769410B2 (en) * | 2020-09-01 | 2023-09-26 | Qualcomm Incorporated | Techniques for sharing sensor messages in sidelink communications |
| US20220073085A1 (en) * | 2020-09-04 | 2022-03-10 | Waymo Llc | Knowledge distillation for autonomous vehicles |
| US20220076074A1 (en) * | 2020-09-09 | 2022-03-10 | Beijing Didi Infinity Technology And Development Co., Ltd. | Multi-source domain adaptation with mutual learning |
| US11615702B2 (en) * | 2020-09-11 | 2023-03-28 | Ford Global Technologies, Llc | Determining vehicle path |
| EP3967565B1 (en) * | 2020-09-14 | 2022-09-28 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for estimating an environmental condition |
| US20220081271A1 (en) * | 2020-09-14 | 2022-03-17 | Lance A. Stacy | Motorized vehicles having sensors and methods of operating the same |
| US11610412B2 (en) * | 2020-09-18 | 2023-03-21 | Ford Global Technologies, Llc | Vehicle neural network training |
| KR20220039903A (ko) * | 2020-09-21 | 2022-03-30 | 현대자동차주식회사 | 자율주행 제어 장치 및 방법 |
| CN114283606A (zh) * | 2020-09-27 | 2022-04-05 | 阿波罗智联(北京)科技有限公司 | 用于车辆导航的方法、装置、设备、系统和云控平台 |
| US11866070B2 (en) * | 2020-09-28 | 2024-01-09 | Guangzhou Automobile Group Co., Ltd. | Vehicle control method and apparatus, storage medium, and electronic device |
| US20220101558A1 (en) * | 2020-09-28 | 2022-03-31 | Griffyn Robotech Pvt. Ltd. | Automated Tuning and Calibration of a Computer Vision System |
| US20220101184A1 (en) * | 2020-09-29 | 2022-03-31 | International Business Machines Corporation | Mobile ai |
| US20220101336A1 (en) * | 2020-09-30 | 2022-03-31 | EMC IP Holding Company LLC | Compliant and auditable data handling in a data confidence fabric |
| US20220108569A1 (en) * | 2020-10-06 | 2022-04-07 | Ford Global Technologies, Llc | Automated detection of vehicle data manipulation and mechanical failure |
| JP2022061874A (ja) * | 2020-10-07 | 2022-04-19 | トヨタ自動車株式会社 | 車両自動走行システム |
| US20220114433A1 (en) * | 2020-10-08 | 2022-04-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for enhanced scene perception using vehicle platoon |
| US11927962B2 (en) * | 2020-10-15 | 2024-03-12 | Ford Global Technologies, Llc | System and method for detecting and addressing errors in a vehicle localization |
| US20220119004A1 (en) * | 2020-10-15 | 2022-04-21 | Atieva, Inc. | Defining driving envelope for assisted-driving system |
| KR20220052430A (ko) * | 2020-10-20 | 2022-04-28 | 현대자동차주식회사 | 자율주행차량의 거동 제어 장치 및 그 방법 |
| US20220122456A1 (en) * | 2020-10-20 | 2022-04-21 | Here Global B.V. | Explanation of erratic driving behavior |
| EP4224404A4 (en) * | 2020-10-21 | 2023-11-29 | Huawei Technologies Co., Ltd. | METHOD AND DEVICE FOR GENERATING A SIMULATED TRAFFIC SCENE FILE |
| US11516613B1 (en) * | 2020-10-22 | 2022-11-29 | Zoox, Inc. | Emergency sound localization |
| CN112257850B (zh) * | 2020-10-26 | 2022-10-28 | 河南大学 | 一种基于生成对抗网络的车辆轨迹预测方法 |
| CN112258842A (zh) * | 2020-10-26 | 2021-01-22 | 北京百度网讯科技有限公司 | 交通监测方法、装置、设备及存储介质 |
| JP7294301B2 (ja) * | 2020-10-28 | 2023-06-20 | トヨタ自動車株式会社 | 移動体、サーバおよび判定プログラム |
| US20220138325A1 (en) * | 2020-10-29 | 2022-05-05 | EMC IP Holding Company LLC | Secure enclave pathing configuration for data confidence fabrics |
| US11500374B2 (en) * | 2020-11-03 | 2022-11-15 | Kutta Technologies, Inc. | Intelligent multi-level safe autonomous flight ecosystem |
| KR20220063856A (ko) * | 2020-11-10 | 2022-05-18 | 현대자동차주식회사 | 자율 주행 제어 방법 및 장치 |
| US20220173889A1 (en) * | 2020-11-30 | 2022-06-02 | Motional Ad Llc | Secure Safety-Critical System Log |
| US20220169286A1 (en) * | 2020-12-01 | 2022-06-02 | Scott L. Radabaugh | Techniques for detecting and preventing vehicle wrong way driving |
| US11671857B2 (en) * | 2020-12-03 | 2023-06-06 | Mitsubishi Electric Corporation | Roadside communication system for monitoring and maintaining sensor data transmission |
| EP4009001A1 (en) * | 2020-12-04 | 2022-06-08 | Zenuity AB | Road segment selection along a route to be travelled by a vehicle |
| US11734017B1 (en) * | 2020-12-07 | 2023-08-22 | Waymo Llc | Methods and systems for processing vehicle sensor data across multiple digital signal processing cores virtually arranged in segments based on a type of sensor |
| CN112455465B (zh) * | 2020-12-08 | 2022-02-01 | 广州小鹏自动驾驶科技有限公司 | 一种行驶环境感知方法、装置、电子设备和存储介质 |
| DE102020215852B4 (de) * | 2020-12-14 | 2022-07-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Robuste Ankunftszeitschätzung unter Verwendung von faltenden neuronalen Netzerken (oder anderen Funktionsapproximationen) auf randomisierten Kanalmodellen |
| US20210101619A1 (en) * | 2020-12-16 | 2021-04-08 | Mobileye Vision Technologies Ltd. | Safe and scalable model for culturally sensitive driving by automated vehicles |
| JP7363756B2 (ja) * | 2020-12-16 | 2023-10-18 | トヨタ自動車株式会社 | 自動運転システム、自動運転車の制御方法 |
| US20220198351A1 (en) * | 2020-12-17 | 2022-06-23 | Here Global B.V. | Contextually defining an interest index for shared and autonomous vehicles |
| US20220197236A1 (en) * | 2020-12-18 | 2022-06-23 | Rockwell Collins, Inc. | Hierarchical high integrity automation system |
| US20220198936A1 (en) * | 2020-12-22 | 2022-06-23 | Locomation, Inc. | Shared control for vehicles travelling in formation |
| US20210110170A1 (en) * | 2020-12-22 | 2021-04-15 | Florian Geissler | Validation and training service for dynamic environment perception based on local high confidence information |
| KR102622243B1 (ko) | 2020-12-23 | 2024-01-08 | 네이버 주식회사 | 리스크 척도를 나타내는 파라미터에 기반하여 훈련된 모델을 사용하여, 주어진 상황에 대한 디바이스의 행동을 결정하는 방법 및 시스템 |
| WO2022140660A1 (en) * | 2020-12-23 | 2022-06-30 | ClearMotion, Inc. | Systems and methods for terrain-based insights for advanced driver assistance systems |
| WO2022140657A1 (en) * | 2020-12-23 | 2022-06-30 | Clearmotion,Inc. | Systems and methods for vehicle control using terrain-based localization |
| US20220198921A1 (en) * | 2020-12-23 | 2022-06-23 | Sensible 4 Oy | Data collection and modeling systems and methods for autonomous vehicles |
| CN112712719B (zh) * | 2020-12-25 | 2022-05-03 | 阿波罗智联(北京)科技有限公司 | 车辆控制方法、车路协同系统、路侧设备和自动驾驶车辆 |
| JP7196149B2 (ja) * | 2020-12-28 | 2022-12-26 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
| EP4272137A1 (en) * | 2020-12-30 | 2023-11-08 | Koireader Technologies, Inc. | System for monitoring transportation, logistics, and distribution facilities |
| CN112686161A (zh) * | 2020-12-31 | 2021-04-20 | 遵义师范学院 | 基于神经网络的疲劳驾驶检测方法 |
| US20220215700A1 (en) * | 2021-01-04 | 2022-07-07 | Guangzhou Automobile Group Co., Ltd. | Method, Apparatus and Non-Transitory Computer Readable Storage Medium for Driving Evaluation |
| FR3118671A1 (fr) * | 2021-01-06 | 2022-07-08 | Psa Automobiles Sa | Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite |
| US11858507B2 (en) * | 2021-01-13 | 2024-01-02 | GM Global Technology Operations LLC | Methods for cognitive situation awareness using an attention-based event structure |
| US20220219731A1 (en) * | 2021-01-14 | 2022-07-14 | Cavh Llc | Intelligent information conversion for automatic driving |
| US20220232383A1 (en) * | 2021-01-19 | 2022-07-21 | Qualcomm Incorporated | Local Misbehavior Prevention System for Cooperative Intelligent Transportation Systems |
| US20220234622A1 (en) * | 2021-01-28 | 2022-07-28 | Drisk, Inc. | Systems and Methods for Autonomous Vehicle Control |
| US20220242422A1 (en) * | 2021-02-02 | 2022-08-04 | Toyota Research Institute, Inc. | Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning |
| JP2022119498A (ja) * | 2021-02-04 | 2022-08-17 | 本田技研工業株式会社 | 車両用シートベルト装置 |
| CN114913501A (zh) * | 2021-02-10 | 2022-08-16 | 通用汽车环球科技运作有限责任公司 | 注意力驱动的串流系统 |
| DE102021201512A1 (de) * | 2021-02-17 | 2022-08-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs |
| DE102021201522A1 (de) * | 2021-02-17 | 2022-08-18 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers |
| DE102021104220A1 (de) * | 2021-02-23 | 2022-08-25 | Bayerische Motoren Werke Aktiengesellschaft | Erhöhen eines Automatisierungsgrads eines Fahrerassistenzsystems eines Kraftfahrzeugs |
| EP4052983B1 (en) * | 2021-03-04 | 2023-08-16 | Volvo Car Corporation | Method for transitioning a drive mode of a vehicle, drive control system for vehice and vehicle |
| US11727694B2 (en) * | 2021-03-04 | 2023-08-15 | Tangerine Innovation Holding Inc. | System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident |
| US11827245B2 (en) | 2021-03-09 | 2023-11-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for estimating motion of an automated vehicle for cooperative driving |
| EP4063222A1 (en) * | 2021-03-24 | 2022-09-28 | Zenseact AB | Precautionary vehicle path planning |
| US11810225B2 (en) * | 2021-03-30 | 2023-11-07 | Zoox, Inc. | Top-down scene generation |
| US11858514B2 (en) | 2021-03-30 | 2024-01-02 | Zoox, Inc. | Top-down scene discrimination |
| US11472436B1 (en) | 2021-04-02 | 2022-10-18 | May Mobility, Inc | Method and system for operating an autonomous agent with incomplete environmental information |
| US20220327319A1 (en) * | 2021-04-09 | 2022-10-13 | Veoneer US LCC | Tagging objects with fault override patterns during calibration of vehicle sensing systems |
| CN113954879B (zh) * | 2021-04-15 | 2023-09-19 | 上海丰豹商务咨询有限公司 | 具有融合感知和协同决策功能的车载智能单元和控制方法 |
| CN113033471A (zh) * | 2021-04-15 | 2021-06-25 | 北京百度网讯科技有限公司 | 交通异常检测方法、装置、设备、存储介质以及程序产品 |
| US20220340153A1 (en) * | 2021-04-22 | 2022-10-27 | Gm Cruise Holdings Llc | Simulated test creation |
| US11854280B2 (en) * | 2021-04-27 | 2023-12-26 | Toyota Research Institute, Inc. | Learning monocular 3D object detection from 2D semantic keypoint detection |
| US11661077B2 (en) | 2021-04-27 | 2023-05-30 | Toyota Motor Engineering & Manufacturing North America. Inc. | Method and system for on-demand roadside AI service |
| US11767032B2 (en) | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Direct autonomous vehicle to autonomous vehicle communications |
| US11767031B2 (en) | 2021-04-29 | 2023-09-26 | Tusimple, Inc. | Oversight system to autonomous vehicle communications |
| US20220348223A1 (en) * | 2021-04-29 | 2022-11-03 | Tusimple, Inc. | Autonomous vehicle to oversight system communications |
| US11511772B2 (en) * | 2021-04-30 | 2022-11-29 | Deepx Co., Ltd. | NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors |
| EP4334832A1 (en) * | 2021-05-07 | 2024-03-13 | Oracle International Corporation | Variant inconsistency attack (via) as a simple and effective adversarial attack method |
| US11892314B2 (en) * | 2021-05-17 | 2024-02-06 | International Business Machines Corporation | Thermally efficient route selection |
| US20220379910A1 (en) * | 2021-05-26 | 2022-12-01 | Nissan North America, Inc. | Real-time Map and Prediction Diagnostics |
| JP2022181267A (ja) * | 2021-05-26 | 2022-12-08 | 株式会社日立製作所 | 計算システム、計算方法 |
| US11565717B2 (en) * | 2021-06-02 | 2023-01-31 | May Mobility, Inc. | Method and system for remote assistance of an autonomous agent |
| US20220388530A1 (en) * | 2021-06-07 | 2022-12-08 | Toyota Motor North America, Inc. | Transport limitations from malfunctioning sensors |
| US20220388538A1 (en) * | 2021-06-07 | 2022-12-08 | Autobrains Technologies Ltd | Cabin preferences setting that is based on identification of one or more persons in the cabin |
| US11624831B2 (en) * | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
| US11955020B2 (en) | 2021-06-09 | 2024-04-09 | Ford Global Technologies, Llc | Systems and methods for operating drone flights over public roadways |
| WO2022271750A1 (en) * | 2021-06-21 | 2022-12-29 | Cyngn, Inc. | Three-dimensional object detection with ground removal intelligence |
| KR20220170151A (ko) * | 2021-06-22 | 2022-12-29 | 현대자동차주식회사 | 차량 내부 네트워크에 대한 침입 대응 방법 및 장치 |
| US20220413502A1 (en) * | 2021-06-25 | 2022-12-29 | Here Global B.V. | Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot |
| US20230004170A1 (en) * | 2021-06-30 | 2023-01-05 | Delta Electronics Int'l (Singapore) Pte Ltd | Modular control system and method for controlling automated guided vehicle |
| US20230027584A1 (en) * | 2021-07-20 | 2023-01-26 | Autobrains Technologies Ltd | Environmental model based on audio |
| US20230027496A1 (en) * | 2021-07-22 | 2023-01-26 | Cnh Industrial America Llc | Systems and methods for obstacle detection |
| US20230032305A1 (en) * | 2021-07-30 | 2023-02-02 | Nvidia Corporation | Communicating faults to an isolated safety region of a system on a chip |
| US11919534B2 (en) * | 2021-08-03 | 2024-03-05 | Denso Corporation | Driver state guide device and driver state guide method |
| US11657701B2 (en) | 2021-08-03 | 2023-05-23 | Toyota Motor North America, Inc. | Systems and methods for emergency alert and call regarding driver condition |
| US20230053243A1 (en) * | 2021-08-11 | 2023-02-16 | Baidu Usa Llc | Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles |
| US20230052436A1 (en) * | 2021-08-12 | 2023-02-16 | International Business Machines Corporation | Intelligent advanced engine braking system |
| US11861762B2 (en) * | 2021-08-12 | 2024-01-02 | Adobe Inc. | Generating synthesized digital images utilizing class-specific machine-learning models |
| US11769227B2 (en) | 2021-08-12 | 2023-09-26 | Adobe Inc. | Generating synthesized digital images utilizing a multi-resolution generator neural network |
| US20230058508A1 (en) * | 2021-08-19 | 2023-02-23 | GM Global Technology Operations LLC | System amd method for providing situational awareness interfaces for a vehicle occupant |
| US20230056233A1 (en) * | 2021-08-20 | 2023-02-23 | Motional Ad Llc | Sensor attack simulation system |
| JP7407152B2 (ja) * | 2021-08-20 | 2023-12-28 | Ｌｉｎｅヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| CN113434355B (zh) * | 2021-08-26 | 2021-12-17 | 苏州浪潮智能科技有限公司 | 模块验证方法、uvm验证平台、电子设备及存储介质 |
| WO2023034665A1 (en) * | 2021-09-02 | 2023-03-09 | Canoo Technologies Inc. | Metamorphic labeling using aligned sensor data |
| US20230073933A1 (en) * | 2021-09-07 | 2023-03-09 | Argo AI, LLC | Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components |
| US20230075840A1 (en) * | 2021-09-08 | 2023-03-09 | Qualcomm Incorporated | Higher-resolution terrain elevation data from low-resolution terrain elevation data |
| US20210403004A1 (en) * | 2021-09-10 | 2021-12-30 | Intel Corporation | Driver monitoring system (dms) data management |
| WO2023043684A1 (en) * | 2021-09-14 | 2023-03-23 | University Of Washington | Safe occlusion-aware cooperative adaptive cruise control under environmental interference |
| CN113747500B (zh) * | 2021-09-15 | 2023-07-14 | 北京航空航天大学 | 复杂异构移动边缘计算中基于生成对抗式网络的高能效低延迟工作流应用迁移方法 |
| US20230117467A1 (en) * | 2021-10-14 | 2023-04-20 | Lear Corporation | Passing assist system |
| DE102021126820A1 (de) * | 2021-10-15 | 2023-04-20 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem |
| CN113963200A (zh) * | 2021-10-18 | 2022-01-21 | 郑州大学 | 模态数据融合处理方法、装置、设备及存储介质 |
| US11760368B2 (en) * | 2021-10-19 | 2023-09-19 | Cyngn, Inc. | System and method of same-loop adaptive simulation for autonomous driving |
| TWI786893B (zh) * | 2021-10-19 | 2022-12-11 | 財團法人車輛研究測試中心 | 艙內監控與情境理解感知方法及其系統 |
| CN114115230B (zh) * | 2021-10-25 | 2023-10-03 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| US20230130814A1 (en) * | 2021-10-27 | 2023-04-27 | Nvidia Corporation | Yield scenario encoding for autonomous systems |
| US11753017B2 (en) * | 2021-11-01 | 2023-09-12 | Ford Global Technologies, Llc | Systems and methods for providing off-track drivability guidance |
| US20230138610A1 (en) * | 2021-11-02 | 2023-05-04 | Robert Bosch Gmbh | Customizing Operational Design Domain of an Autonomous Driving System for a Vehicle Based on Driver's Behavior |
| US11781878B2 (en) * | 2021-11-04 | 2023-10-10 | International Business Machines Corporation | Recommend routes in enhanced navigation system |
| WO2023096632A1 (en) * | 2021-11-23 | 2023-06-01 | Hitachi, Ltd. | Method for false alarm prediction and severity classification in event sequences |
| DE102021213418A1 (de) * | 2021-11-29 | 2023-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens |
| US11804080B2 (en) * | 2021-11-29 | 2023-10-31 | Institute For Information Industry | Method and system for inspecting and scoring vehicle transportation |
| US20230166766A1 (en) * | 2021-12-01 | 2023-06-01 | International Business Machines Corporation | Hybrid challenger model through peer-peer reinforcement for autonomous vehicles |
| EP4191451A1 (en) * | 2021-12-01 | 2023-06-07 | Nxp B.V. | Architecture for monitoring, analyzing, and reacting to safety and cybersecurity events |
| US20230171275A1 (en) * | 2021-12-01 | 2023-06-01 | Gm Cruise Holdings Llc | Anomaly detection and onboard security actions for an autonomous vehicle |
| DE102021132466B3 (de) | 2021-12-09 | 2023-06-15 | Joynext Gmbh | Erkennen eines Objekts in der Nähe eines Verkehrsteilnehmers |
| US11887200B2 (en) * | 2021-12-10 | 2024-01-30 | GM Global Technology Operations LLC | Systems and methods for enabling yielding decisions, conflict resolution, and user profile generation |
| US20230185621A1 (en) * | 2021-12-15 | 2023-06-15 | Coupang Corp. | Computer resource allocation systems and methods for optimizing computer implemented tasks |
| KR102418566B1 (ko) * | 2021-12-22 | 2022-07-08 | 재단법인 지능형자동차부품진흥원 | 엣지 인프라 기반의 자율 주행 안전 제어 시스템 및 방법 |
| US20230192130A1 (en) * | 2021-12-22 | 2023-06-22 | Gm Cruise Holdings Llc | System and method of using a machine learning model to aid a planning stack to choose a route |
| CN114283619A (zh) * | 2021-12-25 | 2022-04-05 | 重庆长安汽车股份有限公司 | 一种基于v2x的车辆避障系统、平台构架、方法及车辆 |
| WO2023127654A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
| US20230202470A1 (en) * | 2021-12-28 | 2023-06-29 | Argo AI, LLC | Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario |
| US20230237802A1 (en) * | 2022-01-24 | 2023-07-27 | Tomahawk Robotics | Architecture for distributed artificial intelligence augmentation |
| US20230237783A1 (en) * | 2022-01-26 | 2023-07-27 | Ford Global Technologies, Llc | Sensor fusion |
| US20230242161A1 (en) * | 2022-01-31 | 2023-08-03 | Locomation, Inc. | User interfaces for autonomy state control and alerts |
| US11954916B2 (en) * | 2022-02-07 | 2024-04-09 | GM Global Technology Operations LLC | Systems and methods for classifying detected objects in an image at an automated driving system |
| WO2023152638A1 (en) * | 2022-02-08 | 2023-08-17 | Mobileye Vision Technologies Ltd. | Knowledge distillation techniques |
| WO2023154568A1 (en) | 2022-02-14 | 2023-08-17 | May Mobility, Inc. | Method and system for conditional operation of an autonomous agent |
| US20230260387A1 (en) * | 2022-02-15 | 2023-08-17 | Johnson Controls Tyco IP Holdings LLP | Systems and methods for detecting security events in an environment |
| US20230264704A1 (en) * | 2022-02-22 | 2023-08-24 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Driving Condition-Agnostic Adaptation of Advanced Driving Assistance Systems |
| CN114343661B (zh) * | 2022-03-07 | 2022-05-27 | 西南交通大学 | 高铁司机反应时间估计方法、装置、设备及可读存储介质 |
| CN114596574A (zh) * | 2022-03-22 | 2022-06-07 | 北京百度网讯科技有限公司 | 文本识别方法、装置、电子设备和介质 |
| TWI812102B (zh) * | 2022-03-23 | 2023-08-11 | 國立高雄大學 | 二無人載具協同導航方法與系統 |
| JP2023142475A (ja) * | 2022-03-25 | 2023-10-05 | ロジスティード株式会社 | 運行支援方法、運行支援システム及びサーバ |
| US20230315899A1 (en) * | 2022-03-30 | 2023-10-05 | Amazon Technologies, Inc. | Synthetic data generation |
| EP4258140A1 (en) * | 2022-04-06 | 2023-10-11 | Elektrobit Automotive GmbH | Face anonymization using a generative adversarial network |
| WO2023200638A2 (en) * | 2022-04-13 | 2023-10-19 | James Tagg | Blockchain-based dynamic cellular network with proof-of-service |
| CN114454889B (zh) * | 2022-04-14 | 2022-06-28 | 新石器慧通（北京）科技有限公司 | 用于远程驾驶的行驶路面状况反馈方法、装置和无人车 |
| US20230329612A1 (en) * | 2022-04-14 | 2023-10-19 | Micron Technology, Inc. | Determining driver capability |
| CN114779752A (zh) * | 2022-04-21 | 2022-07-22 | 厦门大学 | 网络攻击下智能电动车辆轨迹跟踪控制方法 |
| CN114973707B (zh) * | 2022-04-25 | 2023-12-01 | 天地（常州）自动化股份有限公司 | 煤矿井下巷道岔路口的联合管控方法 |
| US11507041B1 (en) * | 2022-05-03 | 2022-11-22 | The Florida International University Board Of Trustees | Systems and methods for boosting resiliency of a power distribution network |
| DE102022204557A1 (de) | 2022-05-10 | 2023-11-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Computerimplementiertes verfahren zur verhinderung von funktionsverlust bei verbindungsstörung zu einem backend in einem kommunikationssystem |
| DE102022204862A1 (de) * | 2022-05-17 | 2023-11-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Update einer Software eines Fahrzeugs auf Basis von Fahrzeugfelddaten |
| CN114973676B (zh) * | 2022-05-27 | 2023-08-29 | 重庆大学 | 一种快速路车道缩减区的混合交通众从牵制控制方法 |
| DE102022113992A1 (de) | 2022-06-02 | 2023-12-07 | Porsche Ebike Performance Gmbh | Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer |
| FR3136882A1 (fr) * | 2022-06-21 | 2023-12-22 | Psa Automobiles Sa | Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident |
| DE102022206280B4 (de) * | 2022-06-23 | 2024-01-18 | Zf Friedrichshafen Ag | Computer-implementiertes Verfahren und Vorrichtung zum Bestimmen eines Steuerbefehls zum Steuern eines Fahrzeugs |
| US20230419271A1 (en) * | 2022-06-24 | 2023-12-28 | Gm Cruise Holdings Llc | Routing field support to vehicles for maintenance |
| US20240001951A1 (en) * | 2022-06-30 | 2024-01-04 | Nissan North America, Inc. | Vehicle notification system |
| CN115297230A (zh) * | 2022-07-01 | 2022-11-04 | 智己汽车科技有限公司 | 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法 |
| EP4307079A1 (en) * | 2022-07-12 | 2024-01-17 | Koa Health Digital Solutions S.L.U. | Method and system for optimizing model accuracy, battery consumption and data storage amounts |
| DE102022117683A1 (de) | 2022-07-14 | 2024-01-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz |
| DE102022117676A1 (de) | 2022-07-14 | 2024-01-25 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz |
| US11698910B1 (en) * | 2022-07-21 | 2023-07-11 | Plusai, Inc. | Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system |
| DE102022207506A1 (de) * | 2022-07-22 | 2024-01-25 | Continental Automotive Technologies GmbH | Vorrichtung und Verfahren zum Bereitstellen von Informationen und Unterhaltung in einem Kraftfahrzeug |
| CN115378653B (zh) * | 2022-07-25 | 2024-04-23 | 中国电子科技集团公司第三十研究所 | 一种基于lstm和随机森林的网络安全态势感知与预测方法及系统 |
| CN115114338B (zh) * | 2022-07-26 | 2022-12-20 | 成都秦川物联网科技股份有限公司 | 智慧城市公共场所人流量统计与调控方法及物联网系统 |
| EP4316937A1 (en) * | 2022-08-04 | 2024-02-07 | e.solutions GmbH | Electronic apparatus for trainable vehicle component setting and vehicle |
| US20240051568A1 (en) * | 2022-08-09 | 2024-02-15 | Motional Ad Llc | Discriminator network for detecting out of operational design domain scenarios |
| DE102022122110A1 (de) | 2022-09-01 | 2024-03-07 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum fahren in einem parkbereich |
| CN117697733A (zh) * | 2022-09-09 | 2024-03-15 | 北京极智嘉科技股份有限公司 | 一种机器人调度方法和装置 |
| WO2024053116A1 (ja) * | 2022-09-11 | 2024-03-14 | 株式会社Subaru | 車両サービス提供システム |
| TWI807997B (zh) * | 2022-09-19 | 2023-07-01 | 財團法人車輛研究測試中心 | 感測器融合之時序同步方法 |
| WO2024059925A1 (en) * | 2022-09-20 | 2024-03-28 | Huawei Technologies Canada Co., Ltd. | Systems and methods for cooperative perception |
| DE102022125227A1 (de) | 2022-09-29 | 2024-04-04 | Cariad Se | Verfahren und System zum Abgleichen von Fahrzeugmodellen zwischen Recheneinrichtungen bei einer Zugangskontrolle in eine Zone, in welche ein Fahrzeug einzufahren versucht, sowie entsprechenden Recheneinrichtungen |
| DE102022125794A1 (de) | 2022-10-06 | 2024-04-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem |
| US20240124020A1 (en) * | 2022-10-13 | 2024-04-18 | Zoox, Inc. | Stopping action of an autonomous vehicle |
| EP4358057A1 (en) * | 2022-10-20 | 2024-04-24 | Industry-Academic Cooperation Foundation Dankook University | System for providing autonomous driving safety map service |
| EP4357212A1 (en) * | 2022-10-21 | 2024-04-24 | Zenseact AB | Ads development |
| CN115439719B (zh) * | 2022-10-27 | 2023-03-28 | 泉州装备制造研究所 | 一种针对对抗攻击的深度学习模型防御方法及模型 |
| US11691632B1 (en) * | 2022-12-06 | 2023-07-04 | Mercedes-Benz Group AG | Vehicle simulating method and system |
| CN115907591A (zh) * | 2022-12-15 | 2023-04-04 | 浙江蓝景科技有限公司杭州分公司 | 一种海洋云仓污染物运输车辆异常行为预警方法和系统 |
| CN115933412B (zh) * | 2023-01-12 | 2023-07-14 | 中国航发湖南动力机械研究所 | 基于事件触发预测控制的航空发动机控制方法及装置 |
| CN116030418B (zh) * | 2023-02-14 | 2023-09-12 | 北京建工集团有限责任公司 | 一种汽车吊运行状态监测系统及方法 |
| JP7433542B1 (ja) | 2023-02-24 | 2024-02-19 | 三菱電機株式会社 | 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法 |
| CN116067434B (zh) * | 2023-03-07 | 2023-07-04 | 中铁大桥局集团有限公司 | 一种大节段桥梁的可视化安装系统和安装方法 |
| CN115951325B (zh) * | 2023-03-15 | 2023-06-02 | 中国电子科技集团公司第十五研究所 | 基于BiGRU的多舰船目标跟踪方法、存储介质及产品 |
| CN116545890A (zh) * | 2023-04-26 | 2023-08-04 | 苏州维格纳信息科技有限公司 | 一种基于区块链的信息传输管理系统 |
| CN116226788B (zh) * | 2023-05-06 | 2023-07-25 | 鹏城实验室 | 一种融合多种数据类型的建模方法及相关设备 |
| CN116665064B (zh) * | 2023-07-27 | 2023-10-13 | 城云科技（中国）有限公司 | 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用 |
| CN117278328B (zh) * | 2023-11-21 | 2024-02-06 | 广东车卫士信息科技有限公司 | 基于车联网的数据处理方法及系统 |
| CN117395726B (zh) * | 2023-12-12 | 2024-03-01 | 江西师范大学 | 一种基于路径规划的移动边缘计算服务迁移方法 |
Family Cites Families (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3374042B2 (ja) * | 1997-05-16 | 2003-02-04 | 本田技研工業株式会社 | 車車間通信方法 |
| US9075136B1 (en) * | 1998-03-04 | 2015-07-07 | Gtj Ventures, Llc | Vehicle operator and/or occupant information apparatus and method |
| JP2006085285A (ja) * | 2004-09-14 | 2006-03-30 | Matsushita Electric Ind Co Ltd | 危険車両予測装置 |
| KR101188584B1 (ko) * | 2007-08-28 | 2012-10-05 | 주식회사 만도 | 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치 |
| TWI314115B (en) * | 2007-09-27 | 2009-09-01 | Ind Tech Res Inst | Method and apparatus for predicting/alarming the moving of hidden objects |
| EP4336447A1 (en) * | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| EP2209091B1 (en) * | 2009-01-16 | 2012-08-08 | Honda Research Institute Europe GmbH | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system |
| US11067405B2 (en) * | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
| US9834153B2 (en) * | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| WO2013074866A1 (en) | 2011-11-16 | 2013-05-23 | Flextronics Ap, Llc | Feature recognition for configuring a vehicle console and associated devices |
| US8457827B1 (en) | 2012-03-15 | 2013-06-04 | Google Inc. | Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles |
| US9495874B1 (en) * | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
| US9342074B2 (en) * | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
| US11127290B1 (en) * | 2014-11-13 | 2021-09-21 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle infrastructure communication device |
| WO2016109540A1 (en) * | 2014-12-29 | 2016-07-07 | Robert Bosch Gmbh | Systems and methods for operating autonomous vehicles using personalized driving profiles |
| CN107949514A (zh) * | 2015-09-08 | 2018-04-20 | 苹果公司 | 自主车辆的舒适度配置文件 |
| US9738287B2 (en) * | 2015-09-15 | 2017-08-22 | Ford Global Technologies, Llc | Preconditioning for vehicle subsystems |
| US10139828B2 (en) * | 2015-09-24 | 2018-11-27 | Uber Technologies, Inc. | Autonomous vehicle operated with safety augmentation |
| US10229363B2 (en) * | 2015-10-19 | 2019-03-12 | Ford Global Technologies, Llc | Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking |
| US10620635B2 (en) | 2015-11-05 | 2020-04-14 | Hitachi, Ltd. | Moving object movement system and movement path selection method |
| US11023515B2 (en) * | 2015-11-30 | 2021-06-01 | Faraday & Future Inc. | Infotainment based on vehicle navigation data |
| US10493936B1 (en) * | 2016-01-22 | 2019-12-03 | State Farm Mutual Automobile Insurance Company | Detecting and responding to autonomous vehicle collisions |
| US10035519B2 (en) * | 2016-03-15 | 2018-07-31 | GM Global Technology Operations LLC | System and method for autonomous vehicle driving behavior modification |
| DE102016205153A1 (de) * | 2016-03-29 | 2017-10-05 | Avl List Gmbh | Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers |
| US10872379B1 (en) * | 2016-04-11 | 2020-12-22 | State Farm Mutual Automobile Insurance Company | Collision risk-based engagement and disengagement of autonomous control of a vehicle |
| US9877470B2 (en) * | 2016-05-10 | 2018-01-30 | Crinklaw Farm Services, Inc. | Robotic agricultural system and method |
| US10059346B2 (en) * | 2016-06-07 | 2018-08-28 | Ford Global Technologies, Llc | Driver competency during autonomous handoff |
| KR102521934B1 (ko) * | 2016-06-13 | 2023-04-18 | 삼성디스플레이 주식회사 | 터치 센서 및 이를 이용한 터치 감지 방법 |
| US20180005052A1 (en) * | 2016-07-01 | 2018-01-04 | Uber Technologies, Inc. | Static object detection for operating autonomous vehicle |
| US20180012196A1 (en) * | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Vehicle maintenance manager |
| US11443395B2 (en) * | 2016-07-19 | 2022-09-13 | Redmon Jeang LLC | Mobile legal counsel system and method |
| US20180053102A1 (en) * | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
| KR101891599B1 (ko) * | 2016-09-30 | 2018-08-24 | 엘지전자 주식회사 | 자율 주행 차량의 제어방법과 서버 |
| US9823657B1 (en) * | 2016-11-02 | 2017-11-21 | Smartdrive Systems, Inc. | Measuring operator readiness and readiness testing triggering in an autonomous vehicle |
| WO2018092265A1 (ja) | 2016-11-18 | 2018-05-24 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
| US10192171B2 (en) * | 2016-12-16 | 2019-01-29 | Autonomous Fusion, Inc. | Method and system using machine learning to determine an automotive driver's emotional state |
| DE102016225606B4 (de) | 2016-12-20 | 2022-12-29 | Audi Ag | Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs |
| JP6513069B2 (ja) | 2016-12-27 | 2019-05-15 | 本田技研工業株式会社 | 運転支援装置および運転支援方法 |
| US10268195B2 (en) * | 2017-01-06 | 2019-04-23 | Qualcomm Incorporated | Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria |
| JP6524144B2 (ja) | 2017-06-02 | 2019-06-05 | 本田技研工業株式会社 | 車両制御システム及び方法、並びに走行支援サーバ |
| US10831190B2 (en) * | 2017-08-22 | 2020-11-10 | Huawei Technologies Co., Ltd. | System, method, and processor-readable medium for autonomous vehicle reliability assessment |
| US10649458B2 (en) * | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
| US20180022348A1 (en) * | 2017-09-15 | 2018-01-25 | GM Global Technology Operations LLC | Methods and systems for determining lane health from an autonomous vehicle |
| US20200228988A1 (en) * | 2017-09-29 | 2020-07-16 | Lg Electronics Inc. | V2x communication device and method for inspecting forgery/falsification of key thereof |
| US11086317B2 (en) | 2018-03-30 | 2021-08-10 | Intel Corporation | Emotional adaptive driving policies for automated driving vehicles |
| JP7087623B2 (ja) * | 2018-04-19 | 2022-06-21 | トヨタ自動車株式会社 | 車両の制御装置 |
| US11104334B2 (en) * | 2018-05-31 | 2021-08-31 | Tusimple, Inc. | System and method for proximate vehicle intention prediction for autonomous vehicles |
| US11299149B2 (en) * | 2018-07-23 | 2022-04-12 | Denso International America, Inc. | Considerate driving system |
| US10442444B1 (en) * | 2018-08-06 | 2019-10-15 | Denso International America, Inc. | Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals |
| US10902726B2 (en) * | 2018-08-23 | 2021-01-26 | Intel Corporation | Rogue vehicle detection and avoidance |
| US11192543B2 (en) * | 2018-12-21 | 2021-12-07 | Ford Global Technologies, Llc | Systems and methods for automated stopping and/or parking of autonomous vehicles |
| US11077850B2 (en) * | 2019-09-06 | 2021-08-03 | Lyft, Inc. | Systems and methods for determining individualized driving behaviors of vehicles |
-
2020
- 2020-03-27 KR KR1020217027299A patent/KR20210134638A/ko unknown
- 2020-03-27 WO PCT/US2020/025474 patent/WO2020205629A1/en unknown
- 2020-03-27 CN CN202080017720.2A patent/CN113508066A/zh active Pending
- 2020-03-27 DE DE112020001649.8T patent/DE112020001649T5/de active Pending
- 2020-03-27 DE DE112020001643.9T patent/DE112020001643T5/de active Pending
- 2020-03-27 JP JP2021548178A patent/JP2022525391A/ja active Pending
- 2020-03-27 KR KR1020217027324A patent/KR20210134317A/ko unknown
- 2020-03-27 DE DE112020001663.3T patent/DE112020001663T5/de active Pending
- 2020-03-27 JP JP2021546208A patent/JP2022525586A/ja active Pending
- 2020-03-27 CN CN202080019759.8A patent/CN113825689A/zh active Pending
- 2020-03-27 EP EP20784924.1A patent/EP3947081A4/en active Pending
- 2020-03-27 JP JP2021544522A patent/JP7460044B2/ja active Active
- 2020-03-27 EP EP20785355.7A patent/EP3947095A4/en active Pending
- 2020-03-27 CN CN202080017414.9A patent/CN113811473A/zh active Pending
- 2020-03-27 WO PCT/US2020/025404 patent/WO2020205597A1/en unknown
- 2020-03-27 CN CN202080020333.4A patent/CN113811474A/zh active Pending
- 2020-03-27 US US17/434,721 patent/US20220161815A1/en active Pending
- 2020-03-27 DE DE112020001642.0T patent/DE112020001642T5/de active Pending
- 2020-03-27 EP EP20782890.6A patent/EP3947094A4/en active Pending
- 2020-03-27 US US17/434,716 patent/US20220126863A1/en active Pending
- 2020-03-27 WO PCT/US2020/025501 patent/WO2020205648A1/en unknown
- 2020-03-27 WO PCT/US2020/025520 patent/WO2020205655A1/en unknown
- 2020-03-27 US US17/434,710 patent/US20220126864A1/en active Pending
- 2020-03-27 US US17/434,713 patent/US20220126878A1/en active Pending
- 2020-03-27 JP JP2021545802A patent/JP2022524932A/ja active Pending
- 2020-03-27 KR KR1020217027157A patent/KR20210134634A/ko active Search and Examination
- 2020-03-27 EP EP20784044.8A patent/EP3947080A4/en active Pending
- 2020-03-27 KR KR1020217027159A patent/KR20210134635A/ko active Search and Examination
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102533711B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
| KR102533710B1 (ko) * | 2022-11-24 | 2023-05-18 | 한국전자기술연구원 | 회전교차로에서의 차량 주행 제어 장치 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210134635A (ko) | 자율 주행 차량 시스템 | |
| US11553346B2 (en) | Misbehavior detection in autonomous driving communications | |
| CN115206132B (zh) | 基于道路使用者意图预测的潜在碰撞警告系统 | |
| US11351987B2 (en) | Proactive vehicle safety system | |
| CN112166304B (zh) | 传感器数据的误差检测 | |
| US11027751B2 (en) | Reinforcement and model learning for vehicle operation | |
| US20200026289A1 (en) | Distributed traffic safety consensus | |
| JP6963158B2 (ja) | 集中型共有自律走行車動作管理 | |
| TW202108419A (zh) | 用於與具有不同自主水平的車輛建立協調式駕駛參與的方法和系統 | |
| KR20210006926A (ko) | 자율 주행 차량에서의 리던던시 | |
| US11307585B2 (en) | Introspective competence modeling for AV decision making | |
| US11635758B2 (en) | Risk aware executor with action set recommendations | |
| US10836405B2 (en) | Continual planning and metareasoning for controlling an autonomous vehicle | |
| US11874120B2 (en) | Shared autonomous vehicle operational management | |
| US20230333842A1 (en) | Firmware update mechanism of a power distribution board | |
| WO2021090897A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| EP4294694A1 (en) | Assessing present intentions of an actor perceived by an autonomous vehicle | |
| US11904870B2 (en) | Configuration management system for autonomous vehicle software stack | |
| US20230199450A1 (en) | Autonomous Vehicle Communication Gateway Architecture | |
| US20240144820A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis | |
| US20240144695A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis | |
| US20240140459A1 (en) | Peer-to-peer vehicular provision of artificially intelligent traffic analysis | |
| WO2023122586A1 (en) | Autonomous vehicle communication gateway architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |