JP7460044B2 - 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 - Google Patents

自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 Download PDF

Info

Publication number
JP7460044B2
JP7460044B2 JP2021544522A JP2021544522A JP7460044B2 JP 7460044 B2 JP7460044 B2 JP 7460044B2 JP 2021544522 A JP2021544522 A JP 2021544522A JP 2021544522 A JP2021544522 A JP 2021544522A JP 7460044 B2 JP7460044 B2 JP 7460044B2
Authority
JP
Japan
Prior art keywords
sensor data
data
sensor
vehicle
autonomous vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021544522A
Other languages
English (en)
Other versions
JP2022524920A (ja
Inventor
ビーク、ペトラス ジェイ． ヴァン
ディー． サルビ、ダーシャナ
ハズラティ、メールナズ コダム
アグローワル、プラギャ
アイヤール、ダルシャン
ジャバ―、スヘル
ピー． カブルヤ、ソイラ
モウスタファ、ハスナー
アン ロブ、パトリシア
アエラボトゥ、ナヴィーン
エム． オオタ、ジェフリー
サレー モウスタファ、イマン
ルシア マルティネス－カナレス、モニカ
エルタバク、モハメド
イー． カシュブ、シンシア
エイチ． ウォウヘイビ、リタ
エス． アデンワラ、ファテマ
クティー、ジシン サンカー サンカラン
チェン、リ
ジェイ． ザゲ、デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2022524920A publication Critical patent/JP2022524920A/ja
Application granted granted Critical
Publication of JP7460044B2 publication Critical patent/JP7460044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/047—Prioritizing desires of multiple occupants, e.g. when setting climate control or driving behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)

Description

［関連出願の相互参照］
本願は、２０１９年３月２９日に出願された「Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅ Ｓｙｓｔｅｍ」と題された米国仮特許出願第６２/８２６，９５５号の利益および優先権を主張し、その開示全体が参照により本明細書に組み込まれている。
本開示は、概して、コンピュータシステムの分野に関し、より具体的には、自律車両を可能にするコンピューティングシステムに関する。
一部の車両は、ドライバからの入力をほとんどまたは一切伴わずに車両が環境をナビゲートする自律モードで動作するように構成されている。そのような車両は典型的に、車両の内部および外部の環境についての情報を感知するように構成された１または複数のセンサを備える。車両は、感知された情報を使用して、環境をナビゲートし得、または乗客ステータスを決定し得る。例えば、車両が障害物に近づいていることをセンサが感知しているならば、車両は、障害物周りをナビゲートし得る。別の例として、ドライバが眠くなっていることをセンサが感知しているならば、車両はアラームを鳴らし、または速度を落とし、または停止に至る。
例示的な自律運転環境を示している簡略化された図である。
自律運転機能を備える車両（および対応する車載コンピューティングシステム）の例示的な実装を図示している簡略化されたブロック図である。
特定の実施形態によるニューラルネットワークの例示的な部分を図示している。
様々な車両において（例えばそれらの対応する車載コンピューティングシステムによって）サポートされ得る自律運転の例示的なレベルを図示している簡略化されたブロック図である。
幾つかの自律運転システムにおいて実装され得る例示的な自律運転フローを図示している簡略化されたブロック図である。
少なくとも１つの実施形態によるクラウドソーシングされた自律車両センサデータを定格化および確認する例示的な処理を示している簡略化された図である。
少なくとも１つの実施形態による自律車両のセンサデータを定格化する例示的な処理のフロー図である。
少なくとも１つの実施形態による自律車両のセンサデータを定格化する例示的な処理のフロー図である。
少なくとも１つの実施形態による自律車両データ収集用の例示的な環境の簡略化された図である。
少なくとも１つの実施形態による自律車両用の例示的なクラウドソーシングされたデータ収集環境の簡略化されたブロック図である。
少なくとも１つの実施形態によるセンサデータの良さのスコアを計算する際の使用のための例示的なヒートマップの簡略化された図である。
少なくとも１つの実施形態による自律車両センサデータ用の良さのスコアを計算する例示的な処理のフロー図である。
特定の実施形態による、データカテゴリ化、スコアリングおよびハンドリングのフローを示す。
特定の実施形態による、カテゴリ化に基づいてデータをハンドリングする例示的なフローを示す。
特定の実施形態による、合成データをインテリジェントに生成するシステムを示す。
特定の実施形態による、合成データを生成するフローを示す。
敵対的なサンプルを生成し、敵対的なサンプルに基づいて機械学習モデルを訓練するフローを示す。
特定の実施形態による、シミュレーションされた攻撃データセットを生成し、シミュレーションされた攻撃データセットを使用して分類モデルを訓練するフローを示す。
特定の実施形態による、非線形分類器の動作を図示する。
特定の実施形態による、線形分類器の動作を図示する。
線形分類器の正確度に基づいて動作をトリガするフローを示す。
例示的なＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）およびＬｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）アーキテクチャを図示しているダイアグラムである。
特定の実施形態による、異常検出用のシステムを示す。
特定の実施形態による、異常を検出するフローを示す。
１つの実施形態による、道路上の一部で車両の自律性レベルを制限する方法の例を図示する。
リストされた車道の各々のエリアが当該道路の一部用に道路安全スコアを示しているマップの例を図示している。
本明細書において説明される少なくとも１つの実施形態による、車両のコンピュータビジョンシステムにおいてプライバシーを保持するための通信システムを図示する。
弁別器用の例を図示する。 弁別器用の例を図示する。
少なくとも１つの実施形態による、ＧＡＮ構成システムの追加の考え得るコンポーネントおよび動作上の詳細を図示する。
入力画像の異なる顔の属性を修正するべく、ＳｔａｒＧＡＮベースのモデルを使用することによって生成された、例示的な隠された画像を示す。
ＳｔａｒＧＡＮベースのモデルによって実際の顔の入力画像から生成された、例示的な隠された画像と、実際の隠された画像を評価する顔認識エンジンの結果とを示す。
ＳｔａｒＧＡＮベースのモデルによって実際の顔の入力画像から生成された、例示的な隠された画像と、実際の隠された画像を評価する感情検出エンジンの結果とを示す。
図３２Ａに図示される入力画像および隠された画像に対する感情検出エンジンの例示的な処理に対応する、入力パラメータおよび出力結果のリストを示す。
ＩｃＧＡＮベースのモデルによって実行される、実際の顔の入力画像の、隠された画像への例示的な変換を示す。
車両に実装される構成されたＧＡＮモデルの追加の考え得る動作の詳細を図示する。
少なくとも１つの実施形態による、車両において隠された画像を生成するように構成されたＧＡＮモデルの例示的な動作と、機械学習タスクにおける隠された画像の使用とを図示する。
属性転移を顔の画像に実行するよう訓練されたＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）を構成することと関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
構成されたＧＡＮモデルがシステムに実装された場合に車両のプライバシーを保持するコンピュータビジョンシステムの動作と関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
構成されたＧＡＮモデルが入力画像に適用された場合に生じ得る動作と関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
自律車両用のオンデマンドプライバシーコンプライアンスシステムを図示する。
データ用のプライバシーコンプライアンスを保証するように規定された車両およびオブジェクトによって収集されるデータの表現を図示する。
少なくとも１つの実施形態による、オンデマンドプライバシーコンプライアンスシステム用の例示的なポリシーテンプレートを示す。
車両データシステムの考え得るコンポーネントと動作の一般的なフローとを図示する簡略化されたブロック図である。
様々な考え得る人間主体と、ハードウェアおよび／またはソフトウェア主体との視点から、エッジまたはクラウド車両データシステムの特徴およびアクティビティを図示する。
自律車両によって収集されるデータ用のポリシーを作成するための、オンデマンドプライバシーコンプライアンスシステムの例示的なポータルスクリーンディスプレイである。
画像にナンバープレートぼかしポリシーを適用する前後における、車両から収集される例示的な画像を示す。
画像に顔ぼかしポリシーを適用する前後における、車両から収集される例示的な画像を示す。
オンデマンドプライバシーコンプライアンスシステムにおいて車両で収集されたデータをタグ付けすることと関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
オンデマンドプライバシーコンプライアンスシステムにおけるポリシー施行と関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
オンデマンドプライバシーコンプライアンスシステムにおけるポリシー施行と関連付けられる動作の、高レベルな考え得るフローを図示する簡略化されたフローチャートである。
少なくとも１つの実施形態による、自律車両の自動化用の、制御ループの簡略化された図である。
少なくとも１つの実施形態による、自律車両の自動化用の、Ｇｅｎｅｒａｌｉｚｅｄ Ｄａｔａ Ｉｎｐｕｔ（ＧＤＩ）の簡略化された図である。
少なくとも１つの実施形態による、例示的なＧＤＩ共有環境のダイアグラムである。
少なくとも１つの実施形態による、例示的なブロックチェーントポロジーのダイアグラムである。
少なくとも１つの実施形態による、有向非巡回グラフ（ＤＡＧ）トポロジを使用する例示的な「チェーンレス」ブロックのダイアグラムである。
少なくとも１つの実施形態による、自律車両用の例示的な安全な車内通信プロトコルの簡略化されたブロック図である。
少なくとも１つの実施形態による、自律車両用の例示的な安全な車間通信プロトコルの簡略化されたブロック図である。
少なくとも１つの実施形態による、自律車両用の例示的な安全な車内通信プロトコルの簡略化されたブロック図である。
特定の実施形態による、複数のセンサ用のサンプリングレートを決定するシステムを示す。
特定の実施形態による、コンテキストモデルを生成する機械学習アルゴリズムを示す。
特定の実施形態による、フュージョンコンテキストディクショナリを生成するフュージョンアルゴリズムを示す。
特定の実施形態による、選択的サンプリングおよびヒューズされたセンサの重みを決定する推論フェーズを示す。
様々なコンテキスト用の、センサの特異の重みを図示する。
特定の実施形態による、異なるコンテキスト下でセンサ用の重みを学習するアプローチを図示する。
特定の実施形態による、異なるコンテキスト下でセンサ用の重みを学習する、より詳細なアプローチを図示する。
特定の実施形態による、サンプリングポリシーを決定するフローを示す。
少なくとも１つの実施形態による、複数の自律車両間の例示的なＶＬＣまたはＬｉ－Ｆｉ通信の簡略化された図である。
少なくとも１つの実施形態による、自律車両上の例示的なＶＬＣまたはＬｉ－Ｆｉセンサ位置の簡略化された図である。 少なくとも１つの実施形態による、自律車両上の例示的なＶＬＣまたはＬｉ－Ｆｉセンサ位置の簡略化された図である。
少なくとも１つの実施形態による、対象の車両と交通車両との間の例示的なＶＬＣまたはＬｉ－Ｆｉ通信の簡略化された図である。
少なくとも１つの実施形態による、自律車両のセンサフュージョン処理において、ＶＬＣまたはＬｉ－Ｆｉ情報を使用する例示的な処理の簡略化された図である。
単一のセンサから来るセンサデータの単一のストリーム用の処理パイプラインを図示する。
ＬＩＤＡＲデータから直接取得される例示的な画像を図示する。
センサデータの複数のストリームを処理する例示的な並列処理パイプラインを示す。
複数のセンサからのデータがフィルタリング動作によって組み合わされている、処理パイプラインを示す。
上記で概説されたセンサ抽象化の全動作後に、複数のセンサからのデータがフュージョン動作によって組み合わされている、処理パイプラインを示す。
特定の実施形態による、高解像度画像と、これに対応する低解像度画像とを含む訓練データを生成するフローを示す。
特定の実施形態による、低解像度画像から高解像度画像を生成するモデル用の訓練フェーズを示す。
特定の実施形態による、低解像度画像から高解像度画像を生成するモデル用の推論フェーズを示す。
特定の実施形態による、知識の蒸留を使用して生徒モデルを訓練する訓練フェーズを示す。
特定の実施形態による、知識の蒸留を使用して訓練された生徒モデル用の推論フェーズを示す。
特定の実施形態による、オブジェクト検出における使用のために、撮像画像の解像度を増加するフローを示す。
特定の実施形態による、複数の方法のアンサンブルに基づいて機械学習モデルを訓練するフローを示す。
自律車両がセンサを塞ぎ、これにより運転状況を潜在的に危険にしている状況の例を図示する。
車両協調を使用するシステムの、例示的な高レベルなアーキテクチャダイアグラムを図示する。
複数の車両による複数の動作が想定される状況の例を図示する。
動的に調整可能な画像センサおよびキャリブレーションマーカを有する車両を示す。
回転された画像センサを備える、図８２の車両を示す。
特定の実施形態による、車両の画像センサを調整するフローを示す。
一実施形態による、プロセッサの例示的な図である。
一実施形態による、ポイントツーポイント（ＰｔＰ）構成に配置されるコンピューティングシステムを図示する。
図１は、例示的な自律運転環境を示す簡略化された図１００である。車両（例えば、１０５、１１０、１１５など）は、それぞれの自律運転スタックを有効化するためのハードウェア、ファームウェア、および／またはソフトウェアにおいて実装されたロジックを有する車載コンピューティングシステムを通じて容易にされる異なるレベルの自律運転能力を備えてよい。そのような自律運転スタックは、車道を検出する、一の地点から別の地点へとナビゲートする、他の車両および道路上の主体（例えば、歩行者（例えば１３５）、自転車乗用者、など）を検出する、障害物および危険要因（例えば１２０）、ならびに道路状態（例えば、交通、道路状態、天候状態、など）を検出する、かつ適宜に車両の制御および誘導を調整するために、車両が自己制御を行うかまたはドライバ補助を提供することを可能にし得る。本開示の範囲内で、「車両」とは、１または複数の人間の乗客を運ぶように設計された有人車両（例えば、車、トラック、バン、バス、オートバイ、電車、航空輸送車両、救急車、など）であってもよく、人間の乗客を乗せて又は乗せずに運転する無人車両（例えば、貨物車両（例えば、トラック、レール上を走行する車両、など）、人間以外の乗客を輸送する車両（例えば、家畜輸送など）、および／または、ドローン（例えば、（例えば運転環境に関する情報を収集するため、他の車両の自動化を伴う補助を提供する、道路メンテナンスタスクを実行する、産業タスクを提供する、パブリック安全および緊急応答タスクを提供する、などのために）運転環境内を移動することになっている、地上を走行するドローン又は航空ドローン又はロボット））であってもよい。いくつかの実装では、車両は、他の例の中でも、代替的に複数の異なるモード（例えば、乗用車両、無人車両、またはドローン車両）で動作するように構成されるシステムであり得る。車両は、車両を地面（例えば、舗装された又は未舗装の道路、経路、または風景）に沿って、水中を通って、または空中を通って移動させるために環境内で「運転」し得る。この意味で、「道路」または「車道」は、実装に応じて、屋外または屋内の地上の経路、水路、または規定された空中の境界を具現化し得る。従って、以下の開示および関連する実施形態は、様々なコンテキストおよび車両実装例に等しく適用し得ることが理解されるべきである。
いくつかの実装では、車載コンピューティングシステムが、１または複数のテクノロジ（例えば、ＩＥＥＥ ８０２．１１通信（例えば、ＷｉＦｉ）、セルラーデータネットワーク（例えば、第３世代パートナーシッププロジェクト（３ＧＰＰ）ネットワーク（４Ｇ、５Ｇ、６Ｇなど）、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ（登録商標））、汎用パケット無線サービス、符号分割多重アクセス（ＣＤＭＡ）など）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ミリ波（ｍｍＷａｖｅ）、ＺｉｇＢｅｅ（登録商標）、Ｚ－Ｗａｖｅなど）を使用して無線通信をサポートするための通信モジュールを含み、車載コンピューティングシステムが、他の車両の車載コンピューティングシステム、路側ユニット、クラウドベースのコンピューティングシステム、または他のサポートインフラストラクチャなどの他のコンピューティングシステムに接続し、それらと通信することを可能にする点で、環境内の車両（例えば、１０５、１１０、１１５）は「接続」され得る。例えば、いくつかの実装では、車両（例えば、１０５、１１０、１１５）は、車両自体の自律運転能力のサポートにおいてセンサ、データ、およびサービスを提供するコンピューティングシステムと通信し得る。例えば、図１の説明のための例に示されるように、他の例の中でも、（例えば、地上および／または航空）サポートドローン１８０、路側コンピューティングデバイス（例えば、１４０）、様々な外部の（車両の外部の、または「外側の」）センサデバイス（例えば、１６０、１６５、１７０、１７５など）、および他のデバイスが、車両を通じて提供される自律運転の結果をサポートおよび改善するために車両（例えば、１０５、１１０、１１５）上に実装されるコンピューティングシステム、センサ、およびロジックとは別個の自律運転インフラストラクチャとして提供されてもよい。車両はまた、他の例示的な通信の中でも、自律運転環境内でデータを共有し、移動を調和させるために、無線通信チャネルを介して接続された他の車両と通信し得る。
図１の例に図示されるように、自律運転インフラストラクチャは、多様な異なるシステムを取り入れてもよい。そのようなシステムは位置に応じて異なり得、より発達した車道（例えば、特定の地方自治体または料金所当局により制御されている車道、市街地の車道、自律車両にとって問題のあることで知られている車道の区画、など）は、車道の他の区画などより多くの又はより先進的なサポートインフラストラクチャデバイスを有する。例えば、補助センサデバイス（例えば、１６０、１６５、１７０、１７５）が提供されてよく、これらは、車道の一部および環境内で移動する車両を観察し、センサの観察結果を説明または具現化する対応するデータを生成するためのセンサを含む。例として、センサデバイスは、他の例の中でも、車道自体の内部に埋め込まれてもよく（例えば、センサ１６０）、路側上または頭上の標識上に埋め込まれてもよく（例えば、標識１２５上のセンサ１６５）、路側電子機器若しくは備品（例えば、信号機（例えば、１３０）、電子道路標識、電子ビルボードなど）または専用路側ユニット（例えば、１４０）に取り付けられたセンサ（例えば、１７０、１７５）であってもよい。センサデバイスはまた、それらが収集したセンサデータを直接、すぐ近くの接続された車両に、またはフォグベースもしくはクラウドベースのコンピューティングシステム（例えば、１４０、１５０）に通信する通信能力を含み得る。車両は、外部のセンサデバイス（例えば、１６０、１６５、１７０、１７５、１８０）により収集されたセンサデータ、またはこれらのセンサデバイス（例えば、１６０、１６５、１７０、１７５、１８０）からのセンサデータに基づいて他のシステム（例えば、１４０、１５０）により生成された観察結果または推奨を具現化するデータを取得し、車載自律運転システムにより実行されるセンサフュージョン、推論、経路計画、および他のタスクにおいてこのデータを使用し得る。いくつかの場合、そのような外側のセンサおよびセンサデータは、実際には、車両内にあってもよく、例えば、車両や、車両の乗客により運ばれる又は着用されるパーソナルコンピューティングデバイス（例えば、スマートフォン、ウェアラブルなど）などに取り付けられる、アフターマーケットセンサの形態であってもよい。歩行者、自転車、ドローン、無人航空車両、ロボット、電子スクーターなどを含む他の道路上の主体もまた、自律運転環境を説明するセンサデータを生成するセンサを提供されてもよく、またはそれらを運んでよく、自律運転環境は、他の例の中でも、自律車両、クラウドまたはフォグベースのサポートシステム（例えば、１４０、１５０）、または他のセンサデバイス（例えば、１６０、１６５、１７０、１７５、１８０）により使用および消費され得る。
自律車両システムは、異なるレベルの機能性および洗練性を保有し得るため、いくつかの車両の感知能力のみでなく、いくつかの車両の自律運転機能を可能にするコンピュータおよび機械学習機能もまた補充するために、サポートインフラストラクチャが求められ得る。例えば、機械学習モデル訓練およびそのような機械学習モデルの使用を促進するために使用される計算リソースおよび自律運転ロジックは、全体的に車載コンピューティングシステム上に、または車載システム上およびいくつかの外部のシステム（例えば、１４０、１５０）上の両方に部分的に提供され得る。例えば、接続された車両は、車道の特定のセグメント内にある路側ユニット、エッジシステム、またはクラウドベースのデバイス（例えば、１４０）と通信し得、そのようなデバイス（例えば、１４０）は、データ（例えば、ローカルセンサ（例えば、１６０、１６５、１７０、１７５、１８０）から集約したセンサデータ、または他の車両のセンサから報告されたデータ）を提供すること、車両により提供されるデータに対して（サービスとして）計算を実行して車両に特有の能力を補充すること、および／または、（例えば、デバイス１４０で、またはすぐ近くのセンサデバイスから収集されたセンサデータに基づいて、など）通過するまたは近づいてくる車両に情報をプッシュすること、が可能である。接続された車両（例えば、１０５、１１０、１１５）は更に又は代わりに、車両で利用可能なものを改良するために同様のメモリ、感知および計算リソースを提供し得るクラウドベースのコンピューティングシステム（例えば、１５０）と通信し得る。例えば、クラウドベースのシステム（例えば、１５０）は、他の例示的な実装の中でも、１または複数の位置にある多様なデバイスからセンサデータを収集し、このデータを利用して、（クラウドベースのシステム１５０と通信する様々な車両（例えば、１０５、１１０、１１５）に結果を提供するため、またはそれらの車載システムによる使用のために車両にプッシュするために）クラウドベースのシステムで使用され得る機械学習モデルを構築および／または訓練し得る。例えば、携帯電話塔、路側ユニット、様々な車道インフラストラクチャに搭載されるネットワークアクセスポイント、近隣の車両または建物により提供されるアクセスポイント、および他のアクセスポイント、といったアクセスポイント（例えば、１４５）は、環境内に提供されてよく、１または複数のローカルエリアまたはワイドエリアネットワーク（例えば、１５５）を介した、クラウドベースのシステム（例えば、１５０）と様々な車両（例えば、１０５、１１０、１１５）との間の通信を促進するために使用されてよい。そのようなインフラストラクチャおよびコンピューティングシステムを通じて、本明細書で説明される例、特徴、および解決策は、システム間の通信および連携を通じて、そのような車載コンピューティングシステム、フォグベースのコンピューティングデバイス若しくはエッジコンピューティングデバイス、またはクラウドベースのコンピューティングシステムのうちの１または複数によって、あるいは、前述のものの組み合わせによって、全体的に実行され得ることが理解されるべきである。
概して、本明細書で説明される「サーバ」、「クライアント」、「コンピューティングデバイス」、「ネットワーク要素」、「ホスト」、「プラットフォーム」、「センサデバイス」、「エッジデバイス」、「自律運転システム」、「自律車両」、「フォグベースのシステム」、「クラウドベースのシステム」、および「システム」などは、一般的に、自律運転環境と関連付けられるデータおよび情報を受信し、送信し、処理し、格納し、または管理するように動作可能な電子コンピューティングデバイスを含み得る。本文書で使用される場合、「コンピュータ」、「プロセッサ」、「プロセッサデバイス」、または「処理デバイス」との用語は、他の例の中でも、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、テンソルプロセッサ、および他の行列演算プロセッサを含む、任意の好適な処理装置を包含することが意図される。例えば、環境内で単一のデバイスとして示される要素は、複数のサーバコンピュータを含むサーバプールのように、複数のコンピューティングデバイスおよびプロセッサを使用して実装されてもよい。更に、コンピューティングデバイスの何れか、全て、またはいくつかは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ ＯＳ、Ａｐｐｌｅ ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒなどを含む任意のオペレーティングシステムを実行するように適合されてもよく、ならびに、カスタマイズされたプロプライエタリオペレーティングシステムを含む特定のオペレーティングシステムの実行を仮想化するように適合された仮想マシンであってもよい。
以下で説明される、または図において図示される様々なコンポーネントの何れかの、複数のフロー、複数の方法、複数の処理（もしくはそれらの一部）、または複数の機能の何れかは、任意の好適なコンピューティングロジックにより、例えば、１または複数のモジュール、エンジン、ブロック、ユニット、モデル、システム、または他の好適なコンピューティングロジックにより実行され得る。本明細書における「モジュール」、「エンジン」、「ブロック」、「ユニット」、「モデル」、「システム」、または「ロジック」への言及は、１または複数の機能を実行するためのハードウェア、ファームウェア、ソフトウェア、および／または各々の組み合わせを指し得る。一例として、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、マイクロコントローラまたはプロセッサにより実行されるように適合されたコードを格納する非一時的媒体と関連付けられる、１または複数のハードウェアコンポーネント、例えばマイクロコントローラまたはプロセッサを含み得る。従って、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックへの言及は、一実施形態では、ハードウェアを指し得、ハードウェアは、具体的には、非一時的媒体上で保持されるコードを認識および／または実行するように構成される。更に、別の実施形態において、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックの使用は、コードを含む非一時的媒体を指し得、コードは、具体的には、マイクロコントローラまたはプロセッサにより実行されて所定の動作を実行するように適合される。そして、推論され得るように、更に別の実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ハードウェアおよび非一時的媒体の組み合わせを指し得る。様々な実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ソフトウェア命令を実行するように動作可能なマイクロプロセッサもしくは他の処理要素、特定用途向け集積回路（ＡＳＩＣ）などの別個のロジック、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラムロジックデバイス、命令を含むメモリデバイス、（例えば、プリント回路基板に見受けられるであろう）複数のロジックデバイスの組み合わせ、または、他の好適なハードウェアおよび／もしくはソフトウェア、を含み得る。モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、例えばトランジスタにより実装され得る、１または複数のゲートまたは他の回路コンポーネントを含み得る。いくつかの実施形態では、モジュール、エンジン、ブロック、ユニット、モデル、システム、またはロジックは、ソフトウェアとして完全に具現化され得る。ソフトウェアは、非一 時的なコンピュータ可読記憶媒体に記録されるソフトウェアパッケージ、コード、命令、命令セットおよび／またはデータとして具現化されてよい。ファームウェアは、メモリデバイスにハードコーディングされた（例えば、不揮発性の）コード、命令または命令セットおよび／またはデータとして具現化されてよい。更に、別個のものとして図示されているロジック境界は、一般的に、変化し、潜在的にはオーバーラップする。例えば、第１および第２のモジュール（または複数のエンジン，ブロック、ユニット、モデル、システム、またはロジック）は、いくつかの独立したハードウェア、ソフトウェア、またはファームウェアを潜在的に保持しつつ、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを共有し得る。
以下および添付の図で説明されるフロー、方法、およびプロセスは、単に、特定の実施形態で実行され得る機能を表しているに過ぎない。他の実施形態では、当該フロー、方法、およびプロセスにおいて、追加の機能が実行され得る。本開示の様々な実施形態は、本明細書において説明される機能を果たすための任意の好適なシグナリングメカニズムを想定している。本明細書に図示される機能のいくつかは、該当する場合には、当該フロー、方法、およびプロセス内で繰り返され、組み合わされ、修正され、または削除され得る。追加的に、機能は、当該フロー、方法、およびプロセス内で、特定の実施形態の範囲から逸脱することなく、任意の好適な順序で実行され得る。
次に図２を参照すると、自律運転機能を備える車両（および対応する車載コンピューティングシステム）１０５の例示的な実装を図示している、簡略化されたブロック図２００が示される。一例では、車両１０５は、１または複数のプロセッサ２０２、例えば、他の例の中でも、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、テンソルプロセッサ、および他の行列演算プロセッサなどを備え得る。そのようなプロセッサ２０２は、ハードウェアアクセラレータデバイス（例えば、２０４）に結合されてもよく、またはそれが一体化されていてもよく、ハードウェアアクセラレータデバイスには、特定の処理およびメモリアクセス機能、例えば、他の例の中でも、（以下で説明される機械学習推論または訓練の何れかを含む）機械学習推論または訓練に関連する機能、特定のセンサデータ（例えば、カメラ画像データ、ＬＩＤＡＲ点群など）の処理、自律運転に関する特定の演算機能（例えば、行列演算、畳み込み演算など）の実行など、を高速化するハードウェアを提供され得る。車両上に実装された自律運転スタックの複数のモジュールまたは複数のサブモジュールのうちの何れか１つの全て又は一部を実装する機械実行可能命令を格納し、機械学習モデル（例えば、２５６）、センサデータ（例えば、２５８）、および、車両により実行される自律運転機能に関連して受信され、生成され又は使用される（もしくは本明細書で説明される例および解決策に関連して使用される）他のデータも格納するために、１または複数のメモリ素子（例えば、２０６）が提供されてもよい。また、１または複数のネットワーク通信テクノロジを用いた１または複数のネットワークチャネルを介して他の外側のコンピューティングシステムと通信するために車両のシステムにより使用される通信能力を実装するために、様々な通信モジュール（例えば、２１２）もまた、ハードウェア回路および／またはソフトウェアに実装されて提供されてもよい。これらの様々なプロセッサ２０２、アクセラレータ２０４、メモリデバイス２０６、およびネットワーク通信モジュール２１２は、１または複数の相互接続ファブリックまたはリンク（例えば、２０８）、例えば、他のものの中でも、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）、イーサネット（登録商標）、ＯｐｅｎＣＡＰＩ（登録商標）、Ｇｅｎ－Ｚ（登録商標）、ＵＰＩ、ユニバーサルシリアルバス（ＵＳＢ）、アクセラレータ用のキャッシュコヒーレント相互接続（ＣＣＩＸ（登録商標））、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅ（登録商標）（ＡＭＤ（登録商標））のＩｎｆｉｎｉｔｙ（登録商標）、共通通信インターフェース（ＣＣＩ）、またはＱｕａｌｃｏｍｍ（登録商標）のＣｅｎｔｒｉｑ（登録商標）相互接続などのテクノロジを利用するファブリックなど、を通じて車両システム上で相互接続され得る。
図２の例で続けると、例示的な車両（および対応する車載コンピューティングシステム）１０５は、ハードウェアおよび／またはソフトウェアにおける自律車両の他の例示的なモジュール実装機能の中でも、車載処理システム２１０、運転制御部（例えば、２２０）、センサ（例えば、２２５）、およびユーザ／乗客インターフェース（例えば、２３０）を含み得る。例えば、車載処理システム２１０は、いくつかの実装では、（例えば、図５の例で示され、説明される）自律運転スタックおよび処理フローの全て又は一部を実装し得る。自律運転スタックは、ハードウェア、ファームウェア、またはソフトウェアに実装され得る。本明細書の例において説明されるような、車両に、または車両のために提供および実装される１または複数の自律機能および特徴に関連して車両１０５に提供される様々な機械学習モデル（例えば、２５６）を利用するために、機械学習エンジン２３２が提供されてもよい。そのような機械学習モデル２５６は、人工ニューラルネットワークモデル、畳み込みニューラルネットワーク、決定木ベースのモデル、サポートベクターマシン（ＳＶＭ）、ベイズモデル、ディープラーニングモデル、および他の例示的なモデルを含み得る。いくつかの実装では、例示的な機械学習エンジン２３２は、複数の機械学習モデル２５６のうちの１または複数の訓練（例えば、初期訓練、継続訓練など）に参加するための１または複数のモデルトレーナエンジン２５２を含み得る。また、訓練された機械学習モデル２５６を利用して様々な推論、予測、分類、および他の結果を導出するために、１または複数の推論エンジン２５４が提供されてもよい。いくつかの実施形態では、本明細書で説明される機械学習モデル訓練または推論は、車両の外で、例えばコンピューティングシステム１４０または１５０によって実行されてもよい。
車両に提供される機械学習エンジン２３２は、自律運転スタックおよび他の自律運転に関連する特徴を実装する車載処理システム２１０の他の論理コンポーネントおよびモジュールによる使用のために結果をサポートおよび提供するべく、利用され得る。例えば、データ収集モジュール２３４は、（例えば、車両により使用される様々な機械学習モデル２５６の訓練または使用における入力のための）データが収集されるソースを決定するロジックを提供され得る。例えば、特定のソース（例えば、内部のセンサ（例えば、２２５）または外側のソース（例えば、１１５、１４０、１５０、１８０、２１５など）が選択され得、ならびに、データがサンプリングされ得る頻度および忠実度が選択される。いくつかの場合、そのような選択および構成は、（例えば、特定の検出されたシナリオを仮定して、該当する場合、データを収集するために）１または複数の対応する機械学習モデルを使用して、少なくとも部分的に、データ収集モジュール２３４により自律的に行われ得る。
センサフュージョンモジュール２３６はまた、車載処理システムの機械学習エンジン２３２および他のモジュール（例えば、２３８、２４０、２４２、２４４、２４６など）により利用される様々なセンサ入力の使用および処理を管理するために使用され得る。（例えば、車両上の、または車両の外側にある）複数のセンサデータソースから出力を導出し得る１または複数のセンサフュージョンモジュール（例えば、２３６）が提供されてもよい。ソースは、同種または異種のタイプのソースであり得る（例えば、共通のタイプのセンサの複数のインスタンスから、または複数の異なるタイプのセンサのインスタンスからの複数の入力）。例示的なセンサフュージョンモジュール２３６は、他の例示的なセンサフュージョン技術の中でも、直接フュージョン、または間接フュージョンを適用し得る。センサフュージョンの出力は、いくつかの場合、例えば本明細書で説明される例示的な解決策において説明されるように、自律運転機能または他の機能を提供することに関連して、車載処理システムの別のモジュール、および／または１または複数の機械学習モデルへの入力として（潜在的な追加の入力と共に）供給され得る。
いくつかの例では知覚エンジン２３８が提供されてもよく、知覚エンジン２３８は、いくつかの例では、車両１０５が遭遇した（または遭遇する）環境の自律的知覚に対応する他の例示的な機能の中でも、オブジェクト認識および／または検出されたオブジェクトの追跡を実行するために、外側のソースおよび／またはセンサフュージョンモジュール２３６からのデータを含む様々なセンサデータ（例えば、２５８）を入力として取り得る。知覚エンジン２３８は、ディープラーニングを使用して、例えば、１または複数の畳み込みニューラルネットワークおよび他の機械学習モデル２５６を通じて、センサデータ入力からオブジェクト認識を実行し得る。オブジェクト追跡はまた、オブジェクトが移動しているかどうか、および、もしそうである場合、どの軌道に沿って移動しているかをセンサデータ入力から自律的に推定するために実行され得る。例えば、所与のオブジェクトが認識された後、知覚エンジン２３８は、その所与のオブジェクトが車両に関してどのように移動するかを検出し得る。そのような機能は、例えば、他の例示的な使用の中でも、車道上の車両の経路に影響し得るオブジェクト、例えば、環境内で移動する他の車両、歩行者、野生動物、自転車乗用者などを検出するために使用され得る。
いくつかの実装では、ローカライゼーションエンジン２４０もまた、車載処理システム２１０内に含まれ得る。いくつかの場合、ローカライゼーションエンジン２４０は、知覚エンジン２３８のサブコンポーネントとして実装され得る。ローカライゼーションエンジン２４０はまた、車両の高信頼性の位置、および所与の物理的空間（または「環境」）内でそれが占有する空間を決定するために、１または複数の機械学習モデル２５６および（例えば、ＬＩＤＡＲおよびＧＰＳデータなどの）センサフュージョンを使用し得る。
車両１０５は更に、環境内での車両１０５の運転を制御する運転制御（例えば、２２０）によって使用され得る、車両の経路計画および／または動作計画を決定するために、例えば、他のもの（例えば、推奨エンジン２４４）の中でも、データ収集２３４、センサフュージョン２３６、知覚エンジン２３８、およびローカライゼーションエンジン（例えば、２４０）などの、様々な他のモジュールの結果を使用し得る経路プランナ２４２を備え得る。例えば、経路プランナ２４２は、これらの入力および１または複数の機械学習モデルを利用して、運転環境内の様々な事象の確率を決定し、環境内で機能するのに効果的なリアルタイムの計画を決定してもよい。
いくつかの実装では、車両１０５は、車両１０５自体のセンサ（例えば、２２５）により生成されたセンサデータ、ならびに外側のセンサからの（例えば、センサデバイス１１５、１８０、２１５などでの）センサデータから様々な推奨を生成する、１または複数の推奨エンジン２４４を含み得る。いくつかの推奨は推奨エンジン２４４により決定され得、これらの推奨は、車両の自律運転スタックの他のコンポーネントへの入力として提供され、これらのコンポーネントによりなされる決定に影響を及ぼし得る。例えば、経路プランナ２４２により検討された場合に、経路プランナ２４２に、推奨が無かったならば通常は別様に決定するであろう判断または計画から外れさせる推奨が決定され得る。推奨はまた、乗客の快適性および体験の検討に基づいて推奨エンジン（例えば、２４４）により生成され得る。いくつかの場合、（車両のセンサおよび／または外側のセンサなどにより捕捉されたセンサデータ（例えば、２５８）から決定される）これらの推奨に基づいて、車両内の内装特徴が予測的かつ自律的に巧みに操作され得る。
上記で紹介したように、いくつかの車両の実装は、ユーザ／乗客体験エンジン（例えば、２４６）を含み得、これらは、センサデータ（例えば、２５８）により捕捉された観察結果に基づいて、運転操縦および車両のキャビン環境に変化をもたらして車両内の乗客の体験を改良するべく、センサデータおよび車両の自律運転スタック内の他のモジュールの出力を利用し得る。いくつかの例では、ユーザが車両およびその自律運転システムと相互作用することを可能にするために車両に設けられるユーザインターフェース（例えば、２３０）の態様が改良され得る。いくつかの場合、他の例示的な使用の中でも、車両（例えば、１０５）内での乗客の体験に影響を及ぼして改善することを助けるために、情報提示（例えば、音声、視覚、および／または触覚提示）が生成され、ユーザディスプレイを通じて提供され得る。
いくつかの場合、車両上の様々なセンサにより収集された情報をモニタリングして、車両の自律運転システムの性能に関連する問題を検出するシステムマネージャ２５０もまた設けら得る。例えば、計算エラー、センサの停電および問題、（例えば通信モジュール２１２を通じて提供される）通信チャネルの利用可能性および品質、車両システムチェック（例えば、モータ、トランスミッション、バッテリ、冷却システム、電気システム、タイヤなどに関連する問題）、または他の動作事象が、システムマネージャ２５０により検出され得る。そのような問題は、システムマネージャ２５０により生成されるシステム報告データにおいて識別され得、これは、いくつかの場合では、車両１０５の自律運転機能においてセンサデータ２５８で収集された他の情報と共に、車両システムの正常性および問題もまた検討されることを可能にするために、機械学習モデル２５６および関連する自律運転モジュール（例えば、２３２、２３４、２３６、２３８、２４０、２４２、２４４、２４６など）への入力として利用され得る。
いくつかの実装では、車両１０５の自律運転スタックは、他の例の中でも、ステアリング制御（例えば、２６０）、アクセラレータ／スロットル制御（例えば、２６２）、ブレーキ制御（例えば、２６４）、シグナリング制御（例えば、２６６）を含む、車両の運転のされ方に影響を与える運転制御２２０に結合されてもよい。いくつかの場合、車両はまた、ユーザ入力に基づいて完全にまたは部分的に制御され得る。例えば、ユーザインターフェース（例えば、２３０）は、人間のドライバが（例えば、ハンドオーバで、またはドライバ補助動作の後に）自律運転システムから制御を引き継ぐことを可能にする運転制御（例えば、物理的又は仮想的なステアリングホイール、アクセラレータ、ブレーキ、クラッチなど）を含み得る。例えば、音声検出２９２、ジェスチャ検出カメラ２９４、および他の例など、ユーザ／乗客入力を受け取るために他のセンサが利用され得る。ユーザインターフェース（例えば、２３０）は、乗客／ユーザの望みおよび意図を捕捉し得、車両１０５の自律運転スタックは、これらを、車両の運転を制御（例えば、運転制御２２０）する際の追加の入力として検討し得る。いくつかの実装では、運転制御は、他の例示的な実装の中でも、例えば、運転方向または制御を提供するために乗客が外部のデバイス（例えば、スマートフォンまたはタブレット）を利用する場合、または、（例えば緊急事象に基づいて）外部のドライバもしくはシステムが車両の制御を引き継ぐ遠隔バレーサービスの場合などに、外部のコンピューティングシステムにより管理され得る。
上記で説明したように、車両の自律運転スタックは、車両上および車両の外部に設けられた様々なセンサにより生成される多様なセンサデータ（例えば、２５８）を利用し得る。一例として、車両１０５は、車両の外部および周囲環境に関連する様々な情報、車両システムのステータス、車両内の状態、ならびに車両の処理システム２１０のモジュールにより使用可能な他の情報を収集する、センサ２２５のアレイを保有し得る。例えば、そのようなセンサ２２５は、他の例示的なセンサの中でも、全地球測位（ＧＰＳ）センサ２６８、光検知測距（ＬＩＤＡＲ）センサ２７０、２次元（２Ｄ）カメラ２７２、３次元（３Ｄ）もしくはステレオカメラ２７４、音響センサ２７６、慣性測定ユニット（ＩＭＵ）センサ２７８、温度センサ２８０、超音波センサ２８２、生体センサ２８４（例えば、顔認証、音声認識、心拍センサ、体温センサ、感情検出センサなど）、レーダセンサ２８６、天候センサ（図示なし）を含み得る。そのようなセンサは、他の例の中でも、車両が動作する環境の様々な属性および状態（例えば、天候、障害物、交通、道路状態など）、車両内の乗客（例えば、乗客またはドライバの意識または注意力、乗客の快適性または機嫌、乗客の健康状態または生理学的状態など）、車両の他のコンテンツ（例えば、パッケージ、家畜、貨物、手荷物など）、車両のサブシステムを決定するために、組み合わせて利用され得る。センサデータ２５８はまた（または代わりに）、（車両－車両間通信または他の技術を通じて車両１０５と通信し得る）他の車両（例えば、１１５）上のセンサ、地上または航空ドローン１８０上のセンサ、車両１０５の内側または外側で人間のユーザにより運ばれるユーザデバイス２１５（例えば、スマートフォンまたはウェアラブル）のセンサ、ならびに、他の路側要素、例えば路側ユニット（例えば、１４０）、道路標識、信号機、街灯などに搭載されるか設けられるセンサを含む、車両に一 体的に結合されていないセンサによって生成され得る。そのような外側のセンサデバイスからのセンサデータは、他の例示的な実装の中でも、センサデバイスから車両に直接提供されてもよく、または、データ集計デバイスを通じて提供されてもよく、もしくはこれらのセンサに基づいて他のコンピューティングシステム（例えば、１４０、１５０）により生成された結果として提供されてもよい。
いくつかの実装では、自律車両システム１０５は、デバイス１０５の自律運転機能を改良し、有効化し、または別様にサポートするために、他のコンピューティングシステムにより提供される情報およびサービスとインターフェース接続してそれらを活用し得る。いくつかの例では、（本明細書で説明される例示的な解決策のうちのいくつかを含む）いくつかの自律運転特徴は、車両の外部にあるコンピューティングシステムのサービス、コンピューティングロジック、機械学習モデル、データ、または他のリソースを通じて有効化され得る。そのような外部のシステムを車両が利用できない場合、これらの特徴が少なくとも一 時的に無効化されているということであり得る。例えば、外部のコンピューティングシステムが提供および活用されてもよく、これらは、路側ユニットまたはフォグベースのエッジデバイス（例えば、１４０）、他の（例えば、より高レベルの）車両（例えば、１１５）、および、（例えば、様々なネットワークアクセスポイント（例えば、１４５）を通じてアクセス可能な）クラウドベースのシステム１５０にホストされる。路側ユニット１４０またはクラウドベースのシステム１５０（または、車両（例えば、１０５）が相互作用する他の連携システム）は、潜在的に追加の機能およびロジックと共に、例示的な車載処理システム（例えば、２１０）に属するものとして図示されるロジックの全て又は一部を含み得る。例えば、クラウドベースのコンピューティングシステム、路側ユニット１４０、または他のコンピューティングシステムは、モデル訓練および推論エンジンロジックの何れか又は両方をサポートする機械学習エンジンを含み得る。例えば、そのような外部のシステムは、よりハイエンドなコンピューティングリソース、およびより発達した、もしくはより最新式の機械学習モデルを保有し得、それにより、これらのサービスが、車両の処理システム２１０において元々生成され得るものに対して優れた結果を提供することが可能となる。例えば、車載処理システム２１０は、特定のタスクおよび特定のシナリオの処理のために、クラウドベースのサービスを通じて提供される機械学習訓練、機械学習推論、および／または機械学習モデルに依拠し得る。事実、車両１０５に属するものとして説明され示される複数のモジュールのうちの１または複数は、いくつかの実装では、代替的にまたは冗長的に、自律運転環境をサポートする、クラウドベースのシステム、フォグベースのシステム、または他のコンピューティングシステム内に提供され得ることが理解されるべきである。
本明細書の様々な実施形態は、自律車両スタックの機能（または本明細書で説明される他の機能）を実行するために、１または複数の機械学習モデルを利用し得る。機械学習モデルは、特定のタスクの性能を徐々に改善するためにコンピューティングシステムにより実行され得る。いくつかの実施形態では、機械学習モデルのパラメータは、訓練データに基づいて、訓練フェーズ中に調整され得る。訓練された機械学習モデルは、次いで、入力データに基づいて、予測または判断を行うために推論フェーズ中に使用され得る。
本明細書で説明される機械学習モデルは、任意の好適な形態を取ってもよく、または任意の好適な技術を利用してもよい。例えば、複数の機械学習モデルの何れかは、教師あり学習、半教師あり学習、教師なし学習、または強化学習技術を利用し得る。
教師あり学習では、モデルは、入力および対応する所望の出力の両方を含むデータの訓練セットを使用して構築され得る。各々の訓練インスタンスは、１または複数の入力および所望の出力を含み得る。訓練は、訓練インスタンスを通して反復すること、および目的関数を使用して新たな入力に対する出力を予測するようモデルに教えることを含み得る。半教師あり学習では、訓練セット中の入力の一部が所望の出力を取り損ない得る。
教師なし学習では、モデルは、入力のみを含み、所望の出力を含まないデータのセットから構築され得る。教師なしモデルは、データにおけるパターンを発見することにより、データにおける構造（例えば、データポイントのグループ化またはクラスタリング）を見出すために使用され得る。教師なし学習モデルで実装され得る技術には、例えば、自己組織化マップ、最近傍マッピング、ｋ平均法、および特異値分解が含まれる。
強化学習モデルには、正確度を改善するためにポジティブまたはネガティブなフィードバックが与えられ得る。強化学習モデルは、１または複数の目的／報酬を最大化するように試み得る。強化学習モデルで実装され得る技術には、例えば、Ｑ学習、時間差（ＴＤ）、およびディープな敵対的ネットワークが含まれ得る。
本明細書で説明される様々な実施形態は、１または複数の分類モデルを利用し得る。分類モデルでは、出力は、値の限定されたセットに制限され得る。分類モデルは、１または複数の入力値の入力されたセットのクラスを出力し得る。本明細書における分類モデルへの言及は、例えば、以下の技術、線形分類器（例えば、ロジスティック回帰または単純ベイズ分類器）、サポートベクターマシン、決定木、ブースティング木、ランダムフォレスト、ニューラルネットワーク、または最近傍法、のうちの何れか１または複数を実装するモデルを想定し得る。
本明細書で説明される様々な実施形態は、１または複数の回帰モデルを利用し得る。回帰モデルは、入力された１または複数の値のセットに基づいて連続する範囲から数値を出力し得る。本明細書における回帰モデルへの言及は、例えば、以下の技術（または他の好適な技術）、線形回帰、決定木、ランダムフォレスト、またはニューラルネットワーク、のうちの何れか１または複数を実装するモデルを想定し得る。
様々な実施形態では、本明細書で説明される機械学習モデルの何れかは、１または複数のニューラルネットワークを利用し得る。ニューラルネットワークは、シナプスにより接続されたニューロンの大クラスタを含む生物学的脳の構造を大マーカにモデル化したニューラルユニットのグループを含み得る。ニューラルネットワークでは、ニューラルユニットは、接続されたニューラルユニットの活性状態に対するそれらの影響が興奮性または抑制性であり得るリンクを介して、他のニューラルユニットに接続される。ニューラルユニットは、その入力の値を利用して、ニューラルユニットの膜電位を更新する機能を実行し得る。ニューラルユニットは、ニューラルユニットに関連付けられる閾値を超えた場合に、スパイク信号を接続されたニューラルユニットに伝搬し得る。ニューラルネットワークは、様々なデータ処理タスク（自律車両スタックにより実行されるタスクを含む）、例えば、コンピュータビジョンタスク、音声認識タスク、または他の好適なコンピューティングタスクを実行するように訓練または別様に適合され得る。
図３は、特定の実施形態によるニューラルネットワーク３００の例示的な部分を図示する。ニューラルネットワーク３００は、ニューラルユニットＸ１～Ｘ９を含む。ニューラルユニットＸ１～Ｘ４は、（ニューラルネットワーク３００が出力を処理する間一定に保持され得る）一次入力Ｉ１～Ｉ４をそれぞれ受信する入力ニューラルユニットである。任意の好適な一次入力が使用され得る。一例として、ニューラルネットワーク３００が画像処理を実行する場合、一次入力値は画像からの画素の値であり得る（そして、一次入力の値は、画像が処理されている間は一定に保たれ得る）。別の例として、ニューラルネットワーク３００が音声処理を実行する場合、特定の入力ニューラルユニットに適用される一次入力値は、入力音声に対する変更に基づいて経時的に変化し得る。
特定のトポロジおよび接続スキームが図３に示されている一方、本開示の教示は、任意の好適なトポロジおよび／または接続を有するニューラルネットワークにおいて使用され得る。例えば、ニューラルネットワークは、フィードフォワードニューラルネットワーク、回帰ネットワーク、またはニューラルユニット間の任意の好適な接続を有する他のニューラルネットワークであり得る。別の例として、ニューラルネットワークが入力層、隠れ層、および出力層を有するものとして図示されているものの、ニューラルネットワークは、任意の好適な様式で配置された任意の好適な層を有し得る。図示される実施形態では、２つのニューラルユニット間の各々のリンクは、２つのニューラルユニット間の関係の強度を示すシナプス重みを有する。シナプス重みは、ＷＸＹとして図示され、Ｘはシナプス前のニューラルユニットを示し、Ｙはシナプス後のニューラルユニットを示す。ニューラルユニット間のリンクは、接続されたニューラルユニットの活性状態に対するそれらの影響が興奮性または抑制性であり得る。例えば、Ｘ１からＸ５に伝搬するスパイクは、Ｗ１５の値に応じて、Ｘ５の膜電位を増加または減少させ得る。様々な実施形態では、接続は有向であっても有向でなくてもよい。
様々な実施形態では、ニューラルネットワークの各々のタイムステップの間に、ニューラルユニットは、それぞれのシナプスを介してニューラルユニットに接続された複数のニューラルユニットのうちの１または複数から（ニューラルユニットのこのセットは、ニューラルユニットのファンインニューラルユニットと称される）、例えばバイアス値または１または複数の入力スパイクなどの任意の好適な入力を受信し得る。ニューラルユニットに適用されるバイアス値は、入力ニューラルユニットに適用される一次入力および／またはニューラルユニットに適用される何らかの他の値（例えば、ニューラルネットワークの訓練または他の動作中に調整され得る一定値）の関数であり得る。様々な実施形態では、各々のニューラルユニットは、それ自体のバイアス値に関連付けられてもよく、または、バイアス値は、複数のニューラルユニットに適用され得る。
ニューラルユニットは、その入力およびその現在の膜電位の値を利用して関数を実行し得る。例えば、更新された膜電位を生成するために、ニューラルユニットの現在の膜電位に入力が追加され得る。別の例として、シグモイド伝達関数などの非線形関数が入力および現在の膜電位に適用され得る。任意の他の好適な関数が使用され得る。ニューラルユニットは、次に、関数の出力に基づいてその膜電位を更新する。
図４を参照すると、（例えば、それらの対応する車載コンピューティングシステムにより）様々な車両でサポートされ得る例示的な自律運転レベルを図示する簡略化されたブロック図４００が示されている。例えば、レベルの範囲は規定されてもよく（例えば、Ｌ０～Ｌ５（４０５～４３５））、レベル５（Ｌ５）は、最も高いレベルの自律運転機能（例えば、完全自動化）を有する車両に対応し、レベル０（Ｌ０）は、最も低いレベルの自律運転機能に対応する（例えば、自動化されていない）。例えば、Ｌ５車両（例えば、４３５）は、極限の道路状態および天候を含め、すべての運転シナリオにおいて、人間のドライバにより提供されるであろうものに等しい又はそれより優れた自律運転性能を提供することが可能な完全自律コンピューティングシステムを保有し得る。Ｌ４車両（例えば、４３０）もまた、完全に自律的であって、且つ、安全重視の運転機能を自律的に実行し、開始位置から目的地までの行程全体を通して車道状態を効果的にモニタリングすることができる、と見なされ得る。Ｌ４車両は、Ｌ４の自律的能力が、全ての運転シナリオを含まない場合がある、車両の「動作設計ドメイン」の限界内で規定されている点で、Ｌ５車両と異なり得る。Ｌ３車両（例えば、４２０）は、特定の交通および環境状態のセットにおいて安全重視の機能を完全に車両にシフトするが、全ての他のシナリオでは人間のドライバが運転をハンドリングするために関与し且つ手が空いていることを依然として想定する自律運転機能を提供する。従って、Ｌ３車両は、人間のドライバから自律運転スタックへの、およびその逆の、制御の移管を組織化するためのハンドオーバプロトコルを提供し得る。Ｌ２車両（例えば、４１５）は、ドライバが時々、車両を物理的に操作することから離れ、その結果、ドライバの手および足の両方が車両の物理的制御から定期的に離れ得ることを可能にするドライバ補助機能を提供する。Ｌ１車両（例えば、４１０）は、１または複数の特定の機能（例えば、ステアリング、ブレーキなど）のドライバ補助を提供するが、車両のほとんどの機能についてドライバの一定の制御を依然として必要とする。Ｌ０車両は、自律的ではないと見なされ得、人間のドライバが車両の運転機能の全てを制御する（しかし、そのような車両は、それでもなお、例えば、センサデータをより高レベルの車両に提供すること、センサデータを使用してＧＰＳおよび車両内のインフォテインメントサービスを改良することなどにより、受動的に自律運転環境内に参加し得る）。いくつかの実装では、単一の車両は、複数の自律運転レベルの動作をサポートし得る。例えば、ドライバは、所与の行程の間にどのサポートレベルの自律性を使用するかを制御および選択し得る（例えば、Ｌ４以下のレベル）。他の場合では、車両は、例えば、車道または車両の自律運転システムに影響を及ぼす状態に基づいて、複数のレベル間を自律的にトグルで切り替え得る。例えば、他の例の中でも、１または複数のセンサが損なわれたことの検出に応答して、Ｌ５またはＬ４車両は、センサの問題を鑑みて人間の乗客が関与するように、より低いモード（例えば、Ｌ２以下）にシフトし得る。
図５は、一部の自律運転システムにおいて実装され得る例示的な自律運転フローを図示する簡略化されたブロック図５００である。例えば、自律（または半自律）車両に実装される自律運転フローは、感知および知覚段階５０５、計画および決定段階５１０、ならびに制御および動作段階５１５を含み得る。感知および知覚段階５０５の間、様々なセンサによりデータが生成され、自律運転システムによる使用のために収集される。データ収集は、いくつかの例では、データフィルタリング、および外部ソースからセンサデータを受信することを含み得る。この段階はまた、センサフュージョン動作およびオブジェクト認識、ならびに１または複数の機械学習モデルを使用して実行される他の知覚タスク、例えばローカライゼーションを含み得る。計画および決定段階５１０は、センサデータおよび様々な知覚動作の結果を利用して、先にある車道の確率的予測を行い、これらの予測に基づいてリアルタイムな経路計画を決定し得る。追加的に、計画および決定段階５１０は、障害物および他の事象の検出に反応して経路計画に関連する決定を行って、これらの事象を鑑みて、決定した経路を安全にナビゲートするために動作を取るべきかどうか、およびどのような動作を取るべきかを判断することを含み得る。計画および決定段階５１０の経路計画および決定に基づいて、制御および動作段階５１５は、ステアリング、加速、およびブレーキ、ならびに、例えば、方向指示灯、センサクリーナ、ワイパー、ヘッドライトなどの二 次制御、を含む運転制御を巧みに操作するアクチュエータを通じて、これらの決定を動作に変換し得る。
本明細書において留意されるように、様々な自律運転用途において高解像度マップが利用され得、これは、車載システム自体によって利用されることも、自律車両を補助する運転を提供する外部のシステム（例えば、クラウド又は路側ベースのシステム、遠隔バレーシステムなど）によって利用されることも含む。従って、自律運転／自律車両制御において使用されるＨＤマップの正確度は不可欠である。ＨＤマップを生成して維持するために、動的且つ最新のデータを取得することが重要である。環境において任意の変更があるならば（例えば、道路作業、事故など）、ＨＤマップは当該変更を反映するように更新されるべきである。いくつかの実装では、多数の自律車両からのデータは、クラウドソーシングされ、ＨＤマップを更新するのに使用され得る。しかしながら、いくつかの場合、受信されたデータにおける信用または信頼性は疑わしいかもしれない。１つの課題は、複数の車の各々から受信するデータの信用性を理解し且つ体系化することを含み得る。例えば、自律車両から来るデータは、（例えばより性能が低いセンサから来る）低忠実度のものかもしれず、意図せず破損されているものかもしれず（例えばランダムビットフリップ）、または、悪意をもって修正されているものかもしれない。そのような低品質（または品質が全くない）なデータは、今度は、サーバ内に存在するＨＤマップを破損し得る。
従って、特定の実施形態では、自律車両の様々なセンサによって収集されるデータは、自律車両にダウンロードされたＨＤマップの関連するタイル内に存在するデータと比較されてもよい。収集されたデータとＨＤマップデータとの間に差があるならば、デルタ（ＨＤマップタイルと新しく収集されたデータとの差）は、ＨＤマップをホストするサーバに転送されてもよく、その結果、その特定の位置にあるＨＤマップタイルは更新されてもよい。サーバに転送する前に、データは、各々の自律車両においてローカルで定格化され、且つ、ＨＤマップを更新する前にサーバで再び検証されてもよい。本明細書ではサーバがＨＤマップを更新する前に自律車両センサデータを確認するものとして説明されるが、いくつかの場合、デルタ情報はまた、それらＨＤマップを迅速に更新するべく、データを収集した自律車両の近くの他の自律車両に送信されてもよい。他の自律車両は、サーバがＨＤマップを更新する前に行うのと同じやり方でデータを解析してもよい。
図６は、少なくとも１つの実施形態による、クラウドソーシングされた自律車両センサデータを定格化し且つ確認する例示的な処理を示す簡略化された図である。示される例では、各々の自律車両６０２は、そこに結合された１または複数のセンサ（例えば、カメラ、ＬＩＤＡＲ、レーダなど）からデータを収集する。自律車両６０２は、センサデータを使用して、自律車両の１または複数の態様を制御してもよい。各々の自律車両は、その１または複数のセンサからデータを収集するので、自律車両は、収集されたデータに置かれる信頼性の量を決定してもよい。例えば、信頼性スコアは、センサデータの収集に関連する情報に基づいてもよく、例えば、データ収集の時点での天候データ（例えば、晴れた日のカメラ情報は、霧の深い日のカメラよりも大きな信頼性スコアを取得し得る）、センサデバイス構成情報（例えば、カメラストリームのビットレート又は解像度）、センサデバイス動作情報（例えば、カメラストリームのビットエラー率）、センサデバイス認証ステータス情報（例えば、更に以下で説明されるように、センサデバイスが自律車両によって既に認証されているかどうか）、または、ローカルセンサ確証情報（例えば、自律車両の２つ以上のカメラの各々が同じビデオフレームで又は同時にオブジェクトを検出したことを示す情報）などに基づいてもよい。
自律車両は、信頼性スコアを算出してもよく、これは、データと関連付けられるメタデータにおいて維持されてもよい。信頼性スコアは、いくつかの実装において、（全てを信用する又は何も信用しない、の２値判定よりもむしろ）ゼロから１の間の連続スケールであってもよく、または、ゼロから別の数（例えば１０）の間の連続スケールであってもよい。追加的に、収集デバイスが認証又は証明することが可能である場合（例えば、自律車両がデバイスからデータを受け取る前にデバイスが自律車両によって認証されている場合）、デバイスの認証／証明ステータスは、（例えば、フラッグとして、デジタル署名として、または、センサデバイスの認証ステータスを示す他のタイプの情報として）センサデバイスによって収集されたデータおメタデータ内で示されてもよく、それにより、サーバ６０４または他の自律車両が、データを使用してＨＤマップを更新する前に、データをより完全に検証／確認／信用することが可能になる。いくつかの場合、自律車両自体は、サーバによって（例えばデジタル署名技術を使用して）認証されてもよい。そのような場合、自律車両の異なるセンサから収集されるデータは集約されてもよく、いくつかの場合では、サーバ又はすぐ近くの自律車両に転送される又は別様に通信される前に、自律車両内のメインプロセッサまたは処理ユニットにより認証されてもよい。
異なるデバイスをスコアリングするための値は、データを収集し且つ集約するためのポリシーによって規定されてもよい。ポリシーはまた、自律車両がいつ、新しく収集されたデータをアップロードし、例えば、ＨＤマップを更新するかを示してもよい。例えば、ポリシーは、ＨＤマップタイルおよび新しく収集されたデータからのデルタが、ＨＤマップを更新するべくデータをサーバに送信し返すための特定の閾値を上回っているはずである、と述べてもよい。例えば、工事現場資材（樽、備品など）は、ＨＤマップデータと収集されたデータとの間に大きなデルタを生じさせ得、その一方で、道路にある小石／岩はより小さなデルタを生じさせ得るので、工事現場関連のデータはクラウドに渡され得るが、小石データはそうされないかもしれない。ポリシーはまた、データをアップロードする前に、データに関連付けられる信頼性スコアが特定の閾値を上回っているはずであることを示してもよい。一例として、信頼性スコアは、サーバに送信し返される／発行される全データに対して、（例えば）０．８を上回ることを必要とされてもよい。
一度自律車両から受信したら、サーバは、デルタ情報を用いてＨＤマップに更新を適用する前に、追加の検証動作を実行してもよい。例えば、サーバは、データと共有された（例えばそのメタデータ内にある）信頼性スコア／メトリックを検証してもよい。信頼性スコア値がサーバポリシー（例えば、マップを更新するのに使用される全デルタデータが例えば０．９という閾値よりも大きな信頼性スコアを有していなければならない）を満たす限りにおいて、次にサーバは、ＨＤマップの更新のためにデータを検討してもよい。いくつかの場合、サーバは、最近見受けられる自律車両のリストを維持してもよく、マップを更新するためのデータの信頼性スコアと共に、当該自律車両の各々に対する信用スコア／値を追跡してもよい。いくつかの実施形態では、信用スコアは、サーバがＨＤマップを更新するためにデータを使用するかどうかを判断するための追加のフィルタとして使用されてもよい。いくつかの場合、信用スコアは、受信したデータの信頼性スコアに基づいてもよい。一例として、信頼性スコアが第１の閾値を上回るならば、自律車両用の信用スコアは増加させてもよく（例えば（＋１）インクリメントしてもよく）、信頼性スコアが（第１の閾値よりも低い）第２の閾値を下回るならば、自律車両用の信用スコアは減少させてもよい（例えば（－１）ディクリメントしてもよい）。信頼性スコアが第１の閾値と第２の閾値との間ならば、自律車両用の信用スコアは同じままにしてもよい。いくつかの実装では、この追跡のために、ＩｏＴベースの評判システム（例えば、ＥｉｇｅｎＴｒｕｓｔまたはＰｅｅｒＴｒｕｓｔ）を利用し得る。いくつかの場合、センサデータは、センサデータが信用されるものであるかどうかを決定するべく、エリア内の他の自律車両からのセンサデータと互いに関連付けられてもよい。
いくつかの実施形態では、各々の車はサーバに向けてデータを発行するので、自律車両は、偽の匿名の証明書を用いてデータにサインしてもよい。自律車両は、例えばＶ２Ｘ通信用に設計された複数のスキームの１つを使用してもよい。いくつかの場合、サインされたデータがサーバで受信された場合、データがブラックリストに載っている自律車両からのものでない限りにおいて、ＨＤマップを更新するためのＨＤマップモジュールに渡されてもよい。他の場合、データがサインされるか否かは、自律車両用の信用スコアの決定の際に使用されてもよい。
認証および／または信用検証がサーバで成功しないならば、データが受信された自律車両用の信用スコアは、低くランク付けされ又は減少されてもよく、当該データは無視されてもよく／ＨＤマップを更新するのに使用されなくてもよい。いくつかの場合、信用スコアが指定の閾値を下回るならば、当該自律車両はブラックリストに載せられてもよい。認証および／または信用検証がサーバで成功したならば、自律車両用の信用スコアは増加されてもよく、当該自律車両から受信されたデータはＨＤマップを更新するのに使用されてもよい。本明細書で説明されるメカニズムはまた、信用の推移性を可能にし得、これにより、自律車両は、より遠く離れたソース（例えば他の自律車両）からのデータを使用することが可能になり、当該メカニズムは、任意の他の目的（例えば機械学習モデルの訓練のために）必要とされる任意のクラウドソーシングされたデータをランク付けするために使用され得る。
図７は、少なくとも１つの実施形態による自律車両のセンサデータを定格化する例示的な処理のフロー図である。図７に示される例示的な処理における動作は、自律車両の様々な態様またはコンポーネントによって実行されてもよい。例示的な処理は、追加の又は異なる動作を含んでもよく、動作は、示される順序で、または別の順序で、実行されてもよい。いくつかの場合、図７に示される動作の１または複数は、複数の動作、サブプロセス、または他のタイプのルーチンを含む処理として実装される。いくつかの場合、動作は、組み合わされ得、別の順序で実行され得、並行して実行され得、反復され得、またはそうでない場合には別の様式で繰り返され若しくは実行され得る。
ステップ７０２で、自律車両のセンサからセンサデータが受信される。センサデータは、カメラデバイス、ＬＩＤＡＲセンサデバイス、レーダデバイス、または別のタイプの自律車両センサデバイスからのデータを含んでもよい。
ステップ７０４で、センサデータ用の信頼性スコアが決定される。信頼性スコアは、ステップ７０２で受信されたセンサデータ、または他のセンサデータ（例えば天候または他の環境情報）から取得された又は収集された情報に基づいてもよく、（例えば、自律車両がセンサデバイスのデータを受け取る前にセンサデバイスを認証したかどうかの）センサデバイス認証ステータス情報に基づいてもよく、ローカルセンサ確証データに基づいてもよく、または、取得されたセンサデータを信用するかどうかを決定するのに有用であり得る他の情報（例えば、デバイスセンサ能力又は設定（例えば、カメラビデオビットレート）、受信されたセンサデータのビットエラー率など）、若しくは、センサデータの信用のレベルを決定するのに有用であり得る他の情報に基づいてもよい。
ステップ７０６で、信頼性スコアが閾値を上回るかどうかが決定される。上回るならば、ステップ７０２で受信されたセンサデータとＨＤマップデータとの間のデルタ値がステップ７０８で決定され、ステップ７１０でデルタ値が閾値を上回ると決定されたら、ステップ７１２で、自律車両はデータにサインして、ＨＤマップの更新のために当該データをサーバに発行する。信頼性スコアがその対応する閾値を下回る、または、デルタ値がその対応する閾値を下回るならば、ＨＤマップの更新のためにデータはサーバに向けて発行されない。
図８は、少なくとも１つの実施形態による、自律車両のセンサデータを定格化する例示的な処理のフロー図である。図８に示される例示的な処理における動作は、例えば自律車両用のＨＤマップを維持するサーバなどのサーバデバイスの様々な態様またはコンポーネントによって実行されてもよく、または、自律車両の１または複数のコンポーネントによって実行されてもよい。例示的な処理は、追加のまたは異なる動作を含んでもよく、動作は、示されている順序で、または別の順序で実行されてもよい。いくつかの場合、図８に示される動作のうちの１または複数は、複数の動作、サブプロセス、または他のタイプのルーチンを含む処理として実装される。いくつかの場合、動作は、組み合わされ得、別の順序で実行され得、並行して実行され得、反復され得、またはそうでない場合は別の様式で繰り返され若しくは実行され得る。
ステップ８０２で、自律車両からセンサデータが受信される。センサデータは、センサデバイスによって収集されるデータにおける信頼性のレベルを示す、センサデータと関連付けられる信頼性スコアを含んでもよい。信頼性スコアは、上記で説明された処理７００に従って計算されてもよい。いくつかの場合、信頼性スコアはメタデータに含まれてもよい。
ステップ８０４で、信頼性スコアは、ポリシー閾値と比較される。信頼性スコアが閾値よりも大きいと、次に、ステップ８０６で、信頼性スコアに基づいて自律車両用の信用スコアが更新される。もしそうでなければ、次に、ステップ８１２で、センサデータは無視される。
ステップ８０８で、信用スコアに少なくとも部分的に基づいて自律車両が信用されるかどうかが決定される。いくつかの場合、自律車両が信用されると決定することは、（例えば上記で説明した通り）自律車両がブラックリストに載っているかどうかに基づき得る。いくつかの場合、自律車両が信用されるかどうかを決定することは、（例えば、センサデータが正確であることを検証するべく）自律車両のセンサデータと、すぐ近くの他の自律車両からのセンサデータとの相関に基づき得る。自律車両が信用されるならば、ステップ８１０で、センサデータは、ＨＤマップを更新するのに使用されてもよい。信用されないならば、ステップ８１２で、センサデータは無視される。代替的に、自律車両がセンサデータ上で有する信用のレベルを決定し、従って、範囲またはスケールに基づいて適宜にＨＤマップを更新するべく、信用スコアに基づく信用のレベルが使用されてもよい。
本明細書で説明されるように、データ収集をクラウドソーシングすることは、自律車両の大群の助けを受けてデータセットを構築することから成り得る。自ら進んで、関連する、または取り損なった、または新しい情報を用いてデータを強化する、ソースおよびデータサプライヤが存在する。
自律車両の大群からデータを取得することは、データ収集を迅速にすることができ、それに続けて順に、自律車両用のモデル生成を早める、という結果をもたらす。データをクラウドソーシングする場合、データのいくつかは、不完全または不正確であり得、データが完全且つ正確であるかもしれない場合でさえ、そのような大量のデータを管理することはなおも困難であり得る。更に、クラウドソーシングされたデータは、異なる自律車両によって使用される多様なセンサによって誘発されるノイズレベルにおける差と共に、正および負のカテゴリのバランスを取っていないという、それ自体の現実世界の課題を提示する。従って、その良さを識別することを助けるやり方で、クラウドソーシングすることによって収集されたデータをスコアリングし且つランク付けすることが有益かもしれない。
従って、いくつかの態様で、クラウドソーシングされたデータは、自律車両用のジオロケーション情報に基づいてスコアリングされ且つランク付けされてもよい。いくつかの態様で、クラウドソーシングされたデータは、車両のメタデータに加えて、位置メタデータを検討することによって、スコアリングされ且つランク付けされてもよい。データをスコアリングし且つランク付けするべくジオロケーション情報を使用することによって、車両に固有のモデルに対立するものとして、位置に固有のモデルが生成されてもよい。
図９は、少なくとも１つの実施形態による、自律車両データ収集の例示的な環境９００の簡略化された図である。例示的な環境９００は、自律車両データスコアリングサーバ９０２と、クラウドソーシングされたデータストア９０６と、ネットワーク９０８を介して各々が互いに接続されている複数の自律車両９１０と、を備える。示されていないが、自律車両９１０の各々は、自律車両を制御し、且つ、複数の位置間の自律車両によるトリップを取り決めるべく、自律車両によって使用される１または複数のセンサを備える。更に説明されるように、例示的な環境９００は、自律車両９１０の各々からのデータ収集をクラウドソーシングするのに使用される。特に、自律車両９１０の各々は運転しているので、自律車両は、自律車両に結合された複数のセンサの各々から、カメラデータ、ＬＩＤＡＲデータ、ジオロケーションデータ、温度または他の天候データなどのセンサデータを集めるであろう。自律車両は、いくつかの場合、ネットワーク９０８を介して、自己のセンサデータを自律車両データスコアリングサーバ９０２に送信する。自律車両データスコアリングサーバ９０２は順に、本明細書で説明されるようにデータをスコアリングし又はランク付けしてもよく、且つ、スコアリング／ランク付けに基づいて、クラウドソーシングされたデータストア９０６にデータを格納するかどうかを決定してもよい。
いくつかの場合、自律車両によって送信されるデータは、画像データおよびセンサデータを含み、また、いくつかの関連付けられたメタデータを有し得る。位置に関連するメタデータ／タグを抽出し且つ生成するべく、複数のデータソースの両方が連動して又は分離して使用され得る。累積的な位置に固有のメタデータは、地理座標、例えば「45° 31' 22.4256'' N および 122° 59' 23.3880'' W」のような情報であり得る。それはまた、地形情報（例えば、「丘陵性」または「フラット」）、仰角情報（例えば、「59.1 m」）、温度情報（例えば、「20° C」）、または、ジオロケーションと関連付けられた天候情報（例えば、「晴れ」、「霧の深い」、または「雪」）などの環境のコンテキストを示す、追加の環境情報であり得る。（天候などの）位置に固有の且つ関連するメタデータの全てが、クラウドソーシングされたデータストアにデータを格納するかどうかを決定するべく、自律車両によって送信されたデータをスコアリングするのに使用されてもよい。いくつかの場合、データスコアリングアルゴリズムは、以下で更に説明されるように、データをスコアリングするための、位置コンテキストベースのヒートマップまたは密度マップのカスケードを使用することによって、データ収集に関する地理の飽和状態を実現してもよい。
例えば、地理座標、仰角、天候などのような多数の位置メタデータカテゴリが存在する場合、自律車両おセンサデータに対する全体の良さのスコアは、位置スコアを使用して決定されてもよい。位置スコアは、全てのカテゴリに亘る加重和であってもよく、以下の数１によって説明されてもよい。
Figure 0007460044000001
 ここでは、変数
Figure 0007460044000002
 、
Figure 0007460044000003
 、
Figure 0007460044000004
 の各々が、ヒートマップ、何れかのタイプの密度プロット、または何れかのタイプの密度分布マップ（例えば、図３０のヒートマップ３０００）から決定される値であり、
Figure 0007460044000005
 は、各々の位置メタデータカテゴリと関連付けられる重み（各々が、別個の密度プロットに基づいて計算され得る）である。いくつかの場合、位置スコアの複数の変数の各々は、０－１の間にあり、位置スコアもまた、０－１の間にある。
位置スコア計算の後、センサデータと関連付けられる追加の品質（例えば、ノイズレベル、画像データに関係するオブジェクト、など）が、センサデータに対する全体の良さのスコアを決定するのに使用されてもよい。いくつかの場合、センサデータに対する全体の良さのスコアは、全てのデータ品質の累積的な加重和であり、以下の数６によって説明されてもよい。
Figure 0007460044000006
 ここで、
Figure 0007460044000007
 は、データ品質カテゴリと関連付けられる重みである。いくつかの場合、全体の良さのスコアの変数の各々は、０－１の間にあり、全体の良さのスコアもまた０－１の間にある。（例えば、外部のデータリポジトリシステムによって、または、データスコアリングシステムを実装している他のコンピューティングシステムによって実行される）自律車両データスコアリングアルゴリズムによって出力される全体の良さのスコアは、自律車両のセンサデータと関連付けられてもよく、クラウドソーシングされたデータストアに自律車両データを渡すかどうかを決定するのに使用されてもよい。
いくつかの実装では、例示的な自律車両データスコアリングサーバ９０２は、プロセッサ９０３およびメモリ９０４を備える。例示的なプロセッサ９０３は、命令を実行し、例えば、本明細書で説明される複数の関数のうちの１または複数を実行する。命令は、メモリに格納された、プログラム、コード、スクリプト、または他のタイプのデータを含み得る。追加的に、または代替的に、命令は、予めプログラムされた又は予めプログラム可能なロジック回路、ロジックゲート、または他のタイプのハードウェア若しくはファームウェアコンポーネントとしてエンコードされ得る。プロセッサ９０３は、特殊なコプロセッサまたは別のタイプのデータ処理装置として、汎用マイクロプロセッサであってもよく、これを含んでもよい。いくつかの場合、プロセッサ９０３は、メモリ９０４に格納された、ソフトウェア、スクリプト、プログラム、関数、実行可能ファイル、または他の命令を実行または解釈するように構成されてもよい。いくつかの例では、プロセッサ９０３は、複数のプロセッサまたはデータ処理装置を含む。例示的なメモリ９０４は、１または複数のコンピュータ可読媒体を含む。例えば、メモリ９０４は、揮発性メモリデバイス、不揮発性メモリデバイス、またはそれらの組み合わせを含んでもよい。メモリ９０４は、１または複数のリードオンリメモリデバイス、ランダムアクセスメモリデバイス、バッファメモリデバイス、またはこれらの組み合わせ、および、他のタイプのメモリデバイスを含み得る。メモリ９０４は、プロセッサ９０３によって実行可能な命令（例えば、プログラム、コード、スクリプト、または他のタイプの実行可能命令）を格納してもよい。示されていないが、複数の自律車両９１０の各々は、プロセッサ９０３およびメモリ９０４と同様の、プロセッサおよびメモリを備えてもよい。
図１０は、少なくとも１つの実施形態による、自律車両用の例示的なクラウドソーシングされたデータ収集環境１０００の簡略化されたブロック図である。例示的な環境１０００は、自律車両１００２、クラウドにおける自律車両データスコアリング／ランク付けサーバ１００４、および、クラウドソーシングされたデータストレージ１００６を備える。示される例では、自律車両は、自己のセンサデータ用の、それ自体のストレージと、センサデータに基づいて自律車両をナビゲートするのに使用されるＡＩシステムとを備える。自律車両は、自己のセンサデータの全て又はいくつかを自律車両データスコアリング／ランク付けサーバに送信し、当該サーバは、データと共に含まれるメタデータを抽出して、メタデータを格納する。サーバはまた、自律車両からの画像およびセンサデータを解析して、追加の情報／メタデータを抽出し、且つ、情報を格納する。格納されたメタデータは、位置ベースのスコア（例えば、上記で説明された位置スコア）およびデータ品質スコア（例えば、上記で説明された全体の良さのスコア）を計算するサーバのスコアリングモジュールによって使用される。これらのスコアに基づいて、サーバは、自律車両センサデータをクラウドソーシングされたデータストレージに渡すかどうかを決定する。
いくつかの場合、サーバはまた、自律車両と関連付けられる車両ディペンダビリティスコアを計算してもよい。このスコアは、過去の位置スコア、良さのスコア、または他の情報に基づいてもよく、且つ、将来のデータスコアリング／ランク付けのために自律車両のアイデンティティを提供するための、いくつかのコンテキストとして、クラウドソーシング管理システムによって使用されるメトリックであってもよい。車両ディペンダビリティスコアはまた、将来、自己のデータを提供することへの自律車両の参加に対してインセンティブを与えるために使用されてもよい。
図１１は、少なくとも１つの実施形態による、センサデータの良さのスコアを計算する際の使用のための、例示的なヒートマップ１１００の簡略化された図である。示される例では、ヒートマップは、地理的コーディネートメタデータによる、クラウドソーシングされたデータの利用可能性を表わす。ヒートマップにおける各々の位置は、データの利用可能性と関連付けられた値を示す。示される例では、値は、０－１の範囲に亘る。マップ上のより明るいエリアは、これらの位置から利用可能なデータが最も少ないことを示すであろうが、より暗いエリアは、収集されたデータが密集しているエリアを示す。収集されたデータの密度における変化の理由は、以下の要因、すなわち人工密度、産業開発、地理的状態など、の１つ又は複数であり得る。従って、データスコアリングアルゴリズムの目的は、データをスコアリングし、その結果として、ヒートマップのより明るいエリアの地理的コーディネートにおいて十分なデータが収集されることであってもよい。収集されたデータはより明るい領域において不足しているので、寛大にスコアリングされるであろう。他方、密集データを有する、マップのより暗い領域からデータが収集されるならば、データにおけるノイズなどの要因は、データのスコアにより大きな影響を及すであろう。
位置スコアの各々の変数／要因は、それと関連付けられた別個のヒートマップを有してもよい。例えば、上記の位置スコアを参照すると、ジオ座標変数は、それと関連付けられた第１のヒートマップを有し、仰角変数は、それと関連付けられた第２のヒートマップを有し、天候変数は、それと関連付けられた第３のヒートマップを有するであろう。複数の変数の各々のために収集されるデータの量は、位置に応じて異なり得るので、複数のヒートマップの各々は異なる値を含んでもよい。複数の異なるヒートマップの複数の値は、例えば上記で説明されたような加重和によって、位置スコアを計算する際に使用されてもよい。
図１２は、少なくとも１つの実施形態による、自律車両センサデータ用の良さのスコアを計算する例示的な処理１２００のフロー図である。例示的な処理１２００における動作は、自律車両データスコアリングサーバ９０２（例えば図９のサーバ）の、又はこれに接続された、複数のコンポーネントによって実行されてもよい。例示的な処理１２００は、追加の又は異なる動作を含んでもよく、動作は、示される順序で又は別の順序で実行されてもよい。いくつかの場合、図１２００に示される複数の動作の１または複数は、複数の動作、サブプロセスまたは他のタイプのルーチンを含む処理として実装される。いくつかの場合、動作は、組み合わされ得、別の順序で実行され得、並行して実行され得、反復され得、またはそうでない場合には別の様式で繰り返され若しくは実行され得る。
ステップ１２０２で、１または複数の自律車両からセンサデータが受信される。センサデータは、（例えばカメラからの）ビデオ又は画像データおよびポイントデータ値（例えば温度、気圧など）の１または複数を含んでもよい。
ステップ１２０４で、センサデータから、ジオロケーションおよび他の環境情報が取得される。
ステップ１２０６で、センサデータ用に、その全体的な良さ又は品質を示すスコアが計算される。スコアは、ステップ１２０４で取得されたジオロケーションおよび環境情報に基づく。例えば、スコアは、上記で説明されたように、ジオロケーションおよび環境情報から計算される位置スコアに基づいてもよい。いくつかの場合、スコアはまた、センサデータと関連付けられた追加のスコアリング情報に基づいてもよい。例えば、スコアは、センサデータ用に計算される、ノイズスコア、オブジェクトダイバーシチスコア、または他のスコアに基づいてもよい。
ステップ１２０８では、ステップ１２０６で計算されたスコアが閾値を上回るかどうか、または値の範囲内にあるかどうか、が決定される。そうであれば、ステップ１２１０で、センサデータは、クラウドソーシングされた自律車両センサデータを収集するために使用されるデータベースに格納される。格納された場合、センサデータは、算出された良さのスコアと関連付けられてもよい。スコアが閾値を下回る、または値の範囲外にあるならば、ステップ１２０９で、センサデータは、破棄され、又はそうでない場合は格納されない。
自律車両用のＡＩアルゴリズムを訓練することを助けるためのデータの継続的な収集が関与するアプローチは、（運転してこのデータを取得するために大量に必要とされるデータおよびマイルに起因する）スケーラビリティ、および、正確な利用可能性（自律車両が遭遇するであろう全ての考え得る道路シナリオをカバーするのに必要とされる十分な数のデータセットを有する可能性）を伴う問題に遭遇するかもしれない。従って、自律車両は、自律車両用のＡＩシステムを訓練するために、より効率的で豊富なデータセットから利益を得るかもしれない。本開示の様々な実施形態では、データセットは、データセットをカテゴリ化して、各々のカテゴリ用に収集処理を誘導することによって、改善されてもよい。いくつかの実施形態では、各々のデータセットは、自己のカテゴリに基づいてスコアリングされてもよく、データセットのスコアは、収集されたデータ用の処理技術を決定するのに使用されてもよい。
特定の実施形態では、自律車両によって収集されるデータは、カテゴリ化、スコアリング、および、カテゴリ化またはスコアリングに基づくハンドリング、を含む新規な処理を受ける。様々な実施形態では、この新規な処理（またはそれらの１または複数のサブ部分）は、（例えばクラウドにおいて）自律車両にネットワークで繋げられたコンピューティングシステム（例えば遠隔処理システム１３０４）によってオフラインで実行されてもよく、および／または、自律車両のコンピューティングシステム（例えば自律車両コンピューティングシステム１３０２）によってオンラインで実行されてもよい。
図１３は、特定の実施形態による、データカテゴリ化、スコアリング、およびハンドリングのフローを示す。図１３は、遠隔処理システム１３０４に結合された自律車両コンピューティングシステム１３０２を示す。システム１３０２および１３０４における様々なモジュールの各々は、任意の好適なコンピューティングロジックを使用して実装されてもよい。自律車両コンピューティングシステム１３０２は、ポイントツーポイントリンク、ネットワーク、ファブリックなどを含む、任意の好適な相互接続を介して、遠隔処理システム１３０４に結合され、車両からのデータを遠隔処理システム（例えば、車からのデータをコピーし、次に、データをクラウドクラスタに再コピーする特別なデバイス）に転送してもよい。他の実施形態では、システム１３０２からのデータは、好適な通信チャネル（例えば、複数のシステムのうちの１つからそのようなデータを含むストレージを除去し、且つ、それを他に結合する）を介して、システム１３０４に利用可能とされてもよい（またはその逆にされてもよい）。自律車両コンピューティングシステム１３０２は、本明細書で説明される他の車両の任意の好適なコンポーネントまたは特性を有し得る自律車両内に一体化されてもよく、遠隔処理システム１３０４は、本明細書で説明される他の遠隔（例えばクラウド）処理システムの任意の好適なコンポーネントまたは特性を有してもよい。例えば、遠隔処理システム１３０４は、システム１４０または１５０の任意の好適な特性を有してもよく、コンピューティングシステム１３０２は、車両１０５のコンピューティングシステムの任意の好適な特性を有してもよい。
当該フローでは、車両１３０２によって、データ１３０６の様々なストリームが収集される。データ１３０６の各々のストリームは、例えば本明細書で説明されるセンサまたは他の好適なセンサのうちの何れか１または複数などの、車両のセンサから収集されてもよい。ストリーム１３０６は、車両の記憶デバイス１３０８に格納されてもよく、また、遠隔処理システム１３０４にアップロードされてもよい。
データストリームは、人工知能（ＡＩ）オブジェクト検出器１３１０に提供されてもよい。検出器１３１０は、オブジェクト検出と関連付けられる動作を実行してもよい。特定の実施形態では、検出器１３１０は、訓練モジュールおよび推論モジュールを含んでもよい。訓練モジュールは、推論モジュールを訓練するのに使用されてもよい。例えば、経時的に、訓練モジュールは複数のアップロードされたデータセットを解析して、推論モジュールによって使用されるパラメータを決定してもよい。アップロードされたデータストリームは、推論モジュールへの入力として供給されてもよく、推論モジュールは、１または複数の検出されたオブジェクト１３１２と関連付けられた情報を出力してもよい。
オブジェクト検出器１３１０の推論モジュールの、出力のフォーマットは、用途に基づいて異なってもよい。一例として、検出されたオブジェクト情報１３１２は、１または複数の検出されたオブジェクトを含む１または複数の画像を含んでもよい。例えば、検出されたオブジェクト情報１３１２は、より大きな画像の関係する領域を含んでもよく、ここで、関係する当該領域は、１または複数の検出されたオブジェクトを含む。いくつかの実施形態では、検出されたオブジェクト情報１３１２の各々のインスタンスは、関係するオブジェクトの画像を含む。いくつかの例では、関係するオブジェクトは、複数の検出されたオブジェクトを含んでもよい。例えば、検出された車両は、例えばホイール、フレーム、窓などの、複数の検出されたオブジェクトを含んでもよい。様々な実施形態では、検出されたオブジェクト情報１３１２はまた、検出されたオブジェクトと関連付けられたメタデータを含んでもよい。例えば、検出されたオブジェクト情報１３１２のインスタンスにおいて検出された各々のオブジェクト用に、メタデータは、オブジェクトのタイプ（例えば、車両、ツリー、歩行者、など）、オブジェクトの位置（例えば、座標）、オブジェクトの深度、オブジェクトと関連付けられたコンテキスト（例えば、本明細書で説明される複数のコンテキスト、例えば、オブジェクトを検出するのに使用されるデータの捕捉と関連付けられる、その日の時刻、道路のタイプまたは地理的位置、の何れか）、または他の好適な情報を説明する、１または複数の分類器を含んでもよい。
検出されたオブジェクト情報１３１２は、更なる処理のため、オブジェクトチェッカ１３１４に提供されてもよい。オブジェクトチェッカ１３１４は、検出されたオブジェクト情報１３１２のインスタンスにカテゴリを割り当てるのに使用される出力を提供する、任意の好適な数のチェッカを含んでもよい。本開示によって任意の好適なチェッカまたは複数のチェッカの組み合わせが想定されるが、示される実施形態では、オブジェクトチェッカ１３１４は、最もよく知られたオブジェクト（ＢＫＯ）チェッカ１３１６、オブジェクトダイバーシチチェッカ１３１８、および、ノイズチェッカ１３２０を含む。様々な実施形態では、オブジェクトチェッカ１３１４の複数のチェッカが、互いに並行して、またはシーケンシャルに、それらの動作を実行する。
検出されたオブジェクト情報１３１２に加えて、オブジェクトチェッカ１３１４はまた、アップロードされたデータストリームを受信してもよい。様々な実施形態では、ＢＫＯチェッカ１３１６、オブジェクトダイバーシチチェッカ１３１８およびノイズチェッカ１３２０のうちの何れか１または複数は、生のデータストリームを利用してもよい。
検出されたオブジェクト情報１３１２のインスタンスを受信したことに応答して、ＢＫＯチェッカ１３１６は、ＢＫＯデータベース（ＤＢ）１３２２を参照して、検出されたオブジェクト情報１３１２のインスタンスの、１または複数の検出されたオブジェクトの、共通性のレベルを決定する。ＢＫＯ ＤＢ１３２２は、最もよく知られた（例えば最も一般的に検出される）オブジェクトのインディケーションを格納するデータベースである。いくつかの実施形態では、ＢＫＯ ＤＢ１３２２は、最もよく知られたオブジェクトのリストを含んでもよく、このリスト上に無いオブジェクトは、最もよく知られたオブジェクトではないと見做されてもよく、こうして、（最もよく知られているものである又は最もよく知られたものではない、という）二進値を使用して、具体的なオブジェクトの共通性のレベルが表現されてもよい。他の実施形態では、ＢＫＯ ＤＢ１３２２は、複数のオブジェクトの各々に対する共通性のより粒状なレベルを含んでもよい。例えば、ＢＫＯ ＤＢ１３２２は、各々のオブジェクト用に、一範囲（例えば０から１０）から選択されたスコアを含んでもよい。特定の実施形態では、各々のオブジェクト用に、共通性の複数のレベルが格納されてもよく、各々のレベルは、特定のコンテキストに対する、オブジェクトの共通性のレベルを示す。例えば、自転車は、街路上では高レベルの共通性を有してもよいが、高速道路上では低レベルな共通性を有してもよい。別の例として、例えば車を牽引するロバまたは馬などの動物は、世界のごく一部のコンテキストおよび領域を除いて、全てにおいて低レベルな共通性を有してもよい。共通性の組み合わせレベルがまた決定されてもよく、例えば、小道を移動している１または複数のモペッドは、欧米諸国よりは東南アジア諸国において、高速道路上でさえも共通である。共通性スコアは、特定の環境に適用する特定のルールセットに従って規定され得る。
ＢＫＯ ＤＢ１３２２は、データが収集されると、動的に更新されてもよい。例えば、ＢＫＯ ＤＢ１３２２のロジックは、ＢＫＯチェッカ１３１６から（例えば、そのような情報は、オブジェクトの共通性のレベルに対する要求に含まれてもよい）又は別のエンティティ（例えばオブジェクト検出器１３１０）から、検出されたオブジェクトを識別する情報を受信してもよい。様々な実施形態では、情報はまた、検出されたオブジェクトと関連付けられたコンテキストを含んでもよい。ロジックは、具体的なオブジェクトに対する検出の回数および／または頻度を示す、ＢＫＯ ＤＢ１３２２内の情報を更新してもよい。いくつかの実施形態では、ロジックはまた、オブジェクトの共通性のレベルが変化したかどうかを決定してもよい（例えば、オブジェクトが検出された頻度が閾値を跨いだら、オブジェクトの共通性のレベルは上昇し得る）。
ＢＫＯチェッカ１３１６からの要求に応答して、ＢＫＯ ＤＢ１３２２は、オブジェクトの共通性のレベルを戻してもよい。ＢＫＯチェッカ１３１６は次に、このレベルをカテゴリアサイナ１３２４に提供する。
オブジェクトダイバーシチチェッカ１３１８は、ダイバーシチ（例えば、オブジェクトを含むストリームが多様であるか否かといったもので、これは、ストリーム当たりのオブジェクトの数および各々のオブジェクトの共通性に基づき得る）に基づいて、検出されたオブジェクト情報１３１２のインスタンスをスコアリングする。検出されたオブジェクト情報１３１２のインスタンスのダイバーシチスコアは、インスタンスが多数の検出されたオブジェクトを含む場合にはより高くてもよく、検出されたオブジェクトが異種のものである場合には更に一層高くてもよい。例えば、検出された車又は自転車は、複数の検出されたオブジェクト（例えば、ホイール、フレームなど）を含んでもよく、相対的に高いダイバーシチスコアを受信してもよい。しかしながら、同種のオブジェクトは、結果として、相対的に低いダイバーシチスコアになるかもしれない。しかしながら、滅多に一緒に見られることがない複数のオブジェクトは、相対的に高いダイバーシチスコアを受信してもよい。例えば、レース中の複数の自転車、または、道路上の（例えばマラソン中の）複数のランナーは、１人が走っているシーンに対して多様であると見做されてもよい。オブジェクトダイバーシチチェッカ１３１８は、任意の好適な情報、例えば、生のセンサデータ、ＢＫＯチェッカ１３１６からの検出されたオブジェクトのインディケーション、および、ＢＫＯチェッカ１３１６からの検出されたオブジェクトの数、などに基づいて、ダイバーシチを決定してもよい。
ノイズチェッカ１３２０は、検出されたオブジェクト情報１３１２のインスタンスと関連付けられた、アップロードされたデータストリームを解析し、且つ、インスタンスと関連付けられるノイズスコアを決定する。例えば、インスタンスは、下にあるデータストリームが低い信号雑音比を有する場合に、より高いスコアを有してもよい。下にあるデータストリームの１または複数が破損しているように見えるならば、ノイズスコアはより低くなるであろう。
カテゴリアサイナ１３２４は、オブジェクトチェッカ１３１４の様々なチェッカの出力を受信し、且つ、チェッカの出力に基づいて、検出されたオブジェクト情報１３１２のインスタンス用に１または複数のカテゴリを選択する。本開示は、データハンドリングポリシーに影響を及ぼすのに使用され得る、任意の好適なカテゴリを想定している。いくつかの例示的なカテゴリは、Ｃｏｍｍｏｎ Ｄａｔａ、Ｍｉｎｏｒｉｔｙ Ｃｌａｓｓ Ｄａｔａ、Ｄａｔａ Ｒｉｃｈ ｏｆ Ｄｉｖｅｒｓｅ Ｏｂｊｅｃｔｓ、および、Ｎｏｉｓｙ Ｄａｔａである。これらのカテゴリのうちの何れか１または複数は、オブジェクトチェッカ１３１４から受信される出力に基づいて、インスタンスに適用されてもよい。
Ｃｏｍｍｏｎ Ｄａｔａカテゴリは、頻繁に遭遇されるオブジェクトに適用されてもよく、こうして、システムは既に、そのようなオブジェクトに対してロバストなデータセットを有してもよい。Ｍｉｎｏｒｉｔｙ Ｃｌａｓｓ Ｄａｔａカテゴリは、初めての又は相対的に頻繁ではないオブジェクトを含むインスタンスに適用されてもよい。様々な実施形態では、Ｃｏｍｍｏｎ ＤａｔａカテゴリおよびＭｉｎｏｒｉｔｙ Ｃｌａｓｓ Ｄａｔａカテゴリの両方が、オブジェクトの検出の絶対頻度、および／または、オブジェクトの検出のコンテキスト固有の頻度に基づいてもよい。Ｄａｔａ Ｒｉｃｈ ｏｆ Ｄｉｖｅｒｓｅ Ｏｂｊｅｃｔｓカテゴリは、複数の多様なオブジェクトを含むインスタンスに適用されてもよい。Ｎｏｉｓｙ Ｄａｔａカテゴリは、相対的に高いノイズを伴うデータを有するインスタンスに適用されてもよい。他の実施形態では、任意の好適なカテゴリが使用されてもよい。複数の例として、カテゴリは、「Ｖｅｒｙ Ｒａｒｅ」、「Ｍｏｄｅｒａｔｅｌｙ Ｒａｒｅ」、「Ｍｏｄｅｒａｔｅｌｙ Ｃｏｍｍｏｎ」および「Ｖｅｒｙ Ｃｏｍｍｏｎ」カテゴリ、または、「Ｖｅｒｙ Ｎｏｉｓｙ」、「Ｓｏｍｅｗｈａｔ Ｎｏｉｓｙ」および「Ｎｏｔ Ｎｏｉｓｙ」カテゴリを含んでもよい。
いくつかの実施形態では、検出されたオブジェクト情報１３１２のインスタンスに対して１または複数のカテゴリが選択された（または１つのカテゴリも選択されなかった）後、カテゴリ選択に基づく追加のメタデータが、メタデータモジュール１３２６によってインスタンスと関連付けられてもよい。特定の実施形態では、そのようなメタデータは、カテゴリ選択に基づく、検出されたオブジェクト情報１３１２のインスタンス用のスコアを含んでもよい。特定の実施形態では、スコアは、データの重要性を示してもよい。スコアは、任意の好適な様式で決定されてもよい。一例として、Ｃｏｍｍｏｎ Ｄａｔａとしてカテゴリ化された（または別様に高い発生頻度を示すカテゴリを割り当てられた）インスタンスは、同様のデータがシステムを訓練するのに既に使用されている可能性が高いことに起因して、そのようなデータはシステムの機能を改善しないかもしれないので、相対的に低いスコアを受信してもよい。別の例として、Ｍｉｎｏｒｉｔｙ Ｃｌａｓｓ Ｄａｔａとしてカテゴリ化されたインスタンスは、そのようなデータはシステムを訓練するのに既に使用されている可能性が高くないので、相対的に高いスコアを受信してもよい。別の例として、Ｄａｔａ Ｒｉｃｈ ｏｆ Ｄｉｖｅｒｓｅ Ｏｂｊｅｃｔｓとしてカテゴリ化されたインスタンスは、多様なオブジェクトを伴うインスタンスは訓練目的でより有用であると考えられ得るので、Ｄａｔａ Ｒｉｃｈ ｏｆ Ｄｉｖｅｒｓｅ Ｏｂｊｅｃｔｓとしてカテゴリ化されていない同様のインスタンスより高いスコアを受信してもよい。別の例として、Ｎｏｉｓｙ Ｄａｔａとしてカテゴリ化されたインスタンスは、より高いノイズを有するインスタンスは訓練目的であまり有用ではないと考えられ得るので、Ｎｏｉｓｙ Ｄａｔａとしてカテゴリ化されていない同様のインスタンスより低いスコアを受信してもよい。
いくつかの実施形態では、スコアに加えて、（またはスコアの代替例として、）任意の好適なメタデータが、検出されたオブジェクト情報１３１２のインスタンスと関連付けられてもよい。例えば、下にあるデータストリームと関連付けられたコンテキストの何れかは、メタデータ内に含まれてもよく、コンテキストは、スコアに影響を与え得る（例えば、第１のコンテキストにおける共通のデータは、第２のコンテキストにおけるマイノリティデータであり得る）。
データのインスタンス、カテゴリ決定、カテゴリ化に基づくスコア、および／または、追加のメタデータが、データハンドラ１３３０に提供されてもよい。データハンドラ１３３０は、データのインスタンスに対して１または複数の動作を実行してもよい。本開示によって、任意の好適な動作が想定される。例えば、データハンドラ１３３０は、より低いスコアを有する、または特定のカテゴリの、または複数のカテゴリの組み合わせの、インスタンスをパージしてもよい。別の例として、データハンドラ１３３０は、より高いスコアを有する、または特定のカテゴリの、または複数のカテゴリの組み合わせの、インスタンスを格納してもよい。別の例として、データハンドラ１３３０は、インスタンスと関連付けられた合成データの生成に対する要求を生成してもよい（例えば、データハンドラ１３３０は、Ｍｉｎｏｒｉｔｙ Ｃｌａｓｓ Ｄａｔａとして分類されるオブジェクトと関連付けられた合成データの生成を要求してもよい）。別の例として、データハンドラ１３３０は、１または複数の自律車両のセンサによる、インスタンスのオブジェクトに関連するより多くのデータの収集に対する要求を生成してもよい。更に別の例として、データハンドラ１３３０は、インスタンス（および／または下にあるデータストリーム）が、（例えばオブジェクト検出器１３１０によって）訓練用に使用され得るデータのセットに含まれるべきであると決定してもよい。
データのインスタンス、カテゴリ決定、カテゴリ化に基づくスコア、および／または、追加のメタデータはまた、データスコアリングトレーナ１３２８に提供されてもよい。データスコアリングトレーナ１３２８は、カテゴリおよび／またはスコア上のモデルを訓練する。様々な実施形態では、検出されたオブジェクトのインスタンス、並びに、それらの関連付けられたスコアおよび／またはカテゴリは、データスコアリングトレーナ１３２８によって、グラウンドトゥルースとして使用されてもよい。トレーナ１３２８は、訓練モデル１３３２を出力する。訓練モデルは、車両ＡＩシステム１３３４に提供され、車両ＡＩシステム１３３４によって検出されるオブジェクトをカテゴリ化および／またはスコアリングするべく、車両によって使用されてもよい。様々な実施形態では、モデルを訓練するのに使用されるデータのインスタンスは、カテゴリおよび／またはスコアに基づいてフィルタリングされる。例えば、一般的に遭遇されたオブジェクトを含むインスタンスは、訓練セットから省略されてもよい。
車両ＡＩシステム１３３４は、例えば自律車両スタックの複数の動作のうちの１または複数など、任意の好適な自律運転動作を実行する、回路および他のロジックを備えてもよい。特定の実施形態では、車両ＡＩシステム１３３４は、データストリーム１３０６を受信してもく、且つ、オブジェクトを検出するべくデータストリーム１３０６を処理する。
車載カテゴリアサイナ１３３６は、カテゴリアサイナ１３２４の何れか１または複数の特性を有してもよい。検出されたオブジェクト（例えば、検出されたオブジェクトだけでなくコンテキストも）のインスタンスについての情報は、インスタンス用の１または複数のカテゴリ（例えば、上記で説明されたカテゴリまたは他の好適なカテゴリのうちの１または複数）を選択するカテゴリアサイナ１３３６に提供されてもよい。いくつかの実施形態では、カテゴリアサイナ１３３６またはコンピューティングシステム１３０２の他のロジックはまた（または代替的に）、検出されたオブジェクトのインスタンスにスコアを割り当ててもよい。いくつかの実施形態では、スコアは、カテゴリアサイナ１３３６による検出されたオブジェクトのカテゴリ化に基づいてもよい。他の実施形態では、スコアは、自律車両によるカテゴリの任意の明示的な決定をせずに、自律車両によって決定されてもよい。様々な実施形態では、検出されたオブジェクトに割り当てられるカテゴリおよび／またはスコアは、データスコアリングトレーナ１３２８によって生成されるパラメータを利用する１または複数の機械学習推論モジュールを使用して決定される。
カテゴリアサイナ１３３６の出力は、データハンドラ１３３０の何れか１または複数の特性を有し得る車載データハンドラ１３３８に提供されてもよい。様々な実施形態では、カテゴリアサイナ１３３６の出力はまた、オンライン学習およびスコアリングに基づくＢＫＯデータの更新を容易にするべく、ＢＫＯ ＤＢ１３２２に提供されてもよい。
データハンドラ１３３８は、データハンドラ１３３０の何れか１または複数の特性を有してもよい。データハンドラ１３３８は、車載カテゴリアサイナ１３３６の出力に基づいて、車両によって捕捉されるデータストリームをどのようにハンドリングするかについての決定をしてもよい。例えば、データハンドラ１３３８は、カテゴリアサイナ１３３６の出力に基づいて、上記で説明された複数の動作の何れかを取ってもよく、または、データと関連付けられた他の好適な動作を実行してもよい。ただの一例として、データハンドラ１３３８は、データスコアリングに基づいて、検出されたオブジェクトと関連付けられたデータが車両に格納されるかパージされるかを決定してもよい。
様々な実施形態では、データをスコアリングするのに使用される位置ベースのモデルは、自律車両によるより良い意思決定のための有用な誘導を提供してもよいだけでなく、データの緊急性および重要性を合成してもよい。捕捉されたデータの位置は、データの捕捉と関連付けられる他のコンテキスト上のデータ、例えば、（例えば、入力としての位置を使用することによって、データベースまたは他のサービスから）天候、交通、歩行者フロー、などを取得するべく、自律車両コンピューティングシステム１３０２または遠隔コンピューティングシステム１３０４によって使用されてもよい。そのような捕捉されたデータは、情報の時系列を形成するべく、特定の細分性で収集されてもよい。同じ位置は、その位置のある半径内で捕捉された各々のデータストリームと関連付けられてもよく、車両がこの領域内で自己の知覚および判断能力を改善することを可能にしてもよい。当該位置は、上記で説明された複数のモジュールの何れかによって考慮に入れられてもよい。ただの一例として、ＢＫＯ ＤＢ１３２２は、位置固有のデータ（例えば、第１の位置に対する様々なオブジェクトの一連の共通性レベル、第２の位置に対する様々なオブジェクトの共通性レベルの別個のリスト、など）を格納してもよい。
図１４は、特定の実施形態による、カテゴリ化に基づいてデータをハンドリングするための例示的なフローを示す。ステップ１４０２で、車両の１または複数のセンサによって捕捉されたデータからの、１または複数のオブジェクトのインスタンスが識別される。ステップ１４０４で、複数のカテゴリに対するインスタンスをチェックし、且つ、複数のカテゴリのうちの少なくとも１つのカテゴリをインスタンスに割り当てることによって、インスタンスのカテゴリ化が実行される。ステップ１４０６で、インスタンスのカテゴリ化に基づいてスコアが決定される。ステップ１４０８で、スコアに少なくとも部分的に基づいて、インスタンス用のデータハンドリングポリシーが選択される。ステップ１４１０で、インスタンスは、決定されたデータハンドリングポリシーに基づいて処理される。
品質機械学習モデルを作成することは、モデル生成用の訓練中にロバストなデータセットを使用することを含む。概して、モデルはせいぜい、自己が訓練用に使用するデータセットと同じ程度である。多くの用途、例えばオブジェクトまたは人の識別のための画像上の訓練では、データセット収集はかなり単純である。しかしながら、他の場合では、あまり共通していない複数のコンテキストまたはそれらの組み合わせに対するデータセット収集は、極めて難しいものであり得る。モデルが不十分なデータに基づいてコンテキストを識別または分類することのタスクを課せられ得るので、これはモデル開発に対して難しい課題を提示している。理想的な状況では、オブジェクト検出モデルを訓練するのに使用されるデータセットは、各々のカテゴリに対して等しい又は同様の量のデータを有する。しかしながら、車両は負のデータよりも遥かに多くの正のデータと遭遇するので、車両センサから収集されるデータセットは概ねバランスがとれていない。
本開示の様々な実施形態では、システムは、１または複数のコンテキスト用に、実際のデータが足りていないデータセットを増強するべく、合成データを作成してもよい。いくつかの実施形態では、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）画像生成器が、合成データを作成する。ＧＡＮは、機械学習を、より具体的には、ディープラーニングを使用して、ＧＡＮへの入力として提示されるキーワードのリストに基づいて画像（例えば、静止画像またはビデオクリップ）を生成する生成系モデルのタイプである。ＧＡＮは、画像を作成するのに使用されるこれらのキーワードを使用する。様々な実施形態はまた、画像生成用に何れのキーワードがＧＡＮに提供されるかを決定するロジックを用いる。単にランダムデータをＧＡＮに供給するだけでは、多数の使用不可能なデータという結果になるであろう。特定のコンテキストの組み合わせは、現実世界で発生していることと一致しないかもしれない。例えば、サウジアラビアで吹雪の中、高速道路の真ん中にいる道化師は、事実上不可能なことと同程度に可能性が低い事象である。別の例として、雪に覆われた高速道路上で複数の自転車に遭遇することは、（前のシナリオよりは遥かに可能性が高いが、）可能性が低い。従って、システムは、（例えば、「自転車」、「雪」、「高速道路」というキーワードを使用することによって）このシナリオ用に画像を生成してもよいが、前のシナリオ用には画像を生成しなくてもよい。合成データ作成をインテリジェントに制御することによって、システムは、そうでない場合に、実際の生活でそれに遭遇する車両用に非常に長い時間を必要とするであろう（訓練用の）画像を作成してもよい。
様々な実施形態は、データ利用可能性およびモデル生成を民主化する際に貴重であってもよい。例えば、例えばサービスとしての自律運転などの空間内のエンティティの成功は、エンティティにアクセス可能なデータセットの量およびダイバーシチに激しく依存し得る。従って、市場が成熟しつつある数年のうちに、早い時期に自己のデータ収集を開始した既存のプレイヤーは、不正利益を有するかもしれず、これは潜在的に、新規参入者によるイノベーションを押しやることになる。そのようなデータ格差はまた、学会が、蓄積された大量のデータセットを有する他のエンティティとの関係を通じて大量のデータを利用できない限り、アカデミアの研究を妨げるかもしれない。様々な実施形態は、訓練モデルに利用可能なデータの利用可能性を増加することによって、そのような圧力を改善してもよい。
図１５は、特定の実施形態による、合成データをインテリジェントに生成するシステム１５００を示す。システム１５００は、例えば、情報を格納するメモリ、および、システム１５００の複数の機能の何れかを実行する１または複数のプロセッサなどの任意の好適なコンポーネントを備える、任意の好適なコンピューティングシステムを表わしている。示される実施形態では、システム１５００は、実際のデータソース１５０２にアクセスし、実際のデータソースを画像データセット１５０４および非画像センサデータセット１５０６に格納する。実際のデータソース１５０２は、本物の車両またはシミュレーションされた運転環境から収集されるデータを表わしてもよい。そのような実際のデータは、画像データ、例えば、１または複数のカメラからのビデオデータストリーミング、１または複数のＬＩＤＡＲからのポイントクラウド、または、１または複数の車両若しくはサポートインフラストラクチャ（例えば路側カメラ）から取得される同様の画像データなどを含んでもよい。収集された画像データは、任意の好適な記憶媒体を使用して画像データセット１５０４に格納されてもよい。実際のデータソースはまた、非画像センサデータ、例えば、車両と関連付けられ得る多数のセンサの何れかからのデータなどを含んでもよい。非画像センサデータはまた、時系列データと称され得る。このデータは、例えばタイムスタンプおよび関連付けられた値などの任意の好適な形態を取ってもよい。非画像センサデータは、例えば、動きセンサ、ＧＰＳ、温度センサ、または、任意の所与のレートでデータを生成する、車両内で使用される任意の処理、からの測定値を含んでもよい。収集された非画像センサデータは、任意の好適な記憶媒体を使用して非画像データセット１５０６に格納されてもよい。
コンテキスト抽出モジュール１５０８は、画像データおよび非画像センサデータのインスタンスにアクセスしてもよく、データと関連付けられるコンテキストを決定してもよい。例えば本明細書で説明される複数のコンテキストの何れかなどの（単一の状態または複数の状態の組み合わせを表わし得る）コンテキストを生成するべく、２つのタイプのデータが一緒に又は別個に使用されてもよい。例えば、「雪」とのコンテキストを生成するのに、画像データが単独で使用されてもよい。別の例として、「霧の深い且つ多湿」とのコンテキストを生成するのに、画像データおよび温度データが使用されてもよい。更に別の例では、「超過速度限界」とのコンテキストを生成するのに、センサデータが単独で使用されてもよい。決定されたコンテキストは多くの場合、生のデータと関連付けられたメタデータとして表現される。
コンテキスト抽出モジュール１５０８は、任意の好適な形態を取ってもよい。特定の実施形態では、モジュール１５０８は、入力としてデータの１または複数のストリームを受信し、且つ、そこからコンテキストを生成することができる分類アルゴリズム（例えば、機械学習アルゴリズム）を実装する。決定されたコンテキストは、コンテキストを生のデータストリーム（例えば画像データおよび／または非画像センサデータセット）に戻してマッピングするのに使用され得るタイムスタンプと関連付けられたメタデータ／コンテキストデータセット１５１０に格納される。これらの格納されたメタデータストリームは、ある期間に亘る運転環境状態の説明を伝えてもよい。モデル開発用に、画像データおよび非センサ画像データは多くの場合、クラウドで収集され、データサイエンティストおよび機械学習の専門家は、それらを有効化して、自律車両の異なる部分で使用され得る複数のモデルを生成するべく、利用権限を与えられる。
キーワードスコアリングモジュール１５１２は、コンテキストデータのインスタンスを検討し（コンテキストは、メタデータの１または複数のピースを含み得る）、且つ、各々の検討されたインスタンス用に、各々のコンテキストインスタンスの発生頻度を示す共通性のレベルを識別するであろう。この共通性のレベルは、システムがどれくらいの頻度で特定のコンテキストに遭遇したか（実際のデータソースに適用されたコンテキストを介したか、または、合成的に生成された画像に適用されたコンテキストを介したか）を示してもよい。特定のコンテキスト用の共通性のレベルは、その特定のコンテキストを伴うデータがどれほど、（例えばモデル訓練において使用される）システムに利用可能であるかを表わしてもよい。共通性のレベルは、（例えば、メタデータ／コンテキストデータセット１５１０に、または他の好適な記憶位置に）コンテキストと関連付けられて保存されてもよい。
キーワードスコアリングモジュール１５１２は、任意の好適な様式で、共通性のレベルを決定してもよい。例えば、コンテキストインスタンスが遭遇される度に、コンテキストに固有のカウンタがインクリメントされてもよい。他の例では、メタデータ／コンテキストデータセット１５１０は、そのコンテキストのインスタンスがどれほどデータベース１５１０に格納されるかを決定するべく検索されてもよい。一例では、一度コンテキストが閾値回数だけ遭遇されたら、当該コンテキストは、合成画像生成用の候補として選択されないように、「一般的に知られている」などとラベル付けされてもよい。いくつかの実施形態では、メタデータ／コンテキストデータセット１５１０は、コンテキストのテーブルを、各々のコンテキストの、関連付けられた共通性のレベルと共に格納してもよい。
キーワード／コンテキストセレクタモジュール１５１４は、メタデータ／コンテキストデータセット（または他のストレージ）にアクセスしてもよく、且つ、様々なコンテキスト、および、それらの関連付けられた共通性のレベルを解析して合成画像生成用の候補を識別してもよい。特定の実施形態では、モジュール１５１４は、（システムが、非常に共通している複数のコンテキスト用に十分なデータを既に有しているかもしれないので）あまり共通していない複数のコンテキストを探す。モジュール１５１４は、１つのセッション内で（例えば、定期的に又はトリガの際に）複数のコンテキストを解析することによって、バッチ処理された様式でそのようなコンテキストを検索してもよく、または、その共通性のレベルにおける変化に応答してコンテキストを解析してもよい。モジュール１５１４は、各々がコンテキストを説明する１または複数のキーワードを含んでいる、１または複数のコンテキストを選択してもよい。例えば、上記の例を参照すると、選択されたコンテキストは、「自転車」、「雪」および「高速道路」とのキーワードを含んでもよい。
合成画像生成用の候補としてコンテキストを選択した後、モジュール１５１４は、コンテキスト可能性データベース１５１６を参照して、選択されたコンテキストが現実世界で生じるかどうかを決定してもよい。コンテキスト可能性データベース１５１６は、本、記事、インターネットウェブサイト、または他の好適なソースからコンパイルされたデータ（例えば、テキスト、写真およびビデオ）を使用して生成されてもよい。コンテキスト可能性データベース１５１６のデータは、より多くのデータがオンラインで利用可能になるに連れて、強化されてもよい。データは、任意の好適な様式で、例えば、ウェブサイトをクローリングし且つそのようなウェブサイトからデータを抽出することによって、またはデータソースのアプリケーションプログラミングインタフェースを利用することによって、または他の好適な方法によって、オンラインソースから取り入れられてもよい。（写真およびビデオを含む）画像データは、画像内に存在するオブジェクトおよびコンテキストと関連付けられたキーワードを決定するべく、機械学習または他の分類アルゴリズムを使用して処理されてもよい。収集されたデータは、他のキーワードに対するキーワードの近接を検索するように、データベース内でキーワードを検索することを容易にするべく、インデックス処理されてもよい。集められたデータは、特定のコンテキストが現実世界で生じるかどうかの推論を可能にする、コンテキストのライブラリを形成してもよい。
合成画像生成用の候補としてコンテキストを選択した後、モジュールｑ１４は、コンテキスト可能性データベース１５１６を参照して、コンテキストの複数のキーワードが、コンテキスト可能性データベース１５１６内の収集されたデータソース内で、どれくらいの頻度で一緒に現われるのかを決定してもよい。当該複数のキーワードが一度も一緒に現われていないならば、モジュール１５１４は、当該コンテキストは現実世界で現われないと決定してもよく、且つ、当該コンテキスト用に合成画像を生成しないと決定してもよい。いくつかの実施形態では、当該複数のキーワードが一緒に現われる（または閾値回数以上一緒に現われる）ならば、当該コンテキストは現実世界で生じ、且つ、当該コンテキストの当該複数のキーワードはＧＡＮ画像生成器１５１８に渡される、との判断がなされる。
特定の実施形態では、コンテキストが実際の生活で生じるかどうか、および／または、コンテキスト用に合成画像が生成されているかどうかのインディケーションは、当該コンテキストと関連付けられて、メタデータ／コンテキストデータセット１５１０（または他の好適なストレージ）に格納されてもよく、その結果、モジュール１５１４は、特定のコンテキスト用にコンテキスト可能性データベース１５１６の不必要なルックアップを実行することを回避してもよい。追加的に、特定のコンテキストが現実世界で生じることはないと決定されるならば、モジュール１５１４は、当該特定のコンテキスト用のチャイルドコンテキストもまた現実世界で生じることはないと決定してもよい（チャイルドコンテキストは、親のコンテキストの複数のキーワードを全て受け継ぎ、且つ、少なくとも１つの追加のキーワードを含む）。いくつかの実施形態では、コンテキストは、たとえ第１の解析において現実世界で生じないと決定されていたとしても、（例えば、コンテキスト可能性データベース１５１６に対する主要な更新の際に）特定の状態下の現実世界での発生用に再び解析されてもよい。
コンテキスト可能性データベース１５１６内の情報に従い、合成画像生成用の候補として選択されたコンテキストが現実世界で生じないと決定する際、コンテキストはＧＡＮ画像生成器１５１８に提供される。画像生成器１５１８は、コンテキストを表わす画像データ（例えば１または複数の写真またはビデオクリップ）を生成する好適なロジックを含んでもよい。例えば、上記からの例を続けると、コンテキストが、「自転車」、「雪」および「高速道路」とのキーワードを有するならば、画像生成器１５１８は、各々が、雪の中の高速道路上の自転車を示す画像データの１または複数のインスタンスを生成してもよい。様々な実施形態では、ＧＡＮ画像生成器１５１８は、モデル訓練に有用な画像データを提供するべく調整されてもよい。一例として、生成器１５１８は、雪の中の様々なタイプの高速道路上の、（任意に、複数の画像内の異なる位置に）様々なタイプの自転車を有する複数の画像を生成してもよい。
画像生成器１５１８によって生成される画像データは、画像データセット内に置かれ、画像を生成するのに使用されるコンテキストと関連付けられて格納されてもよい。そのような画像は、オブジェクトを検出する自律車両によって使用される１または複数のモデル（例えば機械学習モデル）を訓練するのに使用されてもよい。従って、システム１５００は、可能性が低いコンテキストを識別し、そのようなコンテキストは現実世界に存在する可能性が高いかどうかを決定し、そして、データセットを強化して分類およびオブジェクト識別性能を改善するべく、そのようなコンテキストの合成画像を生成してもよい。
様々な実施形態では、システム１００はまた、人間または他の主体（例えばコンピューティングエンティティ）からの入力を受信して、本明細書で説明される複数の機能の何れかを誘導するモジュールを備えてもよい。例えば、特定のコンテキストが考え得るかどうかに関して明示的な入力が受信されてもよい。いくつかの実施形態では、コンテキスト可能性データベース１５１６に対するクエリのサブセットが使用され、コンテキストが現実的なものであるかどうかに関して人間のオペレータに問い合わせてもよい。例えば、データベース１５１６の検索が、コンテキストの複数のキーワードの非常に少ないインスタンスを一緒に戻すならば、当該コンテキストを画像生成器１５１８に渡す前に、人間のオペレータは、当該コンテキストが現実的なものであるかどうかに関する問い合わせを受けてもよい。別の例として、人間のオペレータまたはコンピューティングエンティティは、望まれるコンテキスト用の画像の生成のため、ＧＡＮ画像生成器１５１８に直接キーワードを挿入してもよい。そのような画像は次に、それと関連付けられたコンテキストと共に、画像データセット１５０４内に格納されてもよい。いくつかの実施形態では、人間の入力は、自律車両によって、または、クラウドソーシングプラットフォーム、例えばＡｍａｚｏｎ Ｍｅｃｈａｎｉｃａｌ Ｔｕｒｋによって使用されるコンピューティングモデルのデベロッパを介して提供されてもよい。
いくつかの実施形態では、システムは、特定のセットのコンテキストおよび関連付けられたキーワードに向けて偏らされてもよい。例えば、モデルデベロッパが、モデルはフォグ中または夜にあまり正確ではないことを知っているならば、モデルデベロッパは、改善された性能のためにモデルを訓練するべく、これらのキーワードを使用して、追加の合成画像データセットの生成をトリガできるだろう。様々な実施形態では、生成される合成画像データはまた、モデルの正確度を決定するためのモデルテスト用に使用されることができるだろう。いくつかの実施形態では、合成データ画像は、画像データセットに追加される前に、モデルをテストするのに使用されてもよい。例えば、現在のモデルが合成画像を正確に分類するのに苦労しているならば、そのような画像は、モデル性能を改善するべく、訓練用に有用であると見做されてもよく、そして、画像データセット１５０４に追加されてもよい。
様々な実施形態では、システム１５００の全て又は一部は、車両のオンボードコンピューティングシステムから分離していてもよい（例えば、システム１５００またはそれらのコンポーネントは、クラウドコンピューティング環境内に位置してもよい）。他の実施形態では、システム１５００の全て又は一部は、例えば本明細書で説明されるように、車両のオンボード車載コンピューティングシステムと一体化されてもよい。
特定の実施形態では、オンボードコンテキスト検出アルゴリズムは、車両によるデータ収集に応答して、車両によって実行されてもよい。車両は、（例えばＧＡＮへの並列手法として）コンテキスト可能性データベース１５１６のスナップショットを格納および使用してもよい。稀な事象と関連付けられたデータをアップロードする際、画像生成器１５１８は、これらの稀なコンテキストのより多くのインスタンスを生成するべく、車両によって実行されるコンテキスト検出アルゴリズムからのデータを入力として使用してもよい。
図１６は、特定の実施形態による、合成データを生成するフローを示す。ステップ１６０２で、車両の１または複数のセンサから捕捉されたセンサデータと関連付けられたコンテキストが識別され、コンテキストは、複数のテキストキーワードを含む。ステップ１６０４で、コンテキスト用の追加の画像データが望まれていると決定される。ステップ１６０６で、コンテキストの複数のテキストキーワードが合成画像生成器に提供され、合成画像生成器は、コンテキストの複数のテキストキーワードに基づいて複数の画像を生成する。
自律車両の動作中、かなりの量の視覚分類および音声認識アルゴリズムが実行される。それらの最新式の性能に起因して、そのような用途に深層学習アルゴリズムが使用されてもよい。しかしながら、そのようなアルゴリズムは、それらの高度に効果的な分類性能に拘わらず、攻撃に脆弱であるかもしれない。コンピュータビジョンに対し、敵対的な攻撃者は、非常に小さな摂動によって画像を巧みに操作し得、これは、人間の眼に感じさせないかもしれないが、深層学習アルゴリズムに画像を誤分類させるには十分に画像を歪ませ得る。そのような攻撃は対象外かもしれず、その結果、攻撃者は、画像が誤分類されている限りにおいて、画像の分類結果に無関心かもしれず、または、攻撃は対象かもしれず、その結果、画像は対象とされた分類器で分類されるように歪ませられる。同様に、音声空間において、攻撃者は、人間が実際の分を聞くことに影響を与えないノイズを挿入することができるが、音声からテキストへのアルゴリズムはその音声を完全に誤解するであろう。最近の結果はまた、敵対的な摂動に対する脆弱性が深層学習アルゴリズムに限定されないが、分類機械学習方法にもまた影響を与え得ることを示している。
機械学習アルゴリズムの安全性を改善するべく、本開示の様々な実施形態は、合成データを作成する、具体的には、敵対者が作成し得る攻撃を真似るシステムを含む。画像用の攻撃データを合成するべく、複数の敵対者が想定され、且つ、分類器には既に知られた画像であって、車両によるオブジェクト検出用に使用される機械学習モデルを訓練するべく、下にある良性の画像（少なくともそのいくつかは敵対的な画像用の下にある画像として使用されている）と共に訓練セットで使用される画像から、敵対的な画像が生成される。
図１７は、敵対的なサンプルを生成し、敵対的なサンプルに基づいて、機械学習モデルを訓練するフローを示す。フローは、複数の異なる攻撃方法１７０２を使用して敵対的なサンプルを生成することを含んでもよい。訓練データセットを構築するべく、１または複数のパラメータ１７０４が決定されてもよい。パラメータは、例えば、敵対的なサンプルに対する良性の比、使用される様々な攻撃強度（および、複数の攻撃方法の各々に対する特定の攻撃強度の比）、攻撃タイプの割合（例えば、どれほど多くの攻撃が第１の攻撃方法を利用するか、どれほど多くが第２の攻撃方法を利用するか、など）、および、敵対的なサンプルの誤分類用のペナルティ項、のうちの１または複数を含んでもよい。敵対的なサンプルは、例えば本明細書で説明されるように、任意の好適なコンピューティングによって生成されてもよい。
パラメータに従って敵対的なサンプルが生成された後、ステップ１７０６で、敵対的なサンプルは、訓練セットの良性のサンプルに追加されてもよい。ステップ１７０８で、訓練セットは次に、コンピューティングシステムによって分類モデルを訓練するのに使用されてもよい。ステップ１７１０で、訓練の出力が、車両用のロバストなＡＩ分類システム（例えばＭＬモデルであり、これは、例えば推論エンジン２５４によって実行され得る）を構築するのに使用されてもよい。フローの様々な部分は、以下でより詳細に説明される。
想定される任意の数の攻撃方法が、合成画像を生成するのに使用されてもよい。例えば、ファストグラジエントサインメソッド、反復型ファストグラジエントサインメソッド、ディープフール、ユニバーサルで敵対的な摂動、または他の好適な攻撃方法のうちの１または複数が、合成画像を生成するのに利用されてもよい。
ファストグラジエントサインメソッドによって敵対的な画像を生成することは、下にある画像に従って、ニューラルネットワークの損失関数の傾きを評価し、傾きの符号を取り、そして、ステップサイズによってそれを逓倍する（例えば、攻撃の強度）、ことを含んでもよい。その結果は次に、敵対的な画像を作成するべく、元の画像に追加される。反復型ファストグラジエントサインメソッドによって敵対的な画像を生成することは、（ファストグラジエントサインメソッドのような）単一の攻撃よりもむしろ、多数の傾きステップに亘るステップサイズの反復攻撃を含んでもよく、各々の反復は、画像に追加される。ディープフールメソッドによって敵対的な画像を生成することは、損失関数を入力ポイントで直線化すること、および、その線形近似が正しいならばクラスをスイッチするのに必要であろう最小の摂動を適用すること、を含んでもよい。これは、ネットワークの選択されたクラスがスイッチするまで、反復的に実行されてもよい。ユニバーサルで敵対的な摂動方法によって敵対的な画像を生成することは、訓練セット全体における摂動を算出し、そして、それを、複数の画像の全てに追加することを含んでもよい（その一方で、他の攻撃方法のいくつかは、複数の画像に個別に攻撃する）。
いくつかの実施形態では、異なる攻撃強度を使用して、既知の分類器で、複数の敵対的な画像が単一の画像から生成されてもよい。例えば、特定の攻撃方法に対して、第１の攻撃強度を使用して、第１の敵対的な画像が良性の画像から生成されてもよく、且つ、第２の攻撃強度を使用して、第２の敵対的な画像がそれと同じ良性の画像から生成されてもよい。
いくつかの実施形態では、単一の良性の画像から複数の敵対的な画像を生成するのに、複数の攻撃方法が適用されてもよい。例えば、良性の画像から１または複数の敵対的な画像を生成するのに、１または複数の攻撃強度で第１の攻撃方法が使用されてもよく、且つ、それと同じ良性の画像から１または複数の追加の敵対的な画像を生成するのに、１または複数の攻撃強度で第２の攻撃方法が使用されてもよい。
合成データセット用に敵対的な画像を生成するのに、任意の好適な数の攻撃方法、および、任意の好適な数の攻撃強度が使用されてもよい。更に、いくつかの実施形態では、複数の良性の画像に亘って、複数の攻撃方法および複数の攻撃強度が分配されてもよい（例えば、必ずしも全ての方法および／または強度が各々の良性の画像に適用されなくてもよい）。例えば、１または複数の敵対的な画像を生成するのに、１または複数の攻撃方法および／または１または複数の攻撃強度が第１の良性の画像に適用されてもよく、１または複数の追加の敵対的な画像を生成するのに、異なる１または複数の攻撃方法および／または１または複数の攻撃強度が第２の良性の画像に適用されてもよい、など。いくつかの実施形態では、攻撃強度は、訓練される各々のクラスからの複数の画像に対する攻撃用に変更されてもよい。
様々な実施形態では、各々の攻撃タイプの割合は、現実世界の状態の推定に基づいて、（例えば、想定される複数の攻撃タイプの比に合致するように）変更されてもよい。例えば、合成データセットにおける敵対的な画像の５０％が、第１の攻撃方法を使用して生成されてもよく、当該敵対的な画像の３０％が、第２の攻撃方法を使用して生成されてもよく、当該敵対的な画像の２０％が、第３の攻撃方法を使用して生成されてもよい。
様々な実施形態では、敵対的な画像に対する良性の画像の割合はまた、1つの合成データセットから別の合成データセットへと変更されてもよい。例えば、敵対的な画像に対する良性の画像の異なる比を有する複数の合成データセットは、（例えば、オブジェクト検出正確度に基づいて）最適比を決定するために、テストされてもよい。
各々の敵対的な画像は、正しいグラウンドトゥルースラベル（例えば、下にある良性の画像のクラス）と関連付けられて格納される。いくつかの実施形態では、複数の敵対的な画像は各々、それぞれの攻撃ラベル（例えば、分類器が、対象とされる攻撃において攻撃者の所望のラベルであり得る敵対的なデータ上で訓練されなかったならば、敵対的な画像が通常受信するであろうラベル）と共に格納されてもよい。そのような敵対的な画像の収集、および、関連付けられた分類器は、シミュレーションされた攻撃データセットを形成してもよい。
シミュレーションされた攻撃データセットは、良性の画像のセット（および関連付けられた既知の分類器）と混ぜられ、且つ、教師あり機械学習分類モデル、例えば、ニューラルネットワーク、決定木、サポートベクターマシン、ロジスティック回帰、最近傍法アルゴリズム、または他の好適な分類モデルなどを訓練するのに使用されてもよい。こうして、深層学習アルゴリズムまたは古典的なＭＬアルゴリズムへの攻撃に対する柔軟性を高めるべく、増加物として合成攻撃データが使用されてもよい。訓練中、学習モデルを洗練するべく、訓練セットの一部として、自己の正しいラベルを有する敵対的な画像が組み込まれてもよい。更に、いくつかの実施形態では、訓練中に学習アルゴリズムが敵対的な画像を攻撃者の所望のラベル内に分類する傾向を有するならば、学習モデルの損失関数が不利益を被るかもしれない。その結果として、学習アルゴリズムは、画像への敵対的な攻撃に対する柔軟性を発達させるだろう。
上記で説明された複数のアプローチの何れかは、音声データへの同様の攻撃にも適合され得る。敵対的な音声サンプルを生成するのに、音声データ用の任意の好適な攻撃方法が使用されてもよい。例えば、勾配降下に基づいて入力サンプルをかき乱すことに基づく方法が使用されてもよい。これらの攻撃方法は、1回限りの攻撃または反復攻撃であり得る。複数の画像攻撃を伴うので、複数の異なる攻撃方法が使用されてもよく、音声攻撃は攻撃強度が変化してもよく、攻撃方法から生成される複数の敵対的なサンプルの比は変化してもよく、且つ、良性のサンプルに対する敵対的なサンプルの比もまた変化してもよい。敵対的な音声サンプルは、任意の好適な、テキストから音声への（例えばＷａｖｅＮｅｔ、ＤｅｅｐＶｏｉｃｅ、Ｔａｃｏｔｒｏｎなど）又は音声認識の（例えば、Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓを有するディープモデル、Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎモデル、アテンションベースのモデルなど）機械学習モデルを訓練するのに使用されてもよい。
図１８は、特定の実施形態による、シミュレーションされた攻撃データセットを生成し、且つ、シミュレーションされた攻撃データセットを使用して分類モデルを訓練するフローを示す。ステップ１８０２で、複数の画像サンプルまたは複数の音声サンプルを含む良性のデータセットがアクセスされる。良性のデータセットのサンプルは、既知のラベルを有してもよい。ステップ１８０４で、複数の敵対的な画像を含むシミュレーションされた攻撃データセットが生成され、敵対的なサンプルは、良性のデータセットのサンプルに対して複数の異なる攻撃方法を実行することによって生成される。ステップ１８０６で、敵対的なサンプル、既知のラベルおよび複数の良性のサンプルを使用して、機械学習分類モデルが訓練される。
半自律および自律車両システムは、オブジェクト識別用のＭａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ （ＭＬ）技術に激しく依存する。時間が経過すると、分類用に使用されるモデルは（再訓練を含めて）更新されなければならず、その結果、当該モデルは、新規な事象（例えば吹雪における変化）および変化パターン（例えば交通密度の増加）の両方に関して、使用中に体験された変化している環境を正確に反映し続ける。ＭＬモデルの更新は周期的な様式で実行され得る一方、そのような更新は、有効なモデルが不必要に置換された場合に過大なリソース使用という結果をもたらし得、または、更新が十分に頻繁ではない場合により多くの誤分類という結果をもたらし得る。
本開示の様々な実施形態では、オブジェクト検出中に、各々が異なる特性を有する複数の分類器が使用され、１つの分類器の運転は、他の分類器が更新されるべき（例えば最近検出されたオブジェクトを使用して再訓練されるべき）ときを決定するのに使用されてもよい。例えば、単純な分類器（例えば線形分類器）の運転が、よりロバスト又は複雑な分類器（例えば非線形分類器）が更新されるときを決定するのに使用されてもよい。単純な分類器は、よりロバストな分類器に必要とされる更新用の、（「ｃａｎａｒｙ ｉｎ ｔｈｅ ｃｏａｌ ｍｉｎｅ」のような）早期検出システムとして機能してもよい。単純な分類器は他の分類器と同様にロバスト又は正確なオブジェクト検出を提供しないかもしれないが、単純な分類器は、環境の変化により敏感であり得、従って、非線形分類器に比べて、環境の変化のより簡単な検出を可能にしてもよい。特定の実施形態では、変化している環境における正確度低下に対して相対的により敏感な分類器がモニタリングされ、この分類器の正確度が特定量だけドロップした場合に、分類器の再訓練がトリガされる。
本開示は、単純な分類器として線形分類器を、よりロバストな分類器として非線形分類器を使用する実施形態に焦点を当てているが、他の実施形態は、単純な分類器およびロバストな分類器として任意の好適な分類器を利用してもよい。例えば、特定の実施形態では、ロバストな分類器は、複雑な非線形分類器であってもよく、単純な分類器は、あまり高性能ではない非線形分類器であってもよい。単純な分類器（例えば線形分類器）およびロバストな分類器（例えば非線形分類器）は、任意の好適なコンピューティングシステムによって実装されてもよい。
以下の例における線形および非線形分類器のクラス境界は、説明を簡略化するために、２つの寸法（ｘおよびｙ寸法）に沿ってサンプルを分類するように示されているが、様々な実施形態では、線形分類器または非線形分類器は、任意の好適な数の寸法に沿ってサンプルを分類してもよい（例えば、分類器への入力ベクトルは、任意の数の特徴値を有してもよい）。例えば、線形分類器用のクラス境界としての線の代わりに、ｎ寸法の入力空間を分割するべく超平面が使用されてもよく、ここでは、超平面の一の側の全てのサンプルが１つのラベルで分類され、その一方で、超平面の他の側のサンプルは別のラベルで分類される。
線形分類器は、入力サンプルの複数の特性（これらはまた、特徴値と称される）の一次結合の値に基づいて分類判断をしてもよい。本開示は、単純な分類器として任意の好適な線形分類器を使用することを想定している。例えば、正規化された最小二乗法、ロジスティック回帰、サポートベクターマシン、単純ベイズ、線形判別分類器、パーセプトロン、または他の好適な線形分類テクノロジに基づく分類器が使用されてもよい。
非線形分類器は概ね、線形超平面では十分に接近させられないクラス境界を決定し、従って、当該クラス境界は非線形である。本開示は、ロバストな分類器として任意の好適な非線形分類器を使用することを想定している。例えば、二次判別分類器、多層パーセプトロン、決定木、ランダムフォレスト、Ｋ最近傍法、アンサンブル、または他の好適な非線形分類テクノロジに基づく分類器が使用されてもよい。
図１９は、特定の実施形態による、非線形分類器の動作を図示する。非線形分類器は、１または複数の特徴値を有する任意の好適な入力サンプル（例えば事象）を分類するのに使用されてもよい。図１９は、第１のクラスの複数のサンプル１９０４、および、第２のクラスの複数のサンプル１９０６を有する、第１のデータセット１９００を示す。非線形分類器は、サンプリングの特徴値および非線形分類器によって規定されたクラス境界に基づいて、第１のクラスのサンプルであるか第２のクラスのサンプルであるかを区別するように構成される。
データセット１９００は、非線形分類器を訓練するのに使用されるサンプルを表わしてもよく、その一方で、データセット１９５０は、それと同じサンプルも、第１のタイプの追加のサンプル１９０８および第２のタイプの追加のサンプル１９１０も表わす。クラス境界１９１２は、非線形分類器が新しいサンプル１９０８および１９１０を含む訓練セットに基づいて再訓練された後の、非線形分類器用のクラス境界を表わす。新しいクラス境界１９１２はなおも、非線形分類器が新しいサンプルを正しくラベル付けすることを可能にし得る一方で、シフトデータパターンは、クラス境界１９０２および１９１２が概ね同様の特性を有するので、簡単には明らかにならないかもしれない。
図２０は、特定の実施形態による、線形分類器の動作を図示する。図２０は、図１９と同じデータセット１９００および１９５０を示す。クラス境界２００２は、データセット１９００に対する訓練の後の線形分類器のクラス境界を表わし、その一方で、クラス境界２００４は、線形分類器が新しいサンプル１９０８および１９１０を含む訓練セットに基づいて再訓練された後の線形分類器のクラス境界を表わす。（新しいサンプル１９０８および１９１０によって例示される）新しいデータパターンは、新しいサンプルが線形分類器の再訓練をすることなく誤ってカテゴリ化されたであろうため、明らかであってもよい。
従って、線形分類器は、データが変化していることの早期警告を提供してもよく、これにより、変化しているデータセットをモニタリングし、且つ、将来を見越して新しいモデルを訓練する能力がもたらされる。特定の実施形態では、システムは、線形分類器の正確度をモニタリングしてもよく、正確度が閾値量を下回る場合、線形および非線形分類器の両方の再訓練がトリガされてもよい。再訓練することは、より最近のデータを含む訓練セットを使用して実行されてもよい。
ロバストな分類を保持しつつ早期変化検出を提供するべく複数の分類器の組み合わせが設計されるので、様々な実施形態は、環境におけるシフトを検出することに加えて、攻撃を検出するのに使用されてもよい。攻撃データは概ね、きれいな様式で（例えば、１または複数の自律車両のセンサから）又は合成生成技術（例えば本明細書で説明されたもの又は他の好適なデータ生成技術）を使用して集められると仮定される訓練データとは異なるであろう。従って、線形分類器の正確度における損失は、攻撃の早期インディケーション（例えば、線形分類器の正確度は、非線形分類器の正確度よりも早いペースで品位を落とすであろう）を提供するであろう。追加的に、分類器は異なるように機能を果たすので、攻撃者にとって、複数のシステムを同時に避けることは、より難しいかもしれない。
特定の実施形態では、線形分類器における経時的な変化は、システムが、どのデータが新しいか、又は、どのデータが更なる訓練用に維持することに関係するか、を決定することを可能にしてもよい。例えば、線形分類器の正確度における変化が検出された場合、最近得られたデータ（および／または誤って分類されたデータ）が解析されて、関係するデータが決定されてもよく、この関係するデータは、線形および非線形分類器を訓練するのに使用される関連するデータセットを、（本明細書で説明される複数の技術の何れか又は他の好適な合成データ生成技術を使用して）合成的に生成するのに使用されてもよい。
分類器は、訓練データとは似ていないデータに起因して変化するので、新しいサンプルインスタンスが解析され且つ更なる訓練用に維持されてもよい。例えば、図２０において、サンプル１９０８および１９１０は、線形分類器のクラス境界をシフトさせている。これらの新しいサンプルのサブセットがサンプリングされ、且つ、将来の訓練セット用に維持されてもよい。特定の実施形態では、これらの新しいサンプルは、訓練セットにデータバイアスを導入することを回避するべく、ランダムにサンプリングされてもよい。他の実施形態では、将来の訓練セット用に不均衡な量の特定のクラスが維持されてもよい（例えば、そのクラスのサンプル数は、他のクラスのサンプル数より著しく少ない）。
例は２クラスの分類器を説明するが、様々な実施形態はまた、本明細書で説明される概念に従って、（例えば単純な分類器およびロバストな分類器を利用して）複数クラスの分類を提供してもよい。例えば、一連の超平面が使用されてもよく、各々のクラスｉ（ｉは１からｎまで）が全体として他のクラスと比較される（例えば、１つに対して全て）。別の例として、一連の超平面が使用されてもよく、各々のクラスｉ（ｉは１からｎまで）が他のクラスｊ（ｊは１からｎまで）と個別に比較される（例えば、1つに対して１つ）。
図２１は、線形分類器の正確度に基づいて動作をトリガするフローを示す。ステップ２１０２で、線形分類器は、車両からの入力サンプルを分類する。ステップ２１０４で、非線形分類器は、車両からの同じ入力サンプルを分類する。特定の実施形態では、そのような分類は並行して実行されてもよい。ステップ２１０６で、線形分類器の正確度における変化が検出される。ステップ２１０８で、線形分類器の正確度における変化に応答して、少なくとも１つの動作がトリガされる。
自律車両は、相対的に短い期間に亘ってでさえも（例えば数ミリ秒）、大量のデータを生成する幾つかのセンサを備えられてもよい。そのようなシステムに極めて重要であるリアルタイムデータ処理様式の仮定の下で、時刻Ｔに収集されたデータは、次に生成されるデータが時刻Ｔ＋１に記録される前に処理されるべきである（ここでは単位１が特定のセンサの最大解像度である）。（概ね毎秒３０フレームで動作する）カメラおよび（概ね毎秒２０スイープで動作する）ＬＩＤＡＲに対して、３３ｍｓの解像度および５０ｍｓの解像度がそれぞれ、許容可能な解像度と見做されてもよい。従って、高速な決定が望ましい。ある期間に亘る一連の記録によって、ある事象又は状況が形成されるので、現データポイントおよび前の複数のデータポイントに基づく時系列問題に基づいて、様々な決定がなされてもよい。実際問題として、全ての記録されたデータを処理することが実現可能ではないかもしれず、且つ、経時的に記録されたデータの影響が減少する傾向にあるので、予め定義された処理ウィンドウが考えられる。
センサデータの想定される動作と一致しないパターンを検出する処理は、異常検出と呼ばれる。異常の理由を決定することは、異常認識と呼ばれる。異常認識は、様々な理由で、機械学習アルゴリズムにとって難しいタスクである。第１に、機械学習アルゴリズムは、参照されたデータに依拠して（訓練フェーズ）、オブジェクトを検出および認識する予測モデルのパラメータを推定する。しかしながら、これは、予め定義された特性を有さない稀な事象である（従って、従前の訓練データに含まれる可能性が低い）異常の特性とは逆である。第２に、異常の概念は、必ずしも一定ではなく、従って、従前の分類問題における単一のクラスとは見做されないかもしれない。第３に、従前の機械学習アルゴリズムにおけるクラスの数は予め定義されており、関連しない入力データが受信された場合、ＭＬアルゴリズムは、最も起こりそうなクラスを見出し、且つ、当該データを適宜にラベル付けするかもしれず、こうして、異常は未検出になるかもしれない。
本開示の様々な実施形態では、異常検出および認識用の機械学習アーキテクチャが提供される。特定の実施形態では、時系列式の異常検出、および、正しくない正のケースを除去することによって異常検出レートを増加すること、の両方を可能にするモデルを改良するべく、新しいクラス（例えば「Ｎｏｔ ｋｎｏｗｎ」）がリカレントニューラルネットワークに追加される。様々な実施形態は、自律車両用のオブジェクト検出を含む様々な用途において好適であってもよい。従って、一実施形態では、アーキテクチャの少なくとも一部は、知覚エンジン２３８によって実装されてもよい。
特定の実施形態では、アーキテクチャは、Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）または長短期記憶ネットワーク（ＬＳＴＭ）ニューラルネットワークを含む又はこれらに基づく、１または複数のＭＬモデルを備えてもよい。図２２は、例示的なＧＲＵおよびＬＳＴＭアーキテクチャを表わす。そのようなネットワークは一般に、自然言語処理（ＮＬＰ）用に使用される。ＧＲＵは２０１４年に導入されており、ＬＳＴＭより簡易なアーキテクチャを有し、近年ではますます多くの用途で使用されている。ＧＲＵアーキテクチャでは、ｆｏｒｇｅｔおよび入力ゲートの両方が一緒に併合され、「更新ゲート」を形成する。また、セル状態およびｈｉｄｄｅｎ状態は、組み合わされる。
図２３は、特定の実施形態による、異常検出用のシステム２３００を示す。異常検出器の追加は、システムのインテリジェンスを改良し、以前に検出されていないであろう未知の状況（例えば時系列式の事象）の報告を可能にしてもよい。ＬＳＴＭまたはＧＲＵアーキテクチャに基づく新しいＭＬモデル（本明細書ではＳｍａｒｔ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ （ＳＲＵ）モデル２３０２と呼ばれる）が提供されてもよく、且つ、規格化されたＬＳＴＭまたはＧＲＵモデル（「ベースラインモデル」２３０４）と連動して使用されてもよい。様々な実施形態では、ＳＲＵモデル２３０２のアーキテクチャは、ベースライン予測器のアーキテクチャと同様であってもよいが、異常を検出するように特別に調整されてもよい。様々な実施形態では、システム２３００は、新しく届く一連の異常データをエンコードすること（例えば、知られていないクラスとしてシーケンスをエンコードすること）、および、異常タグに対する所与のデータ表現をデコードすること（例えば、経時的に、新しい異常クラスを識別し、且つ、適宜にラベルを適用すること）、の両方が可能である。システム２３００によって、任意の好適なデータシーケンスが異常と認識されてもよい。例えば、異常は、未知の検出されたオブジェクト又は未知の検出された事象シーケンスであってもよい。様々な実施形態では、ＳＲＵモデルを追加することにより、システムによって以前に（訓練で又はテストフェーズで、の何れか）見られていない未知の状況（時系列式の事象）を報告するようにシステムのインテリジェンスが改良されてもよい。システムは、新しい一連の異常データをエンコードし、且つ、新しいクラスを作成するべく、それにラベルを割り当てることが可能であってもよい。当該ラベルが生成された場合、このタイプの異常に対する任意の所与のデータ表現がデコードされてもよい。
システム２３００は、訓練および推論フェーズで異常事象を抽出するアプローチを実証する。訓練フェーズ中に異常閾値２３０６が算出され、ネットワークは、学習済の事象、未学習の事象、および異常事象の間の境界線を算出する。特定の実施形態では、異常閾値２３０６は、ベースラインモデル２３０４およびＳＲＵモデル２３０２の一方又は両方によって使用されるシグモイド関数に基づく。異常閾値２３０６は、訓練中にＳＲＵモデル２３０２のパラメータを調整するのに使用されてもよい。
想定される複数の通常のケースを包含するべく訓練データセット２３０８を強化することによって、ネットワーク全体が、未知の状況を異常と見做すだけの（従って、異常なサンプルが訓練データセットに含まれることを必要としない）状態に集中してもよい。これは、異常検出器２３１０が、その状況を学習済のデータで正しくハンドリングすることができないと認識する場合の検出ポイントである。訓練データセット２３０８は、任意の好適な情報、例えば、カメラからの画像、ＬＩＤＡＲからのポイントクラウド、画像もしくはポイントクラウドから抽出された特徴、または他の好適な入力データなどを含んでもよく又はこれらに基づいてもよい。
訓練中、ベースラインモデル２３０４およびＳＲＵモデル２３０２の両方に訓練データセット２３０８が提供される。各々のモデルは、例えば、予測されたクラス、および、（例えば、分類が正しいことの、評価された確率を表わす）予測信頼性を出力してもよい。いくつかの実施形態では、複数の出力は、関連付けられた予測信頼性と共に、複数クラスを各々含んでもよい。例えばＧＲＵモデルに基づく、いくつかの実施形態では、出力は、出力が入力に基づいてどのように変化しているかを示す時系列であってもよい。ＳＲＵモデル２３０２は、未知のクラスに対して、ベースラインモデル（例えば２３０４）より過敏であってもよい。エラー計算器２３１２は、ベースラインモデル２３０４の出力とＳＲＵモデル２３０２の出力との間の差に基づいてエラーを決定してもよい。
推論中に、ベースラインモデル２３０４およびＳＲＵモデル２３０２に対してテストデータ２３１４（いくつかの実施形態では、自律車両の１または複数のセンサから集められた又は導出された情報を含んでもよい）が提供されてもよい。エラー計算器２３１２によって算出される、複数のモデルの出力間の差を表わすエラーが、相対的に高いならば、システム２３００は、オブジェクト用のクラスが訓練データに含まれていなかった、且つ、異常が検出されている、と決定する。例えば、推論中に、システムは、異常検出器２３１０を使用して、テストデータに対するエラーが異常閾値２３０６よりも大きいかどうかを決定してもよい。一例では、エラーが異常閾値２３０６よりも大きいならば、オブジェクトに対して異常クラスが割り当てられてもよい。
様々な実施形態では、異常検出器２３１０は、複数の未知のクラスの、多目的用のラベルを、オブジェクトに割り当ててもよい。別の実施形態において、異常検出器２３１０は、特定の異常クラスをオブジェクトに割り当ててもよい。様々な実施形態では、異常検出器は、様々な異常クラスを様々なオブジェクトに割り当ててもよい。例えば、第１の異常クラスが、同様の特性を有する第１の複数のオブジェクトの各々に割り当てられてもよく、第２の異常クラスが、同様の特性を有する第２の複数のオブジェクトの各々に割り当てられてもよい、など。いくつかの実施形態では、オブジェクトのセットが、多目的用の（例えばデフォルトの）異常クラスとして分類されてもよいが、一度システム２３００が同様の特性を有する同様のオブジェクトを認識したら、そのようなオブジェクト用に新しい異常クラスが作成されてもよい。
ラベル付けされた出力２３１４は、予測されたクラス（訓練データセットのクラスまたは異常クラスの１つであってもよい）を示す。様々な実施形態では、ラベル付けされた出力はまた、予測されたクラスに対する予測信頼性（いくつかの場合、異常クラスに対する予測信頼性であり得る）を含んでもよい。
図２４は、特定の実施形態による、異常を検出するフローを示す。ステップ２４０２で、画像データから抽出された特徴が、第１クラスの予測モデルおよび第２クラスの予測モデルに提供される。ステップ２４０４で、第１クラスの予測モデルの出力と第２クラスの予測モデルの出力との間の差が決定される。ステップ２４０６で、第１クラスの予測モデルの出力と第２クラスの予測モデルの出力との間の差に基づいて、抽出された特徴に異常クラスが割り当てられる。
自律車両は、自己の特性において大幅に変化する。例えば、車両の自律性のレベルは、Ｌ１からＬ５までの範囲に亘り得る。更なる例として、車両は、多種多様なセンサを有し得る。そのようなセンサの例は、ＬＩＤＡＲ、カメラ、ＧＰＳ、超音波、レーダ、ハイパースペクトルのセンサ、慣性測定ユニット、および本明細書で説明される他のセンサを含む。加えて、車両は、備えられる各々のタイプのセンサの数に従って変化し得る。例えば、特定の車両は、２台のカメラを有してもよく、その一方で、別の車両は１２台のカメラを有する。
加えて、車両は、異なる物理動力を有し、異なる制御システムを備えられる。一のメーカは、別のメーカとは異なる制御スキームを備えた異なる車載処理システムを有するかもしれない。同様に、同じメーカからの異なるモデル、または同じモデル車両の異なる整備レベルでさえも、異なる車載処理及び制御システムを有し得るであろう。更に、異なるタイプの車両は、異なるコンピュータビジョンまたは他のコンピューティングアルゴリズムを実装しているかもしれず、従って、車両は、同様の状況でも互いに異なる応答をするかもしれない。
複数の自律車両間に考え得る差（例えば、自律性レベル、センサ、アルゴリズム、処理システムなど）を仮定すると、異なる車両の相対的な安全レベル間に差があるだろう。これらの差はまた、各々の車両が移動している道路の一部に依存してもよい。加えて、異なる車両は、他よりも特定の状況、例えば荒天などをハンドリングする際に、より好ましくてもよい。
現在の自律車両は、遭遇しているであろうあらゆる状況を、特に遭遇しているであろうあらゆるタイプの状態で、ハンドリングすることは不可能なので、自律車両が、現在の状態における道路の一部をハンドリングする能力を有しているかどうかを決定することは貴重かもしれない。
図２５は、１つの実施形態による、道路の一部で車両の自律性レベルを制限する方法２５００の例を図示する。方法２５００は、自律運転安全スコアを使用する動的ジオフェンシングの方法と見做され得る。
方法２５００は、ステップ２５１０で、道路の一部用の道路安全スコアを決定することを含む。これは、道路の一部用の自律運転安全スコア制限を決定することを含み得る。この道路安全スコアは、自律車両の安全にとって重大な運転パラメータを重み付けし且つスコアリングすることによって算出される、単一のスコアであり得る。このスコアは、当該道路の一エリア用の、現在の安全レベルを表わし得る。このスコアは、標準化された値であり得、これは、この値が、当該道路上のあらゆる個々の自律車両に対して同じであることを意味する。いくつかの実施形態では、この安全スコアは動的であり得、当該道路の特定のエリアの現在の状態に応じて絶えず変化する。当該スコアの算出で使用され得る基準の例は、これに限定されないが、天候状態、その日の時刻、前進面の状態、道路上の他の車両の数、道路上の自律車両の割合、エリア内の歩行者の数、および、建築物が存在しているかどうか、を含み得る。これらの状態、または、道路の一部上の自律運転車両の安全に影響を与え得る他の状態、のうちの何れか１または複数は、道路スコアを決定する際に検討され得る。いくつかの例では、スコア基準は、専門家および／または規定者のグループによって決定され得る。当該基準は、特定の状態が、安全スコアに対して他よりも多くの影響を与えることを可能にするべく、重み付けされ得る。任意の数のセットが使用され得、または、安全スコアは任意の他の好適な様式で表現され得るが、一例では、安全スコアは０から１００の範囲に亘り得る。
図２６は、マップ２６００の例を図示し、リストされた車道２６１０の各々のエリアは、道路の一部用の道路安全スコア２６２０を示す。このマップは、車両によって、同様の様式で、現在のＧＰＳマップに表示され得、交通および速度制限がマップ上に表示される。いくつかの例では、マッピングシステム（例えば経路プランナモジュール２４２）は、センサからの入力または他のデータに基づいて、道路の地理的領域における安全スコアを算出し得る。他の例では、スコアは車両の外部で（例えば１４０または１５０によって）算出されてもよく、スコアは車両に送信される。
方法２５００は更に、ステップ２５２０で、車両用の安全スコアを決定することを含む。この安全スコアは、自律車両安全スコアと見做され得る。当該安全スコアは、自律車両の相対的な安全を表わすのに使用され得、且つ、車が自律的に運転する道路のスコア制限を決定するのに使用されてもよい。道路安全スコアと同様に、車両安全スコアは、車両の重要な安全要素を重み付けすることによって算出される、単一のスコアであってもよい。車両安全スコア用に検討される基準の例は、車両上のセンサのタイプ（例えば、ＬＩＤＡＲ、カメラ、ＧＰＳ、超音波、レーダ、ハイパースペクトルのセンサ、および、慣性測定ユニット）、各々のセンサの数、センサの品質、車両によって実装された運転アルゴリズムの品質、利用可能な道路マッピングデータの量、などを含み得る。各々のタイプの車両をテストすることは、各々の車両の安全スコア（またはそれらの一部）を決定するために、専門家／規定者によって実行され得る。一例では、先進アルゴリズムおよび非常に多様なセンサセットを備える車両は、より高いスコアを有し得、例えば１００の中から８０を有し得る。後進アルゴリズムおよびより少数かつ少タイプのセンサを備える別の車両は、より低いスコアを有し得、例えば１００の中から４０を有し得る。
次に、方法２５００は、ステップ２５３０で、車両安全スコアを道路安全スコアと比較することを含む。当該比較は、自律車両が道路の所与の部分で自律的に運転されるのに十分安全であるかどうかを決定することを含む。例えば、道路が９５の安全スコアを有し、且つ、車が５０のスコアを有するならば、車は、当該道路の拡張範囲上を自律的に運転されるのに十分に安全であるとは見做されない。しかしながら、一度当該道路の安全スコアが５０に又はそれ以下に下がれば、車はもう一度、自律的に運転され得る。車が自律的に運転されるには十分に安全ではないならば、ドライバは、運転義務を引き継ぐべきであり、そのために、車両はハンドオフのドライバに警告してもよい。いくつかの例では、車が自律的に運転されるのに十分安全であるかどうかを決定することへの段階式アプローチがあり得る。例えば、道路は、Ｌ５スコア、Ｌ４スコアおよびＬ３スコアなど、複数のスコアを有し得る。そのような例では、車の安全スコアは、個々の車両が道路の所与の部分に対してどのレベルの自律性を使用するかを決定するのに使用され得る。車が５０のスコアを有し、且つ、そのスコアが、Ｌ４動作にとって好適なスコア範囲内であるならば、車両は、Ｌ４レベルの自律性で運転されてもよい。
最終的に、方法２５００は、ステップ２５４０で自律車両が道路の安全ではない部分を運転するのを防止すること、で終わる。これは、道路の特定の拡張範囲で自律的に運転されることが不可能であると、車両に警告することを含んでもよい。追加的に、または代替的に、これは、ドライバが運転義務を引き継ぐ必要があることをドライバに警告すること、および、一度ドライバが携わったら、運転義務をドライバに引き渡すことを含んでもよい。道路が段階式スコアリングレベルを有するならば、上述の通り、車両の適切な自律性レベルが決定されてもよく、道路の特定の一部上でその車両に許可されている自律性のレベルに応じて、自律レベルがドロップされる予定であり、且つ、ドライバが携わなれけばいけない又は携わることを準備しなければいけないことの警告が提供されてもよい。
画像およびビデオデータは、運転環境内の多様な主体によって、例えば、モバイル車両（例えば、車、バス、電車、ドローン、地下鉄など）および他の輸送車両、路側センサ、歩行者、ならびに他のソースによって、収集されてもよい。そのような画像およびビデオデータは、時々人の画像を含む可能性が高い。そのような画像は、例えば、車両に搭載された、外向き又は内向きの撮像素子によって取得されてもよく、または、他の電子デバイスまたはネットワークから、車両と一体化されたコンピューティングシステムへの、画像のデータ送信によって取得されてもよい。このデータは、特定の時点での人およびその位置を識別するのに使用され得、これは、安全に対する懸念およびプライバシーに対する懸念の両方を引き起こすであろう。これは、具体的には、画像が子供または他の脆弱な人々を示している場合に問題となる。
いくつかの実装では、（クラウドまたはフォグに実装された車載自律運転システムおよびサポートシステムを含む）例示的な自律運転システムは、車両に一体化された又は取り付けられたカメラ又は他の撮像素子によって撮像される画像に示される顔を隠す機械学習モデルを利用してもよい。例示的な実施形態では、単一のモデルを使用して、複数のドメイン（例えば顔の属性）用に、画像から画像への変換を実行するべく、訓練されたＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）が使用されてもよい。訓練されたＧＡＮモデルは、画像に示される既知の顔を修正する（又は隠す）べく転送された場合に、顔検出モデルに、修正された（または隠された）顔において既知の顔を識別するのを失敗させる、顔の属性または複数の顔の属性の組み合わせを選択するようテストされてもよい。訓練されたＧＡＮモデルは、選択された顔の属性または複数の顔の属性の組み合わせを用いて構成され得る。構成されたＧＡＮモデルは、車両と関連付けられた撮像素子によって撮像された画像、または、車両のコンピューティングシステムが他の電子デバイスまたはネットワークから受信した他の画像を受信するべく、車両内に提供され得る。構成されたＧＡＮモデルは、撮像又は受信された画像に示される顔と関連付けられる人に関する情報を明らかにする特定の属性（または特徴）を保持しつつ当該顔を隠すべく、当該画像に適用され得る。そのような情報は、例えば、当該画像が撮像されたときの当該人の注視および／または感情を含み得るであろう。
モバイル車両に実装されるスマート運転システムは、より高性能になり、且つ、部分的に又は完全に自律した状態にすらなっているので、これらのモバイル車両によって収集される画像およびビデオデータの量および品質は著しく増加した。画像およびビデオデータは、必ずしもこれらに限定されないが、車、バス、電車、ドローン、ボート、地下鉄、飛行機、および他の輸送車両を含む、任意のタイプのモバイル車両によって収集されてもよい。モバイル車両に搭載された撮像素子によって取得される画像およびビデオデータの増加した品質および量は、画像およびビデオデータで捕捉された人々の識別を有効化でき、且つ、特定の時点での、そのような人々の位置に関する情報を明らかにできる。そのような情報は、安全に対する懸念およびプライバシーに対する懸念の両方を引き起こし、具体的には、捕捉されたデータが子供または他の脆弱な個人を含む場合にトラブルとなり得る。
自律車両の場合、例えば車両によって（最高５ＴＢ／時間で）収集される画像およびビデオデータは、自律運転機械学習（ＭＬ）モデルを訓練するのに使用され得る。これらのモデルは、車両周りのシーンを理解すること、オブジェクトおよび歩行者を検出すること、および、それらの軌道を予測すること、を目的とする。
いくつかの地理では（例えば、ヨーロッパ連合、アメリカ合衆国内のいくつかの州、など）、識別情報は保護され、保護された情報を保持する如何なるエンティティにも厳しい罰金刑が課され得る。更に、輸送車両がこのデータを継続的に収集していることを知ることは、公益および自律車両の採用に影響を与え得、サービス車両に向けられる民心に悪影響を及ぼしさえするかもしれない。その結果として、この状況を放置すれば、これらのユーザプライバシー問題は潜在的に、少なくともいくつかの自律車両テクノロジの採用を妨げ得るであろう。
画像およびビデオデータのプライバシーを保持する１つのアプローチは、データ内の顔をぼかす又は画素化することである。ぼかすこと及び画素化は、全体論的に人を検出する目的でベーシックコンピュータビジョンアルゴリズムが用いられている場合に働き得る一方で、これらのアプローチは、人の注視および意図を理解することを目的としている現代のアルゴリズムでは働かない。そのような情報は具体的には、例えば自律車が、歩行者に遭遇し、歩行者が何をしようとしているか（例えば、横断歩道に踏み込む、信号が変わるのを待っている、など）の予測に基づいて反応（例えば、速度を落とす、停止する、警笛を鳴らす、通常通り運転し続ける、など）を決定する場合には、有用で有り得、必要なことですらあり得る。車両内に構築される「インテリジェンス」を増加させるべく、歩行者の注視および意図はますます研究されてきている。歩行者の顔から注視および意図を検出することによって、インテリジェンスアルゴリズムは、歩行者軌道を予測し、従って、事故を回避することを目指す。例えば、自己の電話を見ている歩行者は、通過する車両を直接見ている別の歩行者よりも、通過する車両を見落とす可能性が高い。機械学習アルゴリズムは、顔からいくつかのランドマークを抽出して、注視を予測することを必要とする。顔をぼかす又は画素化することは、このタスクを実行不可能にする。
図２７に示すように、通信システム２７００は、前述の問題の多く（その他色々）を解決する。少なくとも１つの実施形態では、プライバシーを保持するコンピュータビジョンシステムは、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）を用いて、データのユーティリティを維持し且つコンピュータビジョン能力には最小限で影響を及ぼしつつ、コンピュータビジョンアプリケーションにおけるプライバシーを保持する。ＧＡＮは通常、２つのニューラルネットワークを備え、本明細書では、「生成器」（または「生成系モデル」）および「弁別器」（または「弁別モデル」）と称され得る。生成器は、１つの（真の）データセットから学習し、そして、訓練データセットに似ている新しいデータを生成しようと試みる。弁別器は、（生成器によって生成された）新しいデータと真のデータとの間を弁別しようと試みる。生成器の目的は、真のデータ分配から来たように見える新規な合成インスタンスを生成することによって、弁別ネットワーク（例えば、「フール」弁別器ネットワーク）のエラーレートを増加させることである。
少なくとも１つの実施形態は、顔の属性転移を専門にしている、予め訓練されたＧＡＮモデルを使用してもよい。通信システム２７００では、予め訓練されたＧＡＮモデルは、車両のコンピュータビジョン能力の一部であり得る他の機械学習能力によって必要とされる顔の属性を維持しつつ、実際の人の画像中の顔の属性を、これらの属性の変形例と置換するのに使用され得る。概ね、ＧＡＮモデルは、顔を示す入力画像（例えば、実際の人の顔のデジタル画像）を処理して、属性を修正した又は変化させた、当該顔を示す新しい画像を生成するよう、予め訓練される。この新しい画像は、本明細書において、「隠された」顔または「フェイク」顔と称される。通信システム２７００は、どの属性または特徴が入力画像を修正するのに使用されるかを制御するべく、１または複数の選択されたドメイン属性（例えば、年齢、性別）を用いて、予め訓練されたＧＡＮモデルを構成してもよい。
構成されたＧＡＮモデルは、歩行者、他の車両の運転手、乗客、または、車両の特定の範囲内に来る任意の他の個人の画像を撮像するための、１または複数の撮像素子を有する車両に提供され得る。車両の複数の撮像素子の１つによって人の画像が撮像された場合、当該画像は、構成されたＧＡＮモデルによる処理のために準備されてもよい。処理は、例えば、画像をサイズ変更すること、画像に示される顔を検出すること、および、顔を位置合わせすること、を含んでもよい。処理された画像は、予め構成されたドメイン属性（例えば年齢、性別）に基づいて画像に示される顔を修正する、予め構成されたＧＡＮモデルに提供されてもよい。ＧＡＮモデルの生成器は、修正され又は隠された顔を示す新しい画像を生成し、且つ、情報収集のため又は他の目的で、顔が隠された人の識別情報を明らかにすることなく、それを他の車両のコンピュータビジョンアプリケーションおよび／またはデータ収集レポジトリ（例えばクラウド内）に提供する。ＧＡＮモデルによって生成された新しい画像は、本明細書において、「隠された画像」および「フェイク画像」と称される。
通信システム２７００は、いくつかの例示的で潜在的な利点を提供してもよい。自律車両テクノロジ用に想定される継続的拡大は、毎日の使用において大量の識別可能な画像を生成する可能性が高い。本明細書で説明される実施形態は、データのユーティリティを維持し且つコンピュータビジョン能力には最小限で影響を及ぼしつつ、個人を写真撮影することのプライバシーに対する懸念を処理する。特に、本明細書における実施形態は、車両に実装される他のコンピュータビジョン能力で必要とされる顔の属性を保持しつつ、人の顔の画像を認識不可能にすることができる。ユーザプライバシーは、社会的影響および法的影響の両方を有し得る。例えば、リアルタイムで撮像された画像に固有のユーザプライバシー問題を処理せずにコンピュータビジョン能力を採用することは、妨げられてもよい。本明細書における実施形態は、自律車両（および撮像素子を備える他の車両）のユーザプライバシー問題を軽減するので、実施形態は、自律車両における信用を増加し、且つ、テクノロジの採用を容易にすることを助けることができ、車両製造業者、車両所有者、および無線サービスプロバイダが、ますます多くの、合衆国の、州のおよび／またはローカルのプライバシー規制に準拠することを助けることもできる。
図２７を参照すると、図２７は、本明細書で説明される少なくとも１つの実施形態による、車両のコンピュータビジョンシステムにおけるプライバシーを保持するための通信システム２７００を図示する。通信システム２７００は、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）構成システム２７１０、データ収集システム２７４０および車両２７５０を備える。１または複数のネットワーク、例えば、ネットワーク２７０５は、車両２７５０とＧＡＮ構成システム２７１０との間、および、車両２７５０とデータ収集システム２７４０との間、の通信を容易にすることができる。
ＧＡＮ構成システム２７１０は、生成器２７２２および弁別器２７２４を有するＧＡＮモデル２７２０を備える。ＧＡＮモデル２７２０は、選択されたターゲットドメインを用いて構成され得、その結果、生成器２７３２、弁別器２７３４およびターゲットドメイン２７３６を用いて構成されたＧＡＮモデル２７３０となる。ＧＡＮモデル２７２０はまた、必ずしもこれらに限定されないが、プロセッサ２７３７およびメモリ２７３９を有する適切なハードウェアコンポーネントを備え、これは、多数の異なる実施形態で実現され得る。
構成されたＧＡＮモデルは、車両、例えば車両２７５０において提供され得る。少なくとも１つの実施形態で、構成されたＧＡＮモデルは、車両のプライバシーを保持するコンピュータビジョンシステム２７５５の一部として提供され得る。車両２７５０はまた、歩行者、例えば歩行者２７０２、他のドライバ、乗客、および、車両に近接する任意の他の人、の画像（例えばデジタル写真）を撮像するための、１または複数の撮像素子、例えば撮像素子２７５４を備え得る。コンピュータビジョンシステム２７５５はまた、構成されたＧＡＮモデル２７３０からの隠された画像を処理して、画像の評価を実行し、且つ、具体的な実装に基づいて任意の適切な動作（例えば、自律車両用の運転反応、ドライバへの警告送信、など）を取るための、アプリケーション２７５６を備え得る。適切なハードウェアコンポーネントはまた、必ずしもこれらに限定されないが、プロセッサ２７５７およびメモリ２７５９を備える車両２７５０に提供され、これは多数の異なる実施形態で実現され得る。
データ収集システム２７４０は、車両に提供される場合に、構成されたＧＡＮモデル２７３０によって生成される隠された画像を格納するためのデータレポジトリ２７４２を備えてもよい。隠された画像は、画像評価および／またはコンピュータビジョンシステム２７５２によって取られる動作に関連する情報と連動して格納されてもよい。１つの例示的な実装で、データ収集システム２７４０は、車両データ、例えば、自律車両によって生成される隠された画像および潜在的に他のデータを受信するクラウド処理システムであってもよい。データ収集システム２７４０はまた、必ずしもこれらに限定されないが、プロセッサ２７４７およびメモリ２７４９を含む適切なハードウェアコンポーネントを備え、これは多数の異なる実施形態で実現され得る。
図２８Ａおよび２８Ｂは、本明細書で説明される実施形態で、デジタル画像に示される顔に対する顔の属性転移に影響を与えるべく使用され得る、ＧＡＮモデル（例えば２７２０）を生成するＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）用の、例示的な機械学習フェーズを図示する。顔の属性を転移するよう訓練されたＧＡＮからの拡張モデルは、現在は、必ずしもこれらに限定されないが、ＳｔａｒＧＡＮ、ＩｃＧＡＮ、ＤＩＡＴ、およびＣｙｃｌｅＧＡＮを含めて、利用可能である。
図２８Ａで、弁別器２７２４用の初期訓練フェーズが示される。一例では、弁別器２７２４は、画像を処理し、且つ、これらの画像を実際の又はフェイクのものとして分類するよう学習する、標準の畳み込みニューラルネットワーク（ＣＮＮ）であってもよい。訓練データ２８１０は、実際の画像２８１２およびフェイク画像２８１４を含んでもよい。実際の画像２８１２は、人間の顔を示し、フェイク画像２８１４は、人間の顔以外の物を示す。訓練データは、画像を実際の顔またはフェイクの顔として分類するよう学習するディープラーニングに（例えば畳み込みニューラルネットワークを介して）適用する弁別器２７２４に供給される。
一度弁別器が人間の顔の画像を実際の又はフェイクのものとして分類するよう訓練されると、ＧＡＮは、図２８Ｂに示されるように訓練されてもよい。一例では、生成器２７２２は、ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ（またはｉｎｖｅｒｓｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ）ニューラルネットワークであってもよい。生成器２７２２は、入力画像２８２２から入力画像を取り、ターゲットドメイン２８２４に基づいて顔の属性転移を実行することにより、それを隠された（またはフェイクの）画像へと変換する。少なくとも１つの実施形態で、ドメイン属性は、空間的に複製され、入力画像と連結される。生成器２７２２は、弁別器が実際の画像と区別できないフェイク画像２８２６を生成しようと試みる。
図２８Ａに示されるように、実際の又はフェイクの人間の顔を認識するように訓練された弁別器２７２４は、フェイク画像２８２６を受信し、畳み込み動作をフェイク画像に適用して、それを「実際の」または「フェイクの」ものとして分類する。最初に、生成器は、高い損失値を有するフェイク画像を生成してもよい。訓練は継続しているので、生成器の重み及びバイアスを更新し、より現実的な画像を生成するべく、生成器損失の逆伝搬が使用され得る。フェイク画像が弁別器を「騙し」、それを「実際の」ものとして分類させた場合、弁別器の重みおよびバイアスを更新し、「実際の」人間の顔を（例えば生成器によって生成された）「フェイクの」人間の顔とより正確に区別するべく、逆伝搬が使用される。訓練は、図２８Ｂに示されるように、弁別器によって閾値割合のフェイク画像が実際のものとして分類されるまで継続してもよい。
図２９は、少なくとも１つの実施形態による、ＧＡＮ構成システム２７１０の追加の考え得るコンポーネントおよび動作上の詳細を図示する。ＧＡＮ構成システム２７１０において、ターゲットドメインが識別され得、且つ、ＧＡＮモデル２７２０を構成するのに使用され得る。ターゲットドメインは、入力画像に示される顔を修正するＧＡＮモデルによって使用される１または複数の属性を示す。ターゲットドメインに無い特定の他の属性は修正されず、従って、ＧＡＮモデルの生成器２７２２によって生成される隠された画像に保持される。例えば、車両テクノロジにおいて、保持するのが望ましいであろう属性は、顔によって表わされる、人の意図を示し得る注視属性を含む。人の軌道は、人の注視および推論された意図に基づいて決定され得る。車両テクノロジにおいて有用であろう別の属性は、感情である。撮像画像内の顔によって示される感情は、顔によって表わされる人が特定の時間に特定の感情を体験しているかどうかを示し得る（例えば、ライドシェアリングサービスの乗客が喜んでいるか否か、別の車両のドライバがロードレイジのサインを示しているかどうか、歩行者が怖がっているか興奮しているか、など）。任意の顔の属性が保持されてもよいが、説明の簡略化のため、図２９に示されるＧＡＮ構成システム２７１０は、顔の他の識別特徴の保持を必要とすることなく、顔における注視および感情属性を不変のままにする、最適なターゲットドメインを備えた構成ＧＡＮモデル２７２０を参照して説明されるであろう。
少なくとも１つの実施形態で、画像変換用に使用されるターゲットドメインは、顔の注視および／または感情を維持しつつ最大限のアイデンティティ隠しを実現するべく選択される。例えば、最適なターゲットドメインは、元の画像における又は実質的に元の画像のように、人の注視および感情表現を維持しつつ人を認識する確率を最小化する、１または複数の属性を示してもよい。図２９は、最適なターゲットドメインを決定する、１つの考え得る実施形態を図示する。
ＧＡＮ構成システム２７１０は、ＧＡＮモデル２７２０、属性検出エンジン２７１７（例えば、感情検出モジュールおよび／または注視検出モジュール）、および、顔認識エンジン２７１８を備える。ＧＡＮモデル２７２０は、画像に示される顔を修正し、顔に対する１または複数の顔の属性を転移することによって新しい隠された画像（例えば隠された画像２９１６）を生成するよう、予め訓練される。転移される特定の顔の属性は、ＧＡＮモデルの生成器に提供される選択されたターゲットドメイン２９１４に基づく。例えばＳｔａｒＧＡＮ、ＩｃＧＡＮ、ＤＩＡＴまたはＣｙｃｌｅＧＡＮを含む、任意の数の好適なＧＡＮモデルが使用されてもよい。
顔を匿名化すると同時に、望まれる顔の属性（例えば、注視および意図、感情）を保持するための最適なターゲットドメインを用いてＧＡＮモデル２７２０を構成するべく、選択されたターゲットドメイン２９１４を伴うテスト画像２９１２がＧＡＮモデル２７２０の生成器２７２２内へと供給され得る。所与のテスト画像に対して、生成器２７２２は、選択されたターゲットドメイン２９１４に対応する、テスト画像における属性が修正された、隠された画像（例えば隠された画像２９１６）を生成し得る。例えば、選択されたターゲットドメインが、「年齢」および「性別」に対ｓるう属性識別子を含むならば、隠された画像に示される顔は、テスト画像から修正され、より老けて且つ反対の性別を有するように見える。しかしながら、例えば注視および感情などの顔における他の属性は、不変のままであるか、または、少なくとも最小限に変化されている。
少なくとも１つの実施形態で、所望の属性が隠された画像２９１６においてなおも検出可能であるかどうかを評価するべく、属性検出エンジン２７１７が提供されてもよい。例えば、感情検出器モジュールが、隠された画像を評価し、隠された画像に示される修正された顔において検出される感情が、テスト画像（例えば２９１２）に示される、その対応する実際の顔において検出される感情と同じ（または実質的に同じ）であるかどうかを決定してもよい。別の例では、注視検出器モジュールが、隠された画像を評価し、隠された画像に示される修正された顔において検出される注視が、テスト画像に示される、その対応する実際の顔において検出される注視と同じ（または実質的に同じ）であるかどうかを決定してもよい。従って、少なくともいくつかの実施形態で、テスト画像２９１２、またはテスト画像に示される属性を指定するラベル（例えば、幸せ、怒り、邪魔、注視方向、など）はまた、比較をするために属性検出エンジン２７１７に提供されてもよい。他の所望の属性はまた、隠された画像において検出可能であるかどうかを決定するべく、評価されてもよい。所望の１又は複数の属性（例えば感情、注視）が検出されないならば、生成器２７２２への入力用に、新しい属性または複数の新しい属性のセットを示す新しいターゲットドメインが選択されてもよい。しかしながら、所望の１又は複数の属性が検出されるならば、隠された顔が認識可能であるかどうかを決定するべく、隠された画像は顔認識エンジン２７１８に供給されてもよい。
顔認識エンジン２７１８は、人の選択グループ（例えばセレブリティのグループ）を認識するように構成され又は訓練された、任意の好適な顔認識ソフトウェアであってもよい。例えば、Ｃｅｌｅｂｒｉｔｙ Ｅｎｄｐｏｉｎｔは、１万以上のセレブリティを検出し得、且つ、本明細書で説明される１または複数のテストシナリオで使用され得る、顔認識エンジンであり、ここで、テスト画像２９１２はＣｅｌｅｂｒｉｔｙ Ｅｎｄｐｏｉｎｔによって認識可能なセレブリティの画像である。少なくとも１つのシナリオで、ＧＡＮモデル２７２０がテスト画像２９１２を処理する前に、これらのテスト画像は、顔認識エンジンによって認識可能であることを保証するべく、顔認識エンジン２７１８によって処理され得る。別のシナリオで、顔認識エンジン２７１８によって認識可能な特定の画像は、テスト画像２９１２としての使用のため、ＧＡＮ構成システム２７１０にアクセス可能であってもよい。
一度隠された画像が生成されたら（且つ、所望の属性が隠された画像においてなおも検出可能であれば）、隠された画像は、隠された画像から人を識別できるかどうかを決定する顔認識エンジン２７１８に供給され得る。顔認識エンジンが隠された画像から人を認識するならば、生成器は、顔を十分に匿名化しなかった。従って、生成器２７２２への入力用に、新しい属性または複数の新しい属性のセットを示す新しいターゲットドメインが選択されてもよい。しかしながら、顔認識エンジンが隠された画像から人を認識しないならば、隠された画像を生成するのに使用された選択されたターゲットドメインは、所望の属性を保持しつつ成功裏に顔を匿名化したと決定される。少なくとも１つの実施形態では、一度、閾値数（又は割合）の画像が、所望の属性が保持された状態で成功裏に匿名化されたら、画像を成功裏に匿名化した選択されたターゲットドメインは、ＧＡＮモデル２７２０を構成するのに使用されてもよい。一例では、選択されたターゲットドメインは、自律車両のリアルタイム動作で使用するべく、ＧＡＮモデル２７２０のターゲットドメインとしてセットされてもよい。
ＧＡＮ構成システム２７１０における複数のアクティビティのいくつかは、ユーザ動作によって実行されてもよく、または自動化されてもよいことは、明らかであるべきである。例えば、新しいターゲットドメインは、最適なターゲットドメインでＧＡＮモデルを構成することをタスクとして課されたユーザによって、ＧＡＮモデル２７２０への入力用に選択されてもよい。他のシナリオで、ターゲットドメインは、自動的に選択されてもよい。また、隠された画像およびテスト画像の視覚比較がなされ得るが、そのようなマニュアルの取り組みは、画像に示される人のアイデンティティが十分に隠されているかどうか、および、隠された画像がコンピュータビジョンアプリケーションにおいて有用になるほど十分に所望の属性が保持されているかどうか、を決定する効率および正確度を著しく低下させ得る。
図３０は、入力画像３００２の異なる顔の属性を修正するＳｔａｒＧＡＮベースのモデルを使用することによって生成される、例示的な隠された画像３００４を示す。入力画像３００２を修正するのに使用される属性は、髪色（例えば黒髪、金髪、茶髪）および性別（例えば男性、女性）を含む。例えば年齢（例えば老けて見える）および肌色（例えば青白い、茶色い、オリーブ色、など）などの他の修正された属性を伴う画像を生成するべく、ＳｔａｒＧＡＮベースのモデルがまた使用され得る。加えて、Ｈ＋Ｇ（例えば髪色および性別）、Ｈ＋Ａ（例えば髪色および年齢）、Ｇ＋Ａ（例えば性別および年齢）、およびＨ＋Ｇ＋Ａ（例えば髪色、性別および年齢）を含む画像を修正するべく、これらの属性の組み合わせがまた使用され得る。他の既存のＧＡＮモデルは、属性修正、例えば、再構成（例えば顔構造の変化）、禿頭症、切り下げ前髪、眼鏡、厚化粧、および笑顔などを提示し得る。これらの属性変換の１または複数は、テスト画像に適用され得、変換されたもの（または隠された画像）は、本明細書で既に説明したように、車両での使用のためのＧＡＮモデルを構成するのに使用される最適なターゲットドメインを決定するべく、評価され得る。
図３１は、ＳｔａｒＧＡＮベースのモデルによって実際の顔の入力画像３１０２から生成される例示的な隠された画像３１０４と、実際の隠された画像を評価する顔認識エンジン（例えば２７１８）の結果とを示す。隠された画像３１０４は、入力画像３１０２の異なる顔の属性を変更することによって生成される。この例における、入力画像３１０２を修正するのに使用される属性は、黒髪、金髪、茶髪、および性別（例えば男性）を含む。顔認識エンジンの使用は、ＧＡＮモデルから生成される画像がどのように顔を匿名化できるのかを説明する。例示的な顔認識エンジンは、フランスのパリのＳｉｇｈｔｅｎｇｉｎｅによって提供され、セレブリティを認識する。従って、Ｓｉｇｈｔｅｎｇｉｎｅによって非セレブリティ入力画像が処理される場合、その結果は、入力画像が認識されないことを示すかもしれず、または、潜在的に非セレブリティ入力画像を誤識別しているかもしれない。図３１に示されるＳｉｇｈｔｅｎｇｉｎｅの結果３１０６は、入力画像３１０２によって表わされる人が、Ｓｉｇｈｔｅｎｇｉｎｅが認識するよう訓練されたセレブリティではないことを示す。しかしながら、顔認識エンジンは、複数の隠された画像３１０４のいくつかを誤識別する。例えば、結果３１０６は、黒髪を伴う隠された画像が女性のセレブリティ１と認識され、性別フリップを伴う隠された画像が男性のセレブリティ２と認識されることを示す。更に、性別が変更されている場合、顔認識エンジンは、隠された画像を、人を反対の性別から示しているものと認識することは注目に値し、これは、実際の人のプライバシーの保護を増加する。
他のテストシナリオで、入力画像は、顔認識エンジンによって認識可能なセレブリティを含んでもよい。これらのセレブリティの入力画像は、ＧＡＮモデルによって供給され、且つ、選択されたターゲットドメインに基づいて隠されてもよい。最適なターゲットドメインは、本明細書で既に説明されたように、閾値数の隠された画像を認識していない、および／または、閾値数の隠された画像を誤って認識している、顔認識エンジンに基づいて、識別されてもよい。
図３２Ａは、ＳｔａｒＧＡＮベースのモデルによって、実際の顔の入力画像３２０２から生成される例示的な隠された画像３２０４と、実際の画像および隠された画像を評価する感情検出エンジンの結果とを示す。隠された画像３２０４は、入力画像３２０２の異なる顔の属性を変更することによって生成される。入力画像３２０２を修正するのに使用される属性は、黒髪、金髪、茶髪および性別（例えば男性）を含む。図３２Ａはまた、入力としての画像における顔の表情を取得し、且つ、顔の表情における感情を検出し得る、感情検出エンジンの例示的な結果３２０８Ａ－３２０８Ｅを示す。結果３２０８Ａ－３２０８Ｅに示されるように、黒髪を伴う隠された画像用の結果３２０８Ｂにおける怒りの最小限の検出と、性別フリップを伴う隠された画像用の結果３２０８Ｅにおける怒り及び驚きの最小限の検出とを除いて、怒り、恥辱、嫌気、恐れ、特色のない、悲しみ、および驚きの感情は、感情検出エンジンによって大部分が未検出である。代わりに、エンジンは、入力画像およびあらゆる隠された画像において、幸せをしっかりと検出する。図３２Ａは、人を認識し損ねているにも拘らず、ＧＡＮモデルの隠すアプローチは、隠された画像３２０４の各々において、入力画像３２０２からの感情を保持したことを示す。
図３２Ｂは、図３２Ａに図示される、入力画像３２０２および隠された画像３２０４に対する、感情検出エンジンの例示的な処理に対応する、入力パラメータおよび出力結果のリスト３２５０である。
図３３は、ＩｃＧＡＮベースのモデルによって実行される、実際の顔の入力画像３３１０の、隠された画像３３２０への例示的な変換を示す。図３３で、入力画像においてフレーム３３１２によってハイライトされた人の注視は、隠された画像においてフレーム３３２２によってハイライトされたものと同じ又は実質的に同じである。特定の識別特徴は修正されているので、顔は同じ人として認識可能ではないかもしれないが、顔の他の特徴、例えば注視は、保持されている。自律車両シナリオで、顔の画像における注視を保持することは、車両のオンボードインテリジェンスが、注視に基づいて歩いている人の軌道を予測および予想することを可能にし、且つ、個人のプライバシーを犠牲にすることなく、保持された特徴から他の貴重な情報を潜在的に拾い集めることを可能にする。
図３４は、車両（例えば２７５０）に実装される構成されたＧＡＮモデル（例えば２７３０）の追加の考え得る動作の詳細を図示する。構成されたＧＡＮモデル２７３０は、撮像画像に適用される１または複数の属性を示す、ターゲットドメイン２７３６を用いて構成される。少なくとも１つの実施形態で、ターゲットドメイン２７３６は、例えば性別、髪色、年齢、肌色などの属性を表わす１または複数の属性識別子を含み得る。一例では、生成器２７３２は、ターゲットドメイン２７３６によって示される属性を、撮像画像３４１２に示される顔に転移することができる。この属性転移の結果は、生成器２７３２によって生成される隠された画像３４１６である。１つの非限定的な例において、ターゲットドメイン２７３６は、性別および年齢属性識別子を含む。
撮像画像３４１２は、車両に搭載されたカメラまたは他の撮像素子によって取得されてもよい。考え得るタイプの撮像画像の例は、必ずしもこれらに限定されないが、歩行者、バイカー、ジョガー、他の車両のドライバ、当該車両内の乗客を含む。これらのタイプの撮像画像の各々は、車両に近接している人および他の車両が関与するリアルタイムな事象に関するインテリジェントな予測をするべく、車両のコンピュータビジョンシステムに対して関連情報を提示してもよい。
隠された画像３４１６は、データを受信することを委託された、任意の好適なシステム、アプリケーション、クラウドなどに提供され得る。例えば、隠された画像３４１６は、車両またはクラウドにおけるコンピュータビジョンシステム（例えば２７５５）のアプリケーション（例えば２７５６）に提供されてもよく、および／または、データ収集システム（例えば２７４０）に提供されてもよい。
少なくともいくつかの実施形態で、構成されたＧＡＮモデル２７３０は、リアルタイムに訓練され続けてもよい。これらの実施形態で、構成されたＧＡＮモデル２７３０は、生成器によって生成される隠された画像、例えば隠された画像３４１６を受信する弁別器２７３４を実行する。弁別器は、隠された画像が実際のものかフェイクのものかを決定する。弁別器が、隠された画像を実際のものとして分類するならば、弁別器損失値は、どのように画像が実際のものかフェイクのものかを良好に予測するのか、を学習するべく、弁別器に逆伝搬されてもよい。弁別器が、隠された画像をフェイクのものとして分類するならば、生成器損失値は、生成器を、弁別器を騙して実際のものとして分類させる可能性がより高い隠された画像を生成するよう訓練し続けるべく、生成器に逆伝搬されてもよい。しかしながら、少なくともいくつかの実施形態において、継続的なリアルタイムの訓練は実装されなくてもよいことは明らかであるべきである。代わりに、構成されたＧＡＮモデル２７３０の生成器２７３２は、対応する弁別器２７３４を伴わずに、または、非アクティブまたは選択的にアクティブである弁別器２７３４と共に、実装されてもよい。
図３５は、少なくとも１つの実施形態による、車両２７５０における、隠された画像３５１６を生成するように構成されたＧＡＮモデル２７３０の例示的な動作と、機械学習タスクにおける隠された画像の使用とを図示する。ステップ３５１２で、車両に搭載された１または複数の撮像素子によって、人間の顔を伴う車両データが収集される。図３５に示される動作を視覚的に図示するべく、実際の顔を示す例示的な入力画像３５０２、および、修正された顔を示す例示的な隠された画像３５０８が示される。これらの例示的な画像は、図３３を参照して既に示され且つ説明されている。画像３５０２は例示的な目的で提供されていること、および、顔は、車両と関連付けられた撮像素子によって典型的に撮像される画像の小さな部分であり得ることに留意されたい。加えて、いくつかのシナリオで、人間の顔を伴う車両データ３５１２は、車両と関連付けられた撮像素子から受信された撮像画像、および／または、車両から分離している（例えば、他の車両、ドローン、信号機などの）撮像素子から受信された撮像画像を含み得る。
顔検出および位置合わせモデル３５２０は、車両データからの画像において、顔を検出し且つ位置合わせすることができる。少なくとも１つの実施形態で、教師あり学習モデル、例えばマルチタスクカスケード畳み込みネットワーク（ＭＴＣＮＮ）が、検出および位置合わせの両方のために使用され得る。顔位置合わせは、顔の特定のコンポーネント（例えば眼、鼻、口）の位置を推定することが関与するコンピュータビジョンテクノロジである。図３５で、顔検出が、例示的な画像３５０４において示され、眼の位置合わせが、例示的な画像３５０６において示される。
検出された顔は、ターゲットドメイン２７３６と共に、構成されたＧＡＮモデル２７３０内へと供給される。一例では、検出された顔に対する性別および年齢の変換の組み合わせは、顔の望まれる特徴、例えば感情および注視情報を維持しつつ、顔認識確率を低下させ得る。構成されたＧＡＮモデル２７３０の生成器は、ターゲットドメイン２７３６、および、顔検出および位置合わせモデル３５２０からの入力画像に基づいて、画像３５０８に図示される、隠された画像３５１６を生成する。
この例では顔認識３５１８は失敗しているが（例えば、隠された画像３５０８の顔は、元の画像３５０２に示される同じ人として認識可能ではない）、その一方で、顔の特定の特徴、例えば注視は保持されていることに留意されたい。自律車両シナリオで、車両のオンボードインテリジェンス（例えばコンピュータビジョンシステム２７５５）は、注視に基づいて、移動している人（例えば、歩いている、走っている、バイクに乗っている、車を運転している、など）の軌道を、なおも予測および予想することができる。画像データにおける人の識別特徴のいくつかは、画像が処理される時点で（例えば変換され又は修正されることによって）破棄されるので、悪意ある又は詮索している主体（例えばハッカーまたはサーベイランスエンティティ）による、データ内の人のアイデンティティを元に戻そうとする試みは、隠された画像からの貴重な情報を取得するコンピュータビジョンアプリケーションの能力を損なうことなく、失敗するであろう。
隠された画像は、具体的な実装および必要性に基づいて、任意のシステム、アプリケーションまたはクラウドに提供され得る。この例で、隠された画像３５１６は、顔によって表わされる人の動作を予測することを助けるべく、車両上のコンピュータビジョンアプリケーション３５４０に提供される。例えば、注視検出３５４２は、人（例えば歩行者、別のドライバなど）が見ている場所を決定してもよく、軌道予測３５４４は、人が取る可能性が高い軌道または経路を予測してもよい。例えば、歩行者が自己の電話を見ている、または邪魔されていることの他のサインを示しており、且つ、予測された軌道が、その人が車両の経路に入る可能性が高いことを示しているならば、１または複数の動作、例えば、ドライバに警告する、警笛を鳴らす、速度を低下させる、停止する、または任意の他の適切な動作または複数の動作の組み合わせを取るべく、適切なコマンドが発行されてもよい。
別の例で、隠された画像３５１６は、顔によって表わされる人の感情を決定するのに使用され得る。これは例えば、その乗客がサービスに満足しているか不満があるかを決定するサービスプロバイダ、例えば輸送サービスプロバイダにとって有用かもしれない。少なくともいくつかのシナリオで、車両から遠隔で、例えばサービスプロバイダのクラウド処理システム３５５０によって、そのような評価がされてもよい。従って、車両上の撮像素子によって撮像された個人（例えばタクシー内の乗客）の写真は、他のシステム、アプリケーション、デバイスなどと共有されてもよい。例えば、感情検出３５５２は、隠された画像に示される人の特定の感情を検出してもよい。動作予測／評価３５５４は、隠された画像に示される人が取る可能性が高い特定の動作を予測してもよい。例えば、極端な怒り又は苦痛は、ドライバに警告を送信するのに使用されてもよい。本明細書における実施形態は、成功裏の注視および感情検出を可能にする特定の属性を保持しつつ、顔を隠すことによってユーザプライバシーを保護し、顔認識を防止する。
図３６を参照すると、図３６は、顔の画像上で属性転移を実行するように訓練されたＧｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）を構成することと関連付けられる動作の、高レベルな考え得るフロー３６００を図示する簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図３６の複数のアクティビティと対応する。ＧＡＮ構成システム２７１０は、複数の動作のセットの少なくとも一部を利用してもよい。ＧＡＮ構成システム２７１０は、当該複数の動作を実行するための、１または複数のデータプロセッサ２７３７を備えてもよい。少なくとも１つの実施形態で、ＧＡＮモデル２７２０の生成器２７２２、属性検出エンジン２７１７および顔認識エンジン２７１８は各々、当該複数の動作の１または複数を実行してもよい。いくつかの実施形態では、フロー３６００の複数の動作の少なくともいくつかは、ユーザインタラクションを伴って実行されてもよい。例えば、いくつかのシナリオで、ユーザは、テストされる新しいターゲットドメイン用に属性を選択してもよい。他の実施形態では、新しいターゲットドメイン用の属性は、例えば、ランダムに、又はアルゴリズムに基づいて、自動的に選択されてもよい。
ステップ３６０２で、ＧＡＮモデルの生成器は、顔のテスト画像を受信する。少なくとも１つの実施形態で、フロー３６００で処理されるテスト画像は、顔認識エンジン２７１８によって認識可能であることを保証するべく、当該エンジンによって先験的に評価されてもよい。ステップ３６０４で、生成器は、テスト画像における顔を隠すのに使用される、１または複数の属性を示すターゲットドメインを取得する。
ステップ３６０６で、生成器は、テスト画像に適用され、選択されたターゲットドメイン（例えば、性別、年齢、髪色など）に基づいて隠された画像を生成する。隠された画像は、１または複数の属性に基づいて修正された、テスト画像からの顔を示す。
ステップ３６０８で、隠された画像は、隠された画像において所望の属性が検出可能であるかどうかを決定する属性検出エンジンに提供される。例えば、注視属性は、コンピュータビジョンシステムアプリケーションが注視を検出し、且つ、注視と関連付けられた人の意図および／または軌道を予測できるよう、保持されることが望ましくてもよい。別の例で、感情は、第３者が、顧客である人の感情を評価し、当該顧客がどのようなタイプの体験をしているのか（例えば、満足しているのか、イライラしているのか、など）を決定することができるよう、保持するのに望ましい属性であってもよい。具体的な実装および必要性に基づいて、および／または、隠された画像を消費する機械学習システムのタイプに基づいて、任意の他の望ましい属性が評価されてもよい。
ステップ３６１０で、望ましい属性が検出可能であるかどうかに関する決定がなされる。望ましい属性の１または複数が検出可能ではないならば、ステップ３６１６で、テスト用に新しいターゲットドメインが選択されてもよい。新しいターゲットドメインは、単一の属性または複数の属性の組み合わせを示してもよく、且つ、ユーザによって手動で選択され又は自動的に選択されてもよい。フローは進んでステップ３６０４に戻り、ここでは、新しく選択されたターゲットドメインが生成器で受信され、別のテストが新しく選択されたターゲットドメインを使用して実行される。
ステップ３６１０で、隠された画像において所望の属性が検出可能であると決定されるならば、ステップ３６１２で、隠された画像は、隠された画像が認識可能であるかどうかを決定する顔認識エンジンに提供される。ステップ３６１４で、隠された画像が顔検出エンジンによって認識されるかどうかに関する決定がなされる。隠された画像が認識されるならば、ステップ３６１６で、テスト用に新しいターゲットドメインが選択されてもよい。新しいターゲットドメインは、単一の属性または複数の属性の組み合わせを示してもよく、且つ、ユーザによって手動で選択され又は自動的に選択されてもよい。フローは進んでステップ３６０４に戻り、ここでは、新しく選択されたターゲットドメインが生成器で受信され、別のテストが新しく選択されたターゲットドメインを使用して実行される。
ステップ３６１４で、隠された画像が顔検出エンジンによって認識されないと決定されるならば、ステップ３６１８で、ＧＡＮモデルは、生成器によって隠された画像を生成するのに使用されたそのターゲットドメインを、ターゲットドメインとしてセットすることによって構成されてもよい。少なくとも１つの実施形態で、生成器によって使用された、選択されたターゲットドメインは、それと同じ選択されたターゲットドメインに基づいて隠された、隠された画像が、特定の閾値数、顔検出エンジンによって認識されるまで、生成器を構成するのに使用されなくてもよい。
図３７は、構成されたＧＡＮモデル（例えば２７３０）がシステムに実装された場合に車両（例えば２７５０）のプライバシーを保持するコンピュータビジョンシステム（例えば２７５５）の動作と関連付けられる動作の、高レベルな考え得るフロー３７００を図示する簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図３７の複数のアクティビティと対応する。構成されたＧＡＮモデル２７３０と、顔検出および位置合わせモデル３５２０とは各々、当該複数の動作のセットの少なくとも一部を利用してもよい。構成されたＧＡＮモデル２７３０と、顔検出および位置合わせモデル３５２０とは、当該複数の動作を実行するため、１または複数のデータプロセッサ２７５７を備えてもよい。
ステップ３７０２で、プライバシーを保持するコンピュータビジョンシステムは、車両と関連付けられる撮像素子によって撮像された画像を受信する。他のシナリオで、コンピュータビジョンシステムは、車両に近接している別のデバイスから画像を受信してもよい。例えば、画像は、画像を受信する車両を追い越す別の車両によって取得されてもよい。
ステップ３７０４で、撮像画像が顔を示すかどうかに関する決定がなされる。撮像画像が顔を示していないとの決定がなされるならば、フロー３７００は終わり、構成されたＧＡＮモデルは撮像画像を処理しない。
ステップ３７０４で、撮像画像が顔を示しているとの決定がなされるならば、ステップ３７０６で、撮像画像において顔が検出される。例えば、撮像画像において、顔に対応する画素のセットが検出されてもよい。ステップ３７０８で、顔のコンポーネントの位置を推定するべく、検出された顔が位置合わせされる（例えば、眼のコーナー、口のコーナー、鼻のコーナーなど）。ステップ３７１０で、検出された顔、および、顔のコンポーネントの推定された位置に基づいて、生成器用の入力画像が生成されてもよい。少なくとも１つの例で、検出および位置合わせの両方のために、教師あり学習モデル、例えばマルチタスクカスケード畳み込みネットワーク（ＭＴＣＮＮ）が使用されてもよい。
ステップ３７１２で、構成されたＧＡＮモデルの生成器が入力画像に適用され、生成器におけるターゲットドメインセットに基づいて隠された画像を生成する。少なくとも１つの実施形態で、ターゲットドメインによって示される属性は、年齢および／または性別を含んでもよい。他の実施形態では、複数の属性の他の組み合わせ（例えば、髪色、眼色、肌色、メイクアップなど）、または単一の属性が、もしそのような属性が、認識可能ではないが所望の属性を保持する隠された画像という結果をもたらすならば、ターゲットドメインによって示されてもよい。
ステップ３７１４で、必ずしもこれらに限定されないが、クラウドデータ収集システム、コンピュータビジョンシステムにおけるアプリケーション、および、管理エンティティ（例えば、輸送の国営部門のような取締エンティティ）、のうちの１または複数を含む適切なデータレシーバに、隠された画像が送信される。
図３８は、構成されたＧＡＮモデル（例えば２７３０）が入力画像に適用された場合に生じ得る動作と関連付けられる動作の、高レベルな考え得るフロー３８００を図示する簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図３８の複数のアクティビティと対応する。生成器２７３２および弁別器２７３４を含む、構成されたＧＡＮモデル２７３０は、当該複数の動作のセットの少なくとも一部を各々が利用してもよい。構成されたＧＡＮモデル２７３０は、当該複数の動作を実行するため、１または複数のデータプロセッサ２７５７を備えてもよい。少なくとも１つの実施形態で、フロー３８００の当該複数の動作は、ステップ３７１２で示される動作に対応してもよい。
ステップ３８０２で、車両における構成されたＧＡＮモデルの生成器は、入力画像を受信する。入力画像は、例えば、車両によって撮像された画像に示される顔を検出し且つ位置合わせすることによって生成されてもよい。ステップ３８０４で、生成器は、生成器の予め構成されたターゲットドメイン（例えば性別および年齢）に基づいて、入力画像から隠された画像を生成する。
ステップ３８０６で、構成されたＧＡＮモデルの弁別器が、生成器から隠された画像を受信する。ステップ３８０８で、弁別器は、隠された画像に対して畳み込みニューラルネットワーク動作を実行し、隠された画像を実際のもの又はフェイクのものとして分類する。
ステップ３８１０で、隠された画像の分類に関する決定がなされる。弁別器が隠された画像をフェイクのものとして分類するならば、ステップ３８１２で、弁別器によって「実際の」ものとして分類される隠された画像（例えば、弁別器を騙す隠された画像）を生成するよう生成器を訓練し続けるべく、生成器損失は、伝搬されて生成器に戻される。ステップ３８１４で、生成器は、ターゲットドメインおよび生成器損失に基づいて、入力画像から別の隠された画像を生成し得る。フローは次にステップ３８１０に進み、弁別器が新しい隠された画像をどのように分類するかを決定してもよい。
ステップ３８１０で、弁別器が隠された画像を実際のものとして分類するならば、次にステップ３８１６で、フェイク画像をより正確に認識するよう弁別器を訓練し続けるべく、弁別器損失が伝搬されて弁別器に戻されてもよい。
フロー３８００は、車両に実装された場合に、構成されたＧＡＮモデルが、自己の生成器および弁別器をリアルタイムで訓練し続ける例示的なフローを図示する。いくつかのシナリオで、訓練は、例えば構成されたＧＡＮモデルを更新するべく、追加の訓練が望まれるまでの選択された期間中に休止されてもよい。これらのシナリオで、少なくともいくつかの期間中、撮像画像が処理される場合に、生成器のみがニューラルネットワーク動作を実行してもよい。弁別器は、追加の訓練が開始されるまで実行しなくてもよい。
いくつかの実装で、自律運転システムに関連して収集された画像データに関連付けられるプライバシー保護を提供するべく、追加の（または代替的な）機能が提供されてもよい。例えば、オンデマンドプライバシーコンプライアンスシステムが自律車両用に提供されてもよい。一実施形態で、プライバシー測定が必要とされるまで、収集された車両データに対するプライバシー測定の適用を遅らせる「レイジー」オンデマンドアプローチと連動して、説明タグが使用される。説明タグは、データの異なる属性を指定するのに使用される。図３９から４９を参照して使用されるように、「属性」との用語は、データの特徴、特性または特色を意味することを意図される。属性は、プライバシー規制および要件へのコンプライアンスのため、プライバシー供給を主観的に規定するのに使用され得る。特定の車両からのデータセットに適用されるタグは、「レイジー」ポリシーがデータセットに適用されるかどうかを決定するべく、クラウドで又は車両で評価される。レイジーポリシーが適用されるならば、潜在的にプライバシーを損ない得るであろう様式でデータセットが使用されるまで、データセットの特定の態様を私有化または匿名化する処理は遅らされる。
新しいテクノロジ、例えば自律車両は、（ｉ）膨大な量のセンサデータの収集、および（ｉｉ）収集されたデータの使用およびハンドリングを規制する、決まった場所に、発達中で、且つ頻繁に変化する、厳しい法律および規制によって、特徴づけられる。いくつかのエッジデバイス、例えばＬ４／Ｌ５の自律車両で、カメラおよびビデオデータは、５ＴＢ／時間のレートで生成されてもよい。このデータは、プライバシーおよび安全の懸念を起こし得、且つ、様々な政府規制に従い得る、人の識別情報を含んでもよい。この人の識別情報は、必ずしもこれらに限定されないが、子供を含む人の画像、プライベートな特性のアドレスまたは画像、車両の位置の正確な座標、および／または、車両ナンバープレートの画像を含んでもよい。いくつかの地理では（例えばヨーロッパ連合）、人の識別情報は法律的に保護され、保護された情報を保持する如何なるエンティティにも厳しい罰金刑が課され得る。
従前のデータセンタでは、データ管理技術は典型的に、データセット全体に亘って実装され、通常はただ一度、新しい又は修正された政府法律の結果として不意に廃れることになり得る１つのコンプライアンスポリシーを使用する。更に、いくつかのエッジデバイスによって（例えば５ＴＢ／時間で）生成されるデータの量は、効率的なコンプライアンスポリシーの適用をスケーラブルではないものにする。
概ね、現在のコンプライアンスポリシー、例えばデータプライバシは、コンプライアンスを保証するべく、全てのデータファイルを処理することによって適用される。これらのポリシーは典型的に、潜在的なプライバシー違反を検出するべく予め定義された検索基準のセットを用いる。このアプローチは、データリッチな環境、例えば自律車両にとって非効率的であり、且つ、スケーラブルではない。現在は、自律車両は、自己のセンサアレイの至る所から、５ＴＢ／時間のデータだけ収集できる。他のモバイルエッジデバイスと組み合わされた場合、センサデータが生成されるレートは潜在的に、標準の処理チャネル、および、コンプライアンスを施行する追加のデータ管理分析を氾濫させ得る。
追加的に、現在のコンプライアンス解決策は、プライバシー規制の継続的な変化および進展、および、ロケール、コンテキストおよび産業に対してこれらの規制が分散する性質、に迅速に適合できない、厳格な、１回限りの実装である。例えば、米国における自律救急車は、輸送規制の部門、および、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃt （ＨＩＰＡＡ）の両方に従うデータを収集してもよい。更に、プライバシー規制は、州により且つ国により異なり得る。州境または国境を跨ぐ自律車両は、新しいロケールにおける規制に準拠するべく、自己の処理をリアルタイムに調整することを必要とする。これらのシナリオなどにおいて、厳格な１回限りの実装は潜在的に、コンプライアンス責任の暴露を作成し得る。
現代のデータコンプライアンス技術はまた、アプリケーション開発を妨げ得、配備問題を引き起こし得る。典型的には、これらの技術は、データをサイロするか、または処理されていないデータを完全に削除するかの何れかである。そのような動作は、データ処理に基づく会社の能力開発パイプラインにとって極めて厄介であり得る。
図３９に示されるように、自律車両用のオンデマンドプライバシーコンプライアンスシステム３９００は、前述の問題の多く（その他色々）を解決する。本明細書における実施形態は、車両によって捕捉される又は別様に取得されるデータを、データに説明タグを取り付けることによって強化する。タグは、コンプライアンス用に必要とされるプライバシー供給を主観的に規定するのに使用され得る異なる属性を指定する。少なくとも１つの実施形態で、タグは、人が割り当てること及び理解することがフラット且つ容易である。タグは、例えば位置、質時刻および／または使用を含む、データの異なる態様を説明するのに使用され得る。本明細書で説明される少なくともいくつかの実施形態はまた、データの実際のコンテンツ、例えば写真中のオブジェクト、現在位置および／または時刻に基づく機械学習を使用する自動タグ割り当てを含む。
実施形態はまた、プライバシーコンプライアンスを処理するために、「レイジー」オンデマンドアプローチを適用する。レイジーオンデマンドアプローチにおいて、データを処理してプライバシーポリシーを適用することは、プライバシーを損ない得る状況でデータが実際に使用されるまで、可能な限り延期される。自律車両で収集されるデータは、多くの場合、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ （ＭＬ）用に使用される。機械学習は典型的に、サンプリングをデータに適用し、訓練およびテストデータセットを生成する。たった単一の自律車両によって収集される多量のデータを仮定すると、これらのサンプルデータセットを処理してプライバシーポリシーをオンデマンドに適用することは、コンピューティングリソースのより良い使用を保証する。更に、タグに基づいて、データは、インデックス化および／またはストレージ用に選択され得、これはまた、リソース使用を最適化する。
オンデマンドプライバシーコンプライアンスシステム３９００は、いくつかの利点を提示する。システムは、車両（モバイルエッジデバイス）内またはデータセンタ／クラウドインフラストラクチャ内の何れかで実行され得る、計算効率的且つコンテキスト上は運転されるコンプライアンスポリシーエンジンを含む。車両データ収集のユーティリティは、構造化されたメタデータとは異なる、技術的および非技術的の両方で、人間によって理解され且つ割り当てられるのが容易でフラットなタグを使用して強化される。本明細書における実施形態でのタグの使用は、データセットにおけるあらゆるフレームまたはファイルを検討する必要性無くして、正しいプライバシーコンプライアンス処理が正しいデータセット上で実行されることを保証する。従って、大量のデータセンタリソースが保存され得る。これらのタグは、車両データが取締プライバシー違反から自由であることを保証する。こうして、車両データを使用、格納または処理するエンティティ（例えば、法人、サービスプロバイダ、車両製造業者など）は、関連するコンプライアンスおよび取締法令に準拠しているままとなる。これにより、そのようなエンティティが大量の罰金を受けることを防止できる。更に、規制が変わると、本明細書における実施形態は、システムの大量のコード変更または再実装を必要とすることなく、これらの変更に順応できる。規制は、例えば、取締機関がプライバシー規制を追加又は更新する場合、または、車両が１つの取締機関に従属しているエリアを去って別の取締機関に従属しているエリアに入る場合（例えば、州線を跨いで運転する、国境を跨いで運転する、など）、に変わり得る。また、取締コンプライアンスを処理することによって、本明細書で説明される実施形態は、車両（および他のエッジデバイス）によって収集されるデータの信用、および、自己の管理ライフサイクルを増加することができる。データプライバシ保証に加えて、実施形態は、監査および報告目的のトレーサビリティを有効化する。更に、本明細書で説明されるモジュール式の拡張可能なフレームワークは、新しい革新的な処理を包含できる。
図３９を参照すると、オンデマンドプライバシーコンプライアンスシステム３９００は、クラウド処理システム３９１０と、車両３９５０と、車両３９５０およびクラウド処理システム３９１０の間の伝達を容易にするネットワーク３９０５を備える。クラウド処理システム３９１０は、クラウド車両データシステム３９２０と、車両データを受信するためのデータ摂取コンポーネント３９１２と、クラウドポリシー３９１４と、タグ付けされてインデックス化されたデータ３９１６とを備える。車両３９５０は、エッジ車両データシステム３９４０、エッジポリシー３９５４、データ収集器３９５２および多数のセンサ３９５５Ａ－３９５５Ｆを備える。図３９の要素はまた、必ずしもこれらに限定されないが、プロセッサ（例えば３９１７、３９５７）およびメモリ（例えば３９１９、３９５９）を含む適切なハードウェアコンポーネントを有し、これは、多数の異なる実施形態でも実現され得る。
車両３９５０において、データ収集器３９５２は、センサ３９５５Ａ－３９５５Ｆから供給される、近くの連続データを受信してもよい。センサは、静止画像（例えば写真）および動画（例えばビデオ）を撮像するための撮像素子を含む、本明細書で説明される任意のタイプのセンサを含んでもよい。収集されたデータは、少なくとも一時的にデータ収集器３９５２に格納され、且つ、エッジ車両データシステム３９４０に提供されて、タグおよびエッジポリシー３９５４を、収集されたデータから形成されるデータセットに適用されてもよい。タグは、ウェブコンテンツを編成すること、人間が容易に理解できるやり方でそれをラベル付けすること、および、検索用にそれをインデックス化することを助ける、任意の、ユーザによって生成されたワードであり得る。エッジポリシー３９５４は、タグに基づいてデータセットに適用されてもよい。ポリシーは、データセットと関連付けられた１または複数のタグを、１または複数の処理に関連付ける。処理は、任意の個人識別情報へのアクセスを防止するべく、データセットに対してある種の修正を実行する、システム設計における第１のクラスのエンティティとして規定される。
少なくともいくつかのシナリオで、車両によって収集される車両データのデータセットは、それらのタグに基づいてクラウドポリシー３９１４をデータセットに適用するべく、クラウド処理システム３９１０におけるクラウド車両データシステム３９２０に提供される。このシナリオで、車両から収集されるデータは、データセットへと形成され、タグ付けされ、且つ、データ摂取コンポーネント３９１２に提供されてもよく、これは次に、データセットを、それらのタグに基づいてデータセットに適用されるクラウドポリシー３９１４用のクラウド車両データシステム３９２０に提供する。少なくとも１つの実施形態で、特定の車両（例えば３９５０）からのデータセットに適用されるクラウドポリシー３９１４は、データセットが車両と共に留まるならば、エッジ車両データシステム３９４０によってデータセットに適用されるであろうポリシーと同じであってもよい。少なくともいくつかのシナリオで、クラウド車両データシステム３９２０はまた、タグをデータに（または追加のタグを、エッジ車両データシステム３９４０によって既に適用されている補足のタグに）適用してもよい。少なくともいくつかの実施形態で、タグ付けすることは、それが最も効率的に果たされ得る場合にはいつでも実行されてもよい。例えば、クラウドにおいて地理的（ジオ）タグ付けを有効化する技術が存在するが、それは多くの場合、車両によって実行される。なぜならば、撮像素子が、全地球測位システムを含み得、且つ、被写体の位置に関連するリアルタイム情報を提供し得るためである。
図４０を参照すると、図４０は、データ用のプライバシーコンプライアンスを保証するよう規定されたオブジェクトおよび車両によって収集されるデータ４０１０の表現を図示する。オブジェクトは、１または複数のタグ４０２０、１または複数のポリシー４０３０、および１または複数の処理４０４０を含む。少なくとも１つの実施形態で、データ４０１０は、１または複数のファイル、画像、ビデオフレーム、記録、または電子フォーマットで情報を含む任意のオブジェクト、を含むデータセットであってもよい。概ね、データセットは、別個の複数の要素（例えば、ファイル、画像、ビデオフレームなど）から形成される情報の、関係するセットの集まりである。
タグ、例えばタグ４０２０は、データ用の特徴付けメタデータであってもよい。タグは、データフォーマット（例えばビデオなど）、品質（例えば低解像度など）、ロケール（例えば、アメリカ合衆国、ヨーロッパ連合など）、エリア（例えば、高速道路、田園、郊外、都市など）、交通荷重（例えば、ライト、ミディアム、ヘビーなど）、人間の存在（例えば、歩行者、バイカー、ドライバなど）、および、データに関連する任意の他の情報を指定し得る。タグは、ウェブコンテンツを編成すること、人間が容易に理解できるやり方でそれをラベル付けすること、および、検索用にそれをインデックス化することを助ける、任意の、ユーザによって生成されたワードであり得る。いくつかの実施形態では、１または複数のタグが手動で割り当てられてもよい。少なくともいくつかのタグは、機械学習を使用して自動的に割り当てられ得る。例えば、ニューラルネットワークが、収集されたデータの様々な特性を識別し、且つ、適宜に各々のデータセットを分類するように訓練されてもよい。例えば、高速道路、対、郊外の近隣で撮られた、データセットにおける写真またはビデオフレームを識別する、畳み込みニューラルネットワーク（ＣＮＮ）またはサポートベクターマシン（ＳＶＭ）アルゴリズムが使用され得る。後者は、歩行者の写真およびプライベート特性を含む高い確率を有し、潜在的にプライバシー規制に従うであろう。データセットは、「郊外」として分類されてもよく、且つ、適切なタグが、データセットに取り付けられてもよく、またはそうでない場合は、それと関連付けられてもよい。
処理、例えば処理４０４０は、入力としてデータセットを取り、且つ、新しいデータセットを結果として生じるいくつかの処理をデータセットに適用する、ＲＥＳＴ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ （ＡＰＩ）として規定される作動動作であってもよい。処理の例は、これらに必ずしも限定されないが、個人識別情報（例えばＧＰＳ位置など）にデータ匿名化スクリプトを適用すること、個人識別情報または画像（例えば、顔、ナンバープレートプライベートまたは過敏な特性アドレスなど）をぼかすこと、過敏データを画素化すること、および、過敏データを訂正すること、を含む。
システム設計において、第１のクラスのエンティティとして処理が規定される。少なくとも１つの実施形態で、処理は、典型的な匿名化、変更、改正、圧縮、ストレージなどであってもよい。これは、処理が容易に接続可能で、置き換え可能で且つ追跡可能な、モジュラーパイプライン設計が使用されることを可能にする。従って、データに対する変更は追跡され得、コンプライアンス要件は検査され得る。加えて、モジュラーパイプライン設計は、新しい規制が制定される又は既存の規制が更新されるときの、新しいプライバシー処理の導入を容易にする。
ポリシー、例えばポリシー４０３０は、１または複数のタグを１または複数の処理に関連付ける。例えば、以前に説明されたように、「郊外」とタグ付けされるデータセットは、人の顔およびプライベート特性情報を匿名化する（例えば、ぼかす、訂正する、画素化する、など）プライバシー処理に「郊外」タグを関連付けるポリシーに従い得るであろう。そのケースにおけるタグは、そのデータセットの性質、および、それが含む潜在的なプライバシー影響に基づいて、正当な処理が正当なデータセットに合致されることを可能にする。
図４１は、少なくとも１つの実施形態による、オンデマンドプライバシーコンプライアンスシステム３９００用の例示的なポリシーテンプレート４１１０を示す。ポリシーテンプレート４１１０は、ポリシーをオンデマンドポリシーとして規定する「レイジー」属性４１１２を含み、その適用は延期され、その後に要求に応じて適用される。より具体的には、ポリシーは、潜在的にプライバシーを損ない得るであろう状況でデータセットが使用されるまで、適用されない。ポリシーがレイジーポリシーとして指定されるとの決定の際に、データセットは後の処理用にマークを付けられる。例えば、マークを付けられた（例えば画像の）データセットが機械学習用にサンプリングされる前に、ポリシーが適用され、データセットにおける画像の顔をぼかしてもよい。
ポリシーテンプレート４１１０はまた、タグの接合または分離によって示される状態４１１４を含む。こうして、１または複数のタグは、望まれる接合および／または分離を伴う状態４１１４で使用されてもよい。タグの例は、必ずしもこれに限定されないが、歩行者、夜、日中、高速道路、田園、郊外、都市、米国、ＥＵ、アジア、低解像度、高解像度、地理的（ジオ）位置、および日付と時間を含んでもよい。
ポリシーテンプレート４１１０は更に、状態がデータセット上のタグから満たされているならば、データセットに対して実行される、単一の処理または複数の処理の接合を示す動作４１１６を含む。図４１に示されるように、例示的な状態は、高解像度および歩行者および（米国またはヨーロッパ）で有り得、複数の処理の例示的な接合は、顔をぼかしてデータを圧縮することである。従って、この例示的なポリシーは、そのタグによれば、高解像度データおよび歩行者を含み、且つ、米国またはヨーロッパの何れかで収集されるデータセットに適用可能である。データセットがこのタグの組み合わせを満たすならば、１または複数の処理が適用され、画像内の歩行者の顔をぼかし、データを圧縮する。
図４２は、車両データシステム４２００の、考え得るコンポーネントと、動作の一般的なフローとを図示する簡略化されたブロック図である。車両データシステム４２００は、クラウド車両データシステム（例えば３９２０）および／またはエッジ車両データシステム（例えば３９４０）を表わし得る。車両データシステム４２００は、セグメント化エンジン４２１０、タグ付けエンジン４２２０およびポリシー施行エンジン４２３０を含む。車両データシステム４２００は、車両からのデータセットをタグ付けし、且つ、データセットに取り付けられたタグに基づいてポリシーをデータセットに適用することによって、自律車両（例えば３９５０）に取り付けられるセンサ（例えば３９５５Ａ－３９５５Ｆ）から収集されるデータに対するプライバシーコンプライアンスを保証する。
セグメント化エンジン４２１０は、車両（例えば３９５０）のデータ収集器（例えば３９５２）によって収集されるデータである新しいデータ４２０２を受信し得る。セグメント化エンジン４２１０は、新しいデータ４２０２に対してセグメント化処理を実行し、新しいデータからデータセットを形成し得る。例えば、新しいデータは、各々が情報の関係するセットの集まりを含む複数のデータセットへとセグメント化されてもよい。例えば、データセットは、特定の日、地理的位置などと関連付けられるデータを含んでもよい。また、セグメント化は、用途に固有であってもよい。少なくとも１つの実施形態で、タグは、データセットごとに適用され得る。
タグ付けエンジン４２２０は、データセット用のタグ４２２４を出力する機械学習モデル４２２２を備えてもよい。機械学習モデル４２２２は、所与のデータ入力に基づいて適切なタグを識別するよう訓練され得る。例えば、高速道路、郊外の道、街路、または田園道路の画像またはビデオフレームを仮定すると、モデル４２２２は、適切なタグ、例えば、「高速道路」、「郊外」、「都市」、または「田園」を識別し得る。使用され得る好適な機械学習技術の例は、必ずしもこれらに限定されないが、畳み込みニューラルネットワーク（ＣＮＮ）またはサポートベクターマシン（ＳＶＭ）アルゴリズムを含む。いくつかの例で、単一の機械学習モデル４２２２は、各々のデータセット用に１または複数のタグを生成してもよい。他の実施形態では、タグ付けエンジンにおいて、データセットに適用可能であり得る様々なタグを識別するのに、１または複数の機械学習モデルが使用されてもよい。
ポリシー施行エンジン４２３０は、ポリシーセレクタ４２３２、ポリシー４２３４および処理キュー４２３９を含んでもよい。ポリシーセレクタ４２３２は、タグ付けエンジン４２２０からタグ付けされたデータセットを受信し得る。ポリシー４２３４は、車両データシステム４２００がエッジデバイス（例えば車両３９５０）に実装されているならば、エッジポリシー（例えば３９５４）を表わし、または、車両データシステム４２００がクラウド処理システム（例えば３９１０）に実装されているならば、クラウドポリシー（例えば３９１３）を表わす。ポリシーセレクタ４２３２は、データセット上で１または複数のタグを検出し、４２３３で、検出されたタグに基づいて１または複数のポリシーを識別する。ポリシーは、どの処理がどの場合に適用可能であるかを規定する。例えば、ポリシーは、米国としてタグ付けされた全ての画像に対して、ナンバープレートをぼかすと言い得る。
４２３５で示されるように、ポリシーセレクタ４２３２は、識別された１または複数のポリシーがレイジーポリシーとして指定されているかどうかを決定する。データセットのタグに基づいてデータセット用に識別されるポリシーがレイジーとして指定されているならば、データセットは、４２３６で示されるように、オンデマンド処理用にマークを付けられる。従って、レイジーポリシーは直ちにデータセットに適用されない。むしろ、データセットが、データセットのコンテンツのプライバシーを損ない得るであろう任意の他のやり方で、問い合わせされ、読み取られ、コピーされ、又はアクセスされるまで、データセットはポリシーと共に格納される。例えば、識別されたポリシーが、画像の顔をぼかす処理を示し、且つ、レイジーポリシーとして指定されているならば、データセットにおける如何なる画像も直ちには顔をぼかすように処理されず、むしろ、データセットは、オンデマンド処理用にマークを付けられて格納される。データセットがその後にアクセスされる場合、データセットは処理キュー４２３９に追加され、識別されたポリシーを適用して、データセットの画像における顔をぼかしてもよい。一度ポリシーが適用されたら、データセットへのアクセス要求は満たされ得る。
データセットのタグに基づいてデータセット用に識別されるポリシーがレイジーとして指定されていないならば、データセットは、４２３８で示されるように、処理キュー４２３９に追加される。次に、識別されたポリシーがデータセットに適用される。例えば、データセット用に識別されたポリシーが、ファイル内のデータを暗号化する処理を示し、且つ、レイジーポリシーとして指定されていないならば、データセットは処理キュー４２３９に追加されて、データセットを暗号化する。データセットと関連付けられ且つレイジーとして指定されたポリシーが存在しないならば、一度複数のポリシーの全てがデータセットに適用され（例えば暗号化され）たら、ポリシーが、ポリシーに準拠しているデータ４２０６に追加され、ここでは、当該データは、更なるプライバシーポリシー処理をすることなくアクセスされ得る。
車両データシステム４２００の複数の能力のいくつかは、データフローを最適化するエッジデバイス（例えば車両３９５０）に実装され得る。例えば、過敏データがクラウド（例えば３９１０）上で保存されることを防止するべくプライバシーフィルタがエッジで適用され得、従って、最近の規制、例えばＥｕｒｏｐｅａｎ Ｕｎｉｏｎ Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ （ＧＤＰＲ）によって施行されるように、データ最小化ルールを有するコンプライアンスを保証する。例えば、プライバシーポリシーは、ＧＰＳ座標を、正確ではない位置データ、例えば都市と置換することによって位置データを匿名化するよう規定され得る。ポリシーは、非レイジーポリシーとして規定され、車両（エッジ）における全ての位置データに適用され、正確な位置がクラウド上に送信されることを防止し得る。
少なくとも１つの実施形態で、リアルタイム事象、または追加のコンテキストをタグ付けされたデータセットに追加する他の情報に基づいて、車載処理に影響を与えるべく、コンテキスト上のポリシーが使用されてもよい。説明のためであってこれに限定されないが、今から２つの例が説明される。第１の例で、多くの国が、子供が危険にさらされている場合に警告（例えば米国におけるＡＭＢＥＲアラート）がトリガされるシステムを用いる。この子供の安全のためのコンテキスト上のポリシーは、マイクロターゲットにされた地理的領域、例えば、事件の周りの動的探索区域に伝達され、所有者がＡＭＢＥＲ警告タイプシステムを選んでいる車両に伝達され得る。「高速道路」とタグ付けされたデータに対して、ＡＭＢＥＲ警告タイプ状態の下、レイジーポリシーが「ない」にセットされ、データは、光学式文字認証（ＯＣＲ）でナンバープレートを、与えられていれば車両色を、および与えられていれば車両説明を、リアルタイム処理をするための車両機械学習エンジンに送信される。このシナリオで、「群衆車両」のプライバシーを維持するべく、「ｂｅｇｉｎ ｈｉｔｓ ａｎｄ ｅｎｄ ｈｉｔｓ」内で取得されるＧＰＳ情報のみが、ＡＭＢＥＲアラートを受ける主体車両周りの「車両の群衆」からｐｉｎｇまたはｈｉｔを三角にすることができる警察に送信される。
コンテキスト上のポリシーを適用する第２の非限定的な例で、マイクロターゲットにされた地理的領域は、コンテキスト上のポリシー用に選択されてもよい。例えば、いくつかの都市において、たくさんのホームレス人口は、公共の公園周り、および、高速道路ランプ構造の側または下側で集まる傾向にあり、これは、特有のマイクロターゲットにされた地理的領域を作成する。これらの地域的特色を与えられた領域用に、コンテキスト上のポリシーまたは機能は、「人間の確率が高い」であり得るであろう。たとえデータセットが「高速道路」または「高速道路ランプ」としてタグ付けされ、且つ、これらのタグに関連するポリシーがレイジーポリシーとして指定されていたとしても、コンテキスト上のポリシーは、レイジー処理をオーバライドし、データを、人間／歩行者の処理用の車載車両データシステム（例えば４２００）に向け得るであろう。人間／歩行者が道路自体の上にいるものとして検出されないかもしれないが、高速道路周りの人間のクラスタは、警告も殆ど無く道路を突進する個人のより高いインスタンスを有し得る。人間／歩行者の識別は、車両における判断処理エンジンに信号を送り、車両い反応する時間を与えるべく、そうでない場合には保証されるであろうものより低速度で作動させる。
車両データシステム４２００は、車両から大量のデータが収集されて機械学習モデルが構築される、研究および設計の両方のシステムで使用されてもよく、且つ、新しいユースケースが現れた場合に、継続的に、高精細マップを更新し、交通渋滞を追跡し、またはモデルを再訓練するべく、データが車両から収集される、運用システムで使用されてもよい。研究および設計システムで、機械学習モデル４２１４は、どのように適切なタグを用いてデータセットを分類するのかを学習するべく、継続的にテストデータで訓練されてもよい。テストデータは、テスト車両からの実際のデータを含んでもよい。
車両データシステム４２００における、タグ付け、ポリシーおよび処理は、車両の計算リソース利用フレームワークへ容易に一体化される、高度に効率的な施行ワークフローを作成するのに使用される。１５０以上の電子制御ユニット、１－２ＡＤＡＳ／ＡＶエンジン、および中央サーバコントローラを備える車両で、計算の利用可能性およびポリシーに基づいて、処理を異なる計算ユニットにルーティングすることが可能である。
図４３を参照すると、図４３は、様々な考え得る人間主体ならびにハードウェアおよび／またはソフトウェア主体の視点から、エッジまたはクラウド車両データシステム４２００の特徴およびアクティビティ４３００を図示する。少なくとも１つの例で、タグ付け４３５０は、適切なタグ（例えば、歩行者、高速道路、田園、郊外、都市、ＧＰＳ位置など）をデータセットに適用することを指す。少なくとも１つの実施形態で、自動化されたデータセットタグ付け４２１２は、タグ付けエンジン４２２０によって実行され得る。以前に説明されたように、タグ付けエンジン４２２０の機械学習モデル（例えばＣＮＮ、ＳＶＭ）は、車両から収集されるデータにおける画像および他の情報を認識し、入力データに適用するタグを出力するよう訓練され得る。手動のタグ付けがまた（または代替的に）、車両データシステムで使用され得る。例えば、データプロバイダ４３３８は、タグ４３１５を規定し、タグ４３１７を更新し、かつ、手動のデータセットタグ付け４３１９を実行してもよい。
データサイエンティスト４３３６は、タグ４３１５を規定し、かつ、タグ４３１７を更新してもよく、加えて、モデル４３１２を規定して、かつ、モデル４３１３を更新してもよい。ＣＮＮまたはＳＶＭのような機械学習モデルは、適切なタグを選択するべく、複数のデータセットのコンテンツ間を区別するよう訓練されてもよい。例えば、モデルは、高速道路および田園道路からの画像との、郊外道路および街路からの画像との間を区別するように訓練されてもよい。郊外道路および街路からの画像は、例えば顔をぼかすプライバシーポリシーが適用されるべき、より多くの歩行者を有する可能性が高い。従って、一例では、タグ付けエンジン４２２０によって使用される、訓練されたＣＮＮまたはＳＶＭモデルは、画像のデータセットを、「高速道路」、「田園」、「都市」または「郊外」として分類する。タグ付けエンジン４２２０は、自動的にタグをデータセットに取り付けることができる。
ポリシー施行４３６０用に、データエンジニア４３３４は、処理４３２５を規定して処理４３２７を更新してもよい。例えば、第１の処理は、画像の顔をぼかすように規定されてもよく、第２の処理は、車のナンバープレートをぼかすように規定されてもよく、第３の処理は、ＧＰＳ座標を正確ではない位置情報と置換するように規定されてもよく、第４の処理は、データを暗号化するように規定されてもよい。データ所有者４３３２は、ポリシー４３２１を規定してポリシー４３２３を更新してもよい。例えば、ポリシーは、特定の状態（例えば、複数のタグの接合または分離）を選択して、ある動作（例えば、複数の処理の接合）を当該状態に割り当てることによって規定されてもよい。ポリシーは、当該状態を満たすデータセットと関連付けられ得る。当該ポリシーによって規定される動作は、本明細書で更に説明されるように、ポリシーが「レイジー」ポリシーとして指定されているならば、直ちに又はオンデマンドで、の何れかで、タグ付けされたデータセットに対して実行される。
ポリシー施行エンジン４２３０は、ポリシーがレイジーとして指定されていないならば、リアルタイムでポリシー４３０４を施行でき、かつ、ポリシーがレイジーとして指定されているならば、オンデマンド４３０２でポリシーを施行できる。データセットを消費する（例えばデータセットへのアクセスを要求する）データ消費者４３４０は、ポリシー施行エンジン４２３０がデータセットと関連付けられたポリシーを施行することをトリガしてもよい。これは、レイジーポリシーとして指定されているデータセットと関連付けられるポリシーに起因してデータセットがオンデマンド処理用にマークを付けられる場合に生じ得る。
図４４は、自律車両によって収集されるデータ用のポリシーを作成するための、オンデマンドプライバシーコンプライアンスシステムの例示的なポータルスクリーンディスプレイ４４００である。ポータルスクリーンディスプレイ４４００は、ポリシーが作成され、任意に「レイジー」として指定されることを可能にする。説明４４０２フィールドは、ユーザが、例えば「ナンバープレートをぼかす」などのポリシーの説明を提供することを可能にする。タグ選択ボックス４４０４は、ユーザが、ポリシー用の状態として使用されるタグを選択することを可能にする。オンデマンドボックス４４０６は、ポリシーを「レイジー」として指定するべくユーザによって選択されてもよい。ボックスが選択されないならば、ポリシーは「レイジー」として指定されていない。ポリシー説明テーブル４４０８は、どのポリシーが「レイジー」として指定され、どのポリシーが「レイジー」として指定されていないかについてのビューを提供する。例えば、図４４の例では、顔をぼかすポリシーはレイジーとして指定され、従って、オンデマンドでデータセットに適用される。別の例で、ナンバープレートをぼかすポリシーは、「レイジー」として指定されておらず、従って、データセットにおける画像のナンバープレートをぼかすべく直ちにデータセットに適用される。
図４５は、ナンバープレートぼかしポリシーを画像に適用する前後で、車両から収集される例示的な画像を示す。画像４５００Ａは、隠されておらず、解読可能なナンバープレート４５０４Ａを含む画像である。ナンバープレートをぼかすポリシーは、４５１０で適用され、結果として画像４５００Ｂをもたらし、これは、画像におけるナンバープレートを表わす画素に適用されるぼかし技術に起因して、隠されており、解読不可能なナンバープレート４５０４Ｂを有する。
図４６は、画像に顔ぼかしポリシーを適用する前後に車両から収集される例示的な画像を示す。画像４６００Ａは、（白いフレームでハイライトされた）いくつかの隠されていない認識可能な人間の顔を含む画像である。顔をぼかすポリシーは４６１０で適用され、結果として画像４６００Ｂをもたらし、これは、画像中の顔を表わす画素に適用されるぼかし技術に起因して（白いフレームによってハイライトされた）隠されている認識不可能な顔を有する。
図４７を参照すると、図４７は、オンデマンドプライバシーコンプライアンスシステム、例えばシステム３９００において、車両で収集されたデータをタグ付けすることと関連付けられる複数の動作の高レベルな考え得るフロー４７００を図示する、簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図４７のアクティビティに対応する。車両データシステム４２００は、複数の動作のセットの少なくとも一部を利用してもよい。車両データシステム４２００は、複数の動作を実行するための、１または複数のデータプロセッサ（例えば、クラウド車両データシステム用の３９２７、エッジ車両データシステム用の３９５７）を備えてもよい。少なくとも１つの実施形態で、セグメント化エンジン４２１０およびタグ付けエンジン４２２０は各々、複数の動作の１または複数を実行する。説明を容易にする目的で、フロー４７００は、車両３９５０におけるエッジ車両データシステム３９４０を参照して説明される。
ステップ４７０２で、車両３９５０によって収集されたデータはエッジ車両データシステム３９４０によって受信される。データは、車両におけるデータ収集器３９５２によって、複数の撮像素子を含む多数のセンサから収集されてもよい。
ステップ４７０４で、車両のジオ位置が決定され、ステップ４７０６で、日付および時間が決定され得る。いくつかの実装で、ジオタグ付けおよび／または日付ならびに時間タグ付けにとって、たとえ収集されたデータがその後に、追加のタグ付け及びポリシー施行のため、対応するクラウド車両データシステムに送信されるとしても、リアルタイム情報が簡単に利用可能であるエッジで実行されることが望ましいかもしれない。従って、ステップ４７０８で、データはデータセットへとセグメント化されてもよい。
ステップ４７１０で、１または複数のタグが、車両の位置、および／または、データの収集と関連付けられた日付ならびに時間、を示すデータに取り付けられる。このシナリオで、セグメント化は、タグが適用され且つジオロケーションタグおよび／または日付ならびに時間タグがデータセットに適用され得る前に実行される。他のシナリオで、ジオロケーションタグおよび／または日付ならびに時間タグは、その後にデータセットへとセグメント化されて適切なジオロケーションタグおよび／または日付ならびに時間タグをタグ付けされる、データの個々のインスタンスに適用されてもよい。
ステップ４７１２で、機械学習モデル（例えばＣＮＮ、ＳＶＭ）がデータセットに適用され、データセットと関連付けられる１または複数のタグが識別される。ステップ４７１４で、識別された１または複数のタグが、データセットと関連付けられる。ポリシーは、データセットに対して、追加されて、マッピングされて、リンクされて、またはそうでない場合は関連付けられて、格納されることによって、データセットに「取り付け」られてもよい。
少なくともいくつかのシナリオで、ユーザ（例えば車両所有者、データプロバイダ）は、手動でタグをデータセットに取り付けてもよい。例えば、ドライバが道路上で障害物または事故を見るならば、ドライバは手動で、情報を車両データシステムに入れ得るであろう。タグ付けエンジンは、当該情報を使用して、１または複数の関連するデータセット用に新しいタグを作成し得るであろう。こうして、追加のコンテキスト上の情報が、手動で、リアルタイムに、データに追加され得る。
図４８は、オンデマンドプライバシーコンプライアンスシステム、例えばシステム３９００において、ポリシー施行と関連付けられる複数の動作の高レベルな考え得るフロー４８００を図示する簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図４８の複数のアクティビティと対応する。車両データシステム、例えば車両データシステム４２００は、複数の動作のセットの少なくとも一部を利用してもよい。車両データシステム４２００は、当該複数の動作を実行するための、１または複数のデータプロセッサ（例えば、クラウド車両データシステム用の３９２７、エッジ車両データシステム用の３９５７）を備えてもよい。少なくとも１つの実施形態で、ポリシー施行エンジン４２３０は、複数の動作の１または複数を実行する。説明を容易にするために、フロー４８００は、車両３９５０におけるエッジ車両データシステム３９４０を参照して説明される。
ステップ４８０２で、車両３９５０のエッジ車両データシステム３９４０におけるポリシー施行エンジンは、車両によって収集されるデータを含む、タグ付けされたデータセットを受信する。データセットは、図４７を参照して説明された複数のアクティビティをした後に受信されてもよい。例えば、一度、車両から収集されたデータがデータセットへとセグメント化され、タグ付けエンジンによってタグ付けされたら、タグ付けされたデータセットは、ポリシー施行エンジンによって受信される。
ステップ４８０４で、データと関連付けられた１または複数のタグが識別される。ステップ４８０６で、どのポリシーがデータセットに適用されるかに関する決定がなされる。例えば、データセットと関連付けられるタグが特定のポリシーの状態を満たすならば、そのポリシーがデータセットに適用される。ステップ４８０８で、決定されたポリシーがデータセットと関連付けられる。ポリシーは、データセットに対して、共に格納され、取り付けられ、追加され、マッピングされ、リンクされ、またはそうでない場合は任意の好適な様式で関連付けられることにより、データセットと「関連付け」られてもよい。
ステップ４８１０で、任意のコンテキスト上のポリシーがデータセットと関連付けられているかどうかに関する決定がなされる。コンテキスト上のポリシーは、レイジーポリシーおよび／または非レイジーポリシーをオーバライドし得る。例えば、車両がＡＭＢＥＲ型チャイルドアラートを受信するならば、「高速道路」としてタグ付けされたデータセットにおける、ナンバープレートをぼかすためのレイジーポリシーは、「ない」にセットされるかもしれない。しかしながら、データセットにおけるナンバープレートを直ちにぼかす代わりに、ＯＣＲが使用されて、データセットにおけるナンバープレート情報を取得してもよい。従って、コンテキスト上のポリシーが適用可能であるならば、ステップ４８１２で、データセットがコンテキスト上のポリシー用の処理キューに追加され、データセットに適用される。フローは次に、データセットがポリシーに準拠しているものとしてマークを付けられ、その後の使用（例えば警察へ送信する、など）のために格納されるステップ４８２４に進んでもよい。いくつかの場合、使用は、コンテキスト上のポリシーがもはや有効ではなくなる（例えばＡＭＢＥＲ型チャイルドアラートがキャンセルされる）までの一時的なものであってもよい。このシナリオで、ポリシー施行エンジンは、データセットを再び処理して、任意の非レイジーポリシーを適用してもよく、且つ、任意のレイジーポリシーがデータセットと関連付けられ且つデータセットに未だ適用されていないならば、オンデマンドで処理するためにデータセットにマークを付けてもよい。
ステップ４８１０で、コンテキスト上のポリシーがデータセットと関連付けられていないと決定されるならば、ステップ４８１４で、任意の非レイジーポリシーがデータセットと関連付けられるかどうかに関する決定がなされる。非レイジーポリシーがデータセットと関連付けられていないならば、ステップ４８１６で示されるように、これは、１または複数のレイジーポリシーがデータセットと関連付けられていないことを意味する。すなわち、ステップ４８０８で１または複数のポリシーがデータセットと関連付けられており、かつ、１または複数のポリシーがコンテキスト上のものでもなく（ステップ４８１０で決定される）、且つ、非レイジーでもないならば（ステップ４８１４で決定される）、ポリシーはレイジーである。従って、ステップ４８１８で、データセットは、オンデマンドレイジーポリシー処理用にマークを付けられ、格納される。
ステップ４８１４で、１または複数の非レイジーポリシーがデータセットと関連付けられると決定されるならば、ステップ４８２０で、データセットは、データセットに適用される非レイジーポリシー用に処理キューに追加される。ステップ４８２２で、任意のレイジーポリシーがデータセットと関連付けられるかどうかに関する決定がなされる。１または複数のレイジーポリシーがデータセットと関連付けられるならば、ステップ４８１８で、データセットは、オンデマンドレイジーポリシー処理用にマークを付けられ、格納される。１または複数のレイジーポリシーがデータセットと関連付けられていないならば、ステップ４８２４で、データセットは、ポリシーに準拠しているものとしてマークを付けられ、その後のアクセスおよび／または使用のために格納される。
図４９は、オンデマンドプライバシーコンプライアンスシステム、例えばシステム３９００において、ポリシー施行と関連付けられる複数の動作の高レベルな考え得るフロー４９００を図示する簡略化されたフローチャートである。少なくとも１つの実施形態で、複数の動作のセットは、図４９の複数のアクティビティと対応する。車両データシステム、例えば車両データシステム４２００は、複数の動作のセットの少なくとも一部を利用してもよい。車両データシステム４２００は、当該複数の動作を実行するための、１または複数のデータプロセッサ（例えば、クラウド車両データシステム用の３９２７、エッジ車両データシステム用の３９５７）を備えてもよい。少なくとも１つの実施形態で、ポリシー施行エンジン４２３０は、複数の動作の１または複数を実行する。概ね、フロー４９００は、オンデマンド処理用にマークを付けられたデータセットに適用されてもよい。
少なくとも１つの実施形態で、データセットへのアクセスの要求が受信された場合に、データセットがオンデマンド処理用にマークを付けられるかどうかに関する決定がなされてもよいことに留意されたい。データセットがオンデマンド処理用にマークを付けられるならば、ステップ４９０２で、アクセスが要求されたデータセットがオンデマンド処理用にマークを付けられると決定される。データセットがオンデマンド処理用にマークを付けられているので、データセットと関連付けられた少なくとも１つのポリシーが、レイジーポリシーとして指定される。データセットへのアクセスの要求は、任意のデバイスまたはアプリケーションからの、例えば、データセットに対する、読み取り、共有、受信、サンプリング、または任意の他の好適な様式でのアクセス、の要求であってもよい。
ステップ４９０４で、データセットと関連付けられたポリシーが識別される。ステップ４９０４で、識別されたポリシーがレイジーとして指定されているかどうかに関する決定がなされる。識別されたポリシーがレイジーとして指定されていると決定されるならば、ステップ４９０６で、識別されたポリシーはデータセットに適用される。識別されたポリシーがレイジーとして指定されていないならば、一度識別されたポリシーがデータセットに適用されると、ステップ４９０８で、別のポリシーがデータセットと関連付けられるかどうかに関する決定がなされる。別のポリシーがデータセットと関連付けられるならば、フローは進んでステップ４９０４に戻り、データセットと関連付けられた別のポリシーを識別し、以前に説明されたように処理を続ける。フローは、データセットと関連付けられ、且つ、レイジーとして指定された全てのポリシーがデータセットに適用されるまで、ループを続けてもよい。
ステップ４９０８で、別のポリシーがデータセットと関連付けられていないと決定されるならば、ステップ４９１０で、適用可能な取締位置が変わったかどうかに関する決定がなされる。例えば車両がレイジーとして指定された少なくとも１つのポリシーと共にデータセットをローカルで（例えば車両で）格納し、且つ、車両が別の取締エリアへと移動するならば、新しい取締エリアが追加のプライバシーコンプライアンス動作を必要とするかどうかを決定するべく評価が実行されてもよい。従って、適用可能な取締位置が変わっていないならば、フローはステップ４９１８に進み、ポリシーに準拠しているデータセットへのアクセスを許可する。
適用可能な取締位置が変わっているならば、ステップ４９１２で、更新されたジオロケーションタグがデータセットに関連付けられる。ステップ４９１４で、任意の新しい１または複数のポリシーがデータセットに適用されるかどうかに関する決定がなされる。（新しいジオロケーションタグに少なくとも部分的に基づいて）データセットに適用される新しいポリシーがないならば、フローはステップ４９１８に進み、ポリシーに準拠しているデータセットへのアクセスを許可してもよい。
少なくとも１つの新しいポリシーがデータセットに適用されないないならば、ステップ４９１６で、新しいポリシー（または複数の新しいポリシー）がデータセットに適用される。次に、ステップ４９１８で、ポリシーに準拠しているデータセットへのアクセスが許可され得る。
データセットがオンデマンド処理用にマークを付けられておらず、且つ、データセットへのアクセスの要求が受信されているならば、少なくとも１つの実施形態で、データセットがポリシーに準拠しているとの決定がなされ、フローはステップ４９１０に進んでもよいことに留意されたい。従って、ポリシーに準拠しているデータセットはなおも、車両の新しい取締位置が、データセットに適用されるポリシーに影響を与えるかどうかを決定するべく、評価されてもよい。
図５０は、少なくとも１つの実施形態による、自律車両５０１０の自動化用の制御ループの簡略化された図である。図５０に示されるように、自動運転は、（知覚、フュージョン計画、ドライバポリシー、および意思決定態様を含む）ロジックエンジン５００２を使用する非常に高速なフィードバックループ、および、そのようなエンジンの出力に基づくＡＶ５００４の分散された作動に依拠してもよい。これらのメタモジュールの各々は、信用できると仮定される入力または処理に依存してもよい。
図５１は、少なくとも１つの実施形態による、自律車両の自動化用のＧｅｎｅｒａｌｉｚｅｄ Ｄａｔａ Ｉｎｐｕｔ（ＧＤＩ）の簡略化された図である。スマートシティおよびスマートインフラストラクチャにある自動運転および輸送のコンテキストにおいて、入力は、生のデータ５１０２（例えば、数、シンボル、事実）、情報５１０４（例えばモデルに処理および編成されるデータ）、知識５１０８（例えば、構造化されている又はコンテキスト上のものであるかもしれない収集された情報）、体験５１１０（例えば、過去の動作を通じて得た知識）、（例えば、動作を説明するための）理論フレームワーク５１０６、または、理解５１１２（例えば、意味を割り当て、動作が生じた理由を説明し、または解析を適用する）、の形態を取り得る。これらの異なるタイプの入力の各々は、Ｇｅｎｅｒａｌｉｚｅｄ Ｄａｔａ Ｉｎｐｕｔ（ＧＤＩ）と称され得る。図５１に示されるように、ＧＤＩは、知恵（例えば、判断、評価された理解、適切／良好／正しい／正当な動作）を提供するのに使用されてもよい。表示されているデータは、任意の好適なタイプのメモリによって格納され、および／または、自律車両の車載コンピューティングシステムの１または複数のプロセッサによって処理されてもよい。
図５２は、少なくとも１つの実施形態による、例示的なＧＤＩ共有環境５２００のダイアグラムである。示される例では、他の車両主体５２０４によって取り囲まれる自車両（例えば対象の自律車両）５２０２と、自車両５２０２の周りの近隣５２１２にいる集団車両主体５２０６とが存在している。加えて、信号機センサ５２０８および街灯センサ５２１０とを含む、自車両５２０２周りのインフラストラクチャセンサが存在している。
示されるように、自車両５２０２は、環境５２００における他の主体またはセンサのうちの１または複数と通信してもよい。ＧＤＩは、示される複数の主体の間で共有されてもよい。自車両５２０２と他の主体との間の通信は、以下の複数のシナリオのうちの１または複数で実装されてもよく、（１）自己対自己、（２）他の自律車両へのブロードキャスト（１：１または１：多数）、（３）他のタイプの主体／センサへのブロードキャスト（１：１または１：多数）、（４）他の自律車両からの受信（１：１または１：多数）、または、（５）他のタイプの主体／センサからの受信（１：１または１：多数）。
いくつかの実施形態では、自車両５２０２は、それ自体のセンサによって生成されるＧＤＩを処理してもよく、いくつかの場合、近隣５２００にいる他の車両とＧＤＩを共有し、その結果、他の車両は、（例えば、計画および意思決定用のそれぞれのロジックエンジンを使用して）ＧＤＩを使用して決定してもよい。（信用されると仮定され得る）ＧＤＩは、エゴ自律車両自体の異種のセンサ（以下の複数の電子制御ユニットのうちの１または複数からの情報を含み得、アダプティブクルーズコントロール、電子ブレーキシステム、センサクラスタ、ゲートウェイデータトランスミッタ、フォースフィードバックアクセラレータペダル、ドア制御ユニット、サンルーフ制御ユニット、シートベルトプリテンショナー、シート制御ユニット、ブレーキアクチュエータ、閉鎖速度センサ、サイドサテライト、アップフロントセンサ、エアバッグ制御ユニット、または他の好適なコントローラまたは制御ユニット）から来得、または、他のＧＤＩ主体車両（例えば、すぐ近くの車、集団主体車両、例えばバス、または、他のタイプの車両）、スマートシティインフラストラクチャ要素（例えばインフラストラクチャセンサ、例えば頭上の街灯または停止信号におけるセンサ／コンピュータ、など）、サードパーティ・アプリケーション、例えばマップサービスまたはソフトウェアアップデートプロバイダ、車両のＯＥＭ、管理エンティティなど、から来得る。更に、いくつかの実施形態では、自車両５２０２は、近隣にある他の車両および／またはインフラストラクチャセンサのうちの１または複数からＧＤＩを受信してもよい。これらのＧＤＩソースの何れか１つに対する如何なる悪意ある攻撃も、結果として、１または複数の個人の怪我または死となり得る。悪意ある攻撃が、集団内、都市またはインフラストラクチャにいる車両に適用される場合、車両は、誤った動作を大規模に伝播し、恐ろしい結果をもたらし、混乱を引き起こし、テクノロジに対する国民の信用を損なう可能性があります。
いくつかの例では、ブロックチェーン技術によって、潜在的に信用できないソースとデータが共有され得る。ＧＤＩを共有することは、車両と関連付けられる１または複数のコンピューティングシステムによって実装される複数の以下の要素のうちの１または複数を含んでもよい。
・ＧＤＩをパッケージングするための構造。
・ＧＤＩがどのように他のＧＤＩと関連するかを説明するトポロジ。
・例えば、許可ポリシー（例えば、Ｌｉｎｕｘ／ＵＮＩＸシステムのｃｈｍｏｄと同様）。
・誰がＧＤＩを読み取るかを決定するＲｅａｄ－Ａｃｃｅｓｓ Ｐｏｌｉｃｙ。
・誰がＧＤＩに書き込むかを決定するＷｒｉｔｅ－Ｃｏｎｔｒｏｌ Ｐｏｌｉｃｙ。
・誰が実際に実行可能なＧＤＩコンポーネントを実行できるか（例えば、モデルを実行する、ソフトウェアを更新するなど）を決定するＥｘｅｃｕｔｅ－Ｃｏｎｔｒｏｌ Ｐｏｌｉｃｙ。
・トポロジの有効な状態を決定する状態ポリシー。
・ＧＤＩに適用されるオーナーシップポリシー（Ｌｉｎｕｘ／ＵＮＩＸシステムのｃｈｇｒｐ／ｃｈｍｏｄと同様）。例えば、自己、グループ、全体。
図５３は、少なくとも１つの実施形態による、例示的なブロックチェーントポロジー５３００のダイアグラムである。示されるように、ＧＤＩの構造は、ヘッダ、（ＧＤＩの詳細を含む）ボディ、およびフッタを有する「ブロック」５３０２を備えてもよい。トポロジは、暗号ベースのヘッダおよびフッタを有する、複数のブロックのリンクされたリスト（または線状ネットワーク）を備える（例えば図５３を参照）。チェーンにおけるブロックｎのヘッダは、リンクされたリストにおける先駆けブロックｎ－１の後継としてそれを確立する情報を含む。いくつかの例では、（例えばブロックを格納して新しいブロックを検証することによって）ブロックチェーンを実装しているコンピューティングシステムは、以下の要素の１または複数を施行してもよい。
・例えば以下のものを含み得る許可ポリシー。
１．
誰がブロック情報を読み取ることができるかを示すＲｅａｄ－Ａｃｃｅｓｓ Ｐｏｌｉｃｙは、Ｅｌｌｉｐｔｉｃ Ｃｕｒｖｅ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ａｌｇｏｒｉｔｈｍのような暗号ハッシュから生成されるパブリックプライベートキーペアマッチに基づく。
２．
誰がブロックを追加でき、従って、誰がヘッダ情報を追加ブロックに「書き込」めるかを示すＷｒｉｔｅ－Ｃｏｎｔｒｏｌ Ｐｏｌｉｃｙは、検証時間が重要な制約である、前のブロックを検証する能力に基づく。
３．
スマートコントラクトとしてブロック情報に埋め込まれるＥｘｅｃｕｔｅ－Ｃｏｎｔｒｏｌ Ｐｏｌｉｃｙ。
・コンフリクト状態情報が提示されている場合に、ブロックチェーンのどの状態が有効であるかを決定する、分散合意に基づく状態ポリシー。「有効な状態」を確立するための報酬は、書き込み制御許可である。これの例は、プルーフ・オブ・ワーク（目標の経過時間内に暗号パズルを解き、中央プラットフォームによって難易度が動的に抑制された第１の坑夫は、「有効な状態」を確立したと見做され、こうして、その特定の時間に書き込み制御許可が付与される）、プルーフ・オブ・ステーク（最高の利害関係／富／関心を持つ坑夫に暗号パズルを割り当て、一度パズルが解かれると、その坑夫に書き込み制御許可を付与する）、プルーフ・オブ・バーン（所有する通貨を焼き払うことと引き換えに、書き込み制御の許可を付与する）などを含む。
・メッセージの詳細内に捕捉される可能性のある所有権情報。
図５４は、少なくとも１つの実施形態による、有向非巡回グラフ（ＤＡＧ）トポロジ５４００を使用する例示的な「チェーンレス」ブロックのダイアグラムである。いくつかの例では、スケーラビリティを処理するべく、ＤＡＧを使用する新しいプラットフォーム、例えばＩＯＴＡプラットフォームが、開発されてきた。ＤＡＧにおいて、状態ポリシー（従って、書き込み制御許可）は、プルーフ・オブ・ワークに基づいてもよく、これは、現在は未確認の任意のブロックに対して前のブロックを確認するのに使用されてもよい。
しかしながら、いくつかの場合、ブロックのようなテクノロジ、例えばこれらは、所与のプラットフォームの、許可ポリシー、状態ポリシーまたはスケーラビリティのうちの１または複数を通じて、課題を提示するかもしれない。例えば、許可および状態ポリシーに固有のものは、現在まで十分であった楕円曲線暗号（ＥＣＣ）の利用であるかもしれないが、これらの暗号テクノロジは今後不十分になるかもしれない。例えば、ＥＣＣベースの署名（楕円曲線の離散対数問題に基づく）は、効率的な量子アルゴリズムの対象となる場合、テクノロジの最もリスクの高いコンポーネントの１つであり、最も安全でないコンポーネントは次のとおりであり、（１）パブリックキーと関連付けられた静的アドレス、および（２）未処理のブロック（ブロックチェーンまたはＢｌｏｃｋ－ＤＡＧにまだ追加されていないブロック）。更に、そのようなテクノロジは、（例えば集団車両主体に対する）悪意のある主体によるサプライチェーン妨害に敏感であるかもしれない。
そのようなブロックのようなテクノロジおよびシステムの例示的な問題は、許可ポリシーの問題を含む。静的アドレスが盗まれたならば、その関連付けられたデータ、トランザクションおよび金銭的価値の全てが、ハッカー泥棒の所有物になるかもしれない。これは、ハッカー泥棒が、完全な所有権を通じて、読み取り、書き込み、および／または実行の許可を取得し得るためである。他の問題は、状態ポリシーに関係するかもしれない。例えば、未処理のブロックの場合、量子アルゴリズムは、２０２８年までにパブリックキーからプライベートキーを導出することが可能になると推定される。特に、Ｓｃｈｏｒのアルゴリズムは、量子コンピュータを使用して素因数を決定し得る。そして、Ｇｒｏｖｅｒのアルゴリズムは、キー検索を行い得る。プライベートキーとアドレスが知られていると、そのアドレスから新しいブロック（おそらく有害なデータまたは有害な契約）を導入することが可能である。読み取りアクセスおよびコンセンサス（従って書き込み制御）は、楕円曲線暗号に基づいている。しかしながら、暗号通貨の実装の違反は、重大な金銭的損失につながった。自律車両向けに提案されている現在のブロックチェーンテクノロジでは、アドレスの窃盗またはメッセージの窃盗（スマートコントラクトの窃盗を含む）が、車両のフィードバックループを介してネガティブに広まり、人命の損失および／またはインフラストラクチャへの壊滅的な損傷につながり得る。他の問題は、スケーラビリティに対応するかもしれない。現代の分散型ブロックチェーンテクノロジは、現在は、（分散型ピアツーピアプッシュモデルを使用して）毎秒２０未満のトランザクションを実行するが、ＶｉｓａＮｅｔは、（集中型プルモデルを使用して）毎秒最大５６Ｋのトランザクションメッセージを実行できる。自動運転およびスマートシティについては、トランザクションは少なくともＶｉｓａＮｅｔの順序で実行されなければいけない。
従って、本開示の態様は、これらの問題を処理するのを助けるべく、自律運転コンピューティングシステムに実装され得る以下の要素のうちの１または複数を備えてもよい。
・自律車両内の、（例えばインテル「ＳＧＸ」（Ｓｏｆｔｗａｒｅ Ｇｕａｒｄ Ｅｘｔｅｎｓｉｏｎ）を利用する）１または複数の安全プライベートキーが作成され得る。
プライベートキーは、それぞれの対応するパブリックキーを生成するのに使用されてもよい。
・プライベートキーに基づいて全データ用にデジタル署名が使用され得る。
デジタル署名は、センサデータのハッシュであり得、これは、プライベートキーを使用して暗号化される。
・自律車両内で、許可されていないブロックチェーンが使用され得る（例えば、誰かがブロックチェーンに追加していることを検証する必要がないかもしれない）。
全ての通信バスが、ブロックを読み取ることが可能であり得、自律車両の内部のネットワークが、誰がブロックチェーンに書き込むことができるかを決定し得る。
・自律車両は、許可されたブロックチェーンに、（例えば、車両タイプ、例えば集団車両（例えばバス）、対、所有する乗用車両、対、一時的／レンタル乗用車両（例えばタクシー）などに基づき得るアクセスポリシーを有し、読み取りアクセスは、主要な合意に基づくかもしれない）、または、外因性のデータを想定している場合は動的ＤＡＧシステム、インターフェースし得る。
読み取りアクセスは、サブスクリプションベースであり得、例えば、ソフトウェアアップデートは、有料のアップグレードポリシーに基づいて許可され得る。
・データ共有のためにデータをブロードキャストする場合、（例えば、一時的な楕円曲線ディフィーヘルマン交換または別のタイプのワンタイム署名スキームに基づく）一時的公開キーを使用して、共有するデータのロックを解除するための秘密キーを生成し得る。
ダウンストリームでの更なる使用のために、デジタル署名を使用することによって、タイムスタンプおよび真実の署名が全てのデータと関連付けられ得る。静的プライベートキーは、安全な孤立領域において維持され得る。加えて、コンセンサスプロトコルの時間的制約を作動時間調整のオーダー（例えばミリ秒）にセットすることによって、１または複数のセンサに向けられた、なりすまし又はハッキングの試みが阻止され得る。更に、自律車両の内部のネットワーク内のネットワーク／ゲートウェイプロトコル（バスインターフェースまたはゲートウェイプロトコルレベル）は、検証済みのブロックチェーンのみを中継し得る。追加的に、（ブロックチェーンを介して）車内データベースを作成することにより、自律車両用の「ブラックボックス」（監査可能なデータレコーダ）が作成され得る。
図５５は、少なくとも１つの実施形態による、自律車両用の例示的な安全な車内通信プロトコル５５００の簡略化されたブロック図である。例えば、プロトコル５５００は、図５２の自車両５２０２によって使用され、悪意のある主体からそのデータを保護してもよい。例示的なプロトコルは、自律車両に結合されたセンサ（例えば、ＬＩＤＡＲ、カメラ、レーダ、超音波など）からのデータを、自律車両のロジックユニット（例えば、図５０に関して上記で説明されたものと同様のロジックユニット）に通信するために使用されてもよい。示される例では、デジタル署名がセンサデータに追加される（例えばオブジェクトリスト）。デジタル署名は、センサにとって安全なプライベートキーに基づいてもよい。プライベートキーは、ｓｅｃｐ２５６ｋ１などのＥＣＣベースのプロトコル用に、例えばこれに基づいて、生成されてもよい。いくつかの場合、デジタル署名は、センサデータをハッシュし、且つ、プライベートキーを使用してハッシュを暗号化することによって生成されてもよい。
（デジタル署名付きの）センサデータ５５０２は、特定のネットワークプロトコル５５０６を介して、知覚、フュージョン、意思決定ロジックユニット５５０８（例えば車載コンピューティングシステム）に伝達される前に、ブロックとしてブロックベースのトポロジ（例えば、示されるような許可されていないブロックチェーン）５５０４に追加される。特定の実施形態では、ブロックチェーン上のデータのみが、自律車両内のネットワーク／通信プロトコルによって転送され得る。ネットワークプロトコルは、ブロック／センサデータをロジックユニットに伝達する前に、ブロックのデータを検証してもよい（例えば、センサデータのタイムスタンプをブロックチェーンのコンセンサスプロトコルの時間的制約と比較する）。更に、特定の実施形態では、ネットワークプロトコルは、ブロックをロジックユニットに転送する前に、ブロック内のセンサデータのデジタル署名を検証してもよい。例えば、ネットワークプロトコルは、センサデータのデジタル署名を生成するために使用されるプライベートキーと関連付けられたパブリックキーにアクセスできてもよく、パブリックキーを使用して（例えば、パブリックキーを使用してハッシュの暗号化を解除し、且つ、ハッシュが合致することを検証することによって）デジタル署名を検証してもよい。ブロックチェーン５５０４は、ブロックチェーンへの追加の前に如何なる検証も必要としないので、許可が不要であると見做されてもよい。いくつかの場合、自律車両の１または複数の態様は、誰がブロックチェーンに書き込むことができるのかを決定してもよい。例えば、「不快な」近隣のカメラ検出またはナビゲーションマップ警告によってトリガされる不快な近隣を運転中に、自律車両の内部のネットワークは、車両が安全に近隣を出るような時間まで、再び全てを検証し始める可能性がある。
図５６は、少なくとも１つの実施形態による、自律車両用の例示的な安全な車間通信プロトコル５６００の簡略化されたブロック図である。例えば、プロトコル５６００は、他の車両、（例えばクラウドベースの）バックエンドサポートシステム、またはインフラストラクチャセンサのうちの１または複数からのデータを検証するべく、図５２の自車両５２０２によって使用されてもよい。例示的なプロトコルは、（所有車両、一時的／レンタル車両、または集団車両を含み得る）自律車両から別の自律車両のロジックユニット（例えば、図５０に関して上記で説明されたものと同様ロジックユニット）へとセンサデータを伝達するために使用されてもよい。示される例では、（上記で説明されたデジタル署名を含み得る）第１の自律車両からのセンサデータは、ブロックとしてブロックベースのトポロジ（例えば許可されたブロックチェーンまたは動的ＤＡＧのノード）５６０２に追加され、且つ、第２の自律車両に送信され、ここでは、１または複数のスマートコントラクト５６０４が抽出される。スマートコントラクトは、例えば、新しい取締コンプライアンス処理ポリシーなどの情報や、または、知覚、フュージョン、意思決定ロジックユニット５６０８でのデータの処理方法をオーバライドし得る実行可能コードなどの情報さえも含み得る。例えば、歩行者／人およびその顔を検出するカメラ知覚エンジンコンポーネントが、顔のランドマーク、ポーズ、動きのみを抽出できるが、それら全体の特徴マップを抽出できなくなるように、新しいポリシーは知覚フローをオーバライドしてもよい。同様に、第１の自律車両がたまたま政府のパトカーである場合、スマートコントラクトは、一時的な知覚処理オーバライドと、現在の自律車両のカメラがその近くで関心のあるナンバープレートを識別したかどうかを検出するナンバープレート検索とを含んでもよい。
特定の実施形態で、車両への外因性のデータおよびソフトウェアアップデートは、スマートコントラクトとして届いてもよい。スマートコントラクトおよび／またはセンサデータがネットワークプロトコル５６０６によって検証されるならば、センサデータは、第２の自律車両の知覚、フュージョン、意思決定ロジックユニット５６０８に伝達される。いくつかの場合、ネットワークプロトコルは、（例えば楕円曲線ディフィーヘルマンに基づいて）一時的公開キーを使用してもよい。動的環境で一時的公開キーを使用することは、パブリックキーが急いで作成されて共有されることを可能にし、その一方で、車は一時的に、主体車両に、または、その運転に沿って通過するインフラストラクチャに接続される。このタイプの一次的なキー交換は、自車が接続されている短い時間の間のみ、安全にデータ交換することを可能にする。
図５７は、少なくとも１つの実施形態による、自律車両用の例示的な安全な車内通信プロトコルの簡略化されたブロック図である。示される例では、安全な車両内通信プロトコルは、互いに相互作用する２つのブロックチェーン（ＡおよびＢ）を利用する。加えて、車両内通信プロトコルは、車載「ブラックボックス」データベース５７２０を利用する。例示的なセンサデータ５７０２および５７１２、ブロックチェーン５７０４および５７１４、ネットワークプロトコル５７０６、およびロジックユニット５７０８は、図５５に示されて上記で説明された同様のコンポーネントと同様に実装されてもよく、スマートコントラクト５７１６は、図５６に示されて上記で説明されたスマートコントラクト５６０４と同様に実装されてもよい。
示される例では、ロジックユニット５７０８によって生成される情報は、自律車両の作動ユニット５７１０に設けられ、（例えば図５０に関して上記で説明されたように）自律車両の動作を作動および制御してもよく、作動ユニットは、ロジックユニットにフィードバックを提供してもよい。作動のために使用された後、センサデータ５７０２、ロジックユニット５７０８によって生成される情報、または、作動ユニット５７１０によって生成される情報は、車載データベース５７２０に格納されてもよく、これらは、自律車両用の「ブラックボックス」として順に機能し得る。
「ブラックボックス」は、特定の態様のロギング、ならびに、空輸を提供するために使用される通信およびデータ、用に使用されるブラックボックスと同様に機能してもよい。例えば、ブロックチェーンに記録されたＧＤＩは不変であるので、自律車両内のストレージシステムに格納されるならば、事故シナリオでは管理エンティティによって、または、ソフトウェアアップデート中にはソフトウェアシステムベンダによって、回復され得る。このＧＤＩは次に、大量のセットの潜在的ダウンストリーム作動をシミュレーションするのに使用され得る。追加的に、作動ロガーがまたストレージシステムに記録するならば、エンドポイント作動ロガーデータは、アップストリームＧＤＩと共に、任意の誤った中間段階を識別するのに使用され得る。これは、自律車両内で故障が識別される高い確率を提供し、故障は、自車両の内部に起因し、主体車両、集団、インフラストラクチャ、または他の第３者からの誤ったデータに起因する。
自律車両は、多様な異なるタイプのセンサ、例えば、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、音声センサ、温度センサ、または、（例えば本明細書で説明されるもの又は他の好適なセンサなどの）他のセンサなどを備えてもよい。センサは、毎秒大量のデータ（例えばテラバイト）をまとめて生成してもよい。そのようなデータは、自律車両スタックの知覚およびセンサフュージョンシステムによって消費されてもよい。多くの状況で、センサデータは、同じ情報を捕捉する異なるセンサ、または、変化しない又は（例えば静かな高速道路上を運転している間、低い交通状態中、または、信号で停止している間に）僅かに変化するだけの情報を捕捉する特定のセンサに起因する、様々な冗長性を含み得る。これらの冗長性は、例えばハードウェア、ビッグデータエコシステムをハンドリングする特別なデータ、センサフュージョンアルゴリズム、および、処理パイプラインの異なる段階でほぼリアルタイムにデータを処理するのに使用される他のアルゴリズム最適化、などのリソースの要件を著しく増加させるかもしれない。いくつかのシステムでは、センサシステムの信号雑音比（ＳＮＲ）を改善するべく、（例えばカルマンフィルタに基づくアルゴリズムなどの）センサフュージョンアルゴリズムが、等しい重みを使用して、複数のセンサからのデータを組み合わせてもよい。これは結果として、全体のばらつきにおける改善に起因して、単一のセンサからのデータに比べて改善されたＳＮＲをもたらし得る。
本開示の特定の実施形態で、改善されたセンサフュージョンシステムは、システム全体のＳＮＲ要件をなおも満たしながら、費用対効果が高いおよび／または電力効率が高いセンサからの低品質な信号を利用してもよく、その結果、システム全体のコストが低下する。様々な実施形態は、１）コンテキストに基づく不均一性のデータサンプル、および、２）コンテキストに基づく適応センサフュージョン、の一方又は両方を通じて、センサデータの冗長性と関連付けられる欠点を軽減してもよい。
特定の実施形態で、自律車両のサンプルシステムは、自律車両と関連付けられたコンテキストに基づいてデータをサンプリングすることにより、不均一性のデータのサンプリングを実行してもよい。サンプリングは、任意の好適なコンテキスト、例えば、シーン変化の頻度、天候状態、交通状況、または（例えば本明細書で説明される複数のコンテキストの何れかなどの）他のコンテキスト上の情報、に基づいてもよい。そのような不均一性のデータのサンプリングは、リソースの要件および処理パイプライン全体のコストを著しく低下させ得る。あらゆるセンサからセットされた間隔で（例えば毎秒）データをサンプリングする代わりに、１または複数のセンサのサンプリングはコンテキストに基づいてカスタマイズされてもよい。
一実施形態では、センサのサンプリングレートは、所与の天候状態に対するセンサの感度に合わせて調整されてもよい。例えば、特定の天候状態が存在する場合に、有用なデータを生成することが見出されているセンサのサンプリングレートは、当該天候状態の間に使用不可能なデータを生成するセンサよりも頻繁にサンプリングされてもよい。いくつかの実施形態では、様々なセンサのそれぞれのサンプリングレートは、交通の密度またはシーン変化のレートと互いに関連付けられる。例えば、交通が少ないときに捕捉されるサンプルに比べて、密集した交通では、１または複数のセンサに対してより高いサンプリングレートが使用されてもよい。別の例として、シーンが静的であるときに捕捉されるサンプルの数に比べて、シーンが急速に変化するときに、単位時間当たりにより多くのサンプルが捕捉されてもよい。様々な実施形態で、安全要件を危険にさらすことなくコストとエネルギーを節約するべく、高コスト、単位消費電力当たりの低いスループット、および／または、高い電力要件を有するセンサは、低コスト、単位消費電力当たりの高いスループット、および／または、低い電力要件を有するセンサに比べて控えめに使用される。
図５８Ａは、特定の実施形態による、複数のセンサ用のサンプリングレートを決定するシステムを示す。システムは、グラウンドトゥルースデータ５８０２、機械学習アルゴリズム５８０４および出力モデル５８０６を備える。グラウンドトゥルースデータ５８０２は、そのようなデータを処理し、且つ、出力モデル５８０６を提供する機械学習アルゴリズム５８０４に提供される。特定の実施形態で、機械学習アルゴリズム５８０４および／または出力モデル５８０６は、機械学習エンジン２３２、または、異なるコンピューティングシステム（例えば１４０、１５０）の機械学習エンジンによって実装されてもよい。
この例では、グラウンドトゥルースデータ５８０２は、センサ組構成データ、センサ毎のサンプリングレート、コンテキスト、および安全成果データを含んでもよい。グラウンドトゥルースデータ５８０２は、各々が、サンプリング期間に対応し、且つ、センサ組構成、センサ毎の使用されるサンプリングレート、サンプリング期間用のコンテキスト、および、サンプリング期間に亘る安全成果を示す、複数のデータセットを含んでもよい。データセットは、実際の自律車両によって実行されるサンプリング、または、シミュレーターによって生成されるデータ、に対応してもよい。センサ組構成データは、自律車両のセンサの構成と関連付けられる情報、例えば、センサ（例えば、ＬＩＤＡＲ、２次元カメラ、３次元カメラなど）のタイプ、各々のタイプのセンサの数、センサの解像度、センサの自律車両上の位置、または、他の好適なセンサ情報を含んでもよい。センサ毎のサンプリングレートは、サンプリング期間に亘る、対応する組構成における各々のセンサ用に使用されるサンプリングレートを含んでもよい。コンテキストデータは、サンプリング期間中に存在する任意の好適なコンテキスト上のデータ（例えば、天候、交通、シーン変化など）を含んでもよい。安全成果データは、サンプリング期間に亘る安全データを含んでもよい。例えば、安全成果データは、サンプリング期間に亘って事故が生じたかどうか、自律車両がサンプリング期間に亘ってどれだけ事故に近づいたか、または、サンプリング期間に亘る他の安全の表現、の示唆を含んでもよい。
機械学習アルゴリズム５８０４は、グラウンドトゥルースデータを解析し、特定のコンテキストに基づいて所与のセンサ組の複数のセンサの各々にサンプリングレートを提供するように調整されたモデル５８０６を出力する、任意の好適な機械学習アルゴリズムであってもよい。各々のセンサ用のサンプリングレートは、訓練フェーズ中に機械学習アルゴリズム５８０４によって学習される。出力モデル５８０６を提供するべく、任意の好適な機械学習アルゴリズムが使用されてもよい。非限定的な例として、機械学習アルゴリズムは、ランダムフォレスト、サポートベクターマシン、任意の好適なニューラルネットワーク、または、強化アルゴリズム（例えば以下で説明されるもの、または他の強化アルゴリズム）を含んでもよい。特定の実施形態で、モデル５８０６は、機械学習モデル２５６と共に格納されてもよい。
出力モデル５８０６は、推論フェーズ中に、特定のコンテキストを仮定して、サンプリングレートのベクトル（例えば、使用されているセンサ組の各々のセンサに対して１つ）を出力するのに使用されてもよい。様々な実施形態で、出力モデル５８０６は、許容可能なレベルの安全（例えば、事故がない、交通法の順守率、など）をなおも維持しながら、サンプリングレートを、または、サンプリング中に使用される電力を、可能な限り減少させるように調整されてもよい。他の実施形態では、モデル５８０６は、例えば安全性、使用電力、センサスループット、または他の好適な特性などの任意の好適な動作特性を優先するよう調整されてもよい。特定の実施形態で、モデル５８０６は、安全性と電力消費との間の同時最適化に基づく（例えば、モデルは、安全性の閾値レベルを維持しながら電力消費を最小化しようとしてもよい）。
センサのサンプリングレートを変化させることに加えて、またはその代替例として、いくつかの実施形態では、コンテキストに基づいて各々のセンサ用の重みを適合することにより、センサフュージョン改善が実現される。ＳＮＲ（および、その結果として、全体のばらつき）は、コンテキストに基づいて、センサからのデータを異なるように適応的に重み付けすることによって、改善されてもよい。
特定の実施形態で、オブジェクト追跡を補助するべく、異なるコンテキストの下で様々な瞬間に、異なるコンテキストおよびオブジェクト位置に対してグラウンドトゥルースデータが利用可能である場合、コンテキストを予測する機械学習アルゴリズムと、オブジェクト位置の予測を容易にする追跡フュージョンアルゴリズムとの組み合わせを使用して、訓練データからフュージョン重みが決定されてもよい。
図５８Ｂは、特定の実施形態による、コンテキストモデル５８５８を生成する機械学習アルゴリズム５８５２を示す。特定の実施形態で、機械学習アルゴリズム５８５２およびコンテキストモデル５８５８は、機械学習エンジン２３２、または、異なるコンピューティングシステム（例えば１４０、１５０）の機械学習エンジンによって実行されてもよい。図５８Ｂは、コンテキストを確認する用のＭＬモデルを構築するための訓練フェーズを示す。機械学習アルゴリズム５８５２は、センサデータ５８５６、および、（グラウンドトゥルースとして）対応するコンテキスト情報５８５４を解析する任意の好適な機械学習アルゴリズムであってもよい。センサデータ５８５６は、１または複数の自律車両のセンサから捕捉されてもよく、または、シミュレーションされたデータであってもよい。機械学習アルゴリズム５８５２は、動作上の自律車両からのセンサデータ入力に基づいて、コンテキストを提供するよう調整されるモデル５８５８を出力する。出力モデル５８５８を訓練および出力するべく、任意の好適なタイプの機械学習アルゴリズムが使用されてもよい。非限定的な例として、コンテキストを予測するための機械学習アルゴリズムは、分類アルゴリズム、例えばサポートベクターマシンまたはディープニューラルネットワークを含んでもよい。
図５９は、特定の実施形態による、フュージョンコンテキストディクショナリ５９１０を生成するフュージョンアルゴリズム５９０２を示す。図５９は、センサフュージョン重みを確認する用のＭＬモデルを構築するための訓練フェーズを示す。フュージョンアルゴリズム５９０２は、センサデータ５９０４、（グラウンドトゥルースとして）対応するコンテキスト情報５９０６、および、（グラウンドトゥルースとして）対応するオブジェクト位置５９０８を解析する、任意の好適な機械学習アルゴリズムであってもよい。センサデータ５９０４は、１または複数の自律車両のセンサから捕捉されてもよく、または、（例えば、本明細書で説明されるシミュレーション技術、または他の好適なシミュレーション技術、のうちの何れかを使用して）シミュレーションされたデータであってもよい。いくつかの実施形態では、センサデータ５９０４は、ＭＬモデルを訓練するのに使用されたのと同じセンサデータ５８５６であってもよく、または、それとは少なくとも部分的に異なるデータであってもよい。同様に、コンテキスト情報５９０６は、コンテキスト情報５８５４と同じであってもよく、または、それとは少なくとも部分的に異なる情報であってもよい。フュージョンアルゴリズム５９０２は、動作上の自律車両からのセンサデータ入力に基づいて重みを提供するように調整されるフュージョンコンテキストディクショナリ５９１０を出力する。
フュージョンコンテキストディクショナリを訓練および実装するのに、任意の好適な機械学習アルゴリズムが使用されてもよい。非限定的な例として、機械学習アルゴリズムは、センサフュージョン重みを予測する回帰モデルを含んでもよい。
様々な実施形態で、フュージョンアルゴリズム５９０２はニューラルネットワークベースである。訓練中、フュージョンアルゴリズム５９０２は、様々なセンサからのデータ（例えばセンサデータ５９０４）、および、グラウンドトゥルースコンテキスト情報５９０６を、入力として受け取り、異なる重みを使用してデータを一緒にヒューズし、ヒューズされたデータを使用してオブジェクト位置を予測し、且つ、予測された位置とグラウンドトゥルース位置（例えば、オブジェクト位置５９０８の対応する位置）との間のエラーを最小化するコスト関数（例えば、自乗平均誤差の平方根（ＲＭＳＥ）など）を利用してもよい。様々な実施形態で、フュージョンアルゴリズムは、オブジェクト追跡性能を最大化するべく、所与のコンテキスト用にフュージョン重みを選択してもよい。従って、フュージョンアルゴリズム５９０２は、特定の特性（例えばオブジェクト追跡性能）を最大化または最小化しようと試みる最適化アルゴリズムを使用して訓練されてもよく、フュージョンコンテキストディクショナリ５９１０の結果として生じる重みは次に、予測された状態の結果を考慮に入れて、センサからの新しいデータセットをより効果的にヒューズするのに使用されてもよい。
図６０は、特定の実施形態による、選択的サンプリングおよびヒューズされたセンサの重みを決定する推論フェーズを示す。特定の実施形態で、推論フェーズは、機械学習エンジン２３２および／またはセンサフュージョンモジュール２３６によって実行されてもよい。推論フェーズ中、自律車両によって捕捉されるセンサデータ６００２は、コンテキストモデル５８５８に提供される。コンテキストモデル５８５８の出力は、コンテキスト６００６である。コンテキスト６００６は、ステップ６０１２で選択的サンプリングをトリガするのに使用されてもよい。例えば、コンテキストは、自律車両の複数のセンサの、各々のセンサ用にサンプルのレートを提供し得る出力モデル５８０６に提供されてもよい。自律車両は次に、指定されたサンプリングレートを使用して、そのセンサを用いてデータをサンプリングしてもよい。
ステップ６０１４で、補間が実行されてもよい。例えば、第１のセンサが第２のセンサの2倍の頻度でサンプリングされ、第１および第２のセンサからのサンプルが一緒にヒューズされるならば、第２のセンサのサンプルは、各々のセンサ用のサンプル間の時間が同じとなるように補間されてもよい。任意の好適な補間アルゴリズムが使用されてもよい。例えば、補間されたサンプルは、（時間的に）前の実際のサンプルの値を取ってもよい。別の例として、補間されたサンプルは、前の実際のサンプルおよび次の実際のサンプルの平均であってもよい。例は、センサデータのレベルでのフュージョンに焦点を合わせているが、フュージョンは追加的に又は代替的に、出力でもまた実行されてもよい。例えば、オブジェクト追跡問題を解決する際に、異なるセンサを用いて異なるアプローチが取られてもよい。最終的に、解析後の段階において、個々の出力の補完的な態様が組み合わされて、ヒューズされた出力が生成される。従って、いくつかの実施形態では、補間は代替的に、センサデータが一緒にヒューズされた後に実行されてもよい。
コンテキスト６００６はまた、フュージョンコンテキストディクショナリ５９１０に提供されてもよく、且つ、一連のフュージョン重み６０１０は、フュージョンコンテキストディクショナリ５９１０から出力され、ここでは、各々のフュージョン重みは、対応するセンサ用の重みを指定する。フュージョン重みは、フュージョンポリシーモジュール６０１６において、センサデータを適応的に重み付けし、且つ、ヒューズされたセンサデータ６０１８を出力するのに使用される。２つ以上のセンサからのデータを組み合わせるべく、任意の好適なフュージョンポリシーが使用されてもよい。一実施形態では、フュージョンポリシーは、2つ以上のセンサからのデータの、単純な加重平均を指定する。他の実施形態では、より高性能なフュージョンポリシー（例えば本明細書で説明される複数のフュージョンポリシーの何れか）が使用されてもよい。例えば、マルチセンサフュージョン用に、デンプスター・シェイファーベースのアルゴリズムが使用されてもよい。ヒューズされたセンサデータ６０１８は、任意の好適な目的で、例えばオブジェクト位置を検出するために、使用されてもよい。
様々な実施形態で、コンテキストベースのサンプリングポリシー（例えばレート）およびセンサフュージョン重みを自動的に学習するべく、例えば強化学習などの技術およびシミュレーションがまた使用され得る。どれだけ頻繁に異なるセンサをサンプリングし、且つ、どのセンサにどのような重みを割り当てるかを決定することは、多数の運転シナリオに起因して、課題である。コンテキストベースのサンプリングの複雑さはまた、安全性を損なうことなく高いオブジェクト追跡正確度および低電力消費などの異なる目的を実現したいという願望によって、増加する。現実世界で収集されたセンサデータを再生し、または、仮想道路ネットワークおよび交通状態をシミュレーションするシミュレーションフレームワークは、コンテキストベースのモデルを訓練し、且つ、適応ポリシーの影響を調査するための、安全な環境を提供する。
上記で説明した教師あり学習技術に加えて、様々な実施形態で、コンテキストベースのサンプリングおよびフュージョンポリシーを学習することは、複数の目標（例えば安全性および電力消費の両方）をサポートする強化学習モデルを訓練することによって決定されてもよい。様々な実施形態で、オブジェクト検出正確度、オブジェクト追跡正確度、電力消費または安全性のうちの何れか１または複数は、最適化された目的であってもよい。いくつかの実施形態では、そのような学習は、利用可能な実際のデータが十分でないならば、シミュレーションされた環境で実行されてもよい。特定の実施形態で、車両の経路においてオブジェクト（例えば車および歩行者）を正確に識別することによって安全性を維持しつつ電力消費を低下させる、センサフュージョン重みおよびサンプリングポリシーを見出すという目的を有するエージェントを訓練するべく、強化学習が使用される。訓練中、安全性は、安全性の閾値レベルが実現されるように厳しい制約であるかもしれないが、その一方で、電力消費を低下させることは、望ましいが不可欠なものではないソフトな制約である。
図６１は、様々なコンテキスト用の、センサの特異の重みを提示する。テーブルにおけるＨは、特定のセンサからの測定値がより高い評価を与えられるシナリオを表わす。様々な例として、ＬＩＤＡＲセンサは、夜に、カメラセンサ、レーダセンサまたは音響センサよりも相対的により大きな重みを与えられるが、日中は、カメラセンサは相対的により大きな重みを与えられ得る。
図６１は、フュージョンコンテキストディクショナリ５９１０、または本明細書で説明される強化学習モデルによって提供され得る出力の例を表わす（例えば、この例は、異なるコンテキスト下で様々なセンサの相対的重みを表わす）。他の実施形態では、センサ重み出力は、図６１に示されるカテゴリ別の、高定格、対、低定格の代わりに、数値であってもよい。
図６２Ａは、特定の実施形態による、異なるコンテキスト下でセンサ用の重みを学習するためのアプローチを図示する。第１に、オブジェクトを可能な限り正確に検出するモデルは、各々の個々のセンサ、例えばカメラ、ＬＩＤＡＲまたはレーダ用に訓練されてもよい。任意の好適な機械学習モデルがオブジェクト検出モデル用に使用され得るが、いくつかの実施形態では、オブジェクト検出モデルは、カメラデータ用には、教師あり機械学習モデル、例えば、ディープニューラルネットワークであり、または、ＬＩＤＡＲ点群用には、教師なしモデル、例えばＤＢＳＣＡＮ（ノイズのあるアプリケーションの、密度ベースの空間クラスタリング）である。
次に、モデルは、強化学習を使用することによって、コンテキストベースのセンサフュージョンポリシーを自動的に学習するよう訓練されてもよい。強化学習モデルは、各々のセンサから検出される現在のオブジェクトセットおよびコンテキストを使用して、センサフュージョンポリシーを学習する。ポリシーは、例えば、オブジェクト追跡正確度を最大化し且つ電力消費を最小化するという、複数の目標を含む報酬を最大化する各タイムステップで適用するセンサ重みを予測する。
従って、図６２Ａに示されるように、（例えば、コンピューティングシステムの機械学習エンジンによって実装される）強化学習アルゴリズムエージェントは、センサデータおよびコンテキストを含む環境に基づくセンサフュージョンポリシー、および、追跡正確度および電力消費などの成果に基づく報酬、を管理し、且つ、センサフュージョン中の使用のためにセンサ重みの形態で動作を生成してもよい。Ｑ学習ベースのアルゴリズムなどのエージェントを実装するべく、任意の好適な施行学習アルゴリズムが使用されてもよい。
このフレームワークの下、特定のセンサ用の重みは、特定のコンテキストに対してゼロ値になってもよい。ゼロ値にされた重み、または、所与の閾値を下回る重みは、その出力がセンサフュージョン中に使用されないので、その特定のコンテキスト用にセンサがサンプリングされる必要がないことを示す。各タイムステップで、モデルは、所与のコンテキストに対して、センサ毎に１つの重みを伴うベクトルを生成する。
このアプローチの代替的な実装は、マルチエージェント（センサ毎に１つのエージェント）強化学習モデルを利用してもよく、ここでは、各々のエージェントは、重みおよびサンプリングレートに対してローカル決定を行うが、モデルは、増加されたオブジェクト追跡正確度および低電力消費などのグローバルな目標（または複数の目的の組み合わせ）を実現しようと試みる。そのような実施形態で、特定のエージェントが、グローバルな目標を実現していないとの判断を行うならば、罰せられるかもしれない。
図６２Ｂは、特定の実施形態による、異なるコンテキストの下で、センサ用の重みを学習するためのより詳細なアプローチを図示する。このアプローチでは、ＬＩＤＡＲ用にオブジェクト検出モデル６２５２が訓練され、カメラ用にオブジェクト検出モデル６２５４が訓練される。特定の実施形態で、オブジェクト検出モデル６２５４は、教師あり機械学習モデル、例えば、ディープニューラルネットワークであり、オブジェクト検出モデルは、ＬＩＤＡＲ点群用には、教師なしモデル、例えばＤＢＳＣＡＮである。
図６２Ｂに示されるように、強化学習アルゴリズムエージェントは、例えば、コンテキスト、検出されたオブジェクト、グラウンドトゥルースオブジェクト、センサ電力消費、および、安全性を含む環境６２５８に基づいてセンサフュージョンポリシー６２５６を管理し、且つ、例えば検出正確度、電力消費および安全性などの成果に基づいて報酬６２６０を管理してもよい。動作６２６２は、センサフュージョン中の使用のために、センサ重み６２６４の形態で生成されてもよい。Ｑ学習ベースのアルゴリズムなどのエージェントを実装するべく、任意の好適な施行学習アルゴリズムが使用されてもよい。
図６３は、特定の実施形態による、サンプリングポリシーを決定するフローを示す。ステップ６３０２で、車両の複数のセンサによってサンプリングされたセンサデータが取得される。ステップ６３０４で、サンプリングされたセンサデータと関連付けられたコンテキストが取得される。ステップ６３０３で、車両の複数のセンサ用のサンプリングレートのグループ、または、センサデータのフュージョンを実行するのに使用される、複数のセンサ用の重みのグループ、のうちの一方または両方が、コンテキストに基づいて決定される。
様々な実施形態で、上記で説明された複数の推論モジュールの何れかが、自律車両のコンピューティングシステムまたは自律車両に結合された他のコンピューティングシステムによって実装されてもよく、その一方で、上記で説明された複数の訓練モジュールの何れかが、１または複数の自律車両に結合された一のコンピューティングシステムによって（例えば複数の自律車両に結合された、一元化されたコンピューティングシステム）、または、一の自律車両の一のコンピューティングシステムによって、実装されてもよい。
上記の例はオブジェクト検出に関して説明されたが、その複数の概念は、他の自律運転動作、例えば意味論的セグメント化およびオブジェクト追跡などに適用されてもよい。
レベル５（「Ｌ５」、完全に自律）の自律車両は、ＬＩＤＡＲセンサを主要な送信ソースとして使用してもよいが、これは幅広いエンドコンシューマの経済的スケーラビリティに役立たない。他方、（自動化のより低いレベルを伴う）レベル２（「Ｌ２」）または他のより低いレベルの自律車両は典型的に、カメラを主要な感知ソースとして使用し、且つ、情報の冗長性のため、またカメラセンサとの相関のため、プログレッシブモードでＬＩＤＡＲを導入してもよい（通常、低コストバージョンのＬＩＤＡＲセンサ）。ＬＩＤＡＲがカメラを介して提供する情報の１つは、車両と、その周囲の車両／オブジェクトとの間の距離を提供し、且つ、周囲の車両およびオブジェクトの高さ情報もまた提供する。しかしながら、ＬＩＤＡＲは、自律車両に含ませる最も高価なセンサテクノロジの１つであり得る。
従って、いくつかの実施形態では、ＬＩＤＡＲセンサの代替として、情報を代替することによってセンサのコストにおける節約を提供しつつ、ＬＩＤＡＲが提供する深度および高さ情報を提供する、低コストの光ベースの通信テクノロジが使用されてもよい。そのような通信モジュールは、自律車両、路側ユニット、および、運転環境内の交通および事象をモニタする他のシステムに配備されてもよい。いくつかの実装で、各々の車両の正確な位置、車両の高さ、および、周囲の車両が安全な距離を保持するのに有用であり得る、車両のサイズ／高さに関連する任意の他の情報を（リアルタイムに）送信するべく、Ｌｉ－Ｆｉ（Ｌｉｇｈｔ Ｆｉｄｅｌｉｔｙ）テクノロジが活用されてもよい。光ベースの通信テクノロジ（例えばＬｉ－Ｆｉ）は、車両に光源（例えばＬＥＤ）および光検出器を備わせることによって、自動車、モータサイクル、および自転車を含む、異なるタイプの車両に適用され得る。Ｌｉ－Ｆｉは、異なるタイプの車両間に適用され得る（例えば、自転車は、Ｌｉ－Ｆｉを使用して、周囲の車両に自己の位置および任意の他の有用情報を送信し、安全な距離を保つのに役立たせることができる）。
Ｌｉ－Ｆｉは、光波を介してデータ（例えば位置情報）を送信するべく光を使用するデバイス間の無線通信用の、新しいテクノロジである。Ｌｉ－Ｆｉは、無線通信に関しててＷｉ－Ｆｉ（登録商標）と同様であると見做され得るが（例えば、同様のプロトコル、例えばＩＥＥＥ８０２．１１プロトコルを利用し得る）、Ｌｉ－Ｆｉは無線周波の代わりに光通信を使用するという点でＷｉ－Ｆｉ（登録商標）とは異なり、これは、遥かに広い帯域幅を可能にし得る。Ｌｉ－Ｆｉは、毎秒ギガビット（Ｇｂｐｓ）帯域幅に到達できる可視光通信（ＶＬＣ）を介して高速データを送信可能であり得る。Ｌｉ－Ｆｉは、通信に４００ＴＨｚ（７８０ｎｍ）から８００ＴＨｚ（３７５ｎｍ）の間の可視光を使用し得るが、いくつかの例では、通信に紫外線（ＵＶ）または赤外線（ＩＲ）放射もまた使用し得る。
図６４は、少なくとも１つの実施形態による、自律車両６４１０、６４２０間の例示的なＶＬＣ又はＬｉ－Ｆｉ通信の簡略化された図である。示される例では、車両の送信光源（例えば６４１２、６４２２）（例えば、発光ダイオード（ＬＥＤ）を装備した車両のランプ）は、変調光ビーム（例えば６４３１、６４３２）を、別の車両の光検出器（例えばフォトダイオード）に送信する。車両は、放出された光ビームを変調する信号処理モジュール（例えば、６４１６、６４２６）を装備されてもよく、その結果、当該ビームは、埋め込まれたデータ（例えば、上記および更に以下で説明されるように、送信している車両の位置または高さ情報）を含み、受信した光信号を復調する。受信している車両の光検出器（例えば、６４１４、６４２４）は、送信している車両からの光信号を受信し、振幅の変化を電気信号に変換する（次に、復調によってデータストリームへと逆に変換される）。いくつかの実施形態では、複数の光源からのＬｉ－Ｆｉデバイスの同時受信は、光検出器（例えばフォトダイオード）のアレイを含む光センサを用いることで可能である。
これはまた、いくつかの例では、スループットを向上させるために１つの光源から、または、複数の光源からの、複数のチャネルからの複数の受信を可能にする。複数のチャネルは、光（可視、赤外線、および／または紫外線）スペクトル上の異なるチャネル（波長）として実装されてもよい。
位置または他の車両データ（例えば、車両の高さ、車両のサイズ、または他の周囲の車両が送信車両の構造を作成するのを助けることができる他の情報）は、光波の変調を通じて送信され得る。送信されるデータのサイズは、数バイトのオーダーであってもよい。例えば、車両の位置情報は、Ｄｅｇｒｅｅ Ｍｉｎｕｔｅ ａｎｄ Ｓｅｃｏｎｄ（ＤＭＳ）形式（たとえば、自由の女神に最も近い位置の４０°４１ '２１．４ "Ｎ７４°０２'４０．２" Ｗ）に従っているならば、およそ１２桁と２文字を利用してもよく、これは、およそ７―８バイトを利用し得る（例えば、「ＡＳＣＩＩコード」の各々の桁に４ビット、および、各々の文字に４ビット）。別の例として、車両の高さ情報（例えば、小数点以下１桁のメートル単位）は、およそ４ビットのデータを利用し得る。別の例として、車両のサイズ情報（メートル単位の車両の長さと幅を含み得る）は、長さのためにおよそ１バイトのデータを利用し、幅のために４ビットのデータを利用し得る（例えば、「バスを考慮している」長さのために１から２の小数桁、幅のために小数点以下１桁）。
車両間の通信用に、任意の好適な変調スキームが使用され得る。本開示の実施形態で使用され得る変調スキームの例は、以下を含む。
・振幅シフトキーイング（ＡＳＫ）の形であるオン／オフ・キーイング（ＯＯＫ）であって、ここでは、ＬＥＤは、オンまたはオフにスイッチされて、２進数のデジタル文字列をモデル化し得る。
・変数のパルス位置モジュール（ＶＰＰＭ）であって、ここでは、２Ｍの考え得る、必要とされる時間シフトのうちの１つにおいて、単一のパルスを送信することにより、Ｍビットがエンコードされる。これは、ビットレート（Ｍ／Ｔ ｂｐｓ）を有するべく、（変数である）Ｔ秒毎に繰り返される。
・色シフトキーイング（ＣＳＫ）であって、ＩＥＥＥ８０２．１５．７標準で導入されて規定され、これは、赤、緑、青のＬＥＤを組み合わせて使用し、且つ、各々のＬＥＤの点滅速度を変化させてデータを送信することによって、光の中でデータをエンコードする。
車両によって送信される、位置、高さ、サイズまたは他の情報のサンプリングレートは、少なくとも２つの形を取り得る。一例として、サンプリングは率先したものであってもよく、ここでは、各々の車両が所与の周波数でその位置の（または他の）情報を絶えず送信する。例えば、率先したサンプリングは、混雑したエリア、衝突の危険性が高いエリア、または夜間に選択されてもよい。この場合、光検出器は、受信されたデータから感知「深度」情報をもたらす物理センサと見做されてもよく、センサフュージョンは絶えず、光検出器からの入力を考慮する。別の例として、サンプリングは、事象ベースのものであってもよく、各々の車両は、一度周囲の他の車両を検出すると、その位置情報を送信する。この場合、光検出器は、周囲で交通車両が検出される度に、受信されたデータからの感知「深度」情報をオンデマンドでもたらす物理センサと見做されてもよく、センサフュージョンは、事象ベースの様式で、光検出器からの入力を考慮してもよい。
いくつかの場合、各々の車両は、既存の光源（フロントライト、バックライト、サイドライト、または屋根に配置されたＬＥＤ）を活用し、それらの光源からの光波を変調して、特定の周波数で、またはイベント駆動型で（例えば、車両カメラが周囲の車両を検出したときに、または車両が信号機または停止標識で停止したときに）、必要とされるデータを送信してもよい。
図６５Ａから図６５Ｂは、少なくとも１つの実施形態による、自律車両６５００上の例示的なＶＬＣまたはＬｉ－Ｆｉセンサ位置の簡略化された図である。図６５Ａは、自律車両６５００の鳥瞰図を示し、その一方で、図６５Ｂは、自律車両６５００の側面図を示す。自律車両６５００は、センサ６５０２、６５０３、６５０４、６５０５、６５０６、６５０７、６５０８を含む。各々のセンサは、光源（または複数の光源、例えばＬＥＤのアレイ）、および、光検出器（光検出器のアレイなどの複数の光検出器）の両方を含んでもよい。いくつかの実施形態では、車両の既存の光源（例えば（センサ６５０２、６５０３用の）フロントライト、（センサ６５０７、６５０８用の）バックライト、および（センサ６５０４、６５０５用の）サイドライト）は、各々の車両の位置情報を、車両を囲う全視野にリアルタイムで伝達するのに活用されてもよい。これは、各々の車両が、（ＬＩＤＡＲが現在提供している深度情報に代替して）全ての周囲の車両からの距離を算出することを可能にする。（安全な距離を維持してリアルタイムで周囲を発見するのに役立ち得る、サイズまたは任意の関連情報、および）高さ情報が提供され得る。センサはまた、センサ６５０６について示されるように、車両の上部など、現在の光源がない、車両の他の位置に置かれてもよい。センサはまた、図６５に示されるもの以外の、自律車両６５００上の位置に置かれてもよい。
図６６は、少なくとも１つの実施形態による、対象の車両６６１０および交通車両６６２０の間の例示的なＶＬＣまたはＬｉ－Ｆｉ通信の簡略化された図である。特に、図６６は、対象の自律車両がそのセンサフュージョン処理において、交通車両によるＬｉ－Ｆｉデータ送信から来る周囲の交通車両の位置情報をどのように考慮するか（および、交通車両が、同様のやり方で、その周囲における対象の車両の位置情報をどのように取得するか）を示す。対象の自律車両は、他の交通車両（図示なし）からの他のＬｉ－Ｆｉデータ送信を処理することにも、同じ処理を利用してもよい。
示される例では、各々の車両は、（他のセンサの中でも）視覚システムと、Ｌｉ－Ｆｉ送信機（例えばＬＥＤおよび信号処理回路／ソフトウェア）と、Ｌｉ－Ｆｉ受信機（例えば、光検出器（ＰＤ）および信号処理回路／ソフトウェア）とを備える。示されるように、各々の車両におけるセンサフュージョンモジュール／スタックは、カメラベースの視覚システムからの通常の入力と、光検出器からの追加の入力とを受け取る。
図６７は、少なくとも１つの実施形態による、自律車両のセンサフュージョン処理において、ＶＬＣまたはＬｉ－Ｆｉ情報を使用する例示的な処理の簡略化された図である。例示的な処理６７００における複数の動作は、自律車両（例えば、図６６の複数の自律車両の一方または両方）のコンポーネントによって実行されてもよい。例示的な処理６７００は、追加の又は異なる動作を含んでもよく、動作は、示される順序で又は別の順序で実行されてもよい。いくつかの場合、図６７００に示される複数の動作の１または複数は、複数の動作、サブプロセスまたは他のタイプのルーチンを含む処理として実装される。いくつかの場合、動作は、組み合わされ得、別の順序で実行され得、並行して実行され得、反復され得、またはそうでない場合には別の様式で繰り返され若しくは実行され得る。
ステップ６７０２で、自律車両は、別の車両（「交通車両」）から変調光信号を受信する。いくつかの場合、自律車両は、複数の交通車両から変調光信号を受信してもよい。
ステップ６７０４で、変調光信号がサンプリングされる。サンプリングは、特定の周波数（例えば数ミリ秒毎に）で、または、検出された事象（例えば、自律車両の周囲のエリアにおける交通車両の存在を検出したこと）に応答して、行われてもよい。
ステップ６７０６で、サンプリングされた信号は復調され、交通車両の位置およびサイズ情報を取得する。位置情報は、交通車両の正確な位置を示す情報を含んでもよい。例えば、位置情報は、ＤＭＳフォーマットで、または別のフォーマットで、交通車両のジオ座標を含んでもよい。サイズ情報は、交通車両のサイズを示す情報を含んでもよく、（例えばメートルで）交通車両の長さ、幅、および／または高さを含んでもよい。
ステップ６７０８では、自律車両のセンサフュージョン処理において、ステップ６７０６で取得された位置情報が使用される。例えば、自律車両は、自律運転パイプラインの知覚フェーズにおいて、位置情報を使用してもよい。
自律運転機能を実装するために利用される基盤となるテクノロジとコンポーネントのコストを軽減することは、自律運転を大衆消費者市場で経済的に実現可能にし、道路での採用を早めるための重要な要素と見做されてもよい。自律車両の高コストの一部は、例えば、ＬＩＤＡＲセンサ、レーダセンサ、カメラ、慣性測定ユニット（ＩＭＵ）、グローバルナビゲーション衛星システム（ＧＮＳＳ）受信機などの高性能センサの使用にある。高コストの一部は、高性能データ処理、高帯域幅データ通信、および大容量ストレージの必要性にある。センサおよび計算能力の両方が、自動車グレードのコンポーネントを使用し、機能安全基準を満たす、高度にロバストな様式で、非常に大量のデータをリアルタイムで処理する必要がある。高コストの一部は、自律車両の開発プロセスにある。
自律車両と、関連付けられたセンサの開発プロセスは典型的に、様々なシミュレーション方法とフィールドテストとを通じた、知覚の開発、訓練およびテスト、ならびに、ソフトウェアアルゴリズムおよびハードウェアコンポーネントの計画および制御、を含む。特に、自律車両用の現代の知覚システムは、知覚（例えばコンピュータビジョン）アルゴリズムの訓練を必要とする機械学習方法を利用し得、その結果、手元のタスクとセンサに固有の、訓練されたモデルが得られる。現代の機械学習ベースの方法は、非常に大量のデータセットの収集、および、非常にコストがかかるグラウンドトゥルースアルゴリズム出力（例えば「データラベル付け」）を取得するための非常に大きな労力を必要とする。これらのデータセットは一般的に、使用される特定のセンサと、データの特性とに依存する。アルゴリズムが最初に開発されたドメイン以外のドメインでの知覚アルゴリズムの再使用を容易にするための取り組みには、転移学習および領域適応の概念が関与する。多大な労力にも拘らず、これらのアルゴリズムの再使用は、困難で未解決の問題のままである。
コストを削減するための1つのアプローチには、様々な感知および計画データ処理サブシステムを、より少ない計算コンポーネントに統合し、処理パイプラインのフットプリントおよび電力ニーズを徐々に低下させ、スケールの経済に到達することが含まれ得る。コストを削減するための別のアプローチは、より少ないデータ処理コンポーネントの再使用を最大化し、単一の自律車両で、且つ複数のタイプの自律車両に亘って実行される必要がある複数のタスクに亘り、共通のコンポーネントを利用することである。これは、共通の知覚アルゴリズム、共通のアルゴリズム訓練データセット、および、共通の機械学習モデルの使用が関与し得る。
いくつかの実施形態によれば、データ処理パイプラインは、カメラ（視覚）データおよびＬＩＤＡＲ（深度／距離／範囲）データの両方に共通のコンポーネントを利用し、これにより、カメラデータおよびＬＩＤＡＲデータの両方に共通の処理コンポーネントの利用が可能になり得る。これにより、自律車両の開発コストが削減され、コンポーネント自体のコストが削減され得る。
いくつかの実施形態では、センサデータは、カメラデータとＬＩＤＡＲデータの両方が保有する生の物理的特性から、より均一な様式でデータの処理を可能にするより正規化されたフォーマットへと、抽象化され得る。これらの技術は、データの忠実度とそれに含まれる重大なシーン情報を保持しながら、ノイズを軽減し、または、データのセンサ固有の特性を軽減し得る、一種の前処理と見做され得る。結果として生じる抽象化され且つ正規化されたデータは、標準の知覚コンポーネント／アルゴリズム（例えば、自律車両の制御処理の知覚フェーズ／サブシステムにおけるもの）、例えば、自律運転に必要とされる、オブジェクト検出、道路標識検出、交通標識検出、交通光検出、車両検出、または歩行者検出に提供され得る。結果として生じる抽象化され且つ正規化されたデータは、データから自律車両周りの世界の状態を認識しなければならない知覚アルゴリズムおよび他の処理コンポーネント用の、より容易な転移学習および領域適応を可能にする。検出に加えて、知覚フェーズ／サブシステムはより一般的に、分類機能、例えば、特定の交通標識を検出すること、および／または、交通標識の正確なタイプを分類すること、若しくは、車両を、乗用車、バン、トラック、緊急車両などの特定のタイプに分類することを含み得る。更に、知覚フェーズ／サブシステムには、道路エージェントの位置および速度、並びに、それらの状態の他の寸法、の推定が関与し得る。更に、自律車両知覚フェーズ／サブシステムは、道路エージェントの動作または振る舞いを分類または認識し得る。知覚フェーズ／システムのそのような全ての機能は、センサの詳細に依存し得、センサデータ抽象化から利益を得るかもしれない。
いくつかの例では、センサデータ抽象化および正規化は、単一の車両で使用される同じタイプの異なるセンサ間で共通の処理を可能にし得る。例えば、複数のタイプのカメラ（例えば、以下のうちの１または複数の組み合わせであり、遠近法カメラ、魚眼カメラ、パノラマカメラ）は、単一の車両で使用されてもよい。異なるタイプのカメラは、大きく異なる視野を有し得、または、画像平面への異なる投影を有し得る。各々のタイプのカメラはまた、車両上で、特定の構成で使用され得る。可視光、赤外光、熱視力、および他の波長での画像化などのモダリティには各々、それ自体の特性がある。同様に、異なる特性を有する複数のタイプのＬＩＤＡＲが、車両で使用され得る。従って、本開示の特定の態様で、異なるタイプのカメラからのセンサデータは、共通のフォーマットへと抽象化されてもよく、異なるタイプのＬＩＤＡＲからのセンサデータも同様に、共通のフォーマットへと抽象化されてもよい。
本開示の態様は、複数のモダリティおよび複数のセンサタイプ内且つこれら全体に亘る、センサデータの低レベルのフュージョンを可能にしてもよい。大まかに言えば、自律運転と移動ロボット工学のための低レベルのセンサフュージョンには、オーバーラップしている視野を有する複数のモダリティからのセンサデータを組み合わせることが含まれる。いくつかの場合、例えば、センサフュージョンは、以下のうちの１または複数を含んでもよい。
・オーバーラップしている視野内でデータを厳密に組み合わせるが、いくらかのオーバーラップを伴う異なる視野からのデータを共にまとめることもまた含み得る（例えば、画像モザイキング、パノラマ画像作成）。
・超解像度を実現するべく所与の解像度で撮像された複数のカメラ画像を組み合わせること（例えば、カメラ解像度よりも高い解像度で画像を作成すること）。これは、より低コストのカメラを使用して、より高コストのカメラの解像度を実現することを可能にし得る。
・複数のＬＩＤＡＲデータを組み合わせて、それらの解像度を増加する。我々が知る限りにおいて、ＬＩＤＡＲデータで超解像度を実現することは、全く新しい分野である。
・より高いダイナミックレンジを実現するべく、所与の限定されたダイナミックレンジで撮像された複数のカメラ画像を組み合わせること。
・複数のカメラ画像または複数のＬＩＤＡＲスキャンを組み合わせて、ノイズ低減を実現し、例えば、各々の個々のカメラ画像またはＬＩＤＡＲスキャンに存在するノイズを抑制する。
・カメラとＬＩＤＡＲ画像を組み合わせて、両方のモダリティに存在するオブジェクトのより高い検出率を実現するが、独立した「ノイズ」ソースを伴う。
１つの実施形態が図６８Ａに示され、単一のセンサから来るセンサデータ６８０２の単一のストリーム用の、処理パイプライン６８００を図示する。いくつかのセンサ抽象化動作６８０４、６８０６、６８０８によって、元のセンサデータは、「シーンデータ」フォーマット６８１０へと変換および正規化される。シーンデータはその後に、車両検出、歩行者検出、または、自律運転に不可欠な他のコンポーネントの検出を含み得る、検出段階／アルゴリズム６８１２に提供される。シーンデータ６８１０は元のセンサデータ６８０２から抽象化されているので、検出段階は、複数のタイプのセンサに由来するシーンデータと組み合わせて使用され得る共通のオブジェクトモデルを使用する。ディープニューラルネット、畳み込みニューラルネット、完全接続ニューラルネット、再帰型ニューラルネットなどの機械学習モデルの場合、訓練中および推論中の両方で抽象化動作（６８０４、６８０６、６８０８）が適用される。簡潔化のため、図６８Ａは、推論段階のみを示している。
一例では、例示的なセンサ抽象化処理は、センサ応答値を正規化する動作（例えば６８０４）を含んでもよい。例えば、カメラ画像の場合、これは、画素値を正規化することを含んでもよい（例えばグレースケールまたはカラー値）。例えば、自律車両の異なるカメラは、異なるビット深度を有してもよく、例えば、１画素当たり８ビット、１画素当たり１０ビットまたは１２ビット、若しくは、異なる色空間（多くの場合、ＲＧＢまたはＹＵＶ（輝度、クロミナンス）として表わされ、若しくは複数の異なる色空間で表わされる）を有してもよい。応答正規化動作は、応答値を正規化された範囲および表現へと変換するセンサ応答モデル（例えばカメラ応答機能）を使用してもよい。これはまた、いくつかの実施形態では、異なる露出で撮像された複数のカメラ画像を組み合わせて高ダイナミックレンジ画像にすることを可能にしてもよい。センサ応答モデルのパラメータは、知られたものであってもよく（例えば、露出および他のセンサの設定から）、または、データ自体から推定されてもよい。
ＬＩＤＡＲの場合、生のセンサデータは深度または距離値の形であってもよい。水平角（方位角）および頂角（仰角）に基づいて、深度値をX、Y、Zポイント位置値に変換し得る。一例として、Ｘ軸は、車両前後軸にほぼ垂直であり得、Ｙ軸は、車両前後軸にほぼ平行であり得、そしてＺ軸は、地面から離れるようにほぼ上向きであり得る。オブジェクト認識の目的で、生の深度値、若しくは、Ｘ、Ｙ、Ｚ値の１つまたは２つ、の何れかが最も有用であってもよい。従って、ＬＩＤＡＲ値は、単一のスカラー、ペア、または値のトリプレットの何れかとして表わされてもよい。いくつかの実施形態では、値自体は、正規化された範囲へと変換されてもよい。いくつかの例では、ＬＩＤＡＲセンサは、水平および垂直の視野全体に亘る深度または距離値の２次元（２－Ｄ）アレイを提供してもよく、アレイは２－Ｄ画像と同じ形式であってもよい。ＬＩＤＡＲデータから直接取得されるそのような画像の例が、図６８Ｂに示される。本開示の特定の態様で、ＬＩＤＡＲセンサデータは、ポイントクラウドとして表わされるよりもむしろ、この２次元アレイの形で保持されてもよい。２次元アレイにデータを保持することによる重要な結果は、カメラデータとＬＩＤＡＲデータの両方が２次元アレイまたは画像として表わされることである。
この例を続けると、センサ抽象化処理は、センサデータをワープすることによって（例えばステップ６８０６）継続してもよい。いくつかの実施形態では、ワープ段階は、空間アップスケーリングまたはダウンスケーリング動作を含んでもよい。カメラ画像またはＬＩＤＡＲアレイの空間解像度を変更するのに、単純なアップスケーリングまたはダウンスケーリングが使用されてもよい。図６８Ｂに示される例に図示されるように、ＬＩＤＡＲセンサデータ６８５０の解像度は、水平方向では高くてもよいが、垂直方向では低くてもよい。従って、センサ抽象化、センサフュージョン、および、共通の検出モデルを使用するオブジェクト検出を促進するべく、ＬＩＤＡＲアレイの垂直解像度を増加することが望ましいかもしれない。これを行う１つの方法は、画像処理において開発されたものと同じ又は同様の技術を使用して、アップスケーリング動作を適用することである。
いくつかの実施形態では、ワープはまた、感知処理に固有の幾何学的影響に対する補正を取り入れる。一例として、ワープは、遠近法カメラと魚眼カメラとの間の差を補正してもよい。ワープ動作は、魚眼画像を透視画像またはパノラマ画像に変換してもよい。再び、これは、後の段階で共通の検出モデルを有効化し得る。ワープ動作はまた、カメラまたはＬＩＤＡＲセンサの視野および構成を考慮してもよく、これは、複数のセンサからの複数の画像またはＬＩＤＡＲスキャンを組み合わせて、モザイク画像またはパノラマ画像にすることを可能にし得る（画像のつなぎ合わせとも呼ばれる）。
いくつかの実施形態では、ワープ動作はまた、車の動きに起因する動き、および、振動に起因する意図しない動きの両方を含む、カメラの動きの補正を組み込み得る。これは、僅かに異なる時間に撮像された複数の画像またはＬＩＤＡＲスキャンを組み合わせて、２つの撮像時間の間のセンサの動きを考慮することを可能にし得る。同じシーンの複数の画像のこの組み合わせは、改善された、解像度（超解像度）、ノイズ低減および他の形式のセンサフュージョンを可能にする。センサの動きのパラメータ、および、他の必要とされるパラメータは、（例えば他のセンサを使用して）測定されてもよく、データ自体から推定されてもよい。要約すると、ワープ動作は、複数のセンサデータストリーム間の、多くのタイプの幾何学的差異を考慮してもよく、且つ、結果として、正規化された構成への、データの空間的及び時間的位置合わせ（または登録）をもたらし得る。
いくつかの実装で、センサ抽象化は、データにフィルタリング（例えばステップ６８０８）を適用し続けてもよい。フィルタリングは、単一の時刻からのデータを利用してもよく、または、前の時刻および現時刻からのデータを使用するフィルタリングが関与してもよい。例えば、単一のカメラ画像または複数のカメラ画像（若しくは画像フレーム）が使用されてもよい。
いくつかの実施形態では、時間再帰的なフィルタリング方法が使用されてもよい。時間再帰的な画像フィルタリングは、前の時刻で以前にフィルタリングされた画像を使用してもよく、それを、現時間に感知された画像データと組み合わせてもよい。特定の例として、カルマンフィルタ（またはカルマンフィルタの変形）が使用されてもよい。フィルタ（例えばカルマンフィルタまたはそれの変形）は、前の時刻のデータに基づく予測動作、および、現時間からのデータに基づく更新動作、を組み込んでもよい。例えば、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタ、ガウスフィルタなどの、当技術分野で知られている他のフィルタもまた使用されてもよい。
いくつかの場合、フィルタリング動作は、異なるタイプのセンサ、カメラおよび／またはＬＩＤＡＲからのノイズを適切に考慮して抑制するセンサノイズモデルを使用してもよい。ノイズモデルは、元のセンサデータにおけるノイズの性質および強度を説明し、その一方で、フィルタリングの前のパイプライン動作の追跡（例えば応答正規化およびワープ）、および、データのノイズに対するそれらの影響を保持する。一例として、元のデータのノイズの強度は、応答正規化動作中に変調される。また、ノイズの空間特性は、ワープ動作中に影響を与えられ得る。センサノイズモデルのパラメータは、測定に基づいてもよく、または、データ自体から推定されてもよい。フィルタリング動作はまた、前のデータから現データを予測して不確実性またはノイズを捕捉し得るシーンモデルを使用してもよい。例えば、現時間動作でのデータと前の時間動作でのデータとの間の関係は、自律車両およびそのセンサの動きに依存する。この動きは、いくつかの残りの不確実性またはノイズの範囲内で、測定または推定され得る。シーンモデルは、この不確実性を考慮する。シーンモデルはまた、（ノイズがない）シーン自体に起因する真の信号における大幅な変化の大きさを説明してもよい。この情報は、フィルタリング動作によって、データで観察される変化の重要性を重み付けするのに使用され得る。フィルタリング動作はまた、追加の特性、例えばカメラの場合にはレンズ、画像化およびソリッドステートセンサの特性を含む、センサのモデルを使用してもよく、結果として空間的なぼかし又は他の影響をもたらしてもよい。フィルタリング動作は、これらの特性の影響を低下させてもよく、または、データを共通のレベル、例えばぼかしの共通のレベルに正規化してもよい。従って、（例えば）画像の場合、フィルタリング動作は、状況に応じて、よく知られている畳み込み又はデコンボリューション技術を使用して、ぼかしのレベルを低下または増加するよう動作してもよい。センサモデルは、データ全体を通じたそのぼかしのレベルで、前のデータの抽象化動作の影響の追跡も保持する。最終的に、フィルタリング動作は、出力データを通じて、その出力におけるノイズおよびぼかしのレベルの追跡を保持する。この情報は、フィルタリング動作が時間再帰的な処理、例えばカルマンフィルタリングのタイプであるならば、次の時刻中に使用されてもよい。この情報はまた、その後の処理、例えば抽象化されたセンサデータのセンサフュージョンによって、または検出段階によって、使用されてもよい。
フィルタリング動作はまた、個々のサンプルの有効性を考慮してもよく、且つ、有効なサンプルを示す有効性又は独占マップを使用してもよい。例えば、ＬＩＤＡＲデータにおいて、個々のサンプルは、ＬＩＤＡＲリターンが受信されていない又は十分な信号強度で受信されていない場合に、無効であり得る。また、異なる画角および視野で撮像された複数のセンサ画像またはアレイを仮定すると、画像またはセンサアレイのいくつかの部分は、例えばオーバーラップしている（しかし同一ではない）視野を有する画像を組み合わせる場合に有用ではないと見做されてもよい。
図６９、７０および７１は、複数のセンサから来るセンサデータの複数のストリーム用の処理パイプラインの実施形態を示す。
図６９は、センサデータ６９０２の複数のストリームを処理するための例示的な並列処理パイプライン６９００を示す。パイプライン６９００の各々の態様は、異なるセンサ（センサＡおよびＢ）からの各々のパイプラインハンドラインセンサデータを用いて、図６８Ａに示されて上記で説明されたパイプライン６８００における対応する態様と同じである。示される例では、共通の検出／知覚アルゴリズム（または訓練された機械学習モデル）（例えば６９１２）が、２つ以上のセンサデータストリーム６９０２に適用されるが、如何なるフュージョンもない。例えば、示される例では、共通のオブジェクトモデルが、２つのパイプライン６９００の両方の検出ブロック６９１２へと供給される。データ抽象化アイディアの１つの利益は、検出／知覚アルゴリズムが様々なセンサからの「抽象化された」データ上で訓練され且つそれに適用され得、従って、各々のセンサの検出アルゴリズムを開発するために必要とされるコスト／労力が少ないかもしれないことである。
図７０は、複数のセンサからのデータがフィルタリング動作によって組み合わされている処理パイプライン７０００を示す。示される例では、センサ抽象化処理は、ステップ７００４でセンサデータ７００２の各々のそれぞれのストリームを正規化する段階と、フィルタリング動作７００８でストリームを組み合わせる前にステップ７００６でセンサデータ７００２の各々のそれぞれのストリームをワープする段階とを備える。センサ抽象化処理の各々の動作は、上記の図６８Ａに関して説明された対応するセンサ抽象化処理動作と同様の様式で実行されてもよい。フィルタリング動作７００８は、抽象化されたシーンデータ７０１０を生成するシーンモデルを伴って、各々のそれぞれのセンサデータストリーム用のセンサノイズモデルを利用してもよい。抽象化されたシーンデータは次に、オブジェクト検出用の検出処理／アルゴリズム７０１２に渡されてもよい。検出処理／アルゴリズムは、図６８Ａに関して上記で説明された検出段階／アルゴリズムと同様に実行されてもよい。一例として、パイプライン７０００は、画像モザイキング、超解像度または高ダイナミックレンジ画像化の場合に使用されてもよく、それにより、複数の画像がフィルタリング動作によって組み合わされてもよい。
図７１は、上記で概説されたセンサ抽象化の全動作後に、複数のセンサからのデータがフュージョン動作によって組み合わされている、処理パイプライン７１００を示す。示される例では、センサ抽象化処理は、ステップ７１０４でセンサデータ７１０２の各々のそれぞれのストリームを正規化する段階、ステップ７１０６でセンサデータ７１０２の各々のそれぞれのストリームをワープする段階、および、ステップ７００８でセンサデータ７１０３の各々のそれぞれのストリームにフィルタリングを適用する段階を備える。センサ抽象化処理の各々の動作は、上記の図６８Ａに関して説明された対応するセンサ抽象化処理動作と同様の様式で実行されてもよい。各々のデータストリームに対するそれぞれのフィルタリング動作７００８は、それぞれのセンサデータ用に抽象化されたシーンデータ７０１０を生成するシーンモデルを伴って、対応するセンサデータストリーム用のセンサノイズモデルを利用してもよい。抽象化されたシーンデータは次に、ヒューズされたデータをオブジェクト検出用の検出処理／アルゴリズム７０１４に提供する前に、抽象化されたシーンデータがヒューズされるヒューズ段階７１１２に渡されてもよい。検出処理／アルゴリズムは、図６８Ａに関して上記で説明された検出段階／アルゴリズムと同様に実行されてもよい。一例として、パイプライン７１００は、ＬＩＤＡＲおよびカメラデータのフュージョンの場合に使用されてもよく、それにより、ＬＩＤＡＲセンサからのデータおよびカメラからのデータは、検出段階の前に組み合わされる。
図６８、７０、７１に示される例示的な処理の動作は、自律車両の様々な態様またはコンポーネントによって実行されてもよい。例示的な処理は、追加の又は異なる動作を含んでもよく、動作は、示される順序で、または別の順序で、実行されてもよい。いくつかの場合、図６８、７０、７１に示される動作の１または複数は、複数の動作、サブプロセス、または他のタイプのルーチンを含む処理として実装される。いくつかの場合、動作は、組み合わされ得、別の順序で実行され得、並行して実行され得、反復され得、またはそうでない場合には別の様式で繰り返され若しくは実行され得る。
自律車両は、多様な異なるタイプのセンサ、例えば、１または複数のＬＩＤＡＲ、レーダ、カメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、音声センサ、温度センサ、または、（例えば本明細書で説明されるもの又は他の好適なセンサなどの）他のセンサなどを備えてもよい。これらのセンサは、車両によって実行される知覚を援助するのに使用されてもよい。知覚は概ね、自律車両スタックで実行される第１の機能なので、知覚におけるエラーは、その後の機能、例えば、センサフュージョン、ローカライゼーション、経路計画、または、他のフェーズに、有害な様式で影響を与えるであろう。そのようなエラーは、事故をもたらし得、その結果、自律車両の信用および許容の損失をもたらし得る。知覚でのエラーを軽減するべく、多くのシステムは、高品質且つ高解像度カメラおよび他のセンサを利用する。しかしながら、これらの高品質コンポーネントは、自律車両のコストを増加させて電力消費を増加させるかもしれず、これらは順に、自律車両の許容の速度を落とすかもしれない。
本開示の様々な実施形態は、超解像度アップスケーリング方法に基づくスケーラブルなセンサアプローチを提供することによって、この問題を処理してもよい。例えば、相対的に低解像度のセンサが配備されてもよい。そのようなセンサから取得される低解像度データは次の、超解像度処理方法を使用することによって、高解像度データへとアップスケーリングされてもよい。任意の好適な超解像度アップスケーリング方法が利用されてもよい。例えば、アップスケーリングは、様々なディープニューラルネットワーク、例えばディープ生成系モデルによって実行されてもよい。別の例として、アップスケーリングは、知識の蒸留技術を使用して訓練されたモデルを使用して実行されてもよい。様々な実施形態で、そのようなネットワークは、低解像度データから高解像度データを導出するよう、現実世界データ上で訓練されてもよい。
図７２は、特定の実施形態による、高解像度および対応する低解像度画像を含む訓練データを生成するためのフローを示す。フローは、１または複数の高解像度センサを使用して、（高品質を有する）高解像度画像７２０２を撮像することで始まってもよい。ステップ７２０４で、高解像度画像は次に、１または複数の低解像度センサを使用して生成された画像（例えば低解像度画像７２０６）のように見えるよう、変換される。高解像度から低解像度への変換７２０４は、任意の好適な様式で実行されてもよい。様々な例で、高解像度画像に、１または複数のローパスフィルタが適用されてもよく（例えば結果として画像の平滑化をもたらす）、高解像度画像上でサブサンプリングが実行されてもよく、高解像度画像にノイズが追加されてもよく（例えば、天候状態（例えば雨または雪）を模倣するために塩とコショウのノイズが追加されてもよい）、高解像度画像はダウンサンプリングされてもよく、カラー画像のチャネル（例えばＲＧＢ値）が（例えば様々な照明状態をシミュレーションするべく）ランダム化されてもよく、他の技術が実行されてもよく、コンピューティングシステム（例えば車載コンピューティングシステム）によって複数の技術の組み合わせが実行されてもよい。図７２のフローは、豊富な訓練データセットを生成するべく、任意の数センサからのデータを使用して任意の回数実行されてもよい。
加えて、または代替例として、訓練データは、高解像度センサおよび低解像度センサを使用して同時に画像を撮像することによって取得されてもよい。その結果として生じる画像は、画像が同時に同じ視野を表わすように、位置および時間に関してキャリブレーションされてもよい。従って、各々の高解像度画像は、対応する低解像度画像を有してもよい。
図７３は、特定の実施形態による、低解像度画像から高解像度画像を生成するモデル７３１０用の訓練フェーズを示す。訓練フェーズ中、生成系ネットワーク７３０２に基づくディープラーニングは、グラウンドトゥルースとしての高解像度画像７３０６、および、対応する低解像度画像７３０４を受信してもよい。ネットワーク７３０２は、出力として高解像度画像７３０８を生成し、これらをグラウンドトゥルース高解像度画像７３０６と比較する。生成された高解像度画像と対応するグラウンドトゥルース画像との間のエラーは、ネットワーク７３０２のパラメータを訓練するべく逆伝搬される。いくつかの実施形態では、当該エラーは、敵対的な攻撃に対するロバスト性もまた考慮に入れる損失関数に基づく。一度モデル７３１０が訓練されると、それは、低解像度カメラを備えた車での（例えば推論エンジンを使用する）推論用に、車両に配備されてもよい。訓練のためのこの方法の特定の利点は、それがグラウンドトゥルース用に高価なラベル付け処理を必要とせず、従って、ある意味で教師なしであることである。
様々な実施形態で、低解像度画像から高解像度画像を生成するのに任意の好適な機械学習モデルが使用されてもよい（画像超解像とも称される）。例えば、生成系ニューラルネットワークが使用されてもよい（敵対者が存在してもよく、存在しなくてもよい）。いくつかの実施形態では、モデルは、畳み込みニューラルネットワーク（ＣＮＮ）、隣接埋め込み回帰、ランダムフォレスト、または他の好適な機械学習アーキテクチャに基づいてもよい。様々な例として、Ｖｅｒｙ－Ｄｅｅｐ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ （ＶＤＳＲ）モデル、学習方法Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ （ＳＩＳＲ）モデル、再構成方法ＳＩＳＲモデル、Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ （ＳＲＣＮＮ）、または任意の他の好適モデルが使用されてもよい。
図７４は、特定の実施形態による、低解像度画像から高解像度画像を生成するモデル７３１０用の推論フェーズを示す。推論フェーズ中、１または複数の低解像度カメラによって撮像される低解像度画像７４０２は、生成系モデル７３１０に提供される。生成系モデル７３１０は、訓練中に決定されたパラメータを使用して画像７４０２を処理し、高解像度画像７４０６を出力する。生成系モデル７３１０によって生成される高解像度画像は、自律車両スタックの知覚ブロックまたは他の好適なブロック用に使用されてもよい。
上記の例はカメラ画像データの処理に焦点を合わせているが、同様の超解像度アップスケーリング方法が、他のセンサデータ、例えばＬＩＤＡＲデータに適用されてもよい。生のＬＩＤＡＲデータは、視野全体の深度または距離測定のアレイを含んでもよい。超解像度処理が、カメラ画像データと非常に同様の様式で、そのような２次元（２－Ｄ）アレイに適用されてもよい。上記のように、ディープラーニングベースの生成系ネットワークは、収集された高解像度ＬＩＤＡＲデータをグラウンドトゥルースとして使用して訓練され得る。その後に、訓練されたネットワークが自律車両に配備され、低解像度ＬＩＤＡＲデータを高解像度ＬＩＤＡＲデータへとアップスケーリングし得る。特定の実施形態で、同様の超解像度処理方法がまた、ポイントクラウドフォーマットでＬＩＤＡＲデータをアップスケーリングするのに使用されてもよい。
本開示の様々な実施形態で、スケーラブル感知をサポートするべく、知識の蒸留技術が使用されてもよい。知識の蒸留は、より大きな教師モデルまたは教師モデルのアンサンブルからの知識を、生徒に転送することによって、生徒モデルの正確度を改善するための技術である。例えばＬＩＤＡＲとカメラなどの複数のセンサ間の感知テクノロジの差異に拘わらず、それらが検出できる特徴にオーバーラップが存在する。例えば、３Ｄカメラは、たとえ、シーンの高解像度３Ｄマッピングを提供するＬＩＤＡＲセンサより低い解像度でも、深度情報を提供し得る。概して、より低い解像度のセンサを使用して訓練されたモデルは、たとえ人間の観察者が低解像度画像内のオブジェクトを正しく識別することが可能であったとしても、より高い解像度のセンサを使用して訓練されたモデルよりも正確ではない傾向にある。本開示の特定の実施形態では、知識の蒸留を使用して、様々なタイプの高コストセンサ（例えば、ＬＩＤＡＲおよび高解像度カメラ）を使用して訓練された教師モデルのアンサンブルから、低コストセンサ（例えば、低解像度カメラまたは低解像度ＬＩＤＡＲ）を使用する生徒モデルに知識を転送してもよい。
訓練中、知識の蒸留は、モデルの主要タスク（例えばオブジェクト検出）の損失、および、教師ネットワークがその複数の特徴をエンコードする方法と生徒ネットワークがそれらをエンコードする方法との間の蒸留減、を最小化するマルチタスク損失を使用して、教師から生徒に知識を転送する。訓練データは、キャリブレーションとタイムスタンプを使用してデータを同期し、高コストセンサおよび低コストセンサの両方が同じシーンを表示していることを保証することによって生成される。
図７５は、特定の実施形態による、知識の蒸留を使用して生徒モデル７５０４を訓練する訓練フェーズを示す。第１に、モデル７５１０および７５１２のアンサンブル７５０２を備える教師モデルは、高コストセンサ７５０６および７５０８を使用して、オブジェクトを可能な限り正確に検出するよう訓練される。次に、教師モデル７５１０および７５１２のアンサンブル７５０２からの知識は、教師モデルのアンサンブル７５０２によって予測されたオブジェクト確率の分布からソフトターゲット７５１２および７５１４を計算し、且つ、それらを使用して情報を一般化する方法を生徒モデル７５２０に教えることによって、生徒モデル７５２０に転移される。ソフトターゲット７５１２および７５１４は、生徒モデルの正確度を改善するために、グラウンドトゥルースラベル７５２６から取得されたハードターゲット（予測７５２４）と連動して使用される。
モデルのアンサンブル７５０２または生徒モデル７５２０の何れかのために、任意の好適なモデルが使用されてもよい。特定の実施形態で、複数のモデルの１または複数は、畳み込みニューラルネットワーク（ＣＮＮ）を有する。いくつかの実施形態では、これらのモデルの１または複数は、（例えば、オブジェクトをバインドするポリゴン座標のシーケンスを予測することによってシーン内の画素をカテゴリ化する方法を学習するセグメント化モデルにおいて）リカレントニューラルネットワーク（ＲＮＮ）を含む。更に他の実施形態は、任意の好適なニューラルネットワークまたは他の機械学習モデルを含むモデルを備えてもよい。
特定の実施形態で、ソフトターゲット７５１２、７５１４および７５２２は、最終出力ではない、それぞれの分類アルゴリズムの層（例えばニューラルネットワーク）から抽出されてもよい。例えば、オブジェクト検出モデルにおいて、ソフトターゲットは、オブジェクトの境界ボックスの複数の寸法のうちの１または複数、オブジェクト用に決定された１または複数のクラス、若しくは、各々のクラスと関連付けられた確率（例えば７匹の猫、３匹の犬）を示してもよい。セグメント化モデルで、ソフトターゲットは、各々の画素について、異なる意味論的カテゴリに関するその画素のソフトマックス確率を示してもよい。特定の実施形態で、ソフトターゲットは、ニューラルネットワークの特定の層の特徴マップからの情報を含んでもよい。
ヒューズされたソフトターゲット７５１６は、任意の好適な様式で、ソフトターゲット７５１２および７５１４から決定されてもよい。様々な例として、ソフトターゲットは、加重平均、デンプスター・シェイファー理論、決定木、ベイズ推定、ファジーロジック、本明細書で説明されるコンテキストベースのセンサフュージョン方法から派生した任意の技術、または他の好適な様式を使用して組み合わされてもよい。一実施形態では、結合動作は、モデル７５１０によって予測された境界ボックスおよびモデル７５１２によって予測された境界ボックスに共通のエリアが７５１６においてヒューズされたソフトターゲットの境界ボックスであると決定される境界ボックスに対して実行され得る。様々な実施形態で、ソフトターゲットは、任意の好適な様式で、一緒にヒューズされてもよい。
ハード予測７５２４は、モデル７５２０の最終出力であってもよい。一例として、ハード予測７５２４は、検出されたオブジェクトまたは画素に対して予測されたクラスを含んでもよい。
蒸留減７５３０は、高コストセンサによって予測されたヒューズされたソフトターゲット７５１６と、低コストカメラ７５１８によって予測された対応するソフトターゲット７５２２との間の差異である。
生徒損失７５２８、例えば、ハード予測７５２４とグラウンドトゥルースラベル７５２６との間の差異で生徒モデル７５２０を単に最適化する代わりに、生徒モデル７５２０のパラメータを調整するのに（生徒損失７５２８および蒸留減７５３０を含む）マルチタスク損失が使用される。
図７６は、特定の実施形態による、知識の蒸留を使用して訓練された生徒モデル用の推論フェーズを示す。推論中、生徒モデルは、カメラ画像データの場合、１または複数の低コストセンサからのデータのみを使用してオブジェクトを検出する。他の実施形態では、同様の推論処理は、（例えば、より低い解像度の低コストＬＩＤＡＲからの）ＬＩＤＡＲデータ入力が関与してもよい。その場合、生徒モデルはまた、入力としてＬＩＤＡＲデータを用いて訓練されるであろう。
様々な実施形態で、示されるモデルは、任意の好適なセンサに適合されてもよい。親アンサンブル７５０２または生徒モデルは、任意の数、品質、および／または、タイプのセンサを備えてもよい。例えば、生徒モデルは、（例えば、教師アンサンブルの一部である高解像度ＬＩＤＡＲセンサより低い解像度を有する）低コストＬＩＤＡＲセンサからのデータを使用して訓練されてもよい。別の実施形態において、生徒モデルは、生徒損失７５２８を決定するのに使用され、且つ、蒸留減７５３０を決定するべくヒューズされたソフトターゲット７５１６に対して比較されるヒューズされたソフトターゲットおよびハードターゲットを備える、低解像度ＬＩＤＡＲ（または任意の他の好適な品質又はタイプのセンサ）、および、低解像度カメラ７５１８の両方からのデータを用いて訓練されてもよい。そのような実施形態で、車両に配備された場合に入力されるＬＩＤＡＲおよびカメラデータの組み合わせに対して、同様の推論処理が利用されてもよい。
特定の実施形態で、高解像度センサデータが自律車両から捕捉される。高解像度センサデータは、ローパスフィルタリング、サブサンプリング、または他の好適な技術などの技術を使用して、低解像度データへと変換される。生成系機械学習モデルが、低解像度データを高解像度センサデータへと変換するよう訓練される。推論中、低解像度データを高解像度センサデータへと変換する、訓練された生成系機械学習モデルを使用することによって、車両でオブジェクト検出動作が実行される。
別の特定の実施形態で、機械学習モデルのアンサンブルが、異なるタイプのセンサ（例えばカメラ、ＬＩＤＡＲなど）からの高解像度データを使用することによって自律車両スタックのタスクを実行するように訓練される。高解像度センサデータを使用して訓練された機械学習モデルのアンサンブルからの知識は、低解像度データを使用して、機械学習モデルのアンサンブルのヒューズされたソフト予測ターゲットと、生徒機械学習モデルのソフト予測ターゲットとの間の蒸留減を取り入れることによって訓練された生徒機械学習モデルに転移される。推論中、オブジェクト検出動作は、低解像度センサデータを使用して訓練された生徒機械学習モデルを使用することによって、車両で実行される。
図７７は、特定の実施形態による、オブジェクト検出における使用のために、撮像画像の解像度を増加するフローを示す。ステップ７７０２で、第１の画像データが車両の第１のセンサによって撮像され、第１の画像データは、第１の解像度を有する。ステップ７７０４で、第１の画像データは、機械学習モデルを使用して、第２の解像度を有する第２の画像データへと変換され、第２の解像度は、第１の解像度よりも高い。ステップ７７０６で、第２の画像データに基づいて、車両用にオブジェクト検出動作が実行される。
図７８は、特定の実施形態による、複数の方法のアンサンブルに基づいて機械学習モデルを訓練するフローを示す。ステップ７８０２で、機械学習モデルのアンサンブルが、自律車両スタックのタスクを実行するように訓練され、アンサンブルは、第１の解像度を有する画像データを使用して訓練された第１の機械学習モデルと、第２の機械学習モデルとを備える。ステップ７８０４で、第３の機械学習モデルが、機械学習モデルのアンサンブルのヒューズされたソフト予測ターゲットと、第３の機械学習モデルのソフト予測ターゲットとの間の蒸留減に少なくとも部分的に基づいて訓練される。
人間は限定された感知能力を有することが広く知られている。自律車両の考え得る利益の１つは、自律車両上のセンサの数を仮定して、道路に関するより大量の情報を受信する能力であり、これにより、安全性を増加させる。しかしながら、センサのアレイを備える自律車両でさえ、エラーや死角が発生しやすい傾向がある。自律車両の、知覚および動きプランナにおいて、これらの制限を認識して考慮することが重要である。
路側ユニットに設置されたＬＩＤＡＲおよびレーダは、車道に沿って存在し得、道路上の車両に追加の情報を与え得る。同様に、協調感知の使用は、自律車両の協調運転と十分に適合する。一例として、トラックおよびサービス集団の小隊は、協調運転が使用されているので、協調感知を使用できる。別の例として、道路上の消費者向け車両（互いに知らないであろう）はまた、協調運転に貢献し、協調感知を実行してもよい。
図７９は、自律車両がセンサを塞ぎ、これにより運転状況を潜在的に危険にしている状況の例を図示する。見られ得るように、車両７９０５は、車両７９１０の後ろをついて行く。車両７９１０のサイズを考慮すると、車両７９１５は、車両７９０５に対して塞がれている。図７９に示される状況で、車両７９０５は移動して車両７９１０を通過する。しかしながら、車両７９１５は同時に車線を変更しており、車両７９０５は、この状況の潜在的な危険性に気付いていない。しかしながら、自律車両が周囲の車両および／または他の外部センサから追加の情報を受信することが可能な場合、危険性のいくつかは軽減され得る。加えて、車両間の他の通信を使用することで、より安全な運転環境さえも作成できる。
バーチャルリアリティー知覚の概念は、例えば、道路上の動的な車、監視カメラ、交差点や曲がり角に設置されたカメラ、交通標識、および信号機など、周囲の交通エージェントの眼を通して環境を見る車を想定している。この情報は、車両の知覚および／または動的マップが最新でない場合の閉塞検出に使用され得る。加えて、改良された知覚は、車載センサのセットのみに依拠することによっては達成できない様式で知覚の分野を改良することによって、意思決定を改善することができる。例えば、車両に搭載されていないセンサからの情報を有することは、車両が、歩行者が塞いだ横断歩道に近づく際の、安全性を改善できる。近づいている車両の速度は、車が、他の交通エージェントからのセンサを使用して、塞がれた横断歩道を今見ることができるならば、適切に決定され得る。
協調感知、協調意思決定、および意味論的通信言語を組み合わせたシステムと方法は、自律車両の安全性を大幅に改善できる。車両協調を使用するシステムの例は、図８０に示される高レベルアーキテクチャダイアグラムに図示される。図８０のシステム８０００は、自律車両に、協調感知、意思決定、および共通の意味論的通信言語を提供してもよい。協調感知は、車両が、１または複数の周囲の車両と、それぞれの車両のセンサによって感知されたデータに基づいてデータを伝達するべく通信する場合に生じる。
図８０の例は、協調的に通信する２つの車両（Ｖ１およびＶ２）を含むシステムを示す。図８０に示される例によれば、各々の車両は、内部感知モジュール８０２０と、拡張された感知モジュール８０３０と、外部感知モジュール８０１０と、協調意思決定者８０５０と、自律車両意思決定者モジュール８０４０と、軌道計画および実行モジュール８０６０とを備える。
内部感知モジュール８０２０は、自律車両の感知情報、例えば、自律車両によって経路計画および実行の際に慣例で使用されるデータを有する。一例として、感知モジュール８０２０は、車載センサによって感知された情報を有してもよい。外部感知モジュール８０１０は、別の車両から取得された情報を有する（例えば、Ｖ１の感知モジュール８０１０は、Ｖ２から受信した感知された情報を含んでもよい）。このデータは、任意の形を取ってもよい。いくつかの実施形態では、データは、意味論的通信を介して交換される。本開示の様々な実施形態で、交通要素（例えば車両または路側コンピューティングユニット）によって利用される新規な意味論的言語は、車両が、自己の通信を高速で安全なモードで管理することを可能にする。輸送における通信のための、この一般化された言語は、感知データおよび計画データの両方を含むことができ、他の交通コンポーネントによって共有および活用されてもよい。意味論的通信は、ブロードキャストとして、または要求／応答様式に基づいて、の何れかで実行され得る。更に、意味論的言語は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）などの任意の利用可能な送信プロトコルを使用して送信され得る。２つの車両が、それらのセンサから受信した全データを共有しようとするならば、データ転送のサイズが過度に大きく、送信および解析に過度の時間を取るかもしれない。直ちに決定がなされることを必要とする状況で、意味論的通信は、道路上の重要な安全問題に関する迅速な通信を可能にするであろう。一例として、意味論的言語は、車両が互いから詳細を、例えば、車両または他のオブジェクトの位置、および、車両またはオブジェクト用の移動パターンまたは計画、例えば車両が車線変更する計画、を共有することを可能にするであろう。
１つの車両から別の車両への、感知されたデータの送信は、上記で言及された通り、協調感知と見做され得る。自律車両は通常、広範囲且つ多数のセンサを備えられる。これらのセンサによって提供されるデータは、コンピュータビジョンアルゴリズムまたはＬＩＤＡＲ／レーダベースのデータ処理方法を使用して、リアルタイムに解析され得る。本明細書で提示される実施形態によれば、センサからのデータは、処理および解析され得、その結果は、複数の車両間で共有されてもよい。物理センサの各々は、範囲、視野、天候状態などに、それ自体の制限を有する。図７９の例を参照して説明されたように、道路上で、車両の１または複数のセンサが閉塞されている多くの例が存在する。協調感知は、車両が、別の車両、または他の交通オブジェクト（例えば、図１に図示されるもの又は他の好適なセンサのうちの何れかなどの、道路に沿う交通センサおよびカメラ）からのデータを使用して、自律車両の視野を拡大することを可能にする。
図８０の例を参照し、システム８０００はまた、各々の車両上で、協調意思決定者モジュール８０５０を備え得る。協調意思決定者モジュール８０５０は、別の車両の意思決定、例えば車両用に計画された経路、に関連するデータを受信し得る。従って、自律車両は、それ自体の経路計画を調整でき、特に、新しいデータセットを考慮して動き計画を調整できる。別の車両の意思決定に関連するデータは、他の車両がした判断に関連するデータを含み得る。例えば、２つの車両が車線をスイッチするよう計画しているならば、これらは、互いに警告を鳴らすことができ、且つ、２つの車両は適宜に自己の動作を調和させて計画できる。協調意思決定は、自律車両間の純粋な交渉を使用するよりも一般的で信頼性が高く、いくつかの実施形態では、車両または他のセンサによって感知される追加のオブジェクトを考慮に入れてもよい。協調意思決定は、より複雑な最適化問題が解決されることを可能にしてもよく、その結果は、取り囲む交通コンポーネント（例えば、他の車両または路側補助コンピューティングユニット）と共有されてもよい。いくつかの例によれば、複数の協調意思決定者モジュール８０５０は、意味論的言語を使用して、互いに通信する。
協調意思決定、協調感知および意味論的言語のうちの何れか１または複数は、自律車両が、より効率的に且つ安全に移動することを可能にしてもよい。一例として、２つの主な潜在的な衝突状況は、２つの車両間の高い速度差、および／または、前方車両および後方車両の間の小さな距離が関与する。時系列式の衝突インディケータが、数学的に規定され得る。そのようなインディケータは、安全な軌道と安全でない軌道との間を区別するのに使用され得る。いくつかの実施形態では、車両は、別の車両によって認識された生のデータの計算と解析を繰り返すことなく、潜在的に危険な状況の全体写真を解析してもよい。データセットが圧縮される場合、より小さな帯域幅が、情報を送信するのに利用される。図８１は、複数の動作が複数の車両によって想定される状況の例を図示している。協調意思決定、協調感知および意味論的言語の組み合わせは、車両が、この状況と他の状況で安全に操縦できることを可能にするであろう。
システム８０００はまた、複数の拡張された感知モジュール８０３０を備える。これらのモジュールは、外側のソース（例えば、図１に示される複数のソースの何れかなど、車両の外側の任意のソース）からセンサ情報を受信する。このデータは、外部感知モジュール８０１０および意味論的通信を介して、他の車両から受信される補足的センサデータであってもよい。一例では、モジュール８０３０は、すぐ近くの別の車両または交通エージェントから１または複数のセンサによって収集された（またはそれらによって収集されたデータに基づく）データを含む完全なデータストリームを受信し得る。
自律車両意思決定者モジュール８０４０は、内部であるか外部であるかに拘わらずセンサから受信された情報に基づいて自律車両運転決定を行ってもよい。例示的な一実施形態によれば、協調意思決定者モジュール８０５０は、自律車両意思決定者モジュール８０４０から分離されており、これにより、追加の情報が、自律車両によって意思決定および計画で検討されることが可能になる。
システム８０００はまた、各々の車両用に軌道計画および実行モジュール８０６０を備える。モジュール８０６０は、車両の意思決定者モジュール８０４０または８０５０によって行われた運転決定を実行してもよく、または、これらのモジュールによって決定された決定に基づいて車両の軌道を計画し得る。
図８０で説明されるシステムは、単に、特定の実施形態で生じ得るモジュールを表わしているだけである。他の実施形態は、本明細書で具体的には言及されていない追加のモジュールを備えてもよい。加えて、他の実施形態では、１または複数のモジュールが省略されてもよく、または、複数のモジュールが組み合わされてもよい。
自律車両の周囲で３６０度の認識を実現するべく、様々なシステムに、異なるモダリティを持つ多数のセンサが含まれてもよい。いくつかの状況で、そのようなセンサは、複数のセンサ間の冗長性を結果として生じさせてもよい。しかしながら、センサ数が増加することは、（例えば、センサおよび関連付けられた処理ユニットの両方の価格の観点で）ハードウェアコストを追加することであり得、自律車両スタックが特定のセンサ構成に依存する結果となり得る。これは、様々なタイプの車両に亘る自律車両解決策のスケーラビリティを阻害する（例えば、コンパクトな車両は、スポーツユーティリティ車両の構成とは非常に異なる構成を利用し得る）。固定されたセンサが使用される場合、センサ構成（例えばセンサのタイプおよび車両上のセンサの位置）は、車両周りの知覚範囲内の完全な冗長性を実現するべく、各々の自律車両タイプ用にカスタマイズされる。
本開示の様々な実施形態は、可変視野（ＦＯＶ）および可変焦点範囲を可能にする適応型画像センサを提供する。人間の視覚システムと同様に、特定の実施形態は、センサの垂直および水平回転を可能にすることによってセンサに物理的動きを追加してもよい（視野を拡大するための眼球および首の動きと同様）。特定の実施形態は、より大きなＦＯＶをカバーするために回転し得る１または複数のパンチルトズーム（ＰＴＺ）カメラを利用してもよい。カメラの回転後、キャリブレーションフェーズが、車両に取り付けられている１または複数のマーカを使用して実行されてもよい。いくつかの実施形態では、機械学習アルゴリズムは、特定のセンサが再キャリブレーションされるときにマーカの使用を呼び出す、キャリブレーション処理を自動化するよう訓練されてもよい。様々な実施形態は、車両上のセンサの固定位置、および、視野の完全なカバレッジを達成するために利用される冗長センサの数、への依存性を除去する。様々な実施形態で、外部機械の施行およびインテリジェンス（例えば、生のセンサデータの前処理）が、既に存在しているセンサに機能を追加してもよい。様々な利点、例えばセンサ数の低下、感知される必要があるデータの量の低下、または、感知中に使用される電力の低下は、本明細書で説明される複数の実施形態の１または複数によって実現され得る。
標準的な単眼カメラの標準的な視野は４０ｏ×３０ｏであり、自律車両のコンテキストでは、相対的に狭く制限された視野である。センサのこの制限された視野に起因して、多くの自律車両は、車両上の異なる位置に複数のセンサを備える。ＡＶの軌道に応じて、車両周りで様々なセンサによって感知されるデータは、等しく重要ではなく、等しく有用情報を有しているわけでもない。例えば、空いている高速道路上のＡＶ運転について、当該ＡＶにとって最も有用情報は、１または複数の前面センサから取得され得る（その一方で、後部センサからのデータはそれほど重要ではないが、時々チェックされてもよい）。
本開示の様々な実施形態で、車両は、センサが、左、右、上、下の方向に回転することを可能にするべく、センサ用の自動機械式マウントを備えてもよい。カメラの固定された注視は（例えば４０ｏ×３０ｏに）制限され得るが、機械式マウントの動きはその視野を効果的に増加させるであろう。従って、車両の環境からの有用情報は、１または複数のセンサの注視／注意を移動させることによって捕捉され得る。特定の実施形態で、センサの移動は、車両周りで検出される動きに基づいてインテリジェントに自動化される。
図８２は、動的に調整可能な画像センサ８２０２Ａ－Ｃおよびキャリブレーションマーカ８２０４Ａ－Ｄを有する車両８２００を示す。車両８２は、本明細書で説明される複数の車両（例えば１０５）の何れかの、複数の特性のうちの何れか１または複数を有してもよい。画像センサ８２０２は、センサの機能を実装する任意の好適なロジックを有してもよい。例は特定の数および位置の画像センサ８２０２およびキャリブレーションマーカ８２０４を示しているが、様々な実施形態は、車両の任意の好適な場所に搭載される任意の好適な数の画像センサおよびキャリブレーションマーカを備えてもよい。
様々な実施形態で、キャリブレーションマーカ８２０４は、車両８２００に取り付けられる。マーカ８２０４は、車両の外面における任意の好適な場所に置かれてもよい。マーカ８２０４は、任意の好適な形（例えば、小さな球、ドット、円柱など）を有してもよい。マーカは、キャリブレーション中に実行される撮像中の検出を援助するべく、マーカが取り付けられる車両８２００の外部分とは異なる色であってもよい。マーカおよびカメラの特定の位置（およびそれらの間の距離）は、画像センサ８２０２の視野または他のパラメータを動的に調整するべく、キャリブレーション中に使用されてもよい。
車両８２００の制御ユニット（例えばシステムマネージャ２５０）からの制御信号に応答して、画像センサ８２０２は、水平および／または鉛直方向に回転してもよい。いくつかの実施形態では、画像センサ８２０２はまた、画像センサが制御信号に応答して垂直方向または水平方向に変位され得るように、レール上または他の機械式装置上に搭載されてもよい。画像センサ８２０２は、任意の好適な状態に応答して、任意の好適な位置へと移動されてもよい（例えば、水平および／または鉛直方向に回転および／または変位されてもよい）。例えば、示される実施形態では、車両は、通常動作中に、３つの前面カメラ８２０２Ａ、８２０２Ｂおよび８２０Ｃを有してもよい。次の車線変更に応答して、画像センサ８２０２Ｃは、（例えば車両８２００の側方および後方の視野を撮像するべく）図８３に示されるように水平方向に回転されてもよい。一度車線変更が完了されると（または、例えば潜在的に危険なオブジェクトが視野内にないとの決定に応答して）、画像センサは元の位置に戻ってもよい。センサ８２０２Ｂは、制御信号に応答、車両の他の側を捕捉するべく同様の様式で回転されてもよい。別の例で、通常は前を向いているセンサ（例えば８２０２Ａ）は、定期的に車両８２００の後方に向かって画像を捕捉するべく、水平方向に回転してもよい（例えば１８０度）。
１または複数のマーカ８２０４は、複数の画像センサ８２０２の１または複数の移動をキャリブレーションするべく使用されてもよい。一例として、画像センサ８２０２が移動される場合、制御ユニットは、調整命令を提供してもよい（命令は、例えば、直接の調整の単位、または、画像センサ８２０２が調整の単位へと変換することができるセンサ構成の識別を含み得る）。様々な例で、調整の単位は、水平回転の角度、垂直回転の角度、水平距離、垂直距離、ズームレベル、および／または、他の好適な調整を含んでもよい。センサ８２０２は、命令された調整に影響を与えてもよく、画像データ（例えば写真またはビデオ）の撮像を開始してもよい。
センサ８２０２からの画像データは、車両の制御ユニットへと戻るように供給される。制御ユニットは、画像を処理し、画像データにおける１または複数のマーカ８２０４Ｄの位置および／またはサイズを検出してもよい。画像において１または複数のマーカが正しい位置にない、および／または、正しいサイズではないならば、制御ユニットは、追加の調整命令を決定して、それらをセンサに提供してもよい。追加の撮像および調整は、マーカが望まれるサイズになる、および／または、画像データ内の望まれる位置を有するまで、実行されてもよい（いくつかの実施形態では、第２の調整後に、画像センサは、マーカの追加の解析をすることなく、好適な構成にあると仮定され得る）。様々な実施形態で、調整命令、および、（例えば画像におけるマーカの位置およびサイズによって反映される）その結果は、制御ユニットによって格納され、将来の調整命令を洗練するのに使用される。
特定の実施形態で、車両８２００に埋め込まれる明示的なマーカの代わりに、キャリブレーション用のマーカとして車の輪郭が使用されてもよいが、そのような実施形態は、キャリブレーションのためにより集中的な処理を呼び出し得る。
いくつかの実施形態では、キャリブレーションは、センサ８２０２が移動される度に実行されない。他の実施形態では、キャリブレーションは、センサ８２０２が移動される度に実行されないかもしれないが、例えば、定期的に、センサがｎ回移動される毎に一度、または、キャリブレーションが有用であろうとの決定に応答して、実行される。
様々な実施形態で、制御ユニットは、車と関連付けられた検出された状態に応答して、１または複数のセンサの移動を指示してもよい。特定の実施形態で、そのような状態は、（例えば、１または複数の画像センサ８２０２、または、車両の他のセンサ、または関連付けられたセンサ、からの）センサデータの時系列式解析に基づいて検出されてもよい。いくつかの実施形態では、センサの移動は、１または複数のセンサの視野の動きに応答して指示されてもよい（例えば、特定の画像センサ８２０２は、オブジェクトを追跡するべく、例えば、車両１００を通過している又は車両１００に通過されている別の車両を追跡するべく、自己の動きを調整してもよい）。様々な実施形態で、その移動は、運転環境における変化を検出したことに応答して指示されてもよい（例えば、高速道路を運転している間に、センサは、主に前進方向を向いているかもしれないが、都市の運転中は、より頻繁に側方を向いているかもしれない）。いくつかの実施形態では、センサ移動を指示するのに使用される状態は、予測された状態であってもよい（例えば、速度の低下、都市の運転を示すオブジェクトの検出、および／または、ＧＰＳデータ、に基づいて予測された、高速道路から都市への合流であってもよい）。様々な実施形態で、１または複数のセンサの移動をトリガする状態を検出するべく、機械学習が利用されてもよい。
図８４は、特定の実施形態による、車両の画像センサを調整するフローを示す。ステップ８４０２で、車両の画像センサへの位置調整命令が生成される。ステップ８４０４で、車両の画像センサからの画像データが受信される。ステップ８４０６で、画像データ内の車両のマーカの位置およびサイズが検出される。ステップ８４０８で、画像データ内の車両のマーカの位置およびサイズに基づいて、車両の画像センサへの第２の位置調整命令が生成される。
図８５から図８６は、本明細書で開示される実施形態による、使用され得る例示的なコンピュータアーキテクチャのブロックダイアグラムである。プロセッサおよびコンピューティングシステム用の、当技術分野で周知の他のコンピュータアーキテクチャ設計がまた使用されてもよい。一般的に、本明細書で開示される実施形態に好適なコンピュータアーキテクチャは、これに限定されないが、図８５から図８６に図示される構成を含み得る。
図８５は、一実施形態によるプロセッサの例示的な図である。プロセッサ８５００は、上記の実装に関連して使用され得る、あるタイプのハードウェアデバイスの一例である。プロセッサ８５００は、例えばマイクロプロセッサ、マイクロプロセッサ、組み込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、マルチコアプロセッサ、シングルコアプロセッサ、又はコードを実行する他のデバイスなど、任意のタイプのプロセッサであり得る。１つのプロセッサ８５００のみが図８５に図示されているが、処理要素は、代替的に、図８５に図示されるプロセッサ８５００を２つ以上含んでもよい。プロセッサ８５００は、シングルスレッドコアであり得、または、少なくとも１つの実施形態では、プロセッサ８５００は１つのコアにつき２つ以上のハードウェアスレッドコンテキスト（または「論理プロセッサ」）を含み得るという点で、マルチスレッドであってよい。
図８５はまた、一実施形態による、プロセッサ８５００に結合されるメモリ８５０２を図示する。メモリ８５０２は、当業者に既知である、またはそうでない場合には利用可能である（メモリ階層の様々な層を含む）多種多様なメモリの何れかであり得る。そのようなメモリ素子は、これに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のロジックブロック、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）、および電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）を含み得る。
プロセッサ８５００は、本明細書に詳述されるアルゴリズム、処理、または動作に関連付けられる任意のタイプの命令を実行し得る。一般的に、プロセッサ８５００は、ある要素またはあるアーティクル（例えば、データ）を、１つの状態または物から別の状態または物へと変換し得る。
プロセッサ８５００によって実行される１または複数の命令であり得るコード８５０４が、メモリ８５０２に格納され得、あるいは、ソフトウェア、ハードウェア、ファームウェア、もしくはそれらの任意の好適な組み合わせに、または、該当する場合には、特定の必要性に基づき、任意の他の内部または外部のコンポーネント、デバイス、要素、もしくはオブジェクトに格納されてよい。一例では、プロセッサ８５００は、コード８５０４によって示される命令のプログラムシーケンスに従い得る。各々の命令は、フロントエンドロジック８５０６に入り、１または複数のデコーダ８５０８によって処理される。デコーダは、その出力として、予め定義されたフォーマットの固定幅のマイクロオペレーションなどのマイクロオペレーションを生成し得るか、または、元のコード命令を反映する他の命令、マイクロ命令、もしくは制御信号を生成し得る。フロントエンドロジック８５０６はまた、レジスタリネーミングロジック８５１０およびスケジューリングロジック８５１２も含み、これらのロジックは一般的に、リソースを割り当て、実行のために、命令に対応する動作をキューに入れる。
プロセッサ８５００はまた、実行ユニット８５１６ａ、８５１６ｂ、８５１６ｎなどのセットを有する実行ロジック８５１４を含み得る。いくつかの実施形態は、特定の機能または特定の機能セットに専用の多数の実行ユニットを含み得る。他の実施形態は、ある特定の機能を実行し得る１つのみの実行ユニットまたは１つの実行ユニットを含み得る。実行ロジック８５１４は、コード命令によって指定される動作を実行する。
コード命令によって指定される動作の実行完了後、バックエンドロジック８５１８は、コード８５０４の命令をリタイアし得る。一実施形態では、プロセッサ８５００は、アウトオブオーダー実行を可能にするが、命令のインオーダリタイアメントを必要とする。リタイアメントロジック８５２０は、多様な既知の形態（例えばリオーダバッファなど）を取り得る。この様式において、プロセッサ８５００は、少なくとも、レジスタリネーミングロジック８５１０によって利用されるデコーダ、ハードウェアレジスタおよびテーブル、ならびに実行ロジック８５１４によって修正される任意のレジスタ（図示なし）、によって生成される出力に関して、コード８５０４の実行中に変換される。
図８５で示されていないが、処理要素は、プロセッサ８５００を有するチップ上の他の要素を含み得る。例えば、処理要素は、プロセッサ８５００と共にメモリ制御ロジックを含み得る。処理要素は、Ｉ／Ｏ制御ロジックを含み得、および／または、メモリ制御ロジックと一体化されたＩ／Ｏ制御ロジックを含み得る。処理要素はまた、１または複数のキャッシュを含み得る。いくつかの実施形態では、プロセッサ８５００を有するチップ上にはまた、不揮発性メモリ（例えばフラッシュメモリまたはフューズ）も含まれ得る。
図８６、一実施形態による、ポイントツーポイント（ＰｔＰ）構成で配置されたコンピューティングシステム８６００を示す。特に、図８６は、プロセッサ、メモリ、および入力／出力デバイスが多数のポイントツーポイントインターフェースによって相互接続されているシステムを示す。一般的に、本明細書で説明されるコンピューティングシステムの１または複数は、コンピューティングシステム８５００と同じ又は同様の様式で構成されてもよい。
プロセッサ８６７０および８６８０はまた、メモリ素子８６３２および８６３４と通信する、一体化されたメモリコントローラロジック（ＭＣ）８６７２および８６８２を各々含んでもよい。代替的な実施形態では、メモリコントローラロジック８６７２および８６８２は、プロセッサ８６７０および８６８０とは分離した別個のロジックであってもよい。メモリ素子８６３２および／または８６３４は、本明細書で概説される動作および機能を実現する際に、プロセッサ８６７０および８６８０によって使用される様々なデータを格納してもよい。
プロセッサ８６７０および８６８０は、例えば本明細書において他の図に関連して説明されたものなど、任意のタイプのプロセッサであってもよい。プロセッサ８６７０および８６８０は、それぞれ、ポイントツーポイントインターフェース回路８６７８および８６８８を使用し、ポイントツーポイント（ＰｔＰ）インターフェース８６５０を介してデータを交換してもよい。プロセッサ８６７０および８６８０は各々、ポイントツーポイントインターフェース回路８６７６、８６８６、８６９４および８６９８を使用し、個々のポイントツーポイントインターフェース８６５２および８６５４を介してチップセット８６９０とデータを交換してもよい。チップセット８６９０はまた、ＰｔＰインターフェース回路であり得るインターフェース８６３９を介して、例えば高性能グラフィックス回路、機械学習アクセラレータ、または他のコプロセッサ８６３８などのコプロセッサ８６３８とデータを交換してもよい。代替的な実施形態では、図８６に図示されるＰｔＰリンクの何れか又は全ては、ＰｔＰリンクではなくむしろ、マルチドロップバスとして実装され得る。
チップセット８６９０は、インターフェース回路８６９６を介してバス８６２０と通信してもよい。バス８６２０は、それを介して通信する１または複数のデバイス、例えばバスブリッジ８６１８およびＩ／Ｏデバイス８６１６を有してもよい。バス８６１０を介して、バスブリッジ８６１８は、ユーザインターフェース８６１２（例えば、キーボード、マウス、タッチスクリーン、または他の入力デバイス）、通信デバイス８６２６（例えば、モデム、ネットワークインターフェースデバイス、またはコンピュータネットワーク８６６０を通じて通信し得る他のタイプの通信デバイス）、音声Ｉ／Ｏデバイス８６１４、および／またはデータストレージデバイス８６２８などの他のデバイスと通信し得る。データストレージデバイス８６２８は、プロセッサ８６７０および／または８６８０によって実行され得るコード８６３０を格納してもよい。代替的な実施形態では、バスアーキテクチャの任意の部分は、１または複数のＰｔＰリンクを実装され得る。
図８６に示されるコンピュータシステムは、本明細書で説明される様々な実施形態を実装するために利用され得るコンピューティングシステムの一実施形態の概略図である。図８６に示されるシステムの様々なコンポーネントが、システムオンチップ（ＳｏＣ）アーキテクチャに、または本明細書で提供される例および実装の機能および特徴を実現することが可能な任意の他の好適な構成に、組み合わされ得ることが理解されるであろう。
本明細書で説明され図示されるシステムおよび解決策のいくつかは、複数の要素を含む又はそれらと関連付けられるように説明されたが、本開示の各々の代替的な実装において、明示的に図示される又は説明される全ての要素が利用されなくてもよい。追加的に、本明細書で説明される複数の要素の１または複数は、システムの外部に位置してもよく、他の例では、図示される実装において説明されていない他の複数の要素および他の説明される複数の要素の１または複数の一部の中に、またはその一部として、特定の要素が含まれてもよい。更に、特定の要素は、他のコンポーネントと組み合わされてもよく、且つ、本明細書で説明されるそれらの目的に加えて、代替的なまたは追加の目的のために使用されてもよい。
更に、上記で提示される例は、単に特定の原理および特徴を図示する目的のために提供される非限定的な例に過ぎず、本明細書で説明される概念の潜在的な実施形態を必ずしも限定または制限するものではないことが理解されるべきである。例えば、多様な異なる実施形態は、本明細書で説明される特徴およびコンポーネントの様々な組み合わせを利用して実現され得、これには、本明細書で説明されるコンポーネントの様々な実装を通じて実現される組み合わせが含まれる。他の実装、特徴、および詳細は、本明細書のコンテンツから理解されるべきである。
本開示は、特定の実装および概ね関連付けられる方法に関して説明されたが、これらの実装および方法の変更例および置換例は、当業者にとって明らかとなるであろう。例えば、本明細書で説明される動作は、説明されたものとは異なる順序で実行されて、依然として望ましい結果を実現し得る。一例として、添付の図に示される処理は、所望の結果を実現するために、必ずしも、示される特定の順序または連続した順序を必要としない。特定の実装では、マルチタスクおよび並列処理が有利であり得る。追加的に、他のユーザインターフェースレイアウトおよび機能がサポートされ得る。他の変形例は、以下の特許請求の範囲の範囲内である。
本明細書は多数の特定の実装の詳細を含むが、これらは、任意の発明の範囲または請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に固有の特徴の説明として解釈されるべきである。本明細書において別個の実施形態のコンテキストで説明される特定の特徴はまた、単一の実施形態において組み合わせて実装され得る。逆に、単一の実施形態のコンテキストにおいて説明される様々な特徴はまた、複数の実施形態において、別個に、又は任意の好適なサブコンビネーションで、実装され得る。更に、特徴は、特定の組み合わせで機能するものとして上記で説明され得、最初にそのようなものとして請求されさえし得るが、請求された組み合わせからの１または複数の特徴は、いくつかの場合において、組み合わせから削除され得、請求された組み合わせは、サブコンビネーションまたはサブコンビネーションの変形例を対象としてもよい。
同様に、複数の動作が特定の順序で図面に示されているが、これは、望ましい結果を実現するために、そのような動作が、示された特定の順序で若しくは連続した順序で実行されること、または全ての図示された動作が実行されること、を必要としているものと理解されるべきではない。特定の状況において、マルチタスクおよび並列処理が有利であり得る。更に、上記で説明された実施形態における様々なシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明したプログラムコンポーネントおよびシステムは一般的に、単一のソフトウェア製品に共に一体化することができ、または複数のソフトウェア製品にパッケージ化できることが理解されるべきである。
（例えば、自動運転スタックの少なくとも一部を実装し、車両の自動運転機能を可能にするために使用される）車載コンピューティングシステム、（例えば、車両とは別個の、または専用路側キャビネット内に実装されている、または交通標識上の、または信号機若しくは街灯上の、など）路側コンピューティングシステム、自律運転環境をサポートするクラウドまたはフォグベースのシステムを実装する１または複数のコンピューティングシステム、または、自律運転環境から遠隔にあるコンピューティングシステムを含むコンピューティングシステムが提供され得る。これらのコンピューティングシステムは、以下の例のうちの１つまたは組み合わせを実行または実装するために、１または複数のデータ処理装置（例えば、中央処理装置、グラフィックス処理ユニット、テンサ処理ユニット、ＡＳＩＣ、ＦＰＧＡなど）、アクセラレータ、ハードウェア、他のハードウェア回路、ファームウェア、および／またはソフトウェアのうちの１つまたは組み合わせを使用して実装されるロジックを含み得る。
例Ａ１は、サーバからＨＤマップデータを受信する段階と、自律車両に結合されたセンサデバイスからセンサデータを受信する段階と、センサデータの収集と関連付けられた情報に基づいてセンサデータ用の信頼性スコアを計算する段階と、センサデータ、および、センサデータが取得されたときの自律車両の位置に対応するＨＤマップにおける情報の比較に基づいてデルタ値を計算する段階と、信頼性スコアおよびデルタ値に基づいて、ＨＤマップの更新のためにセンサデータをサーバに発行するかどうかを決定する段階とを備える方法である。
例Ａ２は、例Ａ１の主題を備え、方法は更に、信頼性スコアが第１の閾値を上回り、且つ、デルタ値が第２の閾値を上回る、との決定に応答してセンサデータをサーバに発行する段階とを備える。
例Ａ３は、例Ａ１の主題を備え、センサデータの収集と関連付けられた情報は、データ収集の時点での天候データ、センサデバイス構成情報、センサデバイス動作情報、ローカルセンサ確証データ、またはセンサデバイス認証ステータス情報のうちの１または複数を含む。
例Ａ４は、例Ａ１－Ａ３の何れか１つの主題を備え、方法は更に、偽の匿名のデジタル証明書でセンサデータにサインする段階を備える。
例Ａ５は、例Ａ４の主題を備え、偽の匿名のデジタル証明書は、Ｖ２Ｘプロトコルに基づく。
例Ａ６は、メモリと、メモリに結合された処理回路とを備える装置であり、処理回路は、例Ａ１－Ａ５の何れか１つの方法を実行するように構成される。
例Ａ７は、例Ａ１－Ａ５の何れか１つの方法を実行する手段を備えるシステムである。
例Ａ８は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ａ１－Ａ５の方法の何れか１つの動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ａ９は、自律車両（ＡＶ）からセンサデータを受信する段階であって、センサデータは、センサデータにおける信頼性レベルを示す信頼性スコアを含む、段階と、ＡＶと関連付けられる信用スコアに少なくとも部分的に基づいてＡＶが信用されるかどうかを決定する段階であって、信用スコアは、当該信頼性スコアと、ＡＶから既に受信されているセンサデータ用の１または複数の他の信頼性スコアとに少なくとも部分的に基づく、段階と、ＡＶが信用されるとの決定に応答して、当該センサデータを使用してＨＤマップを更新する段階と、を備える方法である。
例Ａ１０は、例Ａ９の主題を備え、方法は更に、信頼性スコアが閾値を上回るかどうかを決定する段階を備え、ＨＤマップを更新する段階は更に、信頼性スコアが閾値を上回ることに応答することである。
例Ａ１１は、例Ａ９の主題を備え、信用スコアは更に、ＡＶにより、偽の匿名のデジタル証明書を使用してセンサデータがサインされているかどうかに基づく。
例Ａ１２は、例Ａ９の主題を備え、ＡＶが信用されるかどうかを決定する段階は更に、ＡＶがブラックリストに載っているかどうかに基づく。
例Ａ１３は、例Ａ９の主題を備え、ＡＶが信用されるかどうかを決定する段階は更に、当該センサデータと、当該ＡＶのすぐ近くの他のＡＶからのセンサデータとの相関に基づく。
例Ａ１４は、例Ａ９の主題を備え、方法は更に、信頼性スコアに基づいてＡＶ用の信用スコアを更新する段階を備える。
例Ａ１５は、例Ａ１４の主題を備え、信用スコアを更新する段階は、信頼性スコアが第１の閾値を上回っていることに応答して信用スコアをインクリメントする段階、および、信頼性スコアが第２の閾値を下回っていることに応答して信用スコアをディクリメントする段階、のうちの１または複数を備える。
例Ａ１６は、メモリと、メモリに結合された処理回路とを備える装置であり、処理回路は、例Ａ１１－Ａ１５の何れか１つの方法を実行するように構成される。
例Ａ１７は、例Ａ１１－Ａ１５の何れか１つの方法を実行する手段を備えるシステムである。
例Ａ１８は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ａ１１－Ａ１５の方法の何れか１つの動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｂ１は、自律車両からセンサデータを受信する段階と、センサデータからジオロケーション情報を取得する段階であって、ジオロケーション情報は自律車両の位置を示す、段階と、少なくともジオロケーション情報に基づいてセンサデータ用の良さのスコアを計算する段階と、良さのスコアを閾値と比較する段階と、良さのスコアが閾値を上回ることに応答して、センサデータをデータベースに格納する段階と、を備える方法である。
例Ｂ２は、例Ｂ１の主題を備え、方法は更に、ジオロケーション情報に基づいて位置スコアを計算する段階と、位置スコア、および、センサデータと関連付けられた１または複数の他のスコアに基づいて良さのスコアを計算する段階と、を備える。
例Ｂ３は、例Ｂ２の主題を備え、位置スコアを計算する段階は、ジオロケーション情報と関連付けられたヒートマップにアクセスする段階であって、ヒートマップは複数の位置で収集されたセンサデータの量を示す、段階と、ジオロケーション情報によって示される位置と関連付けられたヒートマップから値を取得する段階と、ヒートマップからの当該値を使用して位置スコアを計算する段階と、を有する。
例Ｂ４は、例Ｂ２－Ｂ３の何れか１つの主題を備え、良さのスコアは、当該位置スコアと、センサデータと関連付けられた１または複数の他のスコアとの加重和である。
例Ｂ５は、例２－４の何れか１つの主題を備え、位置スコアは、ジオロケーション情報と、環境情報の１または複数の追加のカテゴリとの加重和であり、環境情報の各々のカテゴリは、自律車両の位置の状態を示す。
例Ｂ６は、例Ｂ５の主題を備え、環境情報の１または複数の追加のカテゴリは、自律車両の仰角を示す仰角情報、自律車両の外側の温度を示す温度情報、自律車両の近くの天候状態を示す天候情報、および、自律車両が横断するエリアの特徴を示す地形情報、のうちの１または複数を含む。
例Ｂ７は、例Ｂ５の主題を備え、位置スコアを計算する段階は、環境情報の１または複数の追加のカテゴリの各々に対して、追加のカテゴリと関連付けられたヒートマップにアクセスする段階であって、ヒートマップは、複数の位置で収集されたセンサデータの量を示す、段階と、ジオロケーション情報によって示される位置と関連付けられたヒートマップから値を取得する段階と、取得された値を使用して位置スコアを計算する段階と、を有する。
例Ｂ８は、例Ｂ２－Ｂ７の何れか１つの主題を備え、１または複数の他のスコアは、センサデータに対するノイズスコア、および、センサデータに対するオブジェクトダイバーシチスコア、のうちの１または複数を含む。
例Ｂ９は、例１－８の何れか１つの主題を備え、センサデータからジオロケーション情報を取得する段階は、センサデータにおける地理座標情報を取得する段階、および、センサデータのメタデータを解析してジオロケーション情報を取得する段階、のうちの１または複数を有する。
例Ｂ１０は、例１－９の何れか１つの主題を備え、方法は更に、良さのスコアに基づいて自律車両と関連付けられた車両ディペンダビリティスコアを計算する段階を備える。
例Ｂ１１は、メモリと、メモリに結合された処理回路とを備える装置であり、処理回路は、例Ｂ１－Ｂ１０の方法の１または複数を実行する。
例Ｂ１２は、例Ｂ１－Ｂ１０の方法の１または複数を実行する手段を備えるシステムである。
例Ｂ１３は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ｂ１－Ｂ１０の方法の動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｃ１は、車両の１または複数のセンサによって捕捉されたデータから１または複数のオブジェクトのインスタンスを識別する段階と、複数のカテゴリに対してインスタンスをチェックし、且つ、複数のカテゴリの少なくとも１つのカテゴリをインスタンスに割り当てることによって、インスタンスのカテゴリ化を実行する段階と、インスタンスのカテゴリ化に基づいてスコアを決定する段階と、スコアに少なくとも部分的に基づいてインスタンス用にデータハンドリングポリシーを選択する段階と、決定されたデータハンドリングポリシーに基づいてインスタンスを処理する段階と、を備える方法である。
例Ｃ２は、例Ｃ１の主題を備え、複数のカテゴリのうちの１つのカテゴリは、１または複数のオブジェクトの検出の頻度を示すカテゴリである。
例Ｃ３は、例Ｃ２の主題を備え、検出の頻度は、インスタンスの１または複数の下にあるセンサデータストリームの捕捉と関連付けられた特定のコンテキスト内における、１または複数のオブジェクトの検出の頻度を示す。
例Ｃ４は、例Ｃ１－Ｃ３の何れか１つの主題を備え、複数のカテゴリのうちの１つのカテゴリは、インスタンスの複数の検出されたオブジェクトの間におけるダイバーシチのレベルを示すカテゴリである。
例Ｃ５は、例Ｃ１－Ｃ４の何れかの主題を備え、複数のカテゴリのうちの１つのカテゴリは、インスタンス用の１または複数の下にあるデータストリームのノイズレベルを示すカテゴリである。
例Ｃ６は、例Ｃ１－Ｃ５の何れかの主題を備え、方法は更に、インスタンスのカテゴリ化、および、１または複数のセンサによって捕捉されたデータのコンテキスト、に基づいてスコアを決定する段階を備える。
例Ｃ７は、例Ｃ１－Ｃ６の何れかの主題を備え、選択されたデータハンドリングポリシーは、インスタンス、および、インスタンス用の１または複数の下にあるセンサデータストリームを削除することである。
例Ｃ８は、例Ｃ１－Ｃ６の何れかの主題を備え、選択されたデータハンドリングポリシーは、オブジェクト検出モデルを訓練する際の使用のために、インスタンス、および、インスタンス用の１または複数の下にあるセンサデータストリームを保存することである。
例Ｃ９は、例Ｃ１－Ｃ６の何れかの主題を備え、選択されたデータハンドリングポリシーは、インスタンスの検出された画像と同じタイプのオブジェクトである少なくとも１つの画像を有する合成データを生成することであり、合成データは、オブジェクト検出モデルを訓練する際の使用のためである。
例Ｃ１０は、例Ｃ１－Ｃ９の何れかの主題を備え、カテゴリ化結果を機械学習訓練モデルに提供する段階、および、車両によって検出されるオブジェクトのカテゴリ化の際の使用のため、機械学習訓練モデルのパラメータを車両のコンピューティングシステムに提供する段階を更に備える。
例Ｃ１１は、例Ｃ１－Ｃ１０の方法の１または複数を実行するコンピューティングシステムを備える車両である。
例Ｃ１２は、メモリと、メモリに結合された処理回路とを備える装置であって、処理回路は、例Ｃ１－Ｃ１０の方法の１または複数を実行する。
例Ｃ１３は、例Ｃ１－Ｃ１０の方法の１または複数を実行する手段を備えるシステムである。
例Ｃ１４は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｃ１－Ｃ１０の何れか１つで主張される方法を実装することを実現する。
例Ｄ１は、車両の１または複数のセンサから捕捉されるセンサデータと関連付けられたコンテキストを識別する段階であり、コンテキストは複数のテキストキーワードを含む、段階と、コンテキスト用の追加の画像データが望まれていると決定する段階と、コンテキストの複数のテキストキーワードを合成画像生成器に提供する段階であり、合成画像生成器は、コンテキストの複数のテキストキーワードに基づいて複数の画像を生成する、段階とを備える方法である。
例D２は、例１の主題を備え、合成画像生成器は、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋである。
例Ｄ３は、例Ｄ１－Ｄ２の何れかの主題を備え、コンテキスト用の追加の画像データが望まれていると決定する段階は、コンテキストと関連付けられた利用可能なセンサデータの量を示す、コンテキストの共通性のレベルを決定する段階を有する。
例Ｄ４は、例Ｄ１－Ｄ３の何れかの主題を備え、コンテキスト用の追加の画像データが望まれていると決定する段階は、データベースからの結果を解析して、識別されたコンテキストが現実的なものであるかどうかを決定する段階を有する。
例Ｄ５は、例Ｄ４の主題を備え、データベースは、多様な内部のデータソースから取得されるデータのコンパイレーションを含む。
例Ｄ６は、例Ｄ４－Ｄ５の何れかの主題を備え、データベースは、多様な内部のデータソースから取得される画像データから抽出された複数のテキストキーワードを含む。
例Ｄ７は、例Ｄ１－Ｄ６の何れかの主題を備え、方法は更に、コンテキストの共通性のレベルを決定することに応答して、コンテキストが現実的なものであるかどうかを決定する段階を備え、コンテキストが現実的なものであるかどうかの決定は、コンテキストの共通性のレベルを決定することから独立して決定される。
例Ｄ８は、例１－７の何れかの主題を備え、コンテキストの複数のテキストキーワードを合成画像生成器に提供する段階は、コンテキストが低レベルな共通性を有しているが依然として現実的なものであると決定することに応答して実行される。
例Ｄ９は、例１－８の何れかの主題を備え、複数のテキストキーワードは、車両の動作環境を説明する。
例Ｄ１０は、例１－９の何れかの主題を備え、識別されたコンテキストと関連付けられたセンサデータ、および、合成画像生成器によって生成された複数の画像は、車両用の１または複数のモデルを訓練する際の使用のために、データセットに追加される。
例Ｄ１１は、メモリと、メモリに結合され、例Ｄ１－Ｄ１０の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｄ１２は、例Ｄ１－Ｄ１０の方法のうちの１または複数を実行する手段を備えるシステムである。
例Ｄ１３は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｄ１－Ｄ１０の何れか１つで主張される方法を実装することを実現する。
例Ｅ１は、複数の画像サンプルまたは複数の音声サンプルを有する良性のデータセットにアクセスする段階であり、良性のデータセットのサンプルは既知のラベルを有する、段階と、複数の敵対的な画像を有するシミュレーションされた攻撃データセットを生成する段階であり、敵対的なサンプルは、良性のデータセットのサンプルに対する複数の異なる攻撃方法を実行することによって生成される、段階と、敵対的なサンプル、知られたラベル、および複数の良性のサンプルを使用して機械学習分類モデルを訓練する段階と、を備える方法である。
例Ｅ２は、例Ｅ１の主題を備え、方法は更に、車両の１または複数のセンサによって検出されるサンプルを分類する際の使用のために、訓練された機械学習分類モデルを車両に提供する段階を備える。
例Ｅ３は、例Ｅ１－Ｅ２の何れかの主題を備え、複数の異なる攻撃方法は、ファストグラジエントサインメソッド、反復型ファストグラジエントサインメソッド、ディープフールメソッドまたはユニバーサルで敵対的な摂動のうちの１または複数を有する。
例Ｅ４は、例Ｅ１－Ｅ３の何れかの主題を備え、方法は更に、想定される攻撃比に基づく比に従って、複数の異なる攻撃方法を実行することにより、シミュレーションされた攻撃データセットを生成する段階を備える。
例Ｅ５は、例Ｅ１－Ｅ４の何れかの主題を備え、シミュレーションされた攻撃データセットを生成する段階は、複数の異なる攻撃方法のうちの少なくとも１つの攻撃方法のために、複数の異なる攻撃強度を利用する段階を有する。
例Ｅ６は、例１－５の何れかの主題を備え、方法は更に、敵対的なサンプルに対する良性のサンプルの複数の比の分類正確度を測定し、訓練中の使用のために、敵対的なサンプルに対する良性のサンプルの最適比を決定する段階を備える。
例Ｅ７は、例１－６の何れかの主題を備え、方法は更に、敵対的なサンプルの誤分類に対して、訓練中に不利益を課す段階を備える。
例Ｅ８は、例１－７の何れかの主題を備え、良性のデータセットは、画像サンプルの収集を含む。
例Ｅ９は、例１－７の何れかの主題を備え、良性のデータセットは、音声サンプルの収集を含む。
例Ｅ１０は、メモリと、メモリに結合され、例Ｅ１－Ｅ９の方法の１または複数を実行する処理回路とを備える装置である。
例Ｅ１１は、例Ｅ１－Ｅ９の方法の１または複数を実行する手段を備えるシステムである。
例Ｅ１２は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｅ１－Ｅ９の何れか１つで主張される方法を実装することを実現する。
例Ｆ１は、線形分類器によって、車両からの入力サンプルを分類する段階と、非線形分類器によって、車両からの入力サンプルを分類する段階と、線形分類器の正確度における変化を検出する段階と、線形分類器の正確度における変化に応答して、少なくとも１つの動作をトリガする段階と、を備える方法である。
例Ｆ２は、例Ｆ１の主題を備え、トリガされる少なくとも１つの動作は、線形分類器および非線形分類器の再訓練を含む。
例Ｆ３は、例Ｆ１－Ｆ２の何れかの主題を備え、トリガされる少なくとも１つの動作は、最近分類された入力サンプルに基づく合成データの生成を含む。
例Ｆ４は、例Ｆ１－Ｆ３の何れかの主題を備え、トリガされる少なくとも１つの動作は、入力サンプルに対して攻撃がなされたかどうかの決定を含む。
例Ｆ５は、例Ｆ１－Ｆ４の何れかの主題を備え、トリガされる少なくとも１つの動作は、最近分類された入力サンプルのランダムサンプリングを含み、ランダムサンプリングは、線形分類器および非線形分類器を再訓練する際に使用され、最近分類された入力サンプルの他のサンプルは、当該再訓練をする際に使用されない。
例Ｆ６は、例Ｆ１－Ｆ５の何れかの主題を備え、線形分類器の正確度における変化を検出する段階は、線形分類器の正確度が閾値を下回ったことを検出する段階を有する。
例Ｆ７は、例Ｆ１－Ｆ６の何れかの主題を備え、方法は更に、非線形分類器を使用して入力サンプルを分類することに少なくとも部分的に基づいてオブジェクト検出を実行する段階を備える。
例Ｆ８は、例Ｆ１－Ｆ７の何れかの主題を備え、入力サンプルは、車両の１または複数のセンサから収集される。
例Ｆ９は、メモリと、メモリに結合され、例Ｆ１－Ｆ８の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｆ１０は、例Ｆ１－Ｆ８の方法の１または複数を実行する手段を備えるシステムである。
例Ｆ１１は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｆ１－Ｆ８の何れか１つで主張される方法を実装することを実現する。
例Ｇ１は、画像データから抽出された特徴を第１クラスの予測モデルおよび第２クラスの予測モデルに提供する段階と、第１クラスの予測モデルの出力と第２クラスの予測モデルの出力との間の差を決定する段階と、第１クラスの予測モデルの出力と第２クラスの予測モデルの出力との間の差に基づいて、異常クラスを抽出された特徴に割り当てる段階と、を備える方法である。
例Ｇ２は、例Ｇ１の主題を備え、第１クラスの予測モデルは、Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ（ＧＲＵ）または長短期記憶ネットワーク（ＬＳＴＭ）ニューラルネットワークを含むベースライン予測モデルである。
例Ｇ３は、例Ｇ１－Ｇ２の何れかの主題を備え、第２クラスの予測モデルは、ＬＳＴＭニューラルネットワークに基づく。
例Ｇ４は、例Ｇ１－Ｇ３の何れかの主題を備え、方法は更に、第１クラスの予測モデルの第２の出力と第２クラスの予測モデルの第２の出力との間の第２の差に基づいて、第２の異常クラスを第２の抽出された特徴に割り当てる段階を備える。
例Ｇ５は、例Ｇ１－Ｇ４の何れかの主題を備え、方法は更に、第１クラスの予測モデルおよび第２クラスの予測モデルの訓練中に、第１クラスの予測モデルの出力と第２クラスの予測モデルの出力との間の差に基づいて、異常閾値を決定する段階を備える。
例Ｇ６は、例Ｇ１－Ｇ５の何れかの主題を備え、抽出された特徴に割り当てられた異常クラスと関連付けられる予測信頼性を出力する段階を更に備える。
例Ｇ７は、メモリと、メモリに結合され、例Ｇ１－Ｇ６の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｇ８は、例Ｇ１－Ｇ６の方法の１または複数を実行する手段を備えるシステムである。
例Ｇ９は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｇ１－Ｇ６の何れか１つで主張される方法を実装することを実現する。
例Ｈ１は、車両用に安全スコアを決定する段階と、道路の少なくとも一部用に道路スコアを決定する段階と、道路スコアを安全スコアと比較する段階と、道路の少なくとも一部上での車両の許容可能な自律レベルを決定する段階と、を備える方法である。
例Ｈ２は、例Ｈ１の主題を備え、車両の許容可能な自律レベルを決定する段階は、安全スコアが道路スコアよりも大きい又はそれに等しいならば、車両が自律的に運転されることを可能にすると決定する段階を有する。
例Ｈ３は、例Ｈ１－Ｈ２のうちの何れか１または複数の主題を備え、安全スコアは、複数の重み付けされた要素を使用して決定される。
例Ｈ４は、例Ｈ１－Ｈ３のうちの何れか１または複数の主題を備え、道路スコアは、複数の重み付けされた要素を使用して決定される。
例Ｈ５は、例Ｈ１－Ｈ４のうちの何れか１または複数の主題を備え、道路スコアは、道路の少なくとも一部の現在の状態を検討するべく動的に算出される。
例Ｈ６は、例Ｈ１－Ｈ５のうちの何れか１または複数の主題を備え、安全スコアは、車両の現在の状態を検討するべく動的に算出される。
例Ｈ７は、例Ｈ１－Ｈ６のうちの何れか１または複数の主題を備え、方法は更に、道路の少なくとも一部用の道路スコアをマップユーザインターフェース上に表示する段階を備える。
例Ｈ８は、例Ｈ１－Ｈ７のうちの何れか１または複数の主題を備え、道路スコアは、天候状態用の重み値を使用して決定される。
例Ｈ９は、例Ｈ１－Ｈ８のうちの何れか１または複数の主題を備え、道路スコアは、道路の少なくとも一部の状態用の重み値を使用して決定される。
例Ｈ１０は、例Ｈ１－Ｈ９のうちの何れか１または複数の主題を備え、安全スコアは、車両のセンサ用の重み値を使用して決定される。
例Ｈ１１は、例Ｈ１－Ｈ１０のうちの何れか１または複数の主題を備え、安全スコアは、車両によって実装された１または複数の自律運転アルゴリズム用の重み値を使用して決定される。
例Ｈ１２は、例Ｈ１－Ｈ１１のうちの何れか１または複数の主題を備え、安全スコアを算出する段階は、車両に対してテストを行う段階を有する。
例Ｈ１３は、例Ｈ１－Ｈ１２のうちの何れか１または複数を実行する手段を備えるシステムである。
例Ｈ１４は、例１３の主題を備え、手段は、命令を含む少なくとも１つの機械可読媒体を有し、当該命令は、実行された場合に、例１－１２のうちの何れか１または複数の方法を実装する。
例Ｉ１は、車両と関連付けられた撮像素子によって撮像された画像を受信する段階と、撮像画像中の顔を検出する段階と、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）の第１のニューラルネットワーク用に入力画像を生成する段階であり、入力画像は、撮像画像中に検出された顔を示す、段階と、第１のニューラルネットワークを入力画像に適用することに少なくとも部分的に基づいて隠された画像を生成する段階と、を備え、入力画像中に示される顔の注視属性は隠された画像に含まれ、入力画像中に示される顔の１または複数の他の属性は隠された画像において修正される、方法である。
例Ｉ２は、例Ｉ１の主題を備え、第１のニューラルネットワークは生成系モデルであり、ＧＡＮは、弁別モデルである第２のニューラルネットワークを含む。
例Ｉ３は、例Ｉ１－Ｉ２の何れか１つの主題を備え、第２のニューラルネットワークは、第１のニューラルネットワークによって生成される隠された画像を実際の又はフェイクのものとして分類する畳み込みニューラルネットワークである。
例Ｉ４は、例Ｉ１－Ｉ３の何れか１つの主題を備え、第１のニューラルネットワークは、隠された画像を生成する逆畳み込みニューラルネットワークである。
例Ｉ５は、例Ｉ１－Ｉ４の何れか１つの主題を備え、方法は更に、撮像画像中に検出された顔の１または複数の顔のコンポーネントの位置を推定する段階を備え、入力画像は、検出された画像、および、１または複数の顔のコンポーネントの位置、に少なくとも部分的に基づいて生成される。
例Ｉ６は、例Ｉ１－Ｉ５の何れか１つの主題を備え、隠された画像において修正される１または複数の他の属性は、年齢および性別を含む。
例Ｉ７は、例Ｉ１－Ｉ５の何れか１つの主題を備え、隠された画像において修正される１または複数の他の属性は、年齢、性別、髪色、禿頭症、切り下げ前髪、眼鏡、メイクアップ、肌色および口元表現を含む属性のグループから選択される。
例Ｉ８は、例Ｉ１－Ｉ７の何れか１つの主題を備え、第１のニューラルネットワークは、撮像画像中に検出された顔において修正される１または複数の他の属性を示すターゲットドメインに少なくとも部分的に基づいて、隠された画像を生成する。
例Ｉ９は、例Ｉ１－Ｉ８の何れか１つの主題を備え、ＧＡＮモデルは、テスト画像から隠された画像を生成するＧＡＮモデル、および、少なくとも閾値数の隠された画像を識別することができない顔認証モデルに基づいて、ターゲットドメインを用いて予め構成される。
例Ｉ１０は、例Ｉ１－Ｉ９の何れか１つの主題を備え、撮像画像中に検出される顔における感情属性は、隠された画像に含まれる。
例Ｉ１１は、例Ｉ１０の主題を備え、方法は更に、車両と関連付けられたデータ収集システムに隠された画像を送信する段階を備え、データ収集システムは、隠された画像における感情属性に基づいて感情を検出する。
例Ｉ１２は、例Ｉ１－Ｉ１１の何れか１つの主題を備え、方法は更に、隠された画像を車両のコンピュータビジョンアプリケーションに提供する段階を備え、コンピュータビジョンアプリケーションは、隠された画像における注視属性に基づいて注視を検出し、且つ、検出された注視に基づいて、隠された画像中に表れる人間の軌道を識別する。
例Ｉ１３は、メモリと、メモリに結合され、例Ｉ１－Ｉ１２の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｉ１４は、例Ｉ１－Ｉ１２の方法の１または複数を実行する手段を備えるシステムである。
例Ｉ１５は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｉ１－Ｉ１３の何れか１つで主張される方法を実装することを実現する。
例Ｊ１は、車両によって収集されるデータを含むデータセットを受信する段階であり、データセットには１または複数のタグが関連付けられる、段階と、１または複数のタグに基づいて第１のポリシーがデータセットに適用されると決定する段階と、第１のポリシーがレイジーポリシーとして指定されているかどうかを決定する段階と、第１のポリシーがレイジーポリシーとして指定されているとの決定に基づいて、データセットに第１のポリシーを適用しないオンデマンド処理用にデータセットをマークする段階と、オンデマンド処理用にデータセットをマークした後に、データセットに対する第１の要求を受信する段階と、データセットに対する第１の要求を受信したことに応答して、第１のポリシーをデータセットに適用する段階と、を備える方法である。
例Ｊ２は、例１の主題を備え、第１のポリシーをデータセットに適用する段階は、データセット内のある画像中の１または複数の顔を妨げる段階、データセット内のある画像中の１または複数のナンバープレートを妨げる段階と、データセットにおける人の識別情報を匿名化する段階と、または、データセットにおける位置情報を修正する段階と、のうちの少なくとも１つを有する。
例Ｊ３は、例Ｊ１－Ｊ２の何れか１つの主題を備え、方法は更に、車両の地理的位置を決定する段階と、データセットにタグを関連付ける段階とを備え、タグは、車両の地理的位置を示す情報を含む。
例Ｊ４は、例Ｊ１－Ｊ３の何れか１つの主題を備え、方法は更に、機械学習モデルを使用して、１または複数のタグのうちの少なくとも１つを識別し、データセットと関連付ける段階を備える。
例Ｊ５は、例Ｊ１－Ｊ４の何れか１つの主題を備え、データセットは、車両、または、車両から遠隔にあるクラウド処理システム、の１つにおけるポリシー施行エンジンで受信される。
例Ｊ６は、例Ｊ１－Ｊ５の何れか１つの主題を備え、方法は更に、１または複数のタグに基づいてデータセットに適用される第２のポリシーを決定する段階と、第２のポリシーがレイジーポリシーとして指定されているかどうかを決定する段階と、第２のポリシーがレイジーポリシーとして指定されていないとの決定に基づいて、第２のポリシーをデータセットに適用する段階とを備える。
例Ｊ７は、例６の主題を備え、第２のポリシーをデータセットに適用する段階は、データセットにおける少なくともいくつかのデータを、妨げる、匿名化する、または修正する段階を有する。
例Ｊ８は、例Ｊ１－Ｊ７の何れか１つの主題を備え、方法は更に、車両によって収集された第２のデータを含む第２のデータセットを受信する段階であり、１または複数の第２のタグは、第２のデータセットと関連付けられる、段階と、１または複数の第２のタグに基づいて第２のデータセットに適用される第２のポリシーを決定する段階であり、第２のポリシーはレイジーポリシーとして指定されている、段階と、第２のデータセットにコンテキスト上のポリシーが適用可能であるとの決定に基づいて、レイジーポリシー指定をオーバライドし、且つ、コンテキスト上のポリシーを第２のデータセットに適用する段階と、を備える。
例Ｊ９は、例８の主題を備え、コンテキスト上のポリシーは、第２のポリシーによって必要とされる少なくとも１つの動作を含む。
例Ｊ１０は、例Ｊ１－Ｊ９の何れか１つの主題を備え、方法は更に、データセットに対する第１の要求を受信したことに基づいて、車両の現在位置を決定する段階と、車両の現在位置が、データセットと関連付けられた前の位置とは異なる規制と関連付けられているかどうかを決定する段階と、車両の現在位置が異なる規制と関連付けられているとの決定に基づいて、更新されたタグをデータセットに取り付ける段階であり、更新されたタグは、車両の現在位置を示す情報を含む、段階と、更新されたタグに少なくとも部分的に基づいて、新しいポリシーがデータセットに適用されると決定する段階と、新しいポリシーをデータセットに適用する段階と、を備える。
例Ｊ１１は、例Ｊ１－Ｊ１０の何れか１つの主題を備え、方法は更に、車両によって収集される第３のデータを含む第３のデータセットを受信する段階であり、第３のデータセットには１または複数の第３のタグが関連付けられる、段階と、１または複数の第３のタグに基づいて、第３のデータセットに適用される第３のポリシーを決定する段階と、第３のポリシーがレイジーポリシーとして指定されていないとの決定に基づいて、第３のポリシーを第３のデータセットに適用する段階と、第３のデータセットに適用されるポリシーのいずれもレイジーポリシーとして指定されていないとの決定、および、第３のデータセットに適用可能であると決定された各々のポリシーを第３のデータセットに適用すること、に基づいて、第３のデータセットをポリシーに準拠しているものとしてマークする段階と、を備える。
例Ｊ１２は、例Ｊ１－Ｊ１１の何れか１つの主題を備え、方法は更に、データセットに対する第１の要求を受信した後に、データセットに対する第２の要求を受信する段階と、データセットに対する第２の要求を受信したことに応答して第４のポリシーをデータセットに適用する段階と、を備え、１または複数のタグは、データセット中のデータに適用可能な規制変更に応答して、第４のポリシーと関連付けられる。
例Ｊ１３は、メモリと、メモリに結合され、例Ｊ１－Ｊ１２の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｊ１４は、例Ｊ１－Ｊ１２の方法の１または複数を実行する手段を備えるシステムである。
例Ｊ１５は、隠された画像を生成するための命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｊ１－Ｊ１３の何れか１つで主張される方法を実装することを実現する。
例Ｋ１は、自律車両（ＡＶ）に結合されたセンサからセンサデータを受信する段階と、デジタル署名をセンサデータに適用する段階と、新しいブロックをブロックベースのトポロジに追加する段階であり、新しいブロックはセンサデータおよびデジタル署名を含む、段階と、デジタル署名を検証する段階と、検証されたデジタル署名に基づいてブロックをＡＶのロジックユニットに伝達する段階と、を備える方法である。
例Ｋ２は、例Ｋ１の主題を備え、ブロックベースのトポロジは、許可されていないブロックチェーンである。
例Ｋ３は、例Ｋ１の主題を備え、デジタル署名は、楕円曲線暗号（ＥＣＣ）プロトコルに基づく。
例Ｋ４は、例Ｋ１－Ｋ３の何れか１つの主題を備え、ブロックを検証する段階は、コンセンサスプロトコルの時間的制約を使用して、センサデータのタイムスタンプを検証する段階を有する。
例Ｋ５は、メモリと、メモリに結合され、例Ｋ１－Ｋ４の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｋ６は、例Ｋ１－Ｋ４の方法の１または複数を実行する手段を備えるシステムである。
例Ｋ７は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例１－４の方法の動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｋ８は、第１の自律車両（ＡＶ）で、ブロックベースのトポロジのブロックを受信する段階であり、ブロックは、第２の自律車両（ＡＶ）に結合されたセンサからのセンサデータ、および、センサデータと関連付けられたデジタル署名を含む、段階と、デジタル署名を検証する段階と、デジタル署名を検証することに応答して、ブロックを第１のＡＶのロジックユニットに伝達する段階と、を備える方法である。
例Ｋ９は、例Ｋ８の主題を備え、ブロックベースのトポロジは、ブロックチェーンまたは動的非周期的グラフ（ＤＡＧ）のうちの１または複数を含む。
例Ｋ１０は、例Ｋ８の主題を備え、ブロックベースのトポロジは許可されたブロックチェーンである。
例Ｋ１１は、例Ｋ８－Ｋ１０の何れか１つの主題を備え、デジタル署名は、一時的公開キーに基づいて生成される秘密キーを使用して検証される。
例Ｋ１２は、例Ｋ１１の主題を備え、一時的公開キーは、楕円曲線Ｄｉｆｆｉｅ Ｈｅｌｌｍａｎ交換に基づく。
例Ｋ１３は、例Ｋ８－Ｋ１２の何れか１つの主題を備え、方法は更に、ブロックから１または複数のスマートコントラクトを抽出する段階を備える。
例Ｋ１４は、メモリと、メモリに結合され、例Ｋ８－Ｋ１３の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｋ１５は、例Ｋ８－Ｋ１３の方法の１または複数を実行する手段を備えるシステムである。
例Ｋ１６は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ｋ８－Ｋ１３の方法の動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｌ１は、車両の複数のセンサによってサンプリングされたセンサデータを取得する段階と、サンプリングされたセンサデータと関連付けられたコンテキストを決定する段階と、コンテキストに基づいて、車両のセンサ用のサンプリングレートのグループ、または、センサ用の重みのグループ、の一方又は両方を、センサデータのフュージョンを実行するのに使用されるものと決定する段階と、を備える方法である。
例Ｌ２は、例Ｌ１の主題を備え、方法は更に、サンプリングされたセンサデータを入力として受信する機械学習アルゴリズムの出力としてコンテキストを提供する段階を備える。
例Ｌ３は、例Ｌ２の主題を備え、機械学習アルゴリズムは、グラウンドトゥルースとしてデータセットを使用して訓練され、各々のデータセットは、コンテキスト、複数のセンサ用のサンプリングレート、および、安全成果を含む。
例Ｌ４は、例Ｌ１－Ｌ３の何れかの主題を備え、方法は更に、入力として複数のセンサからコンテキストを受信し、且つ、重みのグループを出力するフュージョンコンテキストディクショナリを使用して、センサ用に重みのグループを提供する段階を備える。
例Ｌ５は、例Ｌ４の主題を備え、フュージョンコンテキストディクショナリは、グラウンドトゥルースとしてコンテキスト情報およびオブジェクト位置を使用して機械学習アルゴリズムを訓練することよって提供される。
例Ｌ６は、例Ｌ１－Ｌ５の何れかの主題を備え、コンテキストは、車両のセンサ用のサンプリングレートのグループ、および、センサデータのフュージョンを実行するのに使用されるセンサ用の重みのグループ、を決定するのに使用される。
例Ｌ７は、例Ｌ１－Ｌ６の何れかの主題を備え、方法は更に、重みののグループに基づいて複数のセンサからのサンプルを組み合わせる段階を備える。
例Ｌ８は、例Ｌ１－Ｌ７の何れかの主題を備え、方法は更に、強化学習モデルを使用して、コンテキストに基づき重みのグループを決定する段階を備える。
例Ｌ９は、例８の主題を備え、強化学習モデルは、センササンプルの環境およびコンテキストを使用して訓練される。
例Ｌ１０は、例Ｌ８－Ｌ９の何れかの主題を備え、強化学習モデルは、オブジェクト追跡正確度および電力消費の最小化に基づき、報酬を使用して訓練される。
例Ｌ１１は、メモリと、メモリに結合され、例Ｌ１－Ｌ１０の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｌ１２は、例Ｌ１－Ｌ１０の方法の１または複数を実行する手段を備えるシステムである。
例Ｌ１３は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｌ１－Ｌ１０の何れか１つで主張される方法を実装することを実現する。
例Ｍ１は、交通車両からの対象の自律車両（ＡＶ）で、変調光信号を受信する段階と、変調光信号をサンプリングする段階と、サンプリングされた光信号を復調して、交通車両用の位置情報を取得する段階と、対象のＡＶのセンサフュージョン処理において交通車両の位置情報を使用する段階と、を備える方法である。
例Ｍ２は、例Ｍ１の主題を備え、変調光信号は、特定の周波数でサンプリングされる。
例Ｍ３は、例Ｍ２の主題を備え、特定の周波数は、将来を見越して選択される。
例Ｍ４は、例Ｍ２の主題を備え、特定の周波数は、事象に基づいて選択される。
例Ｍ５は、例Ｍ１の主題を備え、変調光信号は、交通車両の存在の検出に応答してサンプリングされる。
例Ｍ６は、例Ｍ１の主題を備え、位置情報は、Ｄｅｇｒｅｅ Ｍｉｎｕｔｅおよび第２のフォーマットにおける交通車両のジオ座標を含む。
例Ｍ７は、例１の主題を備え、変調光は、交通車両のサイズ情報を更に取得するべく復調され、サイズ情報は、交通車両の長さ、幅または高さのうちの１または複数を含む。
例Ｍ８は、例Ｍ１－Ｍ７の何れか１つの主題を備え、変調光は、Ｌｉ－Ｆｉプロトコルに従って送信される。
例Ｍ９は、例Ｍ１－Ｍ７の何れか１つの主題を備え、変調光信号は、オン／オフ・キーイング（ＯＯＫ）、振幅シフトキーイング（ＡＳＫ）、変数のパルス位置モジュール（ＶＰＰＭ）、または色シフトキーイング（ＣＳＫ）に従って変調される。
例Ｍ１０は、例Ｍ１－Ｍ７の何れか１つの主題を備え、変調光は、３７５ｎｍから７８０ｎｍの間の波長を有する可視光、赤外光、および紫外線のうちの１または複数を含む。
例Ｍ１１は、メモリと、メモリに結合され、例Ｍ１－Ｍ１０の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｍ１２は、例Ｍ１－Ｍ１０の方法の１または複数を実行する手段を備えるシステムである。
例Ｍ１３は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ｍ１－Ｍ１０の方法の動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｎ１は、自律車両に結合されたセンサからセンサデータを取得する段階と、センサ抽象化処理をセンサデータに適用して、抽象化されたシーンデータを生成する段階であり、センサ抽象化処理は、応答正規化処理をセンサデータに適用すること、ワープ処理をセンサデータに適用すること、および、フィルタリング処理をセンサデータに適用すること、のうちの１または複数を含む、段階と、自律車両に対する制御処理の知覚フェーズにおいて抽象化されたシーンデータを使用する段階と、を備える方法である。
例Ｎ２は、例Ｎ１の主題を備え、センサデータは、第１のセンサからの第１のセンサデータおよび第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、同じセンサタイプであり、センサ抽象化処理を適用する段階は、第１のセンサデータおよび第２のセンサデータの各々に、それぞれの応答正規化処理を適用する段階、第１のセンサデータおよび第２のセンサデータの各々に、それぞれのワープ処理を適用する段階、第１のセンサデータおよび第２のセンサデータの組み合わにフィルタリング処理を適用する段階、のうちの１または複数を有する。
例Ｎ３は、例Ｎ１の主題を備え、センサデータは、第１のセンサからの第１のセンサデータおよび第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、異なるセンサタイプであり、センサ抽象化処理を適用する段階は、第１のセンサデータおよび第２のセンサデータの各々に、それぞれの応答正規化処理を適用する段階、第１のセンサデータおよび第２のセンサデータの各々に、それぞれのワープ処理を適用する段階、第１のセンサデータおよび第２のセンサデータの各々にそれぞれのフィルタリング処理を適用して、第１のセンサデータに対応する第１の抽象化されたシーンデータおよび第２のセンサデータに対応する第２の抽象化されたシーンデータを生成する段階、のうちの１または複数を有し、方法は更に、第１および第２の抽象化されたシーンデータにヒューズ処理を適用する段階を備え、ヒューズされた第１および第２の抽象化されたシーンデータは、知覚フェーズにおいて使用される。
例Ｎ４は、例Ｎ１－Ｎ３の何れか１つの主題を備え、応答正規化処理を適用する段階は、画像の画素値を正規化する段階、画像のビット深度を正規化する段階、画像の色空間を正規化する段階、および、ＬＩＤＡＲデータにおける深度または距離値の範囲を正規化する段階、のうちの１または複数を有する。
例Ｎ５は、例Ｎ１－Ｎ３の何れか１つの主題を備え、応答正規化処理を適用する段階は、センサ応答のモデルに基づく。
例Ｎ６は、例Ｎ１－Ｎ３の何れか１つの主題を備え、ワープ処理を適用する段階は、空間アップスケーリング動作、ダウンスケーリング動作、センサと関連付けられる幾何学的影響に対する補正処理、および、センサの動きに対する補正処理、のうちの１または複数を実行する段階を有する。
例Ｎ７は、例Ｎ１－Ｎ３の何れか１つの主題を備え、ワープ処理を適用する段階は、センサ構成情報に基づく。
例Ｎ８は、例Ｎ１－Ｎ３の何れか１つの主題を備え、フィルタリング処理を適用する段階は、カルマンフィルタ、カルマンフィルタの変形例、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタおよびガウスフィルタのうちの１または複数を適用する段階を有する。
例Ｎ９は、例Ｎ１－Ｎ３の何れか１つの主題を備え、フィルタリング処理を適用する段階は、センサ用のモデルおよびシーンモデルのうちの１または複数に基づく。
例Ｎ１０は、例Ｎ１－Ｎ３の何れか１つの主題を備え、フィルタリング処理を適用する段階は、センサデータの有効性を決定する段階、および、センサデータが無効であるとの決定に応答して、センサデータを破棄する段階、を有する。
例Ｎ１１は、メモリと、メモリに結合され、例Ｎ１－Ｎ１０の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｎ１２は、例Ｎ１－Ｎ１０の方法の１または複数を実行する手段を備えるシステムである。
例Ｎ１３は、少なくとも１つのコンピュータプロセッサによって実行された場合に、少なくとも１つのコンピュータプロセッサが、例Ｎ１－Ｎ１０の方法の動作を実装することを可能にするように動作可能なコンピュータ実行可能命令を有する、１または複数の有形コンピュータ可読非一時的記憶媒体を備える製品である。
例Ｏ１は、車両の第１のセンサによって第１の画像データを撮像する段階であり、第１の画像データは第１の解像度を有する、段階と、機械学習モデルを使用する段階と、第１の画像データを、第２の解像度を有する第２の画像データに変換する段階であり、第２の解像度は第１の解像度よりも高い、段階と、第２の画像データに基づいて車両用にオブジェクト検出動作を実行する段階と、を備える方法である。
例Ｏ２は、例Ｏ１の主題を備え、車両の第１のセンサは、カメラを含む。
例Ｏ３は、例Ｏ１の主題を備え、車両の第１のセンサは、ＬＩＤＡＲを含む。
例Ｏ４は、例Ｏ１－Ｏ３の主題を備え、機械学習モデルは、第２のセンサによって撮像された第３の画像、および、第３の画像より低い解像度を有するように見えるよう、第３の画像を歪ませることによって生成された第４の画像、を含む訓練セットを使用して訓練される。
例Ｏ５は、例Ｏ４の主題を備え、第４の画像は、ローパスフィルタを第３の画像に適用すること、第３の画像をサブサンプリングすること、第３の画像をダウンサンプリングすること、第３の画像にノイズを挿入すること、または、第３の画像のチャネルをランダム化すること、のうちの何れか１または複数を使用して、第３の画像を歪ませることにより生成される。
例Ｏ６は、例Ｏ１－Ｏ４の何れかの主題を備え、機械学習モデルは、第１の解像度を有する第２のセンサによって撮像された第３の画像、および、第２の解像度を有する第３のセンサによって撮像された第４の画像、を含む訓練セットを使用して訓練される。
例Ｏ７は、例Ｏ１－Ｏ５の何れかの主題を備え、機械学習モデルは、畳み込みニューラルネットワークアーキテクチャを含む。
例Ｏ８は、例１－６の何れかの主題を備え、機械学習モデルは、生成系ニューラルネットワークを含む。
例Ｏ９は、メモリと、メモリに結合され、例Ｏ１－Ｏ８の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｏ１０は、例Ｏ１－Ｏ８の方法の１または複数を実行する手段を備えるシステムである。
例Ｏ１１は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｏ１－Ｏ８の何れか１つで主張される方法を実装することを実現する。
例Ｏ１２は、自律車両スタックのタスクを実行するように機械学習モデルのアンサンブルを訓練する段階であり、アンサンブルは、第１の解像度を有する画像データを使用して訓練された第１の機械学習モデルと、第２の機械学習モデルとを有する、段階と、機械学習モデルのアンサンブルのヒューズされたソフト予測ターゲットと、第３の機械学習モデルのソフト予測ターゲットとの間の蒸留減に少なくとも部分的に基づいて第３の機械学習モデルを訓練する段階と、を備える方法である。
例Ｏ１３は、例Ｏ１２の主題を備え、方法は更に、グラウンドトゥルースラベルと第３の機械学習モデルのハード予測ターゲットとの間の差を表す損失に更に基づいて第３の機械学習モデルを訓練する段階を備える。
例Ｏ１４は、例Ｏ１２－Ｏ１３の何れかの主題を備え、第１の解像度を有する画像データは、１または複数のＬＩＤＡＲによって捕捉されるデータである。
例Ｏ１５は、例Ｏ１２－Ｏ１３の何れかの主題を備え、第１の解像度を有する画像データは、１または複数のカメラによって撮像されるデータである。
例Ｏ１６は、例Ｏ１２－Ｏ１５の何れか１つの主題を備え、第３の機械学習モデルは、第２の解像度を有する画像データを使用して訓練され、第２の解像度は第１の解像度よりも低い。
例Ｏ１７は、例Ｏ１２－Ｏ１６の何れかの主題を備え、第３の機械学習モデルは、１または複数のカメラによって撮像された画像データを使用して訓練される。
例Ｏ１８は、例Ｏ１２－Ｏ１６の何れかの主題を備え、第３の機械学習モデルは、１または複数のＬＩＤＡＲによって撮像された画像データを使用して訓練される。
例Ｏ１９は、例Ｏ１２－Ｏ１８の何れかの主題を備え、第３の機械学習モデルは、１または複数のＬＩＤＡＲによって撮像された画像データを使用して訓練される第４の機械学習モデル、および、１または複数のカメラによって撮像された画像データを使用して訓練される第５の機械学習モデルの組み合わせである。
例Ｏ２０は、メモリと、メモリに結合され、例Ｏ１２－Ｏ１９の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｏ２１は、例Ｏ１２－Ｏ１９の方法の１または複数を実行する手段を備えるシステムである。
例Ｏ２２は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｏ１２－Ｏ１９の何れか１つで主張される方法を実装することを実現する。
例Ｐ１は、感知されたデータを格納するメモリと、第１の自律車両の内部感知モジュールであり、第１の自律車両によって感知されたデータを第２の自律車両の外部感知モジュールに伝達することを開始する回路を有する、内部感知モジュールと、第１の自律車両の外部感知モジュールであり、第２の自律車両の内部感知モジュールからデータを受信する、第１の自律車両の外部感知モジュールと、第１の自律車両の協調意思決定者であり、第２の自律車両の協調意思決定者との通信に基づいて運転動作を決定する回路を有する、協調意思決定者と、を備えるシステムである。
例Ｐ２は、例Ｐ１の主題を備え、第１の自律車両の内部感知モジュールは、意味論的言語を使用して、第２の自律車両の外部感知モジュールと通信する。
例Ｐ３は、例Ｐ１－Ｐ２のうちの何れか１または複数の主題を備え、第１の自律車両の外部感知モジュールは、意味論的言語を使用して、第２の自律車両の内部感知モジュールと通信する。
例Ｐ４は、例Ｐ１－Ｐ３のうちの何れか１または複数の主題を備え、第１の自律車両の協調意思決定者は、意味論的言語を使用して、第２の自律車両の協調意思決定者モジュールと通信する。
例Ｐ５は、例Ｐ１－Ｐ４のうちの何れか１または複数の主題を備え、システムは、第１の自律車両の拡張された感知モジュールを備える。
例Ｐ６は、例Ｐ１－Ｐ５のうちの何れか１または複数の主題を備え、第１の自律車両の協調意思決定者と第２の自律車両の協調意思決定者との間で伝達されるデータは、第１の自律車両または第２の自律車両の動作の計画に関連するデータを含む。
例Ｐ７は、例Ｐ１－Ｐ６のうちの何れか１または複数の主題を備え、第１の自律車両の内部感知モジュールは、第１の自律車両によって感知されるデータを解析する。
例Ｐ８は、例Ｐ１－Ｐ７のうちの何れか１または複数の主題を備え、システムは更に、１または複数の外部のエージェントから感知されたデータを受信し、１または複数の外部のエージェントから感知されたデータを使用して第１の自律車両の周囲を視察する回路を有するバーチャルリアリティー知覚モジュールを備える。
例Ｐ９は、意味論的言語を使用して、第１の自律車両からのデータを第２の自律車両に共有する段階を備える方法である。
例Ｐ１０は、例Ｐ９の主題を備え、データは、１または複数の交通状況に関連する重大なデータを含む。
例Ｐ１１は、例Ｐ９－Ｐ１０のうちの何れか１または複数を実行する手段を備えるシステムである。
例Ｐ１２は、例Ｐ１１の主題を備え、手段は、命令を含む少なくとも１つの機械可読媒体を有し、当該命令は、実行された場合に、例Ｐ９－Ｐ１０のうちの何れか１または複数の方法を実装する。
例Ｑ１は、回路を有する制御ユニットによって、車両の画像センサ用に位置調整命令を生成する段階と、制御ユニットで、車両の画像センサから画像データを受信する段階と、画像データ内で車両のマーカの位置およびサイズを検出する段階と、制御ユニットによって、画像データ内の車両のマーカの位置およびサイズに基づいて車両の画像センサ用に第２の位置調整命令を生成する段階と、を備える方法である。
例Ｑ２は、例Ｑ１の主題を備え、位置調整命令は、車両の画像センサの、水平回転の角度を指定する。
例Ｑ３は、例Ｑ１－Ｑ２の何れかの主題を備え、位置調整命令は、車両の画像センサの、垂直回転の角度を指定する。
例Ｑ４は、例Ｑ１－Ｑ３の何れかの主題を備え、位置調整命令は、車両の画像センサの、水平方向の移動の距離を指定する。
例Ｑ５は、例Ｑ１－Ｑ４の何れかの主題を備え、位置調整命令は、車両の画像センサの、垂直方向の移動の距離を指定する。
例Ｑ６は、例Ｑ１－Ｑ５の何れかの主題を備え、方法は更に、車両と関連付けられる、検出された状態に応答して、画像センサ用に位置調整命令を生成する段階を備える。
例Ｑ７は、例Ｑ１－Ｑ６の何れかの主題を備え、位置調整命令は、車両の画像センサの、一連の周期的な位置調整命令の一部である。
例Ｑ８は、例Ｑ１－Ｑ７の何れかの主題を備え、車両のマーカは、車両の外面に配置され、車両の外部とは異なる色である。
例Ｑ９は、メモリと、メモリに結合され、例Ｑ１－Ｑ８の方法のうちの１または複数を実行する処理回路と、を備える装置である。
例Ｑ１０は、例Ｑ１－Ｑ８の方法の１または複数を実行する手段を備えるシステムである。
例Ｑ１１は、命令を有する少なくとも１つの機械可読媒体を備え、命令は、実行された場合に、装置が例Ｑ１－Ｑ８の何れか１つで主張される方法を実装することを実現する。
こうして、主題に関する特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲の範囲内である。いくつかの場合、特許請求の範囲において列挙される複数の動作は、異なる順序で実行され、なおも望ましい結果を実現し得る。加えて、添付の図に示した処理は、望ましい結果を実現するために、示されている特定の順序、または連続した順序を必ずしも必要とするものではない。
［他の考え得る項目］
［項目１］
自律車両の複数のセンサからセンサデータを受信するインターフェースと、
インターフェースに結合された処理回路と
を備え、
処理回路は、
センサデータを抽象化して、抽象化されたセンサデータを生成し、
自律車両に対する制御処理の知覚フェーズで抽象化されたセンサデータを使用し、
処理回路は、
センサデータのセンサ応答値を正規化すること、
センサデータをワープすること、および、
センサデータをフィルタリングすること、
のうちの１または複数によってセンサデータを抽象化する、
装置。
［項目２］
センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、同じセンサタイプであり、処理回路は、
第１のセンサデータおよび第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
第１のセンサデータおよび第２のセンサデータをそれぞれワープすること、および、
第１のセンサデータおよび第２のセンサデータの組み合わせをフィルタリングすること、
のうちの１または複数によって、センサデータを抽象化する、
項目１に記載の装置。
［項目３］
センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、異なるセンサタイプであり、処理回路は、
センサデータを抽象化して、第１のセンサデータに対応する第１の抽象化されたセンサデータ、および、第２のセンサデータに対応する第２の抽象化されたセンサデータを生成し、且つ、
第１の抽象化されたセンサデータおよび第２の抽象化されたセンサデータをヒューズし、
処理回路は、
第１のセンサデータおよび第２のセンサデータの各々のセンサ応答値を正規化すること、
第１のセンサデータおよび第２のセンサデータの各々をワープすること、および、
第１のセンサデータおよび第２のセンサデータの各々をフィルタリングすること、
のうちの１または複数によって、センサデータを抽象化し、
ヒューズされた、第１の抽象化されたセンサデータおよび第２の抽象化されたセンサデータは、知覚フェーズで使用される、
項目１に記載の装置。
［項目４］
処理回路は、画像の画素値を正規化すること、画像のビット深度を正規化すること、画像の色空間を正規化すること、および、ＬＩＤＡＲデータにおける深度または距離値の範囲を正規化すること、のうちの１または複数によって、センサ応答値を正規化する、
項目１から３の何れか一項に記載の装置。
［項目５］
処理回路は、複数のセンサ用の１または複数のセンサ応答モデルに基づいてセンサ応答値を正規化する、
項目１から３の何れか一項に記載の装置。
［項目６］
処理回路は、空間アップスケーリング動作、ダウンスケーリング動作、センサと関連付けられる幾何学的影響に対する補正処理、および、センサの動きに対する補正処理、のうちの１または複数を実行することによって、センサデータをワープする、
項目１から３の何れか一項に記載の装置。
［項目７］
処理回路は、複数のセンサ用のセンサ構成情報に基づいてセンサデータをワープする、
項目１から３の何れか一項に記載の装置。
［項目８］
処理回路は、カルマンフィルタ、カルマンフィルタの変形例、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタおよびガウスフィルタのうちの１または複数を適用することによって、センサデータをフィルタリングする、
項目１から３の何れか一項に記載の装置。
［項目９］
処理回路は、複数のセンサ用のセンサノイズモデル、および、シーンモデルのうちの１または複数に基づいてセンサデータをフィルタリングする、
項目１から３の何れか一項に記載の装置。
［項目１０］
処理回路は、センサデータの有効性を決定し、且つ、センサデータが無効であるとの決定に応答してセンサデータを破棄することにより、センサデータをフィルタリングする、
項目１から３の何れか一項に記載の装置。
［項目１１］
処理回路は、センサデータの信頼性レベルを決定し、且つ、センサデータが信頼性閾値以下であるとの決定に応答してセンサデータを破棄することにより、センサデータをフィルタリングする、
項目１から３の何れか一項に記載の装置。
［項目１２］
処理回路は、センサデータの信頼性レベルを決定し、且つ、センサデータが値の範囲外であるとの決定に応答してセンサデータを破棄することにより、センサデータをフィルタリングする、
項目１から３の何れか一項に記載の装置。
［項目１３］
自律車両に組み込まれている、項目１から３の何れか一項に記載の装置。
［項目１４］
命令を格納するコンピュータ可読媒体であって、
命令は、機械によって実行された場合に、機械に、
自律車両に結合された少なくとも１つのセンサからセンサデータを取得させ、
センサデータを抽象化して、抽象化されたセンサデータを生成させ、且つ、
自律車両に対する制御処理の知覚フェーズで抽象化されたセンサデータを使用させ、
センサデータを抽象化することは、
センサデータのセンサ応答値を正規化すること、
センサデータをワープすること、および、
センサデータをフィルタリングすること、
のうちの１または複数を含む、
コンピュータ可読媒体。
［項目１５］
センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、同じセンサタイプであり、センサデータを抽象化することは、
第１のセンサデータおよび第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
第１のセンサデータおよび第２のセンサデータをそれぞれワープすること、および、
第１のセンサデータおよび第２のセンサデータの組み合わせをフィルタリングすること、
のうちの１または複数を含む、
項目１４に記載のコンピュータ可読媒体。
［項目１６］
センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、第１のセンサおよび第２のセンサは、異なるセンサタイプであり、命令は更に、機械に、
第１のセンサデータに対応する第１の抽象化されたセンサデータおよび第２のセンサデータに対応する第２の抽象化されたセンサデータを生成させ、且つ、
第１および第２の抽象化されたセンサデータをヒューズさせ、
第１の抽象化されたセンサデータおよび第２の抽象化されたセンサデータを生成することは、
第１のセンサデータおよび第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
第１のセンサデータおよび第２のセンサデータをそれぞれワープすること、および、
第１のセンサデータおよび第２のセンサデータをそれぞれフィルタリングすること、
を含み、
ヒューズされた、第１および第２の抽象化されたセンサデータは、知覚フェーズで使用される、
項目１４に記載のコンピュータ可読媒体。
［項目１７］
センサ応答値を正規化することは、画像の画素値を正規化すること、画像のビット深度を正規化すること、画像の色空間を正規化すること、および、ＬＩＤＡＲデータにおける深度または距離値の範囲を正規化すること、のうちの１または複数を含む、
項目１４から１６の何れか一項に記載のコンピュータ可読媒体。
［項目１８］
センサ応答値を正規化することは、複数のセンサ用の１または複数のセンサ応答モデルに基づく、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目１９］
センサデータをワープすることは、空間アップスケーリング動作、ダウンスケーリング動作、センサと関連付けられる幾何学的影響に対する補正処理、および、センサの動きに対する補正処理、のうちの１または複数を実行することを含む、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目２０］
センサデータをワープすることは、複数のセンサ用のセンサ構成情報に基づく、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目２１］
センサデータをフィルタリングすることは、カルマンフィルタ、カルマンフィルタの変形例、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタおよびガウスフィルタのうちの１または複数を適用することを含む、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目２２］
センサデータをフィルタリングすることは、複数のセンサ用のセンサノイズモデル、および、シーンモデルのうちの１または複数に基づく、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目２３］
センサデータをフィルタリングすることは、センサデータの有効性を決定し、且つ、センサデータが無効であるとの決定に応答してセンサデータを破棄することを含む、
項目１４から１７の何れか一項に記載のコンピュータ可読媒体。
［項目２４］
複数のセンサと、
複数のセンサからセンサデータを受信するインターフェースと、
回路を有する制御ユニットと
を備え、回路は、
センサデータを抽象化して、抽象化されたセンサデータを生成し、且つ、
自律車両に対する制御処理の知覚フェーズで抽象化されたセンサデータを使用し、
回路は、
センサデータのセンサ応答値を正規化すること、
センサデータをワープすること、および、
センサデータをフィルタリングすること、
のうちの１または複数によって、センサデータを抽象化する、
自律車両。
［項目２５］
センサデータを抽象化して、抽象化されたセンサデータを生成する手段と、
自律車両に対する制御処理の知覚フェーズで抽象化されたシーンデータを使用する手段と
を備え、
生成する手段は、
センサデータに応答正規化処理を適用する手段、
センサデータをワープする手段、および、
センサデータをフィルタリングする手段、
のうちの１または複数を含む、
システム。
［項目２６］
車両の複数のセンサによってサンプリングされたセンサデータを取得する段階と、
サンプリングされたセンサデータと関連付けられたコンテキストを決定する段階と、
コンテキストに基づいて、車両のセンサ用のサンプリングレートのグループ、または、センサ用の重みのグループ、の一方又は両方を、センサデータのフュージョンを実行するのに使用されるものと決定する段階と
を備える方法。
［項目２７］
車両の１または複数のセンサによって捕捉されたデータから１または複数のオブジェクトのインスタンスを識別する段階と、
複数のカテゴリに対してインスタンスをチェックし、且つ、複数のカテゴリの少なくとも１つのカテゴリをインスタンスに割り当てることによって、インスタンスのカテゴリ化を実行する段階と、
インスタンスのカテゴリ化に基づいてスコアを決定する段階と、
スコアに少なくとも部分的に基づいてインスタンス用にデータハンドリングポリシーを選択する段階と、
決定されたデータハンドリングポリシーに基づいてインスタンスを処理する段階と、
を備える方法。
［項目２８］
車両と関連付けられた撮像素子によって撮像された画像を受信する段階と、
撮像画像中の顔を検出する段階と、
Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）の第１のニューラルネットワーク用に入力画像を生成する段階であり、入力画像は、撮像画像中に検出された顔を示す、段階と、
第１のニューラルネットワークを入力画像に適用することに少なくとも部分的に基づいて隠された画像を生成する段階と、
を備え、
入力画像中に示される顔の注視属性は隠された画像に含まれ、入力画像中に示される顔の１または複数の他の属性は隠された画像において修正される、
方法。
［項目２９］
道路の一部上で車両の自律性レベルを制限する方法であって、
車両用に安全スコアを決定する段階と、
道路の少なくとも一部用に道路スコアを決定する段階と、
道路スコアを安全スコアと比較する段階と、
道路の少なくとも一部上での車両の許容可能な自律レベルを決定する段階と
を備える方法。
［項目３０］
自律車両に結合されたセンサからセンサデータを受信する段階と、
デジタル署名をセンサデータに適用する段階と、
新しいブロックをブロックベースのトポロジに追加する段階であり、新しいブロックはセンサデータおよびデジタル署名を含む、段階と、
デジタル署名を検証する段階と、
検証されたデジタル署名に基づいてブロックを自律車両のロジックユニットに伝達する段階と
を備える方法。
［項目３１］
交通車両からの対象の自律車両で、変調光信号を受信する段階と、
変調光信号をサンプリングする段階と、
サンプリングされた光信号を復調して、交通車両用の位置情報を取得する段階と、
対象のＡＶのセンサフュージョン処理において交通車両の位置情報を使用する段階と
を備える方法。

Claims (20)

  1. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、前記第１のセンサおよび前記第２のセンサは、異なるセンサタイプであり、前記処理回路は、
    前記センサデータを抽象化して、前記第１のセンサデータに対応する第１の抽象化されたセンサデータ、および、前記第２のセンサデータに対応する第２の抽象化されたセンサデータを生成し、且つ、
    前記第１の抽象化されたセンサデータおよび前記第２の抽象化されたセンサデータをヒューズし、
    前記処理回路は、
    前記第１のセンサデータおよび前記第２のセンサデータの各々のセンサ応答値を正規化すること、
    前記第１のセンサデータおよび前記第２のセンサデータの各々をワープすること、および、
    前記第１のセンサデータおよび前記第２のセンサデータの各々をフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    ヒューズされた、前記第１の抽象化されたセンサデータおよび前記第２の抽象化されたセンサデータは、前記知覚フェーズで使用される、
    装置。
  2. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、画像の画素値を正規化すること、画像のビット深度を正規化すること、画像の色空間を正規化すること、および、ＬＩＤＡＲデータにおける深度または距離値の範囲を正規化すること、のうちの１または複数によって、センサ応答値を正規化する、
    装置。
  3. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、前記複数のセンサ用の１または複数のセンサ応答モデルに基づいてセンサ応答値を正規化する、
    装置。
  4. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、空間アップスケーリング動作、ダウンスケーリング動作、前記センサと関連付けられる幾何学的影響に対する補正処理、および、前記センサの動きに対する補正処理、のうちの１または複数を実行することによって、前記センサデータをワープする、
    装置。
  5. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、前記複数のセンサ用のセンサ構成情報に基づいて前記センサデータをワープする、
    装置。
  6. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、前記複数のセンサ用のセンサノイズモデル、および、シーンモデルのうちの１または複数に基づいて前記センサデータをフィルタリングする、
    装置。
  7. 自律車両の複数のセンサからセンサデータを受信するインターフェースと、
    前記インターフェースに結合された処理回路と
    を備え、
    前記処理回路は、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成し、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用し、
    前記処理回路は、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化し、
    前記処理回路は、前記センサデータの信頼性レベルを決定し、且つ、前記センサデータが信頼性閾値以下であるとの決定に応答して前記センサデータを破棄することにより、前記センサデータをフィルタリングする、
    装置。
  8. 前記センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、前記第１のセンサおよび前記第２のセンサは、同じセンサタイプであり、前記処理回路は、
    前記第１のセンサデータおよび前記第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
    前記第１のセンサデータおよび前記第２のセンサデータをそれぞれワープすること、および、
    前記第１のセンサデータおよび前記第２のセンサデータの組み合わせをフィルタリングすること、
    のうちの１または複数によって、前記センサデータを抽象化する、
    請求項２から７のいずれか一項に記載の装置。
  9. 前記処理回路は、カルマンフィルタ、カルマンフィルタの変形例、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタおよびガウスフィルタのうちの１または複数を適用することによって、前記センサデータをフィルタリングする、
    請求項１から８の何れか一項に記載の装置。
  10. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    前記センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、前記第１のセンサおよび前記第２のセンサは、異なるセンサタイプであり、前記命令は更に、前記機械に、
    前記第１のセンサデータに対応する第１の抽象化されたセンサデータ、および、前記第２のセンサデータに対応する第２の抽象化されたセンサデータを生成する手順と、
    前記第１の抽象化されたセンサデータおよび前記第２の抽象化されたセンサデータをヒューズする手順と
    を実行させ、
    前記第１の抽象化されたセンサデータおよび前記第２の抽象化されたセンサデータを生成することは、
    前記第１のセンサデータおよび前記第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
    前記第１のセンサデータおよび前記第２のセンサデータをそれぞれワープすること、および、
    前記第１のセンサデータおよび前記第２のセンサデータをそれぞれフィルタリングすること、
    を含み、
    ヒューズされた、前記第１の抽象化されたセンサデータおよび前記第２の抽象化されたセンサデータは、前記知覚フェーズで使用される、
    プログラム。
  11. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    センサ応答値を正規化することは、画像の画素値を正規化すること、画像のビット深度を正規化すること、画像の色空間を正規化すること、および、ＬＩＤＡＲデータにおける深度または距離値の範囲を正規化すること、のうちの１または複数を含む、
    プログラム。
  12. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    センサ応答値を正規化することは、前記少なくとも１つのセンサ用の１または複数のセンサ応答モデルに基づく、
    プログラム。
  13. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    前記センサデータをワープすることは、空間アップスケーリング動作、ダウンスケーリング動作、前記センサと関連付けられる幾何学的影響に対する補正処理、および、前記センサの動きに対する補正処理、のうちの１または複数を実行することを含む、
    プログラム。
  14. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    前記センサデータをワープすることは、前記少なくとも１つのセンサ用のセンサ構成情報に基づく、
    プログラム。
  15. 命令を備えるプログラムであって、
    前記命令は、機械によって実行された場合に、前記機械に、
    自律車両に結合された少なくとも１つのセンサからセンサデータを取得する手順と、
    前記センサデータを抽象化して、抽象化されたセンサデータを生成する手順と、
    前記自律車両に対する制御処理の知覚フェーズで前記抽象化されたセンサデータを使用する手順と
    を実行させ、
    前記センサデータを抽象化することは、
    前記センサデータのセンサ応答値を正規化すること、
    前記センサデータをワープすること、および、
    前記センサデータをフィルタリングすること、
    のうちの１または複数を含み、
    前記センサデータをフィルタリングすることは、前記少なくとも１つのセンサ用のセンサノイズモデル、および、シーンモデルのうちの１または複数に基づく、
    プログラム。
  16. 前記センサデータは、第１のセンサからの第１のセンサデータ、および、第２のセンサからの第２のセンサデータを含み、前記第１のセンサおよび前記第２のセンサは、同じセンサタイプであり、前記センサデータを抽象化することは、
    前記第１のセンサデータおよび前記第２のセンサデータのセンサ応答値をそれぞれ正規化すること、
    前記第１のセンサデータおよび前記第２のセンサデータをそれぞれワープすること、および、
    前記第１のセンサデータおよび前記第２のセンサデータの組み合わせをフィルタリングすること、
    のうちの１または複数を含む、
    請求項１１から１５のいずれか一項に記載のプログラム。
  17. 前記センサデータをフィルタリングすることは、カルマンフィルタ、カルマンフィルタの変形例、粒子フィルタ、ヒストグラムフィルタ、情報フィルタ、ベイズフィルタおよびガウスフィルタのうちの１または複数を適用することを含む、
    請求項１０から１６のいずれか一項に記載のプログラム。
  18. 請求項１から９の何れか一項に記載の装置と、
    前記複数のセンサと
    を備える自律車両。
  19. 前記自律車両に組み込まれている、請求項１から９の何れか一項に記載の装置。
  20. 請求項１０から１７の何れか一項に記載のプログラムを格納する、コンピュータ可読媒体。
JP2021544522A 2019-03-29 2020-03-27 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体 Active JP7460044B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962826955P 2019-03-29 2019-03-29
US62/826,955 2019-03-29
PCT/US2020/025520 WO2020205655A1 (en) 2019-03-29 2020-03-27 Autonomous vehicle system

Publications (2)

Publication Number Publication Date
JP2022524920A JP2022524920A (ja) 2022-05-11
JP7460044B2 true JP7460044B2 (ja) 2024-04-02

Family

ID=72666352

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2021546208A Pending JP2022525586A (ja) 2019-03-29 2020-03-27 自律車両システム
JP2021544522A Active JP7460044B2 (ja) 2019-03-29 2020-03-27 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
JP2021545802A Pending JP2022524932A (ja) 2019-03-29 2020-03-27 自律車両システム
JP2021548178A Pending JP2022525391A (ja) 2019-03-29 2020-03-27 自律走行車両システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021546208A Pending JP2022525586A (ja) 2019-03-29 2020-03-27 自律車両システム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021545802A Pending JP2022524932A (ja) 2019-03-29 2020-03-27 自律車両システム
JP2021548178A Pending JP2022525391A (ja) 2019-03-29 2020-03-27 自律走行車両システム

Country Status (7)

Country Link
US (4) US20220161815A1 (ja)
EP (4) EP3947081A4 (ja)
JP (4) JP2022525586A (ja)
KR (4) KR20210134635A (ja)
CN (4) CN113811474A (ja)
DE (4) DE112020001663T5 (ja)
WO (4) WO2020205597A1 (ja)

Families Citing this family (374)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220018906A1 (en) * 2014-02-27 2022-01-20 Invently Automotive Inc. Predicting An Outcome Associated With A Driver Of A vehicle
US11030696B1 (en) 2014-07-21 2021-06-08 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and anonymous driver data
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
US20180012492A1 (en) * 2015-02-06 2018-01-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure or other vehicles
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ，インク 自律走行車両サービスシステム
IL288191B2 (en) * 2016-12-23 2023-10-01 Mobileye Vision Technologies Ltd A navigation system with forced commitment constraints
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10569784B2 (en) * 2017-09-28 2020-02-25 Waymo Llc Detecting and responding to propulsion and steering system errors for autonomous vehicles
US11215984B2 (en) * 2018-01-09 2022-01-04 Uatc, Llc Systems and methods for controlling an autonomous vehicle
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
EP3794421A4 (en) * 2018-05-09 2022-12-21 Cavh Llc INTELLIGENCE ALLOCATION TRAINING SYSTEMS AND METHODS BETWEEN VEHICLES AND HIGHWAYS
EP3794313A1 (en) * 2018-05-14 2021-03-24 3M Innovative Properties Company Autonomous navigation systems for temporary zones
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11167836B2 (en) 2018-06-21 2021-11-09 Sierra Nevada Corporation Devices and methods to attach composite core to a surrounding structure
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US10768629B2 (en) 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11748418B2 (en) 2018-07-31 2023-09-05 Marvell Asia Pte, Ltd. Storage aggregator controller with metadata computation control
DE102018118761A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11507099B2 (en) 2018-09-10 2022-11-22 Drisk, Inc. Systems and methods for graph-based AI training
WO2020064079A1 (de) * 2018-09-24 2020-04-02 Robert Bosch Gmbh Verfahren und vorrichtung zur überwachung eines kraftrads
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11953333B2 (en) * 2019-03-06 2024-04-09 Lyft, Inc. Systems and methods for autonomous vehicle performance evaluation
US11694088B2 (en) * 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技（北京）有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
US11440471B2 (en) * 2019-03-21 2022-09-13 Baidu Usa Llc Automated warning system to detect a front vehicle slips backwards
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
DE102019205520A1 (de) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Verfahren zum Ermitteln von Fahrverläufen
US11757906B2 (en) 2019-04-18 2023-09-12 Oracle International Corporation Detecting behavior anomalies of cloud users for outlier actions
US11417212B1 (en) * 2019-04-29 2022-08-16 Allstate Insurance Company Risk management system with internet of things
EP3739521A1 (en) * 2019-05-14 2020-11-18 Robert Bosch GmbH Training system for training a generator neural network
US11775770B2 (en) * 2019-05-23 2023-10-03 Capital One Services, Llc Adversarial bootstrapping for multi-turn dialogue model training
EP3748455B1 (en) * 2019-06-07 2022-03-16 Tata Consultancy Services Limited A method and a system for hierarchical network based diverse trajectory proposal
DE102019208735B4 (de) * 2019-06-14 2021-12-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
US11287829B2 (en) * 2019-06-20 2022-03-29 Cisco Technology, Inc. Environment mapping for autonomous vehicles using video stream sharing
US20200410368A1 (en) * 2019-06-25 2020-12-31 International Business Machines Corporation Extended rule generation
US11748789B2 (en) * 2019-06-26 2023-09-05 Lyft, Inc. Dynamically adjusting transportation provider pool size
US11727265B2 (en) * 2019-06-27 2023-08-15 Intel Corporation Methods and apparatus to provide machine programmed creative support to a user
US20190318265A1 (en) * 2019-06-28 2019-10-17 Helen Adrienne Frances Gould Decision architecture for autonomous systems
CN110300175B (zh) * 2019-07-02 2022-05-17 腾讯科技（深圳）有限公司 消息推送方法、装置、存储介质及服务器
US12002361B2 (en) * 2019-07-03 2024-06-04 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
US11386229B2 (en) * 2019-07-04 2022-07-12 Blackberry Limited Filtering personally identifiable information from vehicle data
CN110281950B (zh) * 2019-07-08 2020-09-04 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
JP2021015565A (ja) * 2019-07-16 2021-02-12 トヨタ自動車株式会社 車両制御装置
EP3978950A4 (en) * 2019-07-16 2023-07-26 Canon Kabushiki Kaisha OPTICAL DEVICE, AND VEHICLE-MOUNTED SYSTEM AND MOBILE DEVICE EQUIPPED THEREOF
JP7310403B2 (ja) * 2019-07-23 2023-07-19 トヨタ自動車株式会社 車両制御装置及び自動運転禁止システム
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
CN110415543A (zh) * 2019-08-05 2019-11-05 北京百度网讯科技有限公司 车辆信息的交互方法、装置、设备以及存储介质
US11482015B2 (en) * 2019-08-09 2022-10-25 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
WO2021041091A1 (en) * 2019-08-31 2021-03-04 Cavh Llc Distributed driving systems and methods for automated vehicles
CN114286772A (zh) * 2019-09-02 2022-04-05 三菱电机株式会社 自动驾驶控制装置以及自动驾驶控制方法
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
US11577756B2 (en) * 2019-09-13 2023-02-14 Ghost Autonomy Inc. Detecting out-of-model scenarios for an autonomous vehicle
US11460856B2 (en) * 2019-09-13 2022-10-04 Honda Motor Co., Ltd. System and method for tactical behavior recognition
US10768620B1 (en) * 2019-09-17 2020-09-08 Ha Q Tran Smart vehicle
DE102019214482A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum sicheren zumindest teilautomatisierten Führen eines Kraftfahrzeugs
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
US11455515B2 (en) * 2019-09-24 2022-09-27 Robert Bosch Gmbh Efficient black box adversarial attacks exploiting input data structure
US11780460B2 (en) * 2019-09-30 2023-10-10 Ghost Autonomy Inc. Determining control operations for an autonomous vehicle
US11645518B2 (en) * 2019-10-07 2023-05-09 Waymo Llc Multi-agent simulations
US20210133493A1 (en) * 2019-10-30 2021-05-06 safeXai, Inc. Disrupting object recognition functionality
TWI762828B (zh) * 2019-11-01 2022-05-01 緯穎科技服務股份有限公司 高速序列電腦匯流排的訊號調整方法及其相關電腦系統
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
CN110764509A (zh) * 2019-11-11 2020-02-07 北京百度网讯科技有限公司 任务调度方法、装置、设备及计算机可读存储介质
KR20210059574A (ko) * 2019-11-15 2021-05-25 한국전자통신연구원 릴레이 노드, 릴레이 네트워크 시스템 및 이의 동작 방법
US11838400B2 (en) * 2019-11-19 2023-12-05 International Business Machines Corporation Image encoding for blockchain
US11454967B2 (en) * 2019-11-20 2022-09-27 Verizon Patent And Licensing Inc. Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue
US11433892B2 (en) * 2019-12-02 2022-09-06 Gm Cruise Holdings Llc Assertive vehicle detection model generation
KR20210070029A (ko) * 2019-12-04 2021-06-14 삼성전자주식회사 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램
EP3832420B1 (en) * 2019-12-06 2024-02-07 Elektrobit Automotive GmbH Deep learning based motion control of a group of autonomous vehicles
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
WO2021116899A1 (en) * 2019-12-13 2021-06-17 Marvell Asia Pte Ltd. Automotive data processing system with efficient generation and exporting of metadata
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11748488B2 (en) * 2019-12-24 2023-09-05 Sixgill Ltd. Information security risk management
KR20220113947A (ko) * 2019-12-26 2022-08-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램
US20210221390A1 (en) * 2020-01-21 2021-07-22 Qualcomm Incorporated Vehicle sensor calibration from inter-vehicle communication
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) * 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11511771B2 (en) * 2020-02-17 2022-11-29 At&T Intellectual Property I, L.P. Enhanced navigation and ride hailing
US11873000B2 (en) * 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
US11531865B2 (en) * 2020-02-28 2022-12-20 Toyota Research Institute, Inc. Systems and methods for parallel autonomy of a vehicle
US20210286924A1 (en) * 2020-03-11 2021-09-16 Aurora Innovation, Inc. Generating autonomous vehicle simulation data from logged data
EP3885237A1 (en) * 2020-03-24 2021-09-29 Aptiv Technologies Limited Vehicle, system, and method for determining a position of a moveable element in a vehicle
JP2021157343A (ja) * 2020-03-25 2021-10-07 京セラドキュメントソリューションズ株式会社 データ連携システムおよび匿名化制御システム
US11493354B2 (en) * 2020-04-13 2022-11-08 At&T Intellectual Property I, L.P. Policy based navigation control
WO2021216486A1 (en) * 2020-04-20 2021-10-28 Schlumberger Technology Corporation Characterizing non-linear dynamic processes
US20210331686A1 (en) * 2020-04-22 2021-10-28 Uatc, Llc Systems and Methods for Handling Autonomous Vehicle Faults
US11790458B1 (en) * 2020-04-23 2023-10-17 State Farm Mutual Automobile Insurance Company Systems and methods for modeling telematics, positioning, and environmental data
US11945404B2 (en) * 2020-04-23 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking and video information for detecting vehicle break-in
CN111413892A (zh) * 2020-04-29 2020-07-14 卡斯柯信号有限公司 面向轨交全自动无人驾驶场景验证的云仿真装置与方法
KR20210135389A (ko) * 2020-05-04 2021-11-15 현대자동차주식회사 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
US20210347376A1 (en) * 2020-05-07 2021-11-11 Steering Solutions Ip Holding Corporation Autonomous driver-feedback system and method
US11318960B1 (en) * 2020-05-15 2022-05-03 Gm Cruise Holdings Llc Reducing pathogen transmission in autonomous vehicle fleet
KR20210144076A (ko) * 2020-05-21 2021-11-30 현대자동차주식회사 차량 및 그의 안전 운전 지원 방법
CN113763693B (zh) * 2020-06-05 2023-07-14 北京图森未来科技有限公司 一种车辆数据处理方法、装置、介质和设备
US11760361B2 (en) * 2020-06-11 2023-09-19 Waymo Llc Extracting agent intent from log data for running log-based simulations for evaluating autonomous vehicle software
US11769332B2 (en) * 2020-06-15 2023-09-26 Lytx, Inc. Sensor fusion for collision detection
CN113835420A (zh) * 2020-06-23 2021-12-24 上海丰豹商务咨询有限公司 一种用于自动驾驶系统的功能分配系统
WO2021261680A1 (ko) * 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
US11807240B2 (en) * 2020-06-26 2023-11-07 Toyota Research Institute, Inc. Methods and systems for evaluating vehicle behavior
US11605306B2 (en) * 2020-06-30 2023-03-14 Toyota Research Institute, Inc. Systems and methods for driver training during operation of automated vehicle systems
US11588830B1 (en) 2020-06-30 2023-02-21 Sequoia Benefits and Insurance Services, LLC Using machine learning to detect malicious upload activity
JP2023533225A (ja) 2020-07-01 2023-08-02 メイ モビリティー，インコーポレイテッド 自律走行車ポリシーを動的にキュレーションする方法及びシステム
DE102020208642A1 (de) * 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen
WO2022015235A1 (en) * 2020-07-13 2022-01-20 Grabtaxi Holdings Pte. Ltd. System and method for handling events of a fleet of personal mobility devices
US20220017095A1 (en) * 2020-07-14 2022-01-20 Ford Global Technologies, Llc Vehicle-based data acquisition
WO2022013794A1 (en) * 2020-07-15 2022-01-20 Alcon Inc. Digital image optimization for ophthalmic surgery
DE102020209538A1 (de) * 2020-07-29 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts
US11915122B2 (en) * 2020-07-29 2024-02-27 Micron Technology, Inc. Gateway for distributing an artificial neural network among multiple processing nodes
JP2022026320A (ja) * 2020-07-30 2022-02-10 株式会社Subaru 運転交代制御装置
US20220036094A1 (en) * 2020-08-03 2022-02-03 Healthcare Integrated Technologies Inc. Method and system for monitoring subjects for conditions or occurrences of interest
US20220048525A1 (en) * 2020-08-14 2022-02-17 Nvidia Corporation Hardware fault detection for feedback control systems in autonomous machine applications
JP7010343B1 (ja) * 2020-08-20 2022-01-26 トヨタ自動車株式会社 機械学習装置
JP6935837B1 (ja) 2020-08-20 2021-09-15 トヨタ自動車株式会社 機械学習装置及び機械学習システム
US20220068053A1 (en) * 2020-08-25 2022-03-03 ANI Technologies Private Limited Determination of health status of vehicular systems in vehicles
US20220063660A1 (en) * 2020-08-31 2022-03-03 Nissan North America, Inc. Drive Mode Selection
US11670120B2 (en) * 2020-08-31 2023-06-06 Toyota Research Institute, Inc. System and method for monitoring test data for autonomous operation of self-driving vehicles
US11769410B2 (en) * 2020-09-01 2023-09-26 Qualcomm Incorporated Techniques for sharing sensor messages in sidelink communications
US20220073085A1 (en) * 2020-09-04 2022-03-10 Waymo Llc Knowledge distillation for autonomous vehicles
US20220076074A1 (en) * 2020-09-09 2022-03-10 Beijing Didi Infinity Technology And Development Co., Ltd. Multi-source domain adaptation with mutual learning
US11615702B2 (en) * 2020-09-11 2023-03-28 Ford Global Technologies, Llc Determining vehicle path
EP3967565B1 (en) * 2020-09-14 2022-09-28 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for estimating an environmental condition
US20220081271A1 (en) * 2020-09-14 2022-03-17 Lance A. Stacy Motorized vehicles having sensors and methods of operating the same
US20220086175A1 (en) * 2020-09-16 2022-03-17 Ribbon Communications Operating Company, Inc. Methods, apparatus and systems for building and/or implementing detection systems using artificial intelligence
KR20220037025A (ko) * 2020-09-16 2022-03-24 현대자동차주식회사 차량의 위치 판단 장치 및 방법
US11610412B2 (en) * 2020-09-18 2023-03-21 Ford Global Technologies, Llc Vehicle neural network training
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
CN114283606A (zh) * 2020-09-27 2022-04-05 阿波罗智联(北京)科技有限公司 用于车辆导航的方法、装置、设备、系统和云控平台
US20220101558A1 (en) * 2020-09-28 2022-03-31 Griffyn Robotech Pvt. Ltd. Automated Tuning and Calibration of a Computer Vision System
US11866070B2 (en) * 2020-09-28 2024-01-09 Guangzhou Automobile Group Co., Ltd. Vehicle control method and apparatus, storage medium, and electronic device
US20220101184A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Mobile ai
US20220101336A1 (en) * 2020-09-30 2022-03-31 EMC IP Holding Company LLC Compliant and auditable data handling in a data confidence fabric
KR20220045846A (ko) * 2020-10-06 2022-04-13 현대자동차주식회사 트랙렛의 사전분포모델을 활용한 표적차량의 운동 및 형상 동시 추정방법
DE102020212565A1 (de) * 2020-10-06 2022-04-07 Volkswagen Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm und Verfahren zur Durchführung in einem Fahrzeug
US20220108569A1 (en) * 2020-10-06 2022-04-07 Ford Global Technologies, Llc Automated detection of vehicle data manipulation and mechanical failure
JP2022061874A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両自動走行システム
US20220114433A1 (en) * 2020-10-08 2022-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for enhanced scene perception using vehicle platoon
US20220114888A1 (en) * 2020-10-14 2022-04-14 Deka Products Limited Partnership System and Method for Intersection Navigation
US11927962B2 (en) * 2020-10-15 2024-03-12 Ford Global Technologies, Llc System and method for detecting and addressing errors in a vehicle localization
US20220119004A1 (en) * 2020-10-15 2022-04-21 Atieva, Inc. Defining driving envelope for assisted-driving system
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
KR20220052430A (ko) * 2020-10-20 2022-04-28 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US20220122363A1 (en) * 2020-10-21 2022-04-21 Motional Ad Llc IDENTIFYING OBJECTS USING LiDAR
WO2022082476A1 (zh) * 2020-10-21 2022-04-28 华为技术有限公司 一种仿真交通场景文件生成方法及装置
US11516613B1 (en) * 2020-10-22 2022-11-29 Zoox, Inc. Emergency sound localization
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质
CN112257850B (zh) * 2020-10-26 2022-10-28 河南大学 一种基于生成对抗网络的车辆轨迹预测方法
JP7294301B2 (ja) * 2020-10-28 2023-06-20 トヨタ自動車株式会社 移動体、サーバおよび判定プログラム
US20220138325A1 (en) * 2020-10-29 2022-05-05 EMC IP Holding Company LLC Secure enclave pathing configuration for data confidence fabrics
US11500374B2 (en) * 2020-11-03 2022-11-15 Kutta Technologies, Inc. Intelligent multi-level safe autonomous flight ecosystem
KR20220063856A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US20220173889A1 (en) * 2020-11-30 2022-06-02 Motional Ad Llc Secure Safety-Critical System Log
US20220169286A1 (en) * 2020-12-01 2022-06-02 Scott L. Radabaugh Techniques for detecting and preventing vehicle wrong way driving
US11671857B2 (en) * 2020-12-03 2023-06-06 Mitsubishi Electric Corporation Roadside communication system for monitoring and maintaining sensor data transmission
EP4009001A1 (en) * 2020-12-04 2022-06-08 Zenuity AB Road segment selection along a route to be travelled by a vehicle
US11734017B1 (en) * 2020-12-07 2023-08-22 Waymo Llc Methods and systems for processing vehicle sensor data across multiple digital signal processing cores virtually arranged in segments based on a type of sensor
CN112455465B (zh) * 2020-12-08 2022-02-01 广州小鹏自动驾驶科技有限公司 一种行驶环境感知方法、装置、电子设备和存储介质
DE102020215852B4 (de) * 2020-12-14 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Robuste Ankunftszeitschätzung unter Verwendung von faltenden neuronalen Netzerken (oder anderen Funktionsapproximationen) auf randomisierten Kanalmodellen
US20210101619A1 (en) * 2020-12-16 2021-04-08 Mobileye Vision Technologies Ltd. Safe and scalable model for culturally sensitive driving by automated vehicles
JP7363756B2 (ja) * 2020-12-16 2023-10-18 トヨタ自動車株式会社 自動運転システム、自動運転車の制御方法
US20220198351A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Contextually defining an interest index for shared and autonomous vehicles
US20220197236A1 (en) * 2020-12-18 2022-06-23 Rockwell Collins, Inc. Hierarchical high integrity automation system
US11995991B2 (en) * 2020-12-22 2024-05-28 Stack Av Co. Shared control for vehicles travelling in formation
US20210110170A1 (en) * 2020-12-22 2021-04-15 Florian Geissler Validation and training service for dynamic environment perception based on local high confidence information
WO2022140660A1 (en) * 2020-12-23 2022-06-30 ClearMotion, Inc. Systems and methods for terrain-based insights for advanced driver assistance systems
US20220281456A1 (en) * 2020-12-23 2022-09-08 ClearMotion, Inc. Systems and methods for vehicle control using terrain-based localization
KR102622243B1 (ko) * 2020-12-23 2024-01-08 네이버 주식회사 리스크 척도를 나타내는 파라미터에 기반하여 훈련된 모델을 사용하여, 주어진 상황에 대한 디바이스의 행동을 결정하는 방법 및 시스템
US20220198921A1 (en) * 2020-12-23 2022-06-23 Sensible 4 Oy Data collection and modeling systems and methods for autonomous vehicles
CN112712719B (zh) * 2020-12-25 2022-05-03 阿波罗智联(北京)科技有限公司 车辆控制方法、车路协同系统、路侧设备和自动驾驶车辆
JP7196149B2 (ja) * 2020-12-28 2022-12-26 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
EP4272137A1 (en) * 2020-12-30 2023-11-08 Koireader Technologies, Inc. System for monitoring transportation, logistics, and distribution facilities
CN112686161A (zh) * 2020-12-31 2021-04-20 遵义师范学院 基于神经网络的疲劳驾驶检测方法
US11978289B2 (en) * 2021-01-04 2024-05-07 Guangzhou Automobile Group Co., Ltd. Method, apparatus and non-transitory computer readable storage medium for driving evaluation
FR3118671A1 (fr) * 2021-01-06 2022-07-08 Psa Automobiles Sa Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite
US11858507B2 (en) * 2021-01-13 2024-01-02 GM Global Technology Operations LLC Methods for cognitive situation awareness using an attention-based event structure
US20220219731A1 (en) * 2021-01-14 2022-07-14 Cavh Llc Intelligent information conversion for automatic driving
US12003966B2 (en) * 2021-01-19 2024-06-04 Qualcomm Incorporated Local misbehavior prevention system for cooperative intelligent transportation systems
US20220237309A1 (en) * 2021-01-26 2022-07-28 EMC IP Holding Company LLC Signal of risk access control
US20220234622A1 (en) * 2021-01-28 2022-07-28 Drisk, Inc. Systems and Methods for Autonomous Vehicle Control
US11975725B2 (en) * 2021-02-02 2024-05-07 Toyota Research Institute, Inc. Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning
JP2022119498A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置
CN114913501A (zh) * 2021-02-10 2022-08-16 通用汽车环球科技运作有限责任公司 注意力驱动的串流系统
DE102021201522A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102021201512A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs
DE102021104220A1 (de) * 2021-02-23 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft Erhöhen eines Automatisierungsgrads eines Fahrerassistenzsystems eines Kraftfahrzeugs
US11727694B2 (en) * 2021-03-04 2023-08-15 Tangerine Innovation Holding Inc. System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident
EP4052983B1 (en) * 2021-03-04 2023-08-16 Volvo Car Corporation Method for transitioning a drive mode of a vehicle, drive control system for vehice and vehicle
US11827245B2 (en) 2021-03-09 2023-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for estimating motion of an automated vehicle for cooperative driving
EP4063222A1 (en) * 2021-03-24 2022-09-28 Zenseact AB Precautionary vehicle path planning
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
EP4314708A1 (en) 2021-04-02 2024-02-07 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
US20220327319A1 (en) * 2021-04-09 2022-10-13 Veoneer US LCC Tagging objects with fault override patterns during calibration of vehicle sensing systems
CN113968245A (zh) * 2021-04-15 2022-01-25 上海丰豹商务咨询有限公司 适用于协同式自动驾驶系统的车载智能单元和控制方法
CN113033471A (zh) * 2021-04-15 2021-06-25 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品
US11983933B1 (en) * 2021-04-16 2024-05-14 Zoox, Inc. Boundary aware top-down trajectory prediction
US20220340153A1 (en) * 2021-04-22 2022-10-27 Gm Cruise Holdings Llc Simulated test creation
US11854280B2 (en) * 2021-04-27 2023-12-26 Toyota Research Institute, Inc. Learning monocular 3D object detection from 2D semantic keypoint detection
US11661077B2 (en) 2021-04-27 2023-05-30 Toyota Motor Engineering & Manufacturing North America. Inc. Method and system for on-demand roadside AI service
US20220348223A1 (en) * 2021-04-29 2022-11-03 Tusimple, Inc. Autonomous vehicle to oversight system communications
US11767032B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Direct autonomous vehicle to autonomous vehicle communications
US11767031B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Oversight system to autonomous vehicle communications
US11511772B2 (en) * 2021-04-30 2022-11-29 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
WO2022235353A1 (en) * 2021-05-07 2022-11-10 Oracle International Corporation Variant inconsistency attack (via) as a simple and effective adversarial attack method
US11892314B2 (en) * 2021-05-17 2024-02-06 International Business Machines Corporation Thermally efficient route selection
US20220379910A1 (en) * 2021-05-26 2022-12-01 Nissan North America, Inc. Real-time Map and Prediction Diagnostics
JP2022181267A (ja) * 2021-05-26 2022-12-08 株式会社日立製作所 計算システム、計算方法
WO2022256249A1 (en) * 2021-06-02 2022-12-08 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
JP2022186227A (ja) * 2021-06-04 2022-12-15 トヨタ自動車株式会社 情報処理サーバ、情報処理サーバの処理方法、プログラム
US20220388538A1 (en) * 2021-06-07 2022-12-08 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
US20220388530A1 (en) * 2021-06-07 2022-12-08 Toyota Motor North America, Inc. Transport limitations from malfunctioning sensors
US11624831B2 (en) * 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
US11955020B2 (en) 2021-06-09 2024-04-09 Ford Global Technologies, Llc Systems and methods for operating drone flights over public roadways
US11555928B2 (en) * 2021-06-21 2023-01-17 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
KR20220170151A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 내부 네트워크에 대한 침입 대응 방법 및 장치
US20220413502A1 (en) * 2021-06-25 2022-12-29 Here Global B.V. Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot
US20220410938A1 (en) * 2021-06-29 2022-12-29 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a moving object
US20230004170A1 (en) * 2021-06-30 2023-01-05 Delta Electronics Int'l (Singapore) Pte Ltd Modular control system and method for controlling automated guided vehicle
US20230027584A1 (en) * 2021-07-20 2023-01-26 Autobrains Technologies Ltd Environmental model based on audio
US20230027496A1 (en) * 2021-07-22 2023-01-26 Cnh Industrial America Llc Systems and methods for obstacle detection
US12012125B2 (en) * 2021-07-30 2024-06-18 Nvidia Corporation Communicating faults to an isolated safety region of a system on a chip
US11657701B2 (en) 2021-08-03 2023-05-23 Toyota Motor North America, Inc. Systems and methods for emergency alert and call regarding driver condition
US11919534B2 (en) * 2021-08-03 2024-03-05 Denso Corporation Driver state guide device and driver state guide method
US20230053243A1 (en) * 2021-08-11 2023-02-16 Baidu Usa Llc Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles
US11769227B2 (en) 2021-08-12 2023-09-26 Adobe Inc. Generating synthesized digital images utilizing a multi-resolution generator neural network
US20230052436A1 (en) * 2021-08-12 2023-02-16 International Business Machines Corporation Intelligent advanced engine braking system
US11861762B2 (en) * 2021-08-12 2024-01-02 Adobe Inc. Generating synthesized digital images utilizing class-specific machine-learning models
US11608050B1 (en) 2021-08-13 2023-03-21 Oshkosh Defense, Llc Electrified military vehicle
US11498409B1 (en) 2021-08-13 2022-11-15 Oshkosh Defense, Llc Electrified military vehicle
US11988749B2 (en) 2021-08-19 2024-05-21 Argo AI, LLC System and method for hybrid LiDAR segmentation with outlier detection
US20230058508A1 (en) * 2021-08-19 2023-02-23 GM Global Technology Operations LLC System amd method for providing situational awareness interfaces for a vehicle occupant
JP7407152B2 (ja) * 2021-08-20 2023-12-28 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20230056233A1 (en) * 2021-08-20 2023-02-23 Motional Ad Llc Sensor attack simulation system
JP2023031631A (ja) * 2021-08-25 2023-03-09 トヨタ自動車株式会社 運転引継ぎシステム、運転引継ぎ方法
CN113434355B (zh) * 2021-08-26 2021-12-17 苏州浪潮智能科技有限公司 模块验证方法、uvm验证平台、电子设备及存储介质
US20230060261A1 (en) * 2021-09-01 2023-03-02 State Farm Mutual Automobile Insurance Company High Efficiency Isolation of Intersection and Road Crossings for Driving Analytics
WO2023034665A1 (en) * 2021-09-02 2023-03-09 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
US20230073933A1 (en) * 2021-09-07 2023-03-09 Argo AI, LLC Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components
US11989853B2 (en) * 2021-09-08 2024-05-21 Qualcomm Incorporated Higher-resolution terrain elevation data from low-resolution terrain elevation data
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management
WO2023043684A1 (en) * 2021-09-14 2023-03-23 University Of Washington Safe occlusion-aware cooperative adaptive cruise control under environmental interference
CN113747500B (zh) * 2021-09-15 2023-07-14 北京航空航天大学 复杂异构移动边缘计算中基于生成对抗式网络的高能效低延迟工作流应用迁移方法
US20230102929A1 (en) * 2021-09-24 2023-03-30 Embark Trucks, Inc. Autonomous vehicle automated scenario characterization
US20230117467A1 (en) * 2021-10-14 2023-04-20 Lear Corporation Passing assist system
DE102021126820A1 (de) * 2021-10-15 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem
CN113963200A (zh) * 2021-10-18 2022-01-21 郑州大学 模态数据融合处理方法、装置、设备及存储介质
WO2023069556A1 (en) * 2021-10-19 2023-04-27 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統
CN114115230B (zh) * 2021-10-25 2023-10-03 武汉理工大学 人机协同的船舶远程驾驶控制方法、系统、装置及介质
US20230127913A1 (en) * 2021-10-25 2023-04-27 Verizon Patent And Licensing Inc. Systems and methods for ai/machine learning-based blockchain validation and remediation
US20230130814A1 (en) * 2021-10-27 2023-04-27 Nvidia Corporation Yield scenario encoding for autonomous systems
US11753017B2 (en) * 2021-11-01 2023-09-12 Ford Global Technologies, Llc Systems and methods for providing off-track drivability guidance
US20230138610A1 (en) * 2021-11-02 2023-05-04 Robert Bosch Gmbh Customizing Operational Design Domain of an Autonomous Driving System for a Vehicle Based on Driver's Behavior
US11781878B2 (en) * 2021-11-04 2023-10-10 International Business Machines Corporation Recommend routes in enhanced navigation system
WO2023096632A1 (en) * 2021-11-23 2023-06-01 Hitachi, Ltd. Method for false alarm prediction and severity classification in event sequences
US11804080B2 (en) * 2021-11-29 2023-10-31 Institute For Information Industry Method and system for inspecting and scoring vehicle transportation
DE102021213418A1 (de) * 2021-11-29 2023-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens
US20230171275A1 (en) * 2021-12-01 2023-06-01 Gm Cruise Holdings Llc Anomaly detection and onboard security actions for an autonomous vehicle
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
US20230166766A1 (en) * 2021-12-01 2023-06-01 International Business Machines Corporation Hybrid challenger model through peer-peer reinforcement for autonomous vehicles
EP4191451A1 (en) * 2021-12-01 2023-06-07 Nxp B.V. Architecture for monitoring, analyzing, and reacting to safety and cybersecurity events
DE102021132466B3 (de) 2021-12-09 2023-06-15 Joynext Gmbh Erkennen eines Objekts in der Nähe eines Verkehrsteilnehmers
US11887200B2 (en) * 2021-12-10 2024-01-30 GM Global Technology Operations LLC Systems and methods for enabling yielding decisions, conflict resolution, and user profile generation
US20230185621A1 (en) * 2021-12-15 2023-06-15 Coupang Corp. Computer resource allocation systems and methods for optimizing computer implemented tasks
CN114385113A (zh) * 2021-12-20 2022-04-22 同济大学 基于自适应驾驶风格动态切换模型的测试场景生成方法
US20230192130A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc System and method of using a machine learning model to aid a planning stack to choose a route
KR102418566B1 (ko) * 2021-12-22 2022-07-08 재단법인 지능형자동차부품진흥원 엣지 인프라 기반의 자율 주행 안전 제어 시스템 및 방법
CN114283619A (zh) * 2021-12-25 2022-04-05 重庆长安汽车股份有限公司 一种基于v2x的车辆避障系统、平台构架、方法及车辆
WO2023127654A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US20230202470A1 (en) * 2021-12-28 2023-06-29 Argo AI, LLC Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
US11973847B2 (en) 2022-01-10 2024-04-30 Ford Global Technologies, Llc Intelligent ticketing and data offload planning for connected vehicles
US20230237802A1 (en) * 2022-01-24 2023-07-27 Tomahawk Robotics Architecture for distributed artificial intelligence augmentation
US20230237783A1 (en) * 2022-01-26 2023-07-27 Ford Global Technologies, Llc Sensor fusion
US11999386B2 (en) 2022-01-31 2024-06-04 Stack Av Co. User interfaces for autonomy state control and alerts
US11954916B2 (en) * 2022-02-07 2024-04-09 GM Global Technology Operations LLC Systems and methods for classifying detected objects in an image at an automated driving system
EP4224288A1 (en) * 2022-02-07 2023-08-09 Robert Ohrenstein Gaze direction determination apparatus
WO2023152638A1 (en) * 2022-02-08 2023-08-17 Mobileye Vision Technologies Ltd. Knowledge distillation techniques
US11814072B2 (en) 2022-02-14 2023-11-14 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
US20230260387A1 (en) * 2022-02-15 2023-08-17 Johnson Controls Tyco IP Holdings LLP Systems and methods for detecting security events in an environment
US12005914B2 (en) * 2022-02-22 2024-06-11 Mitsubishi Electric Research Laboratories, Inc. Method and system for driving condition-agnostic adaptation of advanced driving assistance systems
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN114596574A (zh) * 2022-03-22 2022-06-07 北京百度网讯科技有限公司 文本识别方法、装置、电子设备和介质
TWI812102B (zh) * 2022-03-23 2023-08-11 國立高雄大學 二無人載具協同導航方法與系統
JP2023142475A (ja) * 2022-03-25 2023-10-05 ロジスティード株式会社 運行支援方法、運行支援システム及びサーバ
CN114780655A (zh) * 2022-03-28 2022-07-22 阿波罗智联(北京)科技有限公司 模型训练和地图数据处理方法、装置、设备及存储介质
US20230315899A1 (en) * 2022-03-30 2023-10-05 Amazon Technologies, Inc. Synthetic data generation
EP4258140A1 (en) * 2022-04-06 2023-10-11 Elektrobit Automotive GmbH Face anonymization using a generative adversarial network
WO2023200638A2 (en) * 2022-04-13 2023-10-19 James Tagg Blockchain-based dynamic cellular network with proof-of-service
US20230329612A1 (en) * 2022-04-14 2023-10-19 Micron Technology, Inc. Determining driver capability
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
CN114779752B (zh) * 2022-04-21 2024-06-07 厦门大学 网络攻击下智能电动车辆轨迹跟踪控制方法
CN114973707B (zh) * 2022-04-25 2023-12-01 天地（常州）自动化股份有限公司 煤矿井下巷道岔路口的联合管控方法
US11507041B1 (en) * 2022-05-03 2022-11-22 The Florida International University Board Of Trustees Systems and methods for boosting resiliency of a power distribution network
DE102022204557A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes verfahren zur verhinderung von funktionsverlust bei verbindungsstörung zu einem backend in einem kommunikationssystem
DE102022204862A1 (de) * 2022-05-17 2023-11-23 Robert Bosch Gesellschaft mit beschränkter Haftung Update einer Software eines Fahrzeugs auf Basis von Fahrzeugfelddaten
CN114973676B (zh) * 2022-05-27 2023-08-29 重庆大学 一种快速路车道缩减区的混合交通众从牵制控制方法
DE102022113992A1 (de) 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
US20230399016A1 (en) * 2022-06-14 2023-12-14 Gm Cruise Holdings Llc Multi-mode vehicle controller
FR3136882A1 (fr) * 2022-06-21 2023-12-22 Psa Automobiles Sa Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident
DE102022206280B4 (de) * 2022-06-23 2024-01-18 Zf Friedrichshafen Ag Computer-implementiertes Verfahren und Vorrichtung zum Bestimmen eines Steuerbefehls zum Steuern eines Fahrzeugs
US20230419271A1 (en) * 2022-06-24 2023-12-28 Gm Cruise Holdings Llc Routing field support to vehicles for maintenance
US20240001951A1 (en) * 2022-06-30 2024-01-04 Nissan North America, Inc. Vehicle notification system
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
EP4307079A1 (en) * 2022-07-12 2024-01-17 Koa Health Digital Solutions S.L.U. Method and system for optimizing model accuracy, battery consumption and data storage amounts
DE102022117683A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
DE102022117676A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
US11698910B1 (en) * 2022-07-21 2023-07-11 Plusai, Inc. Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system
DE102022207506A1 (de) * 2022-07-22 2024-01-25 Continental Automotive Technologies GmbH Vorrichtung und Verfahren zum Bereitstellen von Informationen und Unterhaltung in einem Kraftfahrzeug
CN115378653B (zh) * 2022-07-25 2024-04-23 中国电子科技集团公司第三十研究所 一种基于lstm和随机森林的网络安全态势感知与预测方法及系统
CN115114338B (zh) * 2022-07-26 2022-12-20 成都秦川物联网科技股份有限公司 智慧城市公共场所人流量统计与调控方法及物联网系统
EP4316937A1 (en) * 2022-08-04 2024-02-07 e.solutions GmbH Electronic apparatus for trainable vehicle component setting and vehicle
US20240051568A1 (en) * 2022-08-09 2024-02-15 Motional Ad Llc Discriminator network for detecting out of operational design domain scenarios
DE102022122110A1 (de) 2022-09-01 2024-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum fahren in einem parkbereich
CN117697733A (zh) * 2022-09-09 2024-03-15 北京极智嘉科技股份有限公司 一种机器人调度方法和装置
WO2024053116A1 (ja) * 2022-09-11 2024-03-14 株式会社Subaru 車両サービス提供システム
TWI807997B (zh) * 2022-09-19 2023-07-01 財團法人車輛研究測試中心 感測器融合之時序同步方法
WO2024059925A1 (en) * 2022-09-20 2024-03-28 Huawei Technologies Canada Co., Ltd. Systems and methods for cooperative perception
DE102022125227A1 (de) 2022-09-29 2024-04-04 Cariad Se Verfahren und System zum Abgleichen von Fahrzeugmodellen zwischen Recheneinrichtungen bei einer Zugangskontrolle in eine Zone, in welche ein Fahrzeug einzufahren versucht, sowie entsprechenden Recheneinrichtungen
DE102022125794A1 (de) 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem
US20240124020A1 (en) * 2022-10-13 2024-04-18 Zoox, Inc. Stopping action of an autonomous vehicle
EP4358057A1 (en) * 2022-10-20 2024-04-24 Industry-Academic Cooperation Foundation Dankook University System for providing autonomous driving safety map service
EP4357212A1 (en) * 2022-10-21 2024-04-24 Zenseact AB Ads development
CN115439719B (zh) * 2022-10-27 2023-03-28 泉州装备制造研究所 一种针对对抗攻击的深度学习模型防御方法及模型
US20240157977A1 (en) * 2022-11-16 2024-05-16 Toyota Research Institute, Inc. Systems and methods for modeling and predicting scene occupancy in the environment of a robot
US20240168169A1 (en) * 2022-11-23 2024-05-23 Gm Cruise Holdings Llc Attributing sensor realism gaps to sensor modeling parameters
KR102533711B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
KR102533710B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
US11691632B1 (en) * 2022-12-06 2023-07-04 Mercedes-Benz Group AG Vehicle simulating method and system
CN116152887B (zh) * 2022-12-08 2023-09-26 山东省人工智能研究院 一种基于ds证据理论的动态人脸表情识别方法
DE102022133370A1 (de) 2022-12-15 2024-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Neukalibrieren eines Sensors einer Vorrichtung
CN115933412B (zh) * 2023-01-12 2023-07-14 中国航发湖南动力机械研究所 基于事件触发预测控制的航空发动机控制方法及装置
CN116030418B (zh) * 2023-02-14 2023-09-12 北京建工集团有限责任公司 一种汽车吊运行状态监测系统及方法
JP7433542B1 (ja) 2023-02-24 2024-02-19 三菱電機株式会社 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法
CN115991186B (zh) * 2023-03-06 2023-08-11 郑州轻工业大学 一种防晕车自动驾驶车辆纵横向控制方法
CN116067434B (zh) * 2023-03-07 2023-07-04 中铁大桥局集团有限公司 一种大节段桥梁的可视化安装系统和安装方法
CN115951325B (zh) * 2023-03-15 2023-06-02 中国电子科技集团公司第十五研究所 基于BiGRU的多舰船目标跟踪方法、存储介质及产品
CN116545890A (zh) * 2023-04-26 2023-08-04 苏州维格纳信息科技有限公司 一种基于区块链的信息传输管理系统
CN116226788B (zh) * 2023-05-06 2023-07-25 鹏城实验室 一种融合多种数据类型的建模方法及相关设备
CN116665064B (zh) * 2023-07-27 2023-10-13 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
CN117152093B (zh) * 2023-09-04 2024-05-03 山东奇妙智能科技有限公司 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN117278328B (zh) * 2023-11-21 2024-02-06 广东车卫士信息科技有限公司 基于车联网的数据处理方法及系统
CN117395726B (zh) * 2023-12-12 2024-03-01 江西师范大学 一种基于路径规划的移动边缘计算服务迁移方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092265A1 (ja) 2016-11-18 2018-05-24 三菱電機株式会社 運転支援装置および運転支援方法
JP2018206036A (ja) 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374042B2 (ja) * 1997-05-16 2003-02-04 本田技研工業株式会社 車車間通信方法
US9075136B1 (en) * 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US11067405B2 (en) * 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013074897A1 (en) 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US10915965B1 (en) * 2014-11-13 2021-02-09 State Farm Mutual Automobile Insurance Company Autonomous vehicle insurance based upon usage
EP3240714B1 (en) * 2014-12-29 2023-08-30 Robert Bosch GmbH Systems and methods for operating autonomous vehicles using personalized driving profiles
US20180208209A1 (en) * 2015-09-08 2018-07-26 Apple Inc. Comfort profiles
US9738287B2 (en) * 2015-09-15 2017-08-22 Ford Global Technologies, Llc Preconditioning for vehicle subsystems
US10139828B2 (en) * 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US10620635B2 (en) * 2015-11-05 2020-04-14 Hitachi, Ltd. Moving object movement system and movement path selection method
WO2017095852A1 (en) * 2015-11-30 2017-06-08 Faraday & Future Inc. Infotainment based on vehicle navigation data
US10747234B1 (en) * 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
US10035519B2 (en) * 2016-03-15 2018-07-31 GM Global Technology Operations LLC System and method for autonomous vehicle driving behavior modification
DE102016205153A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers
US10872379B1 (en) * 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US9877470B2 (en) * 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10059346B2 (en) * 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
KR102521934B1 (ko) * 2016-06-13 2023-04-18 삼성디스플레이 주식회사 터치 센서 및 이를 이용한 터치 감지 방법
US10871782B2 (en) * 2016-07-01 2020-12-22 Uatc, Llc Autonomous vehicle control using submaps
US20180012196A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US11443395B2 (en) * 2016-07-19 2022-09-13 Redmon Jeang LLC Mobile legal counsel system and method
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
KR101891599B1 (ko) * 2016-09-30 2018-08-24 엘지전자 주식회사 자율 주행 차량의 제어방법과 서버
US9823657B1 (en) * 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
DE102016225606B4 (de) 2016-12-20 2022-12-29 Audi Ag Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs
JP6513069B2 (ja) 2016-12-27 2019-05-15 本田技研工業株式会社 運転支援装置および運転支援方法
US10268195B2 (en) * 2017-01-06 2019-04-23 Qualcomm Incorporated Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria
US10831190B2 (en) * 2017-08-22 2020-11-10 Huawei Technologies Co., Ltd. System, method, and processor-readable medium for autonomous vehicle reliability assessment
US10649458B2 (en) * 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US20180022348A1 (en) * 2017-09-15 2018-01-25 GM Global Technology Operations LLC Methods and systems for determining lane health from an autonomous vehicle
WO2019066114A1 (ko) * 2017-09-29 2019-04-04 엘지전자(주) V2x 통신 장치 및 그의 키 위변조 검사 방법
US11086317B2 (en) * 2018-03-30 2021-08-10 Intel Corporation Emotional adaptive driving policies for automated driving vehicles
JP7087623B2 (ja) * 2018-04-19 2022-06-21 トヨタ自動車株式会社 車両の制御装置
US11104334B2 (en) * 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals
US10902726B2 (en) * 2018-08-23 2021-01-26 Intel Corporation Rogue vehicle detection and avoidance
US11192543B2 (en) * 2018-12-21 2021-12-07 Ford Global Technologies, Llc Systems and methods for automated stopping and/or parking of autonomous vehicles
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092265A1 (ja) 2016-11-18 2018-05-24 三菱電機株式会社 運転支援装置および運転支援方法
JP2018206036A (ja) 2017-06-02 2018-12-27 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ

Also Published As

Publication number Publication date
CN113825689A (zh) 2021-12-21
JP2022525391A (ja) 2022-05-13
US20220126863A1 (en) 2022-04-28
US20220126878A1 (en) 2022-04-28
EP3947081A1 (en) 2022-02-09
DE112020001643T5 (de) 2022-06-15
CN113811473A (zh) 2021-12-17
EP3947081A4 (en) 2023-06-21
JP2022525586A (ja) 2022-05-18
WO2020205597A1 (en) 2020-10-08
WO2020205629A1 (en) 2020-10-08
EP3947080A1 (en) 2022-02-09
EP3947095A4 (en) 2023-10-18
EP3947095A1 (en) 2022-02-09
DE112020001642T5 (de) 2022-03-10
EP3947094A1 (en) 2022-02-09
EP3947094A4 (en) 2022-12-14
CN113508066A (zh) 2021-10-15
KR20210134635A (ko) 2021-11-10
KR20210134638A (ko) 2021-11-10
KR20210134317A (ko) 2021-11-09
US20220126864A1 (en) 2022-04-28
JP2022524932A (ja) 2022-05-11
JP2022524920A (ja) 2022-05-11
CN113811474A (zh) 2021-12-17
DE112020001663T5 (de) 2022-03-24
US20220161815A1 (en) 2022-05-26
EP3947080A4 (en) 2023-06-21
KR20210134634A (ko) 2021-11-10
WO2020205648A1 (en) 2020-10-08
WO2020205655A1 (en) 2020-10-08
DE112020001649T5 (de) 2022-04-21

Similar Documents

Publication Publication Date Title
JP7460044B2 (ja) 自律車両、ならびに自律車両システムに係る装置、プログラム、およびコンピュータ可読媒体
Yuan et al. Machine learning for next‐generation intelligent transportation systems: A survey
Gupta et al. Deep learning for object detection and scene perception in self-driving cars: Survey, challenges, and open issues
Nidamanuri et al. A progressive review: Emerging technologies for ADAS driven solutions
Biswas et al. Autonomous vehicles enabled by the integration of IoT, edge intelligence, 5G, and blockchain
Bila et al. Vehicles of the future: A survey of research on safety issues
Olugbade et al. A review of artificial intelligence and machine learning for incident detectors in road transport systems
US20210279640A1 (en) Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations
CN109476309A (zh) 高级驾驶辅助系统中的动态传感器范围
US20230005169A1 (en) Lidar point selection using image segmentation
US20210117864A1 (en) Optimizing ai/ml model training for individual autonomous agents
Liu et al. Vehicle artificial intelligence system based on intelligent image analysis and 5G network
EP4020427A1 (en) Transportation environment data service
Razi et al. Deep learning serves traffic safety analysis: A forward‐looking review
US20220303738A1 (en) On-board machine vision device for activating vehicular messages from traffic signs
Yuan et al. Harnessing machine learning for next-generation intelligent transportation systems: a survey
Huang et al. V2X cooperative perception for autonomous driving: Recent advances and challenges
Tabatabaie et al. Naturalistic e-scooter maneuver recognition with federated contrastive rider interaction learning
Yang et al. Comprehensive assessment of artificial intelligence tools for driver monitoring and analyzing safety critical events in vehicles
Roohullah et al. Accident detection in autonomous vehicles using modified restricted Boltzmann machine
Rajkumar et al. A comprehensive survey on communication techniques for the realization of intelligent transportation systems in IoT based smart cities
Saini et al. Artificial intelligence inspired IoT-fog based framework for generating early alerts while train passengers traveling in dangerous states using surveillance videos
US20230326194A1 (en) System and method for feature visualization in a convolutional neural network
Sundfjord Self-supervised feature extraction from video and vehicle monitoring sensors for autonomous driving
Rao et al. Bandi Vamsi, Bhanu Prakash Doppala, Mohan Mahanty, D. Veeraiah

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7460044

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150