KR20210134317A - 자율 차량 시스템 - Google Patents

자율 차량 시스템 Download PDF

Info

Publication number
KR20210134317A
KR20210134317A KR1020217027324A KR20217027324A KR20210134317A KR 20210134317 A KR20210134317 A KR 20210134317A KR 1020217027324 A KR1020217027324 A KR 1020217027324A KR 20217027324 A KR20217027324 A KR 20217027324A KR 20210134317 A KR20210134317 A KR 20210134317A
Authority
KR
South Korea
Prior art keywords
vehicle
data
autonomous
sensor data
sensors
Prior art date
Application number
KR1020217027324A
Other languages
English (en)
Inventor
하스나 모우스타파
다르샤나 디 살비
수헬 제이버
다르샨 아이어
하즈라티 메르나즈 코담
프라지야 아그라왈
나빈 아에라보투
비크 페트러스 제이 반
모니카 루시아 마틴즈-카날레스
패트리샤 앤 로브
리타 차토파디야이
제프리 엠 오타
아이만 살레 모우스타파
소일라 피 카불리야
카르시크 레디 스리파시
모하메드 엘타바크
이고르 타토우리안
신시아 이 카슈브
리타 에이치 와우헤이비
이그나시오 제이 알바레즈
파테마 에스 아덴왈라
카그리 씨 탄리오버
마리아 에스 엘리
데이비드 제이 재그
쿠티 지신 산카르 산카란
크리스토퍼 이 로페즈-아라이자
마그디엘 에프 갈란-올리버라스
리 첸
바하레 사데히
수브라마니안 아난다라즈
프라딥 사카무리
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20210134317A publication Critical patent/KR20210134317A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/047—Prioritizing desires of multiple occupants, e.g. when setting climate control or driving behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

복수의 센서로부터 센서 데이터가 수신되고, 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하며, 복수의 센서 중 적어도 일부는 차량에 연결된다. 제 1 센서 세트에 의해 생성된 센서 데이터의 적어도 일부에 기초해서 차량의 제어가 자동화된다. 제 2 센서 세트에 의해 생성된 센서 데이터로부터 자율 차량 내의 한 명 이상의 승객의 승객 속성이 결정된다. 승객 속성 및 제 1 센서 세트에 의해 생성된 센서 데이터에 기초해서 차량의 차량 속성이 수정된다.

Description

자율 차량 시스템
관련 출원에 대한 상호 참조
본 출원은 "자율 차량 시스템"이라는 명칭으로 2019년 3월 29일에 출원된 미국 가특허 출원 제62/826,955호의 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조로 포함된다.
기술 분야
본 개시는 전반적으로 컴퓨터 시스템 분야에 관한 것이며, 상세하게는 자율 차량을 가능하게 하는 컴퓨팅 시스템에 관한 것이다.
일부 차량은, 운전자로부터의 입력이 거의 없는 또는 전혀 없는 환경에서 차량이 네비게이트하는 자율 모드에서 동작하도록 구성된다. 이러한 차량은 일반적으로 환경에 관한 정보를 검지하도록 구성된 하나 이상의 센서를 포함한다. 이 차량은 검지된 정보를 사용해서 환경을 네비게이트할 수 있다. 예를 들어, 센서가 차량이 장애물에 접근하고 있다는 것을 검지하면, 차량은 이 장애물 주위로 네비게이트할 수 있다.
도 1은 자율 주행 환경의 예를 나타내는 개략도이다.
도 2는 자율 주행 기능을 구비한 차량(및 대응하는 차량 내 컴퓨팅 시스템)의 구현예를 나타내는 개략 블록도이다.
도 3은 특정 실시예에 따른 신경망의 예시적인 부분을 도시한다.
도 4는 다양한 차량에서 지원될 수 있는 (예를 들어, 대응하는 차량 내 컴퓨팅 시스템에 의해) 예시적인 자율 주행의 레벨을 나타내는 개략 블록도이다.
도 5는 일부 자율 주행 시스템에서 구현될 수 있는 예시적인 자율 주행 흐름을 나타내는 개략 블록도이다.
도 6은 자율 주행 파이프라인을 구현하기 위해 자율 주행 차량의 하드웨어 및/또는 소프트웨어에 제공되는 예시적인 모듈을 나타내는 개략 블록도이다.
도 7은 예시적인 추천 시스템의 논리적 표현을 나타내는 개략 블록도이다.
도 8은 다양한 향상 모드를 가진 예시적인 로우 레벨 자율 주행 차량을 도시하는 개략 블록도이다.
도 9는 예시적인 주행 환경을 나타내는 개략 블록도이다.
도 10은 예시적인 향상된 자율 주행 시스템을 나타내는 개략 블록도이다.
도 11은 예시적인 프레임 트랜스코더를 나타내는 개략 블록도이다.
도 12는 예시적인 이벤트 검출 머신 학습 모델의 표현을 나타낸다.
도 13은 예시적인 장면 분류 머신 학습 모델의 표현을 나타낸다.
도 14는 추천 시스템을 갖는 예시적인 자율 주행 시스템의 측면을 나타낸다.
도 15는 특정 실시예에 따른 자율 차량 및 다양한 센서를 나타내는 개략 블록도이다.
도 16은 특정 실시예에 따른 예시적인 원격 발레 서비스를 전달하는 동안 시스템들 사이의 통신을 도시하는 개략 블록도이다.
도 17은 특정 실시예에 따른 원격 발레 서비스를 런치하는데 사용될 수 있는 풀오버(pull-over) 이벤트 위험 및 도로 상태 경고와 관련된 정보의 연계 보고를 나타내는 개략 블록도이다.
도 18은 특정 실시예에 따른, 차량 센서, 인공 지능/머신 학습 기반 자율 주행 스택, 및 원격 발레 서비스를 제공할 수 있는 시스템으로의 핸드 오프 요청을 트리거하고 생성하는 것을 지원하는 로직을 포함하는 예시적인 자율 차량 기능을 나타내는 개략 블록도이다.
도 19는 적어도 일부 실시예에서 자율 차량을 제어하기 위한 예시적인 검지, 계획, 액션 모델을 나타내는 개략 블록도이다.
도 20은 적어도 하나의 실시예에 따른 개략 사회 규범 이해 모델을 나타낸다.
도 21은 환경에서 차량 사이의 조정의 측면을 나타내는 도면이다.
도 22는 두 차량 사이의 예시적인 정보 교환을 나타내는 블록도이다.
도 23은 예시적인 도로 교차로를 나타내는 개략 블록도이다.
도 24는 로컬화된 거동 모델 합의의 예를 예시한다.
도 25는 적어도 하나의 실시예에 따른, 크라우드 소싱된 자율 차량 센서 데이터를 평가하고 검증하는 예시적인 프로세스를 나타내는 개략도이다.
도 26은 적어도 하나의 실시예에 따른, 자율 차량의 센서 데이터를 평가하는 예시적인 프로세스의 흐름도이다.
도 27은 적어도 하나의 실시예에 따른, 자율 차량의 센서 데이터를 평가하는 예시적인 프로세스의 흐름도이다.
도 28은 적어도 하나의 실시예에 따른, 자율 차량 데이터 수집의 예시적인 환경의 개략도다.
도 29는 적어도 하나의 실시예에 따른, 자율 차량의 예시적인 크라우드 소싱된 데이터 수집 환경의 개략 블록도이다.
도 30은 적어도 하나의 실시예에 따른, 센서 데이터의 양호도 스코어를 계산하는 데 사용하기 위한 예시적인 히트 맵의 개략도이다.
도 31은 적어도 하나의 실시예에 따른, 자율 차량 센서 데이터의 양호도 스코어를 계산하는 예시적인 프로세스의 흐름도이다.
도 32는 예시적인 "피츠버그 좌회전" 시나리오를 나타낸다.
도 33은 예시적인 "난폭 운전" 시나리오를 나타낸다.
도 34는 적어도 하나의 실시예에 따른 자율 차량에 대한 비정상적 거동/이상 거동 추적 모델을 보여주는 개략 블록도이다.
도 35는 주어진 컨텍스트에서 주행 패턴이 얼마나 자주 발생하는지를 추적하는 예시적인 컨텍스트 그래프를 나타낸다.
도 36은 적어도 하나의 실시예에 따른 차량에 의해 관찰된 비정상적 거동을 추적하는 예시적인 프로세스의 흐름도이다.
도 37은 적어도 하나의 실시예에 따른 컨텍스트 거동 패턴을 식별하는 예시적인 프로세스의 흐름도이다.
도 38은 자율 주행 환경을 위한 침입 검출 시스템의 예시적인 구현예를 나타내는 개략 블록도이다.
도 39는 컴퓨터 비전 분석의 예시적인 조작을 나타낸다.
도 40은 적어도 하나의 실시예에 따른 차량에 대한 개략적인 중앙 집중식 차량 제어 아키텍처의 블록도이다.
도 41은 자율 검지 및 제어 파이프라인의 개략 블록도이다.
도 42는 고도로 자동화된 차량 또는 자율 차량의 예시적인 엑스 바이 와이어(X-by-Wire) 아키텍처를 나타내는 개략 블록도이다.
도 43은 적어도 하나의 실시예에 따른 고도로 자동화된 차량 또는 자율 차량의 예시적인 안전 리셋 아키텍처를 나타내는 개략 블록도이다.
도 44는 적어도 하나의 실시예에 따른 고도로 자동화된 차량 또는 자율 차량의 일반적인 안전 아키텍처의 예를 나타내는 개략 블록도이다.
도 45는 적어도 하나의 실시예에 따른 고도로 자동화된 차량 또는 자율 차량의 결함 및 침입 검출 시스템의 예시적인 동작 흐름을 나타내는 개략 블록도이다.
도 46은 결함 및 침입 검출 시스템과 관련된 예시적인 동작의 하이 레벨 흐름을 나타내는 개략 흐름도이다.
도 47은 결함 및 침입 검출 시스템과 관련된 예시적인 동작의 하이 레벨 흐름을 나타내는 또 다른 개략 흐름도이다.
도 48a 및 도 48b는 자동 주행 환경에서 결함 및 침입 검출 시스템과 관련된 예시적인 동작을 나타내는 개략 흐름도이다.
도 49는 특정 실시예에 따른, 데이터 카테고리화, 스코어링 및 핸들링의 흐름을 도시한다.
도 50은 특정 실시예에 따른, 카테고리화에 기초하여 데이터를 핸들링하기 위한 예시적인 흐름을 도시한다.
도 51은 특정 실시예에 따른, 합성 데이터를 지능적으로 생성하는 시스템을 도시한다.
도 52는 특정 실시예에 따른, 합성 데이터를 생성하기 위한 흐름을 도시한다.
도 53은 적대적 샘플을 생성하고 이 적대적 샘플에 기초해서 머신 학습 모델을 트레이닝하는 흐름을 나타낸다.
도 54는 특정 실시예에 따른, 시뮬레이션된 공격 데이터 세트를 생성하고 이 시뮬레이션된 공격 데이터 세트를 사용해서 분류 모델을 트레이닝하는 흐름을 도시한다.
도 55는 특정 실시예에 따른, 비선형 분류기의 동작을 예시한다.
도 56은 특정 실시예에 따른, 선형 분류기의 동작을 예시한다.
도 57은 선형 분류기의 정확도에 기초해서 액션을 트리거하는 흐름을 나타낸다.
도 58은 특정 실시예에 따른 예시적인 RSS(Responsibility-Sensitive Safety) 주행 단계를 나타낸다.
도 59는 특정 실시예에 따른 RSS 준수 가속을 보장하기 위해 운전자 입력을 수정하기 위한 시스템을 나타낸다.
도 60은 특정 실시예에 따른 제어-가속 변환기에 대한 트레이닝 단계를 나타낸다.
도 61은 특정 실시예에 따른 제어-가속 변환기의 추론 단계를 나타낸다.
도 62는 특정 실시예에 따른, 수용 가능 제어 신호를 차량 가동 시스템에 제공하는 흐름을 나타낸다.
도 63은 특정 실시예에 따른 컨텍스트 모델(1508)을 구축하기 위한 트레이닝 단계를 나타낸다.
도 64는 특정 실시예에 따른 신호 품질 메트릭 모델을 구축하기 위한 트레이닝 단계를 나타낸다.
도 65는 특정 실시예에 따른 핸드오프 준비 모델을 구축하기 위한 트레이닝 단계를 나타낸다.
도 66은 특정 실시예에 따른 센서 데이터에 기초하여 핸드 오프 판정을 결정하기 위한 추론 단계를 나타낸다.
도 67은 특정 실시예에 따른 차량의 제어를 핸드오프할지 여부를 결정하기 위한 흐름을 나타낸다.
도 68은 특정 실시예에 따른 운전자 상태 모델에 대한 트레이닝 단계를 나타낸다.
도 69는 특정 실시예에 따른 핸드오프 판정 모델에 대한 트레이닝 단계를 나타낸다.
도 70은 특정 실시예에 따른 핸드오프 판정을 결정하기 위한 추론 단계를 나타낸다.
도 71은 특정 실시예에 따른 핸드오프 판정을 생성하기 위한 흐름을 나타낸다.
도 72는 특정 실시예에 따른 자율 차량의 제어를 위한 프레임워크의 하이 레벨 블록도를 나타낸다.
도 73은 특정 실시예에 따른 자율 차량의 인수를 제어하는 예시적인 프로세스의 도면이다.
도 74는 특정 실시예에 따른 자율 차량의 인수를 제어하는 추가적인 예시적인 프로세스의 도면이다.
도 75는 특정 실시예에 따른 자율 주행 차량에 대한 예시적인 인식, 계획 및 액션 자율 주행 파이프라인(2800)의 도면이다.
도 76은 특정 실시예에 따른 자율 차량의 인간 운전자에 의한 인수 요청을 제어하는 예시적인 프로세스의 도면이다.
도 77은 특정 실시예에 따른 인간 운전자로부터 요구되는 다양한 레벨의 자동화 및 관련 참여 정도를 나타낸다.
도 78은 특정 실시예에 따른 포괄적 인지 감독 시스템을 나타낸다.
도 79는 특정 실시예에 따른 예시적인 자율 레벨 전환을 나타낸다.
도 80은 특정 실시예에 따른 L4 자율 레벨에서 동작하는 자율 차량의 데이터의 아키텍처 흐름의 예를 나타낸다.
도 81은 특정 실시예에 따른 운전자로의 비디오 신호의 예를 나타낸다.
도 82는 특정 실시예에 따른 예시적인 자율 차량 핸드오프 상황의 흐름을 나타낸다.
도 83은 특정 실시예에 따른 자율 차량의 제어를 인간 운전자에게 핸드오프하는 흐름의 예를 나타낸다.
도 84는 GRU(Gated Recurrent Unit) 및 LSTM(Long Short Term Memory) 아키텍처의 예를 나타내는 도면이다.
도 85는 특정 실시예에 따른, 이상을 검출하기 위한 시스템을 도시한다.
도 86은 특정 실시예에 따른, 이상을 검출하기 위한 흐름을 도시한다.
도 87은 일 실시예에 따른, 도로의 일부에서 차량의 자율 레벨을 제한하는 방법의 예를 도시한다.
도 88은 리스트된 도로의 각 영역이 도로의 해당 부분에 대한 도로 안전 스코어를 나타내는 맵의 예를 나타낸다.
도 89는 본 명세서에 설명된 적어도 하나의 실시예에 따른, 차량의 컴퓨터 비전 시스템에서 프라이버시를 보호하기 위한 통신 시스템을 도시한다.
도 90a 및 도 90b은 판별기의 예를 나타낸다.
도 91은 적어도 하나의 실시예에 따른, GAN 구성 시스템의 추가적인 가능한 구성 요소 및 동작 세부 사항을 나타낸다.
도 92는 StarGAN 기반 모델을 사용해서 입력 이미지의 다양한 얼굴 속성을 수정함으로써 생성된 위장 이미지(disguised image)의 예를 나타낸다.
도 93은 실제 얼굴의 입력 이미지로부터 StarGAN 기반 모델에 의해 생성된 위장 이미지의 예 및 실제 이미지와 위장 이미지를 평가하는 얼굴 인식 엔진의 결과를 나타낸다.
도 94a는 실제 얼굴의 입력 이미지로부터 StarGAN 기반 모델에 의해 생성된 예시적인 위장 이미지 및 실제 이미지와 위장 이미지를 평가하는 감정 검출 엔진의 결과를 나타낸다.
도 94b는 도 94a에 예시된 입력 이미지 및 위장 이미지에 대한 감정 검출 엔진의 예시적인 처리에 대응하는 입력 파라미터 및 출력 결과의 목록이다.
도 95는 IcGAN 기반 모델에 의해 수행된, 실제 얼굴의 입력 이미지를 위장 이미지로 변환하는 예를 나타낸다.
도 96은 차량에 구현된, 구성된 GAN 모델의 추가적인 가능한 동작 세부 사항을 나타낸다.
도 97은 적어도 하나의 실시예에 따른, 위장 이미지를 생성하도록 차량에서 구성된 GAN 모델의 예시적인 동작 및 머신 학습 동작에서 위장 이미지를 사용하는 것을 나타낸다.
도 98은 얼굴 이미지에 대한 속성 전송을 수행하도록 트레이닝된 GAN(Generative Adversarial Network)를 구성하는 것과 관련된, 하이 레벨의 동작 흐름을 나타내는 개략 순서도이다.
도 99는 구성된 GAN 모델이 시스템에서 구현될 때, 차량의 프라이버시-보호 컴퓨터 비전 시스템의 동작과 관련된, 가능한 하이 레벨의 동작 흐름을 나타내는 개략 흐름도이다.
도 100은 구성된 GAN 모델이 입력 이미지에 적용될 때 일어날 수 있는 동작과 관련된, 하이 레벨의 가능한 동작 흐름을 나타내는 개략 흐름도이다.
도 101은 자율 차량의 주문형 프라이버시 준수 시스템을 나타낸다.
도 102는 차량에 의해 수집된 데이터 및 이 데이터에 대한 프라이버시 준수를 보장하기 위해 정의된 개체를 나타낸다.
도 103은 적어도 하나의 실시예에 따른, 주문형 프라이버시 준수 시스템의 예시적인 정책 템플릿을 나타낸다.
도 104는 차량 데이터 시스템의 가능한 구성 요소 및 일반적인 동작 흐름을 나타내는 개략 블록도이다.
도 105는 가능한 다양한 인간 액터와 하드웨어 및/또는 소프트웨어 액터의 관점에서의, 에지 또는 클라우드 차량 데이터 시스템의 기능 및 활동을 나타낸다.
도 106은 자율 차량에 의해 수집된 데이터에 대한 정책을 생성하는, 주문형 프라이버시 준수 시스템의 포털 화면 표시예이다.
도 107은 번호판 블러링 정책을 이미지에 적용하기 전후의, 차량으로부터 수집된 예시적인 이미지를 나타낸다.
도 108은 얼굴 블러링 정책을 이미지에 적용하기 전후의, 차량으로부터 수집된 예시적인 이미지를 나타낸다.
도 109는 주문형 프라이버시 준수 시스템에서, 차량에서 수집된 태깅 데이터와 관련된, 하이 레벨의 가능한 동작 흐름을 나타내는 개략 순서도이다.
도 110은 주문형 프라이버시 준수 시스템에서 정책 시행과 관련된 하이 레벨의 가능한 동작 흐름을 나타내는 개략 순서도이다.
도 111은 주문형 프라이버시 준수 시스템에서 정책 시행과 관련된 하이 레벨의 가능한 동작 흐름을 나타내는 개략 순서도이다.
도 112는 적어도 하나의 실시예에 따른, 자율 차량의 자동화를 위한 제어 루프의 개략도이다.
도 113은 적어도 하나의 실시예에 따른, 자율 차량의 자동화를 위한 GDI(Generalized Data Input)의 개략도이다.
도 114는 적어도 하나의 실시예에 따른, 예시적인 GDI 공유 환경의 도면이다.
도 115는 적어도 하나의 실시예에 따른, 예시적인 블록 체인 토폴로지의 도면이다.
도 116은 적어도 하나의 실시예에 따른, DAG(Directed Acyclic Graph) 토폴로지를 사용하는 예시적인 "체인없는" 블록의 도면이다.
도 117은 적어도 하나의 실시예에 따른, 자율 차량을 위한 예시적인 보안 차량 내 통신 프로토콜의 개략 블록도이다.
도 118은 적어도 하나의 실시예에 따른, 자율 차량을 위한 예시적인 보안 차량 간 통신 프로토콜의 개략 블록도이다.
도 119는 적어도 하나의 실시예에 따른, 자율 차량을 위한 예시적인 보안 차량 내 통신 프로토콜의 개략 블록도이다.
도 120a는 특정 실시예에 따른, 복수의 센서에 대한 샘플링 레이트를 결정하는 시스템을 도시한다.
도 120b는 특정 실시예에 따른, 컨텍스트 모델을 생성하기 위한 머신 학습 알고리즘을 도시한다.
도 121은 특정 실시예에 따른, 융합-컨텍스트 사전을 생성하기 위한 융합 알고리즘을 도시한다.
도 122는 특정 실시예에 따른, 선택적 샘플링 및 융합된 센서 가중치를 결정하기 위한 추론 단계를 도시한다.
도 123은 다양한 컨텍스트에 대한 센서의 차등 가중치를 나타낸다.
도 124a는 특정 실시예에 따른, 상이한 컨텍스트 하에서의 센서에 대한 가중치를 학습하는 방식을 나타낸다.
도 124b는 특정 실시예에 따른, 상이한 컨텍스트 하에서의 센서에 대한 가중치를 학습하는 상세한 방식을 나타낸다.
도 125는 특정 실시예에 따른, 샘플링 정책을 결정하는 흐름을 도시한다.
도 126은 적어도 하나의 실시예에 따른, 자율 차량 사이의 예시적인 VLC 또는 Li-Fi 통신의 개략도이다.
도 127a 내지 도 127b는 적어도 하나의 실시예에 따른, 자율 차량 상의 예시적인 VLC 또는 Li-Fi 센서 위치의 개략도이다.
도 128은 적어도 하나의 실시예에 따른, 주체 차량과 교통 차량 사이의 예시적인 VLC 또는 Li-Fi 통신의 개략도이다.
도 129는 적어도 하나의 실시예에 따른, 자율 차량의 센서 융합 프로세스에서의 VLC 또는 Li-Fi 정보를 사용하는 예시적인 프로세스의 개략도이다.
도 130a는 단일 센서로부터 오는 하나의 센서 데이터 스트림에 대한 처리 파이프 라인을 나타낸다.
도 130b는 LIDAR 데이터로부터 직접 획득한 예시적인 이미지를 나타낸다.
도 131은 다수의 센서 데이터 스트림을 처리하기 위한 병렬 처리 파이프 라인의 예를 나타낸다.
도 132는 다수의 센서로부터의 데이터가 필터링 액션에 의해 결합되는 처리 파이프 라인을 나타낸다.
도 133은 위에서 설명한 센서 추상화(sensor abstraction)의 모든 액션 이후에, 다수의 센서로부터 데이터가 융합 액션에 의해 결합되는 처리 파이프 라인을 나타낸다.
도 134는 특정 실시예에 따른, 고해상도 및 대응하는 저해상도 이미지를 포함하는 트레이닝 데이터를 생성하는 흐름을 도시한다.
도 135는 특정 실시예에 따른, 저해상도 이미지로부터 고해상도 이미지를 생성하기 위한, 모델에 대한 트레이닝 단계를 도시한다.
도 136은 특정 실시예에 따른, 저해상도 이미지로부터 고해상도 이미지를 생성하기 위한, 모델에 대한 추론 단계를 도시한다.
도 137은 특정 실시예에 따른, 지식 증류(knowledge distillation)를 사용해서 학생 모델(student model)을 트레이닝하는 트레이닝 단계를 도시한다.
도 138은 특정 실시예에 따른, 지식 증류를 사용해서 트레이닝된 학생 모델에 대한 추론 단계를 도시한다.
도 139는 특정 실시예에 따른, 개체 검출에 사용하기 위해 캡처된 이미지의 해상도를 증가시키는 흐름을 도시한다.
도 140은 특정 실시예에 따른, 방법의 앙상블에 기초해서 머신 학습 모델을 트레이닝하는 흐름을 도시한다.
도 141은 자율 차량이 센서를 가려서 주행 컨텍스트를 잠재적으로 위험하게 만드는 컨텍스트의 예를 나타낸다.
도 142는 차량 연계를 사용하는 시스템의 예시적인 하이 레벨 아키텍처를 나타내는 도면이다.
도 143은 다수의 차량에 의한 다수의 액션이 고려되는 상황의 예를 나타낸다.
도 144는 동적으로 조정 가능한 이미지 센서 및 교정 마커를 구비한 차량을 나타낸다.
도 145는 회전된 이미지 센서를 구비한 도 144의 차량을 도시한다.
도 146은 특정 실시예에 따른, 차량의 이미지 센서를 조정하는 흐름을 도시한다.
도 147은 특정 실시예에 따른 자율 차량을 인간 운전자에게 핸드오프하기 위한 예시적인 시스템을 나타낸다.
도 148은 특정 실시예에 따른 차량이 지점 A로부터 지점 B까지 도달하기 위해 취할 수 있는 예시적인 경로를 나타낸다.
도 149는 특정 실시예에 따른 핸드오프 핸들링 모듈에 의해 적어도 부분적으로 수행될 수 있는 흐름을 나타낸다.
도 150은 예시적인 자율 차량에 대한 센서 어레이의 예를 나타낸다.
도 151은 동적 자율도 레벨 검출(Dynamic Autonomy Level Detection) 시스템의 예를 나타낸다.
도 152는 자율 차량의 예시적인 기동을 나타낸다.
도 153은 애커만(Ackermann) 모델을 나타낸다.
도 154는 부착물이 있는 차량의 예를 나타낸다.
도 155는 차량에 연결된 확장부가 추가된 치수를 포함한 예시적인 차량의 새로운 치수를 추적하는 예를 나타낸다.
도 156은 적어도 하나의 실시예에 따른 차량 모델 가림 보상 흐름의 예를 나타낸다.
도 157은 일 실시예에 따른 프로세서의 예시적인 도면이다.
도 158은 일 실시예에 따른 예시적인 컴퓨팅 시스템을 나타낸다.
도 1은 예시적인 자율 주행 환경을 나타내는 개략도(100)이다. 차량(예를 들어, 105, 110, 115 등)에는 다양한 레벨의 자율 주행 기능이 제공될 수 있는데, 이는 각각의 자율 주행 스택을 가능하게 하는 로직이 하드웨어, 펌웨어 및/또는 소프트웨어로 구현된 차량 내 컴퓨팅 시스템을 통해 달성된다. 이러한 자율 주행 스택을 통해서, 도로를 검출하고, 한 지점에서 다른 지점으로 네비게이트하며, 다른 차량 및 도로 액터(예를 들어, 보행자(예를 들어, 135), 자전거 운전자 등)를 검출하고, 장애물과 위험물(예를 들어, 120) 및 도로 상태(예를 들어, 교통, 도로 상태, 기상 상태 등)을 검출하며, 이에 따라 차량의 제어 및 안내를 조정하도록, 차량은 자율 제어하거나 운전자 지원을 제공하도록 할 수 있다. 본 개시에서 "차량"은 1명 이상의 인간 승객을 수송하도록 설계된 유인 차량(예를 들어, 자동차, 트럭, 밴, 버스, 오토바이, 기차, 항공 운송 차량, 구급차 등), 인간 승객을 태우고 혹은 태우지 않고 주행하는 무인 차량(예를 들어, 화물차(예를 들어, 트럭, 철도 기반 차량 등)), 비인간 승객을 수송하는 차량(예를 들어, 가축 운송 수단 등) 및/또는 드론(예를 들어, 주행 환경 내에서 이동해야 하는 육상 기반 드론이나 공중 드론 또는 로봇(예를 들어, 주행 환경에 관한 정보 수집, 다른 차량의 자동화 지원, 도로 유지 관리 업무 수행, 산업 업무 제공, 공공 안전 및 비상 대응 업무 제공 등))일 수 있다. 일부 구현예에서, 차량은 특히 여러가지 다양한 모드(예를 들어, 승객 차량, 무인 차량 또는 드론 차량)에서 서로 다르게 동작하도록 구성된 시스템일 수 있다. 차량은 환경 내를 "주행"해서 지면(예를 들어, 포장 도로 또는 비포장 도로, 경로 또는 풍경), 물 또는 공중을 이동할 수 있다. 이러한 견지에서, "도로" 또는 "차도"란 구현예에 따라서 실외의 또는 캐빈(cabin)의 지면-기반 경로(ground-based path), 수로 또는 규정된 공중 경계를 포함할 수 있다. 따라서, 이하의 개시 및 관련 실시예는 다양한 컨텍스트 및 차량 구현예에 동일하게 적용될 수 있다는 것을 이해해야 한다.
일부 구현예에서, 환경 내의 차량(예를 들어, 105, 110, 115)은, 차량 내 컴퓨팅 시스템이 하나 이상의 기술(예를 들어, IEEE 802.11 통신(예를 들어, WiFi)), 셀룰러 데이터 네트워크(예를 들어, 3GPP(3rd Generation Partnership Project) 네트워크, GSM(Global System for Mobile Communication), 일반 패킷 무선 서비스, 코드 분할 다중 액세스(CDMA)), 4G, 5G, 6G 등), Bluetooth, 밀리미터 파(mmWave), ZigBee, Z-Wave 등)을 사용해서, 무선 통신을 지원하는 통신 모듈을 포함한다는 점에서 "접속"될 수 있고, 이로써 차량 내 컴퓨팅 시스템은 다른 차량의 차량 내 컴퓨팅 시스템, 도로변 장치, 클라우드 기반 컴퓨팅 시스템 또는 기타 지원 인프라와 같은, 다른 컴퓨팅 시스템과 같은 다른 컴퓨팅 시스템에 접속되어서 통신할 수 있게 된다. 예를 들어, 일부 구현예에서, 차량(예를 들어, 105, 110, 115)은 차량의 자체 자율 주행 성능을 지원하는 센서, 데이터 및 서비스를 제공하는 컴퓨팅 시스템과 통신할 수 있다. 예를 들어, 도 1의 예시적인 예에 도시된 바와 같이, 지원 드론(180)(예를 들어, 지상 기반 및/또는 공중), 도로변 컴퓨팅 장치(예를 들어, 140), 다양한 밖의(external)(차량의 또는 "외부에 있는(extraneous)") 센서 장치(예를 들어, 160, 165, 170, 175 등) 및 기타 장치가, 차량(예를 들어, 105, 110, 115)에 구현된 컴퓨팅 시스템, 센서 및 로직과 분리된 자율 주행 인프라로 제공되어서, 특히 차량을 통해 제공되는 자율 주행 결과를 지원하고 개선할 수 있다. 차량은 또한 다른 예시적인 통신을 행하지만, 특히 무선 통신 채널을 통해서 다른 접속된 차량과 통신해서 자율 주행 환경 내에서 데이터를 공유하고 움직임을 조정할 수 있다.
도 1의 예에 도시된 바와 같이 자율 주행 인프라는 다양한 시스템을 포함할 수 있다. 이러한 시스템은 위치에 따라 달라질 수 있으며, 더 발달한 차도(예를 들어, 특정한 지방 자치 단체나 또는 통행료 관리국에 의해 관리되는 차도, 도심 지역의 차도, 자율 차량에 문제가 되는 것으로 알려진 차도 구간 등)일수록, 다른 차도 구간보다 더 많은 수의 혹은 더 개선된 지원 인프라 장치를 갖고 있다. 예를 들어, 보조 센서 장치(예를 들어, 160, 165, 170, 175)가 제공될 수 있는데, 이는 차도의 일부를 및 환경 내에서 이동하는 차량을 관찰하고, 센서의 관찰을 나타내거나 혹은 이를 구현하는 이에 대응하는 데이터를 생성하기 위한 센서를 포함한다. 예를 들어, 센서 장치는 특히, 차도 자체에 내장될 수도 있고(예를 들어, 센서 160), 도로변 또는 오버헤드 표지판에 내장될 수도 있으며(예를 들어, 표지판(125)의 센서(165)), 전자식 도로변 장비 또는 고정 장치(예를 들어, 신호등(예를 들어, 130), 전자 도로 표지판, 전자 광고판 등)에 부착될 수도 있으며(예를 들어, 170, 175), 전용 도로변 유닛(예를 들어, 140)에 내장될 수도 있다. 센서 장치는 또한 수집된 센서 데이터를 부근의 접속된 차량 또는 포그-기반 또는 클라우드-기반 컴퓨팅 시스템(예를 들어, 140, 150)에 직접 통신하기 위한 통신 기능을 포함할 수 있다. 차량은, 밖의 센서 장치(예를 들어, 160, 165, 170, 175, 180)에 의해 수집된 센서 데이터, 또는 이들 센서 장치(예를 들어, 160, 165, 170, 175, 180)로부터의 센서 데이터에 기초해서 다른 시스템(예를 들어, 140, 150)에 의해 생성된 관찰 또는 추천을 포함하는 데이터를 획득하고, 이들 데이터를 차량 내 자율 주행 시스템에 의해 수행하는 센서 융합, 추론, 경로 계획 및 기타 태스크에 사용한다. 일부 경우에, 이러한 외부 센서 및 센서 데이터는 실제로, 차량에 부착된 애프터 마켓 센서의 형태, 차량의 승객이 운반 혹은 착용하는 개인용 컴퓨팅 장치(예를 들어, 스마트 폰, 웨어러블 등) 등과 같이, 차량 내에 있을 수 있다. 보행자, 자전거, 드론, 무인 항공기, 로봇, 전기 스쿠터, 등을 포함한 다른 도로 액터에 센서가 마련되거나 액터가 센서를 운반하면서, 자율 주행 환경을 나타내는 센서 데이터를 생성할 수 있으며, 이는 자율 차량, 클라우드-기반 또는 포그-기반 지원 시스템(예를 들어, 140, 150), 다른 센서 장치(예를 들어, 160, 165, 170, 175, 180) 등에 의해 사용되고 소비될 수 있다.
자율 차량 시스템이 다양한 레벨의 기능 및 정교함을 보유할 수 있기 때문에, 일부 차량의 감지 성능뿐만 아니라, 일부 차량의 자율 주행 기능을 가능하게 하는 컴퓨터 및 머신 학습 기능을 보완하기 위해서는, 지원 인프라가 필요할 수 있다. 예를 들어, 머신 학습 모델 트레이닝 및 이러한 머신 학습 모델의 사용을 용이하게 하는 데 사용되는 컴퓨팅 리소스 및 자율 주행 로직이 차량 내 시스템 및 일부 밖의 시스템(예를 들어, 140, 150)에 마련될 수 있다. 예를 들어, 접속된 차량은 차도의 특정 세그먼트에 로컬인 도로변 장치, 에지 시스템 또는 클라우드-기반 장치(예를 들어, 140)와 통신할 수 있으며, 이러한 장치(예를 들어, 140)는 데이터(예를 들어, 로컬 센서로부터 수집된 센서 데이터(예를 들어, 160, 165, 170, 175, 180) 또는 다른 차량의 센서로부터 보고된 데이터)를 제공할 수 있고, 차량 고유의 기능을 보완하기 위해 차량에 의해 제공되는 데이터에 대한 계산(서비스로서)을 수행할 수 있으며 및/또는 지나가거나 혹은 접근하는 차량에 정보를 푸시(예를 들어, 장치(140)에서 또는 부근 센서 장치 등으로부터 수집된 센서 데이터에 기초함)할 수 있다. 또한 혹은 그 대신에, 접속된 차량(예를 들어, 105, 110, 115)은 클라우드-기반 컴퓨팅 시스템(예를 들어, 150)과 통신할 수 있으며, 이로써 유사한 메모리, 감지 및 계산 리소스를 제공해서 이들이 차량에서 이용 가능하도록 향상시킬 수 있다. 예를 들어, 클라우드-기반 시스템(예를 들어, 150)은 하나 이상의 위치에 있는 다양한 장치로부터 센서 데이터를 수집하고, 이 데이터를 사용해서 클라우드-기반 시스템에서 사용될 수 있는 머신 학습 모델을 구축 및/또는 트레이닝해서, 여러 예시적인 구현예 중에서 특히, 클라우드-기반 시스템(150)과 통신하는 다양한 차량(예를 들어, 105, 110, 115)에 결과를 제공하거나, 차량 내 시스템에 의해 사용하기 위해 차량에 푸시할 수 있다. 환경 내에서, 이동 전화 기지국, 도로변 장치, 다양한 차도 인프라에 장착된 네트워크 액세스 포인트, 주변 차량 또는 건물에서 제공하는 액세스 포인트 및 기타 액세스 포인트와 같은 액세스 포인트(예를 들어, 145)가 제공되어서, 클라우드-기반 시스템(예를 들어, 150)과 다양한 차량(예를 들어, 105, 110, 115) 사이의 하나 이상의 근거리 네트워크 또는 광역 네트워크(예를 들어, 155)를 통한 통신을 용이하게 하는 데 사용될 수 있다. 이러한 인프라 및 컴퓨팅 시스템을 통해서, 본 명세서에서 설명되는 예시, 기능 및 솔루션은 이러한 차량 내 컴퓨팅 시스템, 포그-기반 또는 에지 컴퓨팅 장치, 또는 클라우드-기반 컴퓨팅 시스템 중 하나 이상에 의해 완전히 수행될 수도 있고 혹은 시스템 사이의 통신 및 연계를 통해 이들의 조합에 의해 수행될 수 있다는 것을 이해할 것이다.
본 명세서에 개시된 "서버", "클라이언트", "컴퓨팅 장치", "네트워크 요소", "호스트", "플랫폼", "대형 장치", "에지 장치", "자율 주행 시스템", "자율 차량", "포그-기반 시스템", "클라우드-기반 시스템" 및 "시스템" 등은 일반적으로, 자율 주행 환경과 관련된 데이터 및 정보를 수신, 전송, 처리, 저장 또는 관리하도록 구성될 수 있는 전자 컴퓨팅 장치를 포함할 수 있다. 본 문서에서 사용되는 용어 "컴퓨터", "프로세서", "프로세서 장치" 또는 "처리 장치"는, CPU(central processing unit), GPU(graphical processing uni), ASIC(application specific integrated circuit), FPGA(field programmable gate array), DSP(digital signal processor), 텐서 프로세서 및 기타 행렬 산술 프로세서 등을 포함한 임의의 적절한 처리 장치를 망라하는 것으로 했다. 예를 들어, 환경 내에서 단일 장치로 표시된 요소는, 여러 서버 컴퓨터를 포함하는 서버 풀과 같은 복수의 컴퓨팅 장치 및 프로세서를 사용해서 구현될 수 있다. 또한, 컴퓨팅 장치의 전부 또는 일부는 리눅스, 유닉스, 마이크로소프트 윈도우, 애플 OS, 애플 iOS, 구글 안드로이드, 윈도우 서버 등을 포함한 모든 운영 체제 및 커스토마이즈된 운영 체제 및 독점 운영 체제를 포함한 특정 운영 체제의 실행을 가상화하도록 구성된 가상 머신을 실행하도록 조정될 수 있다.
이하에서 설명되거나 혹은 도면에 도시된 다양한 구성 요소들의 흐름, 방법, 처리(또는 그 일부) 또는 기능은 하나 이상의 모듈, 엔진, 블록, 유닛, 시스템 또는 기타 적절한 컴퓨팅 로직에 의해 수행될 수 있다. 본 명세서에서 "모듈", "엔진", "블록", "유닛", "모델", "시스템" 또는 "로직"을 언급한다는 것은, 하나 이상의 기능을 수행하는 하드웨어, 펌웨어, 소프트웨어 및/또는 각각의 조합을 가리킨다. 예를 들어, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은, 마이크로 컨트롤러 또는 프로세서에 의해 실행되도록 구성된 코드를 저장하는 비일시적 매체와 연관된 마이크로 컨트롤러 또는 프로세서와 같은 하나 이상의 하드웨어 구성 요소를 포함할 수 있다. 따라서, 일 실시예에서 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직을 언급한다는 것은, 비일시적 매체에 유지된 코드를 인식 및/또는 실행하도록 특별하게 구성된 하드웨어를 가리킬 수도 있다. 또한, 또 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직을 사용한다는 것은, 마이크로 컨트롤러 또는 프로세서에 의해 실행되어서 사전 결정된 동작을 수행하도록 특별히 구성된 코드를 포함하는 비일시적 매체를 가리킨다. 그리고, 또 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직이 하드웨어와 비일시적 매체의 조합을 지칭할 수 있다는 것도 추정할 수 있을 것이다. 다양한 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 소프트웨어 명령어를 실행하도록 구성될 수 있는 마이크로 프로세서 또는 기타 처리 요소, ASIC(application specific integrated circuit)과 같은 이산 로직, FPGA(field programmable gate array)과 같은 프로그래밍된 로직 장치, 명령어를 포함하는 메모리 소자, 로직 장치의 조합(예를 들어 인쇄 회로 기판에서 볼 수 있는) 또는 다른 적절한 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 예를 들어 트랜지스터에 의해 구현될 수 있는 하나 이상의 게이트 또는 다른 회로 구성 요소를 포함할 수 있다. 일부 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 완전히 소프트웨어로 구현될 수도 있다. 소프트웨어는 소프트웨어 패키지, 코드, 명령어, 명령어 세트 및/또는 비일시적 컴퓨터 판독 가능 저장 매체에 기록된 데이터로 구현될 수도 있다. 펌웨어는 메모리 장치에 하드 코딩된(예를 들어, 비휘발성) 코드, 명령어 또는 명령어 세트 및/또는 데이터로 구현될 수 있다. 또한, 개별적으로 설명되는 로직의 범주는 일반적으로 다양하며 잠재적으로는 중첩될 수도 있다. 예를 들어, 제 1 모듈 및 제 2 모듈(또는 여러 엔진, 블록, 장치, 모델, 시스템 또는 로직)은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 공유할 수 있지만 잠재적으로 일부 독립 하드웨어, 소프트웨어 또는 펌웨어를 유지할 수 있다.
이하 설명되며 첨부 도면에 도시된 흐름, 방법 및 처리는 단지 특정 실시예에서 수행될 수 있는 기능을 나타낸다. 다른 실시예에서, 흐름, 방법 및 프로세스에서 추가 기능이 수행될 수 있다. 본 개시의 다양한 실시예는 본 명세서에 설명 된 기능을 달성하기 위한 임의의 적절한 시그널링 메커니즘을 고려한다. 본 명세서에 설명되는 기능 중 일부는 필요에 따라서 흐름, 방법 및 프로세스 내에서 반복, 결합, 수정 또는 삭제될 수 있다. 나아가, 이들 기능은 특정 실시예의 범위를 벗어나지 않고 흐름, 방법 및 프로세스 내에서 임의의 적절한 순서로 수행될 수도 있다.
이하 도 2를 참조하며, 자율 주행 기능을 장착한 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)의 예시적인 구현예를 나타내는 개략 블록도(200)가 도시되어 있다. 일례로, 차량(105)에는 CPU(central processing unit), GPU(graphical processing uni), ASIC(application specific integrated circuit), FPGA(field programmable gate array), DSP(digital signal processor), 텐서 프로세서 및 기타 행렬 산술 프로세서 등과 같은 하나 이상의 프로세서(202)가 장착될 수 있다. 이러한 프로세서(202)는 하드웨어 가속기 장치(예를 들어, 204)에 연결되거나 이와 일체화될 수 있으며, 여기에는 머신 학습 추론 또는 트레이닝(이하 설명되는 임의의 머신 학습 추론 또는 트레이닝을 포함함), 특정 센서 데이터(예를 들어, 카메라 이미지 데이터, LIDAR 포인트 클라우드 등)의 처리, 자율 주행과 관련된 특정 산술 기능(예를 들어, 행렬 산술, 컨볼루션 산술 등)의 수행 등과 관련된 기능과 같은, 특정한 처리 및 메모리 액세스 기능을 가속화하기 위한 하드웨어가 제공될 수 있다. 하나 이상의 메모리 요소(예를 들어, 206)는 차량에 구현된 자율 주행 스택의 모듈 또는 로우 모듈 중 어느 하나의 전부 또는 일부를 구현하는 머신-실행 가능 명령어를 저장하고, 머신 학습 모델(예를 들어, 256), 센서 데이터(예를 들어, 258) 및 차량에 의해 수행될 자율 주행 기능과 관련하여 수신, 생성 또는 사용되는 (또는 본 명세서에서 설명되는 예 및 솔루션과 관련해서 사용되는) 기타 데이터를 저장하기 위해서, 제공될 수 있다. 차량의 시스템에 의해 사용되는 통신 기능을 구현해서 하나 이상의 네트워크 통신 기술을 사용하는 하나 이상의 네트워크 채널을 통해 다른 외부 컴퓨팅 시스템과 통신하도록, 하드웨어 회로 및/또는 소프트웨어로 구현되는 다양한 통신 모듈(예를 들어, 212)이 제공될 수도 있다. 이러한 다양한 프로세서(202), 가속기(204), 메모리 장치(206) 및 네트워크 통신 모듈(212)은, 특히, PCIe(Peripheral Component Interconnect Express), 이더넷, OpenCAPITM, Gen-ZTM, UPI, USB(Universal Serial Bus), CCIXTM(Cache Coherent Interconnect for Accelerators), AMDTM(Advanced Micro Device), InfinityTM, CCI(Common Communication Interface), 또는 퀄컴TM의 CentriqTM 상호 접속부와 같은 기술을 이용하는 패브릭과 같은 하나 이상의 상호 연결 패브릭 또는 링크(예를 들어, 208)를 통해 차량 시스템에서 상호 접속될 수 있다.
도 2의 예를 계속 참조하면, 예시적인 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)은, 하드웨어 및/또는 소프트웨어에서 자율 차량의 다른 예시적인 모듈 구현된 기능 중에서도, 차량 내 처리 시스템(210), 주행 제어(예를 들어, 220), 센서(예를 들어, 225) 및 사용자/승객 인터페이스(들)(예를 들어, 230)를 포함할 수 있다. 예를 들어, 차량 내 처리 시스템(210)은 일부 구현예에서 자율 주행 스택 및 프로세스 흐름의 전부 또는 일부를 구현할 수 있다(예를 들어, 도 5의 예에서 도시되고 설명되는 바와 같은). 자율 주행 스택은 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다. 본 명세서의 예에서 설명되는 바와 같이, 차량에 마련되는 또는 차량에 대해 구현되는 하나 이상의 자율 기능 및 특성과 관련하여 차량(105)에 제공되는 다양한 머신 학습 모델(예를 들어, 256)을 활용하기 위해서 머신 학습 엔진(232)이 제공될 수 있다. 이러한 머신 학습 모델(256)은 인공 신경망 모델, 컨볼루션 신경망, 의사 결정 트리-기반 모델, SVM(support vector machines), 베이지안 모델, 딥 러닝 모델 및 기타 예 모델을 포함할 수 있다. 일부 구현예에서, 예시적인 머신 학습 엔진(232)은 하나 이상의 머신 학습 모델(256)의 트레이닝(예를 들어, 초기 트레이닝, 연속 트레이닝 등)에 참여하기 위한 하나 이상의 모델 트레이너 엔진(252)을 포함할 수 있다. 다양한 추론, 예측, 분류 및 기타 결과를 도출하기 위해 트레이닝된 머신 학습 모델(256)을 활용하기 위해 하나 이상의 추론 엔진(254)이 제공될 수도 있다. 일부 실시예에서, 본 명세서에서 설명되는 머신 학습 모델 트레이닝 또는 추론은 컴퓨팅 시스템(140 또는 150)과 같이 차량 밖에서 수행될 수도 있다.
차량에 제공되는 머신 학습 엔진(들)(232)은, 자율 주행 스택 및 기타 자율 주행 관련 기능을 구현하는 차량 내 처리 시스템(210)의 다른 논리적 구성 요소 및 모듈이 사용할 결과를 지원하고 제공하기 위해 사용될 수 있다. 예를 들어, 데이터 수집 모듈(234)에는, 데이터가 수집될 소스를 결정하는 로직이 제공될 수 있다(예를 들어, 차량에 의해 사용되는 다양한 머신 학습 모델(256)의 트레이닝 또는 사용 시의 입력). 예를 들어, 특정 소스(예를 들어, 내부 센서(예를 들어, 225) 또는 외부 소스(예를 들어, 115, 140, 150, 180, 215 등))가 선택될 수 있을 뿐만 아니라, 데이터가 샘플링될 수 있는 빈도 및 신뢰도(frequency and fidelity)가 선택된다. 일부 경우에, 이러한 선택 및 구성은 하나 이상의 대응하는 머신 학습 모델을 사용해서 데이터 수집 모듈(234)에 의해 적어도 부분적으로 자율적으로 행해질 수 있다(예를 들어, 특정한 검출된 시나리오가 주어진 경우 적절하게 데이터를 수집하기 위해).
센서 융합 모듈(236)은 또한 머신 학습 엔진(232) 및 차량 내 처리 시스템의 기타 모듈(예를 들어, 238, 240, 242, 244, 246 등)에 의해 사용되는 다양한 센서 입력의 사용 및 처리를 제어하는 데 사용될 수 있다. 하나 이상의 센서 융합 모듈(예를 들어, 236)이 제공될 수 있으며, 이는 여러 센서 데이터 소스(예를 들어, 차량의 또는 차량 외부의)로부터의 출력을 유도할 수 있다. 소스는 동종 타입의 소스일 수도 있고, 또는 이종 타입의 소스(예를 들어, 공통 타입의 센서의 여러가지 인스턴스로부터의 다수의 입력 또는 여러가지 다른 타입의 센서의 인스턴스들로부터의 다수의 입력)일 수도 있다. 예시적인 센서 융합 모듈(236)은 다른 예시적인 센서 융합 기술 중에서, 직접 융합, 간접 융합을 적용할 수 있다. 센서 융합의 출력은 일부 경우에, 본 명세서에 개시된 예시적인 솔루션에서 설명되는 것과 같은, 자율 주행 기능 또는 다른 기능을 제공하는 것과 관련하여 차량 내 처리 시스템의 다른 모듈 및/또는 하나 이상의 머신 학습 모델로의 입력으로서 (잠재적으로 추가 입력과 함께) 공급될 수 있다.
일부 예에서 인식 엔진(238)이 제공될 수 있으며, 이는, 차량(105)이 마주친(또는 마주칠) 환경의 자율 인식에 대응하는 다른 예시적인 기능들 중에서, 일부 인스턴스에서 외부 소스 및/또는 센서 융합 모듈(236)로부터의 데이터를 포함하는 다양한 센서 데이터(예를 들어, 258)를 입력으로서 취해서 개체 인식 및/또는 검출된 개체의 추적을 수행할 수 있다. 인식 엔진(238)은, 하나 이상의 컨볼루션 신경망 및 다른 머신 학습 모델(256)을 통하는 것과 같이, 딥 러닝을 사용해서 센서 데이터 입력으로부터 개체 인식을 수행할 수 있다. 개체 추적은 또한, 센서 데이터 입력으로부터 개체가 움직이고 있는지 자율적으로 추정하고, 움직이고 있다면 어떤 궤적을 따라 움직이는지를 자율적으로 추정하도록 수행될 수 있다. 예를 들어, 해당 개체가 인식된 이후에, 인식 엔진(238)은 해당 개체가 차량에 대해서 어떻게 움직이는지 검출할 수 있다. 이러한 기능은, 다른 예시적인 용례 중에서, 차도 상의 차량의 경로에 영향을 미칠 수 있는, 환경 내에서 이동하는 다른 차량, 보행자, 야생 동물, 자전거 타는 사람 등과 같은 개체를 검출하는 데 사용될 수 있다.
위치 파악 엔진(240)은 또한 일부 구현예에서 차량 내 처리 시스템(210)에 포함될 수 있다. 일부 경우에, 위치 파악 엔진(240)은 인식 엔진(238)의 하위 구성 요소로서 구현될 수 있다. 위치 파악 엔진(240)은 또한 하나 이상의 머신 학습 모델(256) 및 센서 융합(예를 들어, LIDAR 및 GPS 데이터 등)을 사용해서, 주어진 물리적 공간(또는 "환경") 내에서 차량의 고 신뢰도 위치 및 차지하는 공간을 결정할 수 있다.
차량(105)은, 여러 장치(예를 들어, 추천 엔진(244)) 중에서, 데이터 수집 모듈(234), 센서 융합(236), 인식 엔진(238) 및 위치 파악 엔진(예를 들어, 240)과 같은 다양한 다른 모듈의 결과를 사용해서 차량의 경로 계획 및/또는 액션 계획을 결정할 수 있는 경로 플래너(242)를 더 포함할 수 있으며, 이는 주행 제어(예를 들어, 220)가 환경 내에서 차량(105)의 주행을 제어하는 데 사용될 수 있다. 예를 들어, 경로 플래너(242)는 이러한 입력 및 하나 이상의 머신 학습 모델을 이용해서, 주행 환경 내에서의 다양한 이벤트의 확률을 결정하여 환경 내에서 동작할 효과적인 실시간 계획을 결정할 수 있다.
일부 구현예에서, 차량(105)은 차량(105)의 자체 센서(예를 들어, 225)뿐만 아니라 외부 센서(예를 들어, 센서 장치(115, 180, 215) 등)에 의해 생성된 센서 데이터로부터 다양한 추천을 생성하기 위한 하나 이상의 추천 엔진(244)을 포함할 수 있다. 일부 추천은 추천 엔진(244)에 의해 결정될 수 있으며, 이는 이들 구성 요소에 의해 행해지는 결정에 영향을 미치는 차량의 자율 주행 스택의 다른 구성 요소에 대한 입력으로서 제공될 수 있다. 예를 들어, 추천이 경로 플래너(242)에 의해 고려될 때, 이 추천이 없다면 경로 플래너(242)가 통상적으로 행했을 판정이나 결정하는 계획으로부터 벗어나게 하는 추천이 결정될 수 있다. 승객의 편안함과 경험을 고려해서 추천 엔진(예를 들어, 244)에서 추천이 생성될 수도 있다. 일부 경우에는, 차량의 센서 및/또는 외부 센서 등에 의해 캡처되는 센서 데이터(예를 들어, 258)로부터 결정되는 이러한 추천에 기초해서, 차량 내부의 내부 기능이 예측에 따라(predictively) 및 자율적으로 조작될 수도 있다.
위에서 설명한 바와 같이, 일부 차량 구현예는 사용자/승객 경험 엔진(예를 들어, 246)을 포함할 수 있으며, 이는 센서 데이터 및 차량의 자율 주행 스택 내의 다른 모듈의 출력을 활용해서, 센서 데이터(예를 들어, 258)에 의해 캡처된 관찰에 기초해서 주행 기동을 변경하기 위해서 차량의 제어 유닛을 제어하고 차량 내의 승객의 경험을 향상시키도록 차량의 캐빈 환경의 변경에 영향을 미칠 수 있다. 일부 예에서, 사용자가 차량 및 그 자율 주행 시스템과 상호 작용할 수 있도록 차량에 제공되는 사용자 인터페이스(예를 들어, 230)의 측면들이 향상될 수 있다. 일부 경우에, 정보 프리젠테이션이 생성되고 사용자 디스플레이(예를 들어, 오디오, 시각적 및/또는 촉각 프리젠테이션)를 통해서 제공되어서 다른 예시적인 용도 중에서, 차량(예를 들어, 105) 내에서 승객 경험에 영향을 미치고 개선하는 것을 돕는다.
일부 경우에, 차량의 다양한 센서에 의해 수집된 정보를 모니터해서 차량의 자율 주행 시스템의 성능과 관련된 문제를 검출하는 시스템 관리자(250)가 제공될 수도 있다. 예를 들어, 시스템 관리자(250)에 의해서, 계산 에러, 센서 중단 및 문제, 통신 채널의 가용성 및 품질(예를 들어, 통신 모듈(212)를 통해 제공됨), 차량 시스템 체크(예를 들어, 모터, 변속기, 배터리, 냉각 시스템, 전기 시스템, 타이어와 관련된 문제 등), 또는 다른 동작 이벤트가 검출될 수 있다. 이러한 문제는 시스템 관리자(250)에 의해 생성되는 시스템 보고 데이터에서 식별될 수 있으며, 이는 일부 경우에 머신 학습 모델(256) 및 관련 자율 주행 모듈(예를 들어, 232, 234, 236, 238, 240, 242, 244, 246 등)로의 입력으로서 사용되어서, 차량(105)의 자율 주행 기능에서 센서 데이터(258)에서 수집된 다른 정보와 함께 차량 시스템 상태 및 문제가 고려될 수 있게 한다.
일부 구현예에서, 차량(105)의 자율 주행 스택은, 조향 제어(예를 들어, 260), 가속기/스로틀 제어(예를 들어, 262), 제동 제어(예를 들어, 264), 시그널링 제어(예를 들어, 266) 등을 포함한, 차량이 주행되는 방법에 영향을 미칠 수 있다. 경우에 따라서, 차량은 사용자 입력에 기초해서 전체적으로 또는 부분적으로 제어될 수 있다. 예를 들어, 사용자 인터페이스(예를 들어, 230)는 인간 운전자가 자율 주행 시스템(예를 들어, 핸드오버 또는 후속하는 운전자 지원 조치)을 제어할 수 있게 하는 주행 제어(예를 들어, 물리적 조향 휠 또는 가상 조향 휠, 가속기, 브레이크, 클러치 등)를 포함할 수 있다. 음성 검출(292), 제스처 검출 카메라(294) 및 다른 예와 같은 다른 센서가, 사용자/승객 입력을 수용하기 위해 사용될 수 있다. 사용자 인터페이스(예를 들어, 230)는 승객-사용자의 요구 및 의도를 포착할 수 있고, 차량(105)의 자율 주행 스택은 이를 차량의 주행을 제어할 때의(예를 들어, 주행 제어(220)) 추가 입력으로서 간주할 수 있다. 일부 구현예에서, 승객이 밖의(external) 장치(예를 들어, 스마트 폰 또는 태블릿)를 사용해서 주행 방향 또는 제어를 제공하는 경우 또는 원격 발레 파킹 서비스의 경우와 같이, 주행 제어가 밖의 컴퓨팅 시스템에 의해 관리될 수도 있으며, 다른 예시적인 구현들 중에서, 밖의 운전자 또는 시스템이 (예를 들어, 비상 이벤트에 기초하여) 차량의 제어를 인수할 수도 있다.
위에서 설명된 바와 같이, 차량의 자율 주행 스택은 차량에 및 차량 밖에 마련된 다양한 센서에 의해 생성된 다양한 센서 데이터(예를 들어, 258)를 활용할 수 있다. 예를 들어, 차량(105)은 차량 외부 및 주변 환경, 차량 시스템 상태, 차량 내의 컨디션 및 차량의 처리 시스템(210)의 모듈에 의해 사용 가능한 기타 정보와 관련된 다양한 정보를 수집하기 위해서, 센서 어레이(225)를 보유할 수 있다. 예를 들어, 이러한 센서(225)는 여러 센서 중에서 글로벌 포지셔닝(GPS) 센서(268), 광 검출 및 거리 측정(LIDAR) 센서(270), 2 차원(2D) 카메라(272), 3 차원(3D) 또는 스테레오 카메라(274), 음향 센서(276), IMU(inertial measurement unit) 센서(278), 열 센서(280), 초음파 센서(282), 바이오 센서(284)(예를 들어, 얼굴 인식, 음성 인식, 심박수 센서, 체온 센서, 감정 감지 센서 등), 레이더 센서(286), 날씨 센서(미도시)를 포함할 수 있다. 이러한 센서는 조합해서 사용됨으로써, 여러 예들 중에서 차량이 운행하는 환경(예를 들어, 날씨, 장애물, 교통, 도로 상태 등), 차량 내 승객(예를 들어, 승객 또는 운전자 의식 또는 경보, 승객의 편안함 또는 기분, 승객의 건강 또는 생리적 조건 등), 차량의 기타 내용(예를 들어, 패키지, 가축, 화물, 수하물 등), 차량의 하위 시스템의 다양한 속성 및 컨디션을 결정할 수 있다. 센서 데이터(258)는 또한(혹은 그 대신에) 다른 차량(예를 들어, 115)의 센서를 포함한, 차량에 일체로 연결되지 않은 센서(이는 차량 간 통신이나 또는 다른 기술을 통해 차량(105)에 통신될 수 있음), 지상 기반 또는 공중 드론(180)의 센서, 차량(105) 내부 또는 외부의 인간 사용자에 의해 운반되는 사용자 장치(215)(예를 들어, 스마트 폰 또는 웨어러블)의 센서, 및 도로변 유닛(예를 들어, 140), 도로 표지판, 신호등, 가로등 등과 같은 다른 도로변 요소에 장착되거나 여기에 마련된 센서에 의해 생성될 수도 있다. 이러한 외부 센서 장치로부터의 센서 데이터는, 여러 다른 예시적인 구현들 중에서, 센서 장치로부터 차량으로 직접 제공될 수도 있고, 데이터 집계 장치를 통해 제공되거나 다른 컴퓨팅 시스템(예를 들어, 140, 150)에 의해 이들 센서에 기초해서 생성된 결과로서 제공될 수도 있다.
일부 구현예에서, 자율 차량 시스템은 차량(105)의 자율 주행 기능을 향상, 활성화 또는 지원하기 위해서, 다른 컴퓨팅 시스템에 의해 제공되는 정보 및 서비스와 인터페이스하고 이를 활용할 수 있다. 일례로, 일부 자율 주행 특성(본 명세서에서 설명되는 예시적인 솔루션의 일부를 포함한)은 서비스, 컴퓨팅 로직, 머신 학습 모델, 데이터 또는 차량 밖의 컴퓨팅 시스템의 다른 리소스를 통해 인에이블될 수도 있다. 이러한 밖의 시스템을 차량에서 사용할 수 없는 경우, 이러한 특성은 적어도 일시적으로 비활성화될 수도 있다. 예를 들어, 밖의 컴퓨팅 시스템이 제공되고 활용될 수도 있으며, 이는 도로변 유닛 또는 포그-기반 에지 장치(예를 들어, 140), 기타(예를 들어, 상위 레벨) 차량(예를 들어, 115) 및 클라우드-기반 시스템(150)(예를 들어, 다양한 네트워크 액세스 포인트(예를 들어, 145)를 통해 액세스 가능한)에서 호스팅된다. 도로변 유닛(140) 또는 클라우드-기반 시스템(150)(또는 차량(예를 들어, 105)이 인터렉트하는 다른 연계 시스템은, 잠재적인 추가 기능 및 로직과 함께 예시적인 차량 내 처리 시스템(예를 들어, 210)에 속하는 것으로 도시된 로직의 일부 또는 전부를 포함할 수 있다. 예를 들어, 클라우드-기반 컴퓨팅 시스템, 도로변 유닛(140) 또는 다른 컴퓨팅 시스템은 모델 트레이닝 및 추론 엔진 로직 중 하나 또는 모두를 지원하는 머신 학습 엔진을 포함할 수 있다. 예컨대, 이러한 밖의 시스템은 더 하이엔드인 컴퓨팅 리소스 및 더 발전된 혹은 최신인 머신 학습 모델을 보유할 수 있으며, 이 경우 이러한 서비스는 차량의 처리 시스템(210)에서 기본적으로 생성되는 것보다 우수한 결과를 제공할 수 있다. 예를 들어, 차량 내 처리 시스템(210)은 특정한 태스크 및 특정 시나리오 핸들링을 위해 클라우드 기반 서비스를 통해 제공되는 머신 학습 트레이닝, 머신 학습 추론 및/또는 머신 학습 모델에 의존할 수도 있다. 실제로, 차량(105)에 속하는 것으로 설명되고 도시된 모듈 중 하나 이상은 일부 구현예에서, 자율 주행 환경을 지원하는 클라우드-기반, 포그-기반 또는 다른 컴퓨팅 시스템 내에서 대안으로 또는 여분으로 제공될 수도 있다.
본 명세서의 다양한 실시예는 자율 차량 스택의 기능(또는 본 명세서에 설명된 다른 기능)을 수행하는데 하나 이상의 머신 학습 모델을 이용할 수 있다. 머신 학습 모델은 컴퓨팅 시스템에 의해 실행되어서 특정 동작의 성능을 점진적으로 향상시킬 수 있다. 일부 실시예에서, 머신 학습 모델의 파라미터는 트레이닝 단계 동안 트레이닝 데이터에 기초해서 조정될 수 있다. 트레이닝된 머신 학습 모델은 추론 단계에서 이후 입력 데이터에 기초해서 예측 또는 판정을 행하는 데 사용될 수 있다.
본 명세서에서 설명되는 머신 학습 모델은 임의의 적절한 형태를 취할 수도 있으며, 임의의 적절한 기술을 사용할 수 있다. 예를 들어, 임의의 머신 학습 모델은 지도 학습, 준지도 학습, 비지도 학습 또는 강화 학습 기술을 사용할 수 있다.
지도 학습에서, 모델은 입력 및 대응하는 소망의 출력을 모두 포함하는 학습 데이터 세트를 사용해서 구축될 수 있다. 각각의 트레이닝 인스턴스는 하나 이상의 입력 및 소망의 출력을 포함할 수 있다. 트레이닝은 트레이닝 인스턴스를 반복하는 것 및 신규 입력에 대한 출력을 예측하도록 모델을 가르치는 목적 함수를 사용하는 것을 포함할 수 있다. 준지도 학습에서는, 트레이닝 세트의 입력 중 일부는 소망의 출력을 누락할 수도 있다.
비지도 학습에서, 모델은, 입력만 포함하고 소망의 출력은 포함하지 않는 데이터 세트로 구축될 수 있다. 비지도 모델은 데이터의 패턴을 발견함으로써 데이터의 구조(예를 들어, 데이터 포인트의 그룹화 또는 클러스터링)를 찾는 데 사용될 수 있다. 비지도 학습 모델에서 구현될 수 있는 기술은 예를 들어, 자기 조직화 맵(self-organizing map), 최근접 이웃(nearest-neighbor) 매핑, k-평균 클러스터링 및 특이 값 분해를 포함한다.
강화 학습 모델에는 정확도를 높이기 위해 긍정 피드백 혹은 부정 피드백이 주어질 수 있다. 강화 학습 모델은 하나 이상의 타깃/보상을 최대화하려고 시도할 수 있다. 강화 학습 모델에서 구현될 수 있는 기술은 예를 들어 Q-학습, 시간차(TD) 및 심층 적대적(deep adversarial) 네트워크를 포함할 수 있다.
본 명세서에서 설명되는 다양한 실시예는 하나 이상의 분류 모델을 이용할 수 있다. 분류 모델에서, 출력은 제한된 값의 세트로 제한될 수 있다. 분류 모델은 하나 이상의 입력 값의 입력 세트에 대한 클래스를 출력할 수 있다. 본 명세서에서 분류 모델을 언급한다는 것은 예를 들어, 선형 분류기(예를 들어, 로지스틱 회귀 또는 나이브 베이즈 분류기(Naive Bayes Classifier)), 지원 벡터 머신, 결정 트리, 부스트 트리, 랜덤 포레스트, 신경 네트워크 또는 최근접 이웃 중 하나 이상을 구현하는 모델을 고려할 수 있다.
본 명세서에서 설명되는 다양한 실시예는 하나 이상의 회귀 모델을 사용할 수 있다. 회귀 모델은 하나 이상의 값의 입력 세트에 기초해서 연속 범위에서 숫자 값을 출력할 수 있다. 본 명세서에서 회귀 모델을 참조한다는 것은 예를 들어, 선형 회귀, 결정 트리, 랜덤 포레스트 또는 신경망과 같은 기술(또는 다른 적절한 기술) 중 하나 이상을 구현하는 모델을 고려할 수 있다.
다양한 실시예에서, 본 명세서에서 설명되는 임의의 머신 학습 모델은 하나 이상의 신경망을 이용할 수 있다. 신경망은 시냅스로 접속된 대규모 뉴런 클러스터를 포함하는 생물학적 뇌의 구조를 따라 대략적으로 모델링된 신경 유닛의 그룹을 포함할 수 있다. 신경망에서, 신경 유닛은 링크를 통해 다른 신경 단위에 접속되며, 링크는 흥분(excitatory) 혹은 억제(inhibitory)되어서 신경 유닛의 활성화 상태에 미친다. 신경 유닛은 그 입력 값을 사용해서 신경 유닛의 막 전위를 업데이트하는 기능을 수행할 수 있다. 신경 유닛은, 신경 유닛과 관련된 임계값이 초과되면, 접속된 신경 유닛에 스파이크 신호를 전파할 수 있다. 신경망은, 컴퓨터 비전 태스크, 음성 인식 태스크, 또는 다른 적절한 컴퓨팅 태스크와 같은, 다양한 데이터 처리 태스크(자율 차량 스택에 의해 수행되는 태스크를 포함)을 수행하도록 트레이닝되거나 혹은 적응될 수 있다.
도 3은 특정 실시예에 따른 신경망(300)의 예시적인 부분을 도시한다. 신경망(300)은 신경 유닛(X1~X9)을 포함한다. 신경 유닛(X1~X9)은 각각 1차 입력(I1~I4)(신경망(300)이 출력을 처리하는 동안에 일정하게 유지될 수 있음)을 수신하는 입력 신경 유닛이다. 적절한 1차 입력이 사용될 수 있다. 일례로, 신경망(300)이 이미지 처리를 수행할 때, 1차 입력 값은 이미지로부터의 픽셀의 값일 수 있다(그리고 1차 입력의 값은 이미지가 처리되는 동안 일정하게 유지될 수 있다). 다른 예로서, 신경망(300)이 음성 처리를 수행할 때, 특정 입력 신경 유닛에 적용되는 1차 입력 값은 입력 음성의 변화에 기초해서 시간이 지남에 따라 변경될 수 있다.
특정한 토폴로지 및 접속 방식이 도 3에 도시되어 있지만, 본 개시 내용의 교시는 임의의 적절한 토폴로지 및/또는 접속을 가진 신경망에서 사용될 수 있다. 예를 들어, 신경망은 피드포워드 신경망, 순환 네트워크, 또는 신경 유닛 사이의 적절한 접속을 가진 다른 신경망일 수 있다. 다른 예로서, 신경망이 입력 계층, 은닉 계층 및 출력 계층을 갖는 것으로 도시되어 있지만, 도시된 실시예에서 신경망은 임의의 적절한 방식으로 배열된 임의의 적절한 계층을 가질 수 있으며, 두 신경 유닛 사이의 각 링크는 두 신경 유닛 사이의 관계의 강도를 나타내는 시냅스 가중을 갖는다. 시냅스 가중은 WXY로 표시되며, 여기서 X는 시냅스 전(pre-synaptic) 신경 유닛을 나타내고 Y는 시냅스 후(post-synaptic) 신경 유닛을 나타낸다. 신경 유닛 사이의 링크는 흥분 혹은 억제되어서 접속된 신경 유닛의 활성화 상태에 미친다. 예를 들어, X1에서 X5로 전파되는 스파이크는 W15 값에 따라 X5의 멤브레인 전위를 증가 또는 감소시킬 수 있다. 다양한 실시예에서, 이 접속은 지시될 수도 있고 지시되지 않을(undirected) 수도 있다.
다양한 실시예에서, 신경망의 각 시간 단계 동안, 신경 유닛은 각각의 시냅스를 통해 신경 유닛에 접속되는 하나 이상의 신경 유닛(이 신경 유닛의 세트를 신경 유닛의 팬-인 신경 유닛(fan-in neural unit)이라고 함)으로부터, 바이어스 값 또는 하나 이상의 입력 스파이크와 같은, 임의의 적절한 입력을 수신할 수 있다. 신경 유닛에 적용되는 바이어스 값은 입력 신경 유닛에 적용되는 1차 입력의 함수 및/또는 신경 유닛에 적용되는 일부 다른 값(예를 들어, 신경망의 트레이닝 또는 다른 동작 동안에 조정될 수 있는 상수 값)일 수 있다. 다양한 실시예에서, 각각의 신경 유닛은 자신의 바이어스 값과 연관될 수도 있고, 바이어스 값이 다수의 신경 유닛에 적용될 수도 있다.
신경 유닛은 입력 값 및 현재 멤브레인 전위를 이용해서 기능을 수행할 수 있다. 예를 들어, 이 입력이 신경 유닛의 현재 멤브레인 전위에 추가되어서 업데이트된 멤브레인 전위를 생성할 수 있다. 다른 예로서, 시그모이드 전달(sigmoid transfer) 함수와 같은, 비선형 함수가 입력 및 현재 멤브레인 전위에 적용될 수 있다. 다른 적절한 기능이 사용될 수 있다. 이후 신경 유닛은 함수의 출력에 기초해서 멤브레인 전위를 업데이트한다.
도 4를 참조하면, 다양한 차량에서(예를 들어, 이들의 대응하는 차량 내 컴퓨팅 시스템에 의해) 지원될 수 있는, 자율 주행의 예시적인 레벨을 나타내는 개략 블록도(400))가 도시되어 있다. 예를 들어, 레벨의 범위가 정의될 수 있으며(예를 들어 , L0-L5(405~435)), 레벨 5(L5)는 최고 레벨의 자율 주행 기능(예를 들어, 완전 자동화)을 구비한 차량에 대응하고, 레벨 0(L0)은 최저 레벨의 자율 주행 기능(예를 들어, 자동화 없음)에 대응한다. 예를 들어, L5 차량(예를 들어, 435)은, 극한의 도로 상태 및 날씨를 포함한, 인간 운전자가 제공하는 것과 같거나 혹은 더 양호한 모든 주행 시나리오에서 자율 주행 성능을 제공할 수 있는 완전 자율 컴퓨팅 시스템을 보유할 수 있다. L4 차량(예를 들어, 430)은 또한 완전 자율 주행으로 간주될 수 있으며 안전에 중요한 주행 기능을 자율적으로 수행해서, 출발지부터 목적지까지의 전체 경로에서의 차도 상태를 효과적으로 모니터할 수 있다. L4 차량은, L4의 자율 기능이, 모든 주행 시나리오를 포함하지 않을 수 있는 차량의 "동작 설계 영역"의 한계 내에서 정의된다는 점에서, L5 차량과는 다를 수 있다. L3 차량(예를 들어, 420)은 일련의 특정 교통 및 환경 조건에서는 안전에 중요한 기능을 차량으로 완전히 시프트하는 자율 주행 기능을 제공하지만, 여전히 다른 모든 시나리오에서 주행을 핸들링하는데 인간 운전자가 계약(engagement)과 이용 가능성을 예상할 것이다. 따라서, L3 차량은 인간 운전자로부터 자율 주행 스택으로 그리고 그 반대로의 제어의 전송을 조율하기 위해 핸드 오버 프로토콜을 제공할 수 있다. L2 차량(예를 들어, 415)은 운전자 지원 기능을 제공하는데, 이는 운전자가 물리적으로 차량을 조작하는 것으로부터 종종 계약 해제(disengage)시켜서, 운전자의 손과 발이 모두 주기적으로 차량의 물리적 제어로부터 계약 해제될 수 있게 된다. L1 차량(예를 들어, 410)은 하나 이상의 특정 기능(예를 들어, 조향, 제동 등)의 운전자 지원은 제공하지만, 차량의 대부분의 기능에 대해서는 지속적인 운전자 제어가 요구된다. L0 차량은 자율 주행이 아닌 것으로 간주될 수 있으며, 운전자는 차량의 모든 주행 기능을 제어한다(그러나 이러한 차량은 센서 데이터를 상위 레벨 차량에 제공하는 것, 센서 데이터를 사용해서 GPS 및 차량 내 인포테인먼트(infotainment) 서비스를 향상시키는 것 등과 같이, 자율 주행 환경 내에서 수동적으로 참여할 수 있음). 일부 구현예에서, 단일 차량은 다수의 자율 주행 레벨에서의 동작을 지원할 수 있다. 예를 들어, 운전자는 주어진 여정 동안에 어떤 지원되는 자율성의 레벨(예를 들어, L4 또는 로우 레벨)이 사용될지를 제어하고 선택할 수 있다. 다른 경우에는 차량은, 차도 또는 차량의 자율 주행 시스템에 영향을 미치는 조건에 기초해서, 레벨 사이에서 자율적으로 전환될 수 있다. 예를 들어, 하나 이상의 센서가 손상되었다는 것을 검출하는 것에 응답해서, L5 또는 L4 차량은, 다른 예들 중에서도, 센서 문제를 감안해서 인간 승객을 참여시키도록 낮은 모드(예를 들어, L2 이하)로 전환될 수 있다.
도 5는 일부 자율 주행 시스템에서 구현될 수 있는 예시적인 자율 주행 흐름을 나타내는 개략 블록도(500)이다. 예를 들어, 자율(또는 반 자율) 차량에서 구현되는 자율 주행 흐름은 감지 및 인식 단계(505), 계획 및 판정 단계(510) 및 제어 및 액션 단계(515)를 포함할 수 있다. 감지 및 인식 단계(505) 동안, 다양한 센서에 의해 데이터가 생성되어서 자율 주행 시스템에서 사용하기 위해 수집된다. 경우에 따라 데이터 수집은, 데이터 필터링 및 밖의 소스로부터의 센서 수신을 포함할 수 있다. 이 단계는 센서 융합 동작, 객체 인식, 및 하나 이상의 머신 학습 모델을 사용해서 수행되는 위치 파악과 같은 기타 인식 동작도 포함할 수 있다. 계획 및 결정 단계(510)는 센서 데이터 및 다양한 인식 동작의 결과를 사용해서, 차도 도로(들)의 확률적 예측을 수행하고 이러한 예측에 기초해서 실시간 경로 계획을 결정할 수 있다. 계획 및 결정 단계(510)는 장애물 및 기타 이벤트의 검출에 반응해서 경로 계획과 관련된 판정을 행하는 것을 더 포함해서, 이들 이벤트를 감안해서 결정된 경로를 안전하게 네비게이트하기 위해서 어떤 조치를 취해야 하는지 여부를 결정할 수 있다. 경로 계획과 계획 및 결정 단계(510)의 결정에 기초하여, 제어 및 액션 단계(515)는 액추에이터를 통해서 이러한 결정을 동작으로 변환해서, 조향, 가속 및 제동을 포함한 주행 제어뿐만 아니라 방향 지시등, 센서 클리너, 전방 유리 와이퍼, 헤드 라이트 등과 같은 보조 제어를 조작할 수 있다.
더 하이 레벨의 자율 주행 차량에서, 자율 주행 스택을 구현하는 차량 내 처리 시스템은 차량 승객의 직접 입력 없이도, 차량의 센서에 의해 자동으로 수집된 데이터, 다른 차량 또는 인근 인프라(예를 들어, 도로변 센서 및 카메라 등)로부터의 데이터 및 지리 및 차량이 취할 수 있는 경로의 맵을 나타내는 데이터(예를 들어, 맵 데이터)를 입력으로서 취할 수 있는 머신 학습 모델을 포함한 모델의 적용에 의존하지 않고도 차량의 시스템을 사용해서 주행 판정이 행해지고 제어될 수 있다. 자율 차량의 시스템에 의존하는 모델은, 다른 이전의 트립(차량 또는 다른 차량에 의한)을 나타내는 데이터 세트에 대한 트레이닝을 통해 개발될 수도 있으며, 이 트립의 실측 자료는 차량의 관점 및 센서를 통해 관찰 혹은 검지한 결과에 기초할 수도 있다. 일부 구현예에서, 자율 차량의 "성공"은 머신-중심적일 수도 있고, 혹은 지나치게 실용적이고-합법적으로(pragmatic-rightfully) A 지점에서 B 지점까지의 안전하고 신뢰할 수 있는 운송을 제공하는 것에 초점을 맞출 수 있으며, 동시에 승객의 고유의 선호도 및 가변적인 인간 상황에 잠재적으로 불가지론적이다(agnostic). 예를 들어, 자율 차량에는 다양한 센서가 장착되어 있지만, 이러한 센서는 주로 주변 차량과 장애물 및 교통 이벤트를 검출하는 것과 같은, 차량 안전에 주로 초점을 맞추어서, 전통적인 검지-계획-액션 자율 주행 파이프라인 내에서 안전하고 신뢰할 수 있는 경로 계획 및 판정을 결정하는 데 도움을 준다. 기존 구현예에서, 승객 경험 및 승객 경험을 향상시키기 위해 자율 주행 모드에 영향을 미치는 추천은 일반적으로 부족하다. 이러한 견지에서, 인간 주행 차량은, 인간 운전자가 운전자 및 이들의 승객에게 영향을 미치는 인간 컨텍스트를 더 잘 인식할 수 있기 때문에, 인간 운전자가 승객에게 더 양호한 경험(예를 들어, 다른 조정 중에서 가속, 조향 및 제동 스타일을 조정하는 것; 승객이 차를 손상시키거나 긴장시키는 도로를 피하는 것(예를 들어, 차량에 어떤 승객이 탑승했는지, 어디에 착석했는지, 외부 날씨 등에 기초해서))을 제공하기 위해 주행 스타일을 조정할 수 있도록, 더 많은 승객-의식 여행 경험 및 인간-의식 여행 경험을 제공할 수 있다. 인간 주행의 이러한 나머지 장점은 자율 차량의 광범위한 채택을 방해하는 또 다른 장애물로 작용할 수 있다.
일부 구현예에서, 자율 차량에는 차량에 상주하는 컴퓨팅 하드웨어, 펌웨어 또는 소프트웨어를 사용하여 구현된 추천 시스템이 제공될 수 있으며(예를 들어, 차량의 차량 내 컴퓨팅 시스템에서 구현되거나 이를 사용해서), 이는 차량 상에 및 차량 내부에 제공된 센서를 활용해서 승객 컨텍스트 및 선호도를 검출하고, 성능, 선택 경로 및 차량의 내부 환경 설정을 조정해서 이들 승객 이벤트 및 속성을 처리할 수 있도록 자율 차량의 기능을 개선한다. 예를 들어, 차량의 핵심적인 주행 자율 기능을 지원하기 위해 원래 제공된 센서는 차량의 내부 및 외부의 환경 속성뿐만 아니라 차량 내 승객의 속성을 검츨하는 데 활용될 수 있다. 또한, 입력 세트를 개선하기 위해서 추가 센서가 제공될 수 있으며, 이는 핵심 자율 경로 계획 및 의사 결정뿐만 아니라, 승객에게 개선되고 커스토마이징된 사용자 경험을 제공할 때에도 고려될 수 있다. 따라서 추천 시스템은 자율 주행 파이프라인에 연관되어서 유사한 입력을 사용하여 승객의 불편함이나 문제의 사례를 방지하고 긍정적인 승객 경험을 보장하는 시도를 할 수 있다. 추천 시스템은 차량의 주행 거동에 영향을 미치는 것 이외에도, 승객 경험을 향상시키는 차량 캐빈의 기능을 가동시킬 수도 있다(예를 들어, 창문 열기, 환기 제공, 공기 필터링 제공, 조명 조정, 디스플레이 화면 위치 동적 조정, 좌석 위치 동적 조정, 오디오 레벨 조정 등). 이러한 조정은 차량 주변 환경이나 승객 캐빈에서 검출된 속성 및 이벤트에 반응한 것일 수 있다.
도 6에 도시된 개략 블록도로 돌아가서, 자율 차량의 하드웨어 및/또는 소프트웨어에 제공된 모듈은 환경 검지(605)(여기서 데이터는 차량에 제공된 및/또는 차량을 둘러싼 환경 내의 센서 제품군으로부터 샘플링됨), 센서 데이터에 기초하여 환경 내에서의 경로 계획 또는 기동의 계획(610) 및 차량의 기구가 계획된 경로 또는 기동을 수행하게 하는 액션(615)을 포함하는 자율 주행 파이프라인을 구현한다. 일부 구현예에서, 추천 시스템(620)은 자율 주행 파이프라인(605, 610, 615)에 연결될 수 있다. 일부 구현예에서, 추천 시스템(620)은 핵심 자율 주행 파이프라인에서 주로 사용되는 센서뿐만 아니라 차량 밖의 및/또는 내부의 추가 센서로부터 수집된 정보를 활용해서, 승객 경험에 영향을 미칠 수 있는 조건에 관한 정보를 수집할 수 있다. 예를 들어, 파이프라인의 검지 단계(605)는 기상 상태, 알레르겐 레벨, 밖의 온도, 노면 상태(예를 들어, 젖음, 먼지, 클리어, 염분 등), 도로 특성(예를 들어, 곡률, 제방, 경사 등), 고도, 습도, 어두움, 태양 각도, 광 조건 등과 같은 승객 경험에 영향을 미칠 수 있는 밖의 환경 조건에 대한 차량의 밖의 센서로부터의 정보를 갖도록 확장될 수 있다. 나아가, 차량 내에 위치된 센서는 또한 파이프라인의 검지 단계(605)에 기여해서, 다른 예 중에서, 승객의 생체(예를 들어, 눈 추적, 체온, 심박수, 체온, 자세, 감정 등)와 같은 정보를 제공하고; 승객의 신원을 식별하며; 승객이 상호 작용하는 차량의 기구, 스크린, 좌석 및 기타 물리적 구성 요소의 위치를 검출하고; 차량 캐빈의 대기 상태를 검지할 수 있다.
도 6의 예에 도시된 수정된 파이프라인에서, 추천 시스템 단계(620)는 확장된 검지 단계 정보에 대한 센서 정보 융합을 수행하고, 승객 경험을 향상시키고 승객의 불편을 완화하기 위해 여러 형태를 취할 수 있는 추천을 계획 단계(610)에 전송한다. 계획 단계(610)는 추천 시스템(620)에 의해 제공되는 추천을 고려해서, 계획 단계(610)에 의해 결정된 계획을 보강할 수 있다.
추천 시스템(620)은 또한 차량 내 장치의 동작을 보강 혹은 지시하는 데 사용될 수 있으며, 이는 차량이 차량 내 환경 조정 단계(625)를 통해 이동 중인 동안 사용자에 의해 사용될 수 있다. 예시적으로, 곡선 도로에서는, 승객이 VR/AR 헤드셋을 사용하고 있다는 것이 검출될 수 있으며, 자율 차량은 헤드셋 내부의 화면이 기울어지도록 헤드셋에 신호를 보내서 시각적으로 조정해서 보다 부드러운 승차감과 시청 경험을 제공할 수 있다. 차량 내에서 멀미에 걸리기 쉬운 것으로 검출된 승객의 경우, 휘어진 혹은 구부러진 도로에서는 차량이 공기 유입을 자동화하도록 촉구하고 승객이 눈을 앞쪽으로 향하도록 경고하는 등의 대응적 액션을 제공할 수 있다. 또 다른 예로서, 승객이 휴대하거나 차량 내에 제공되는 생체 모니터(예를 들어, 심박수 또는 호흡 모니터)는 승객이 경험하는 호흡 곤란을 검출하는 데 사용될 수 있으며, 추가 센서로부터 또는 알레르겐 상태를 식별하는 데이터로부터 호흡 곤란이 알레르기 레벨과 관련이 있으며 알레르겐 레벨로 인해서 천식 발작을 자동으로 유발한다고 결론을 내릴 수 있다. 검출되면, 다른 예 중에서도 자동차 내부의 HEPA 필터 공기 정화를 트리거할 수 있다.
앞선 예들로부터 자명한 바와 같이, 차량의 추천 시스템에 의해 사용되는 센서들은, 차량과 통합되지 않은 혹은 원래 제공되지 않은 일부 센서를 포함할 수도 있다. 예를 들어, 웨어러블 장치, 스마트폰, 미디어 플레이어 및 사용자가 휴대하거나 혹은 차량 내에 애프터 마켓 배치된 기타 장치는 센서를 포함하고, 자율 주행 파이프라인을 구현하는 차량 내 컴퓨팅 시스템과 통신하여, 이들에 의해 수집된 데이터를 검지 단계(605)에서 제공할 수 있다. 유사하게, 추천 시스템(620)의 출력은 차량의 통합 구성 요소의 액션을 트리거할뿐만 아니라 외부 장치(예를 들어, 스마트 폰, AR/VR 헤드셋, 웨어러블 장치, 애프터 마켓 구성 요소 등)를 트리거하기 위해 제공될 수 있다.
도 7을 참조하면, 추천 시스템의 논리적 표현을 나타내는 개략 블록도(700)가 도시되어 있다. 일반적으로, 전술한 바와 같이 다양한 센서(705)가 제공될 수 있고, 이들 센서로부터 생성된 데이터는 센서 융합/의사 결정 블록(735)에 제공될 수 있다. 승객 모니터링 센서(710)가 또한 제공될 수 있다. 이러한 센서는 차량 내 특정 승객을 생체 인식하는 데 사용할 수 있다. 일부 구현예에서, 개별 승객을 검출함으로써 추천 시스템은 해당 승객의 선호도 및 속성 데이터에 액세스할 수 있으며, 이는 추천 시스템에 의한 고려에서도 사용될 수 있다. 차량 및 환경 센서(예를 들어, 705)와 마찬가지로, 다수의 서로 다른 생체 인식 및 승객 모니터링 센서(예를 들어, 710)가 제공될 수 있으며, 이러한 센서로부터 생성된 데이터는 센서 융합/의사 결정 로직(735)을 사용해서 통합적으로 처리될 수 있다. 이 정보는 승객 경험을 향상시키기 위해 자율 차량의 자율 주행 및 경로 계획 액션을 보강하고 향상시키는 데 사용된다. 센서 융합 로직(예를 들어, 753)은 또한 캐빈 내(in-cabin) 서비스를 제공하고 자율 주행 시스템과 직접 관련되지 않은 캐빈 기구(예를 들어, 720)를 조정하는 데 사용될 수 있지만 그럼에도 불구하고 사용자 경험과 편안함을 강화시키는 것을 지원할 수 있다.
도 7에 도시된 이 특정 예에서, 추천 시스템은 공기 중 알레르겐에 대한 알레르기로 고통받는 특정 사용자를 돕는데 사용될 수 있다. 예를 들어, 센서(705)는 알레르겐 센서(725)를 포함할 수 있으며, 이는 차량의 캐빈 공기 또는 차량 외부의 대기 중 알레르겐의 존재 및 농도를 검출할 수 있다. 차량 내 특정 사용자를 식별하기 위해 생체 인식 모니터(예를 들어, 710)가 제공될 수 있으며, 이로부터 알레르기, 천식 또는 특정 알레르겐에 대한 기타 감도와 관련된 경고를 포함하여, 개인 속성 정보가 획득될 수 있다. 이 예에서, 승객 모니터/센서(710)는 차량 내 승객의 심박수의 증가(일부 경우에는 승객이 알레르기 또는 천식 발작으로 인해 호흡이 어려운 것이 원인일 수 있음)를 검출할 수 있는, 심박수 모니터(730)를 포함할 수 있다. 이 예에서 센서 융합 블록(735)은 이 센서 데이터(725 및 730으로부터)를 입력으로서 취하여, HEPA 필터 기구(740)를 가동시켜서 알레르기 문제를 완화시킬 수 있다. 다른 예 중에서 알레르겐 필터링을 포함하는 도 7의 예는, 차량 내에 제공되는 자율 주행 파이프라인과 통합된 추천 시스템을 사용해서 실현될 수 있는, 다양한 승객 경험 향상 중 하나의 예시일뿐이다.
차량 시스템에 입력을 제공해서 승객의 편안함 및 경험을 향상시키도록 차량 내 특징이 조정되게 하는 것에 더해서, 예시적인 추천 시스템은, 자율 차량의 센서로부터 수집된 정보를 활용해서, 승객에게 영향을 미치는 것으로 검출된 현재 경로 또는 특성, 감정 또는 이벤트를 고려해서 승객에게 관련성에 대한 권장 사항을 제공할 수도 있다. 예를 들어, 차량은 차량에 탑승한 승객의 신원을 검출하고(예를 들어, 얼굴 인식 또는 음성 인식과 같은 바이오마커를 통해), 승객 그룹의 선호도 데이터로부터, 추천 시스템이 다양한 기타 잠재적인 심부름-타입 서비스(concierge-type services) 및 다른 서비스 중에서, 차량 내의 승객의 그룹을 만족시킬 가능성이 있는 것으로 계산한 특정 호텔 또는 레스토랑의 추천을 결정할 수도 있다. 실제로, 인간과 머신 사이의 격차가 좁아짐에 따라서, 인간은 머신와 그 능력을 점차적으로 환영하고 수용하며 신뢰하고 있다. 예를 들어, 목적지까지의 최단/가장 빠른 경로 네비게이션, 가장 가까운 '커피숍', 영화 추천 제공 또는 곧 있을 기념일 축하 행사 장소 등과 같은 문제에 대한 질의 및 추천 정보를 핸들링할 수 있는 컴퓨팅 로직에 대한 의존은, 예시적인 추천 시스템을 통해 구현될 수 있다(예를 들어, 승객의 프로필 및 선호도 정보를 활용해서).
시스템 및 서비스가 개선되고, 사용자가 이러한 시스템에 인터페이싱해서 사용하는 데 더 익숙해 짐에 따라서, 사용자 기대는 더욱 까다로워 질 수 있다. 마찬가지로, 자율 차량이 더 널리 보급되고 널리 채택됨에 따라서, 승객-사용자는 말 그대로 생명과 안전을 맡기는 시스템에 대해 비슷한 높은 기대를 갖게 될 것이다. 사용자가 트러스트할 수 있는 이러한 자율 차량을 구현하면, 카메라, 레이더, LIDAR 센서, 5G 통신, Hi-Def GPS와 같은 수 많은 고급 센서와 인터페이스하는 정교한 차량 내 컴퓨팅 리소스, 그리고 차량(및 그 승객)의 주변 환경의 '현장(locale)', 날씨, 지형, 도로 상태는 물론 차량 내부 탑승자(예를 들어, '혼자' 운전, 가족 또는 동료 등과 함께)의 신원을 인식할 수 있는 센서 및 모니터(및 동반 로직)에 의존할 수 있다. 이러한 하이 레벨 자율 차량은 높은 제조 및 프로그래밍 비용(및 전체 비용)뿐만 아니라, 고가의 첨단 기술 유지 보수 및 최대의 신뢰 가능하고 정확한 성능 및 서비스 품질(QoS)을 위해 정교하게 조정되고 조정된 컬렉션을 요구할 것으로 예상된다. 따라서, 하이 레벨의 자율 차량(적어도 널리 보급되기 전의 초기 세대의)은, 유지 보수 및 교체 비용을 고려할 때, 일반 가정에게는 상당한 비용이 들 수 있고, 보험 업계에게는 지나치게 위험할 수 있다. 따라서, 시장을 지배하는 하이 레벨의 자율 차량 솔루션(예를 들어, L3~L5)에 앞서서, 로우 레벨의 자율 차량 솔루션(예를 들어, L1~L2)이 인기있는 선택으로 나타날 수도 있다. 예를 들어, 부분 자율(또는 비-자율) 차량에는 유사한 QoS 서비스를 가진 일체형의 또는 애프터 마켓의 로우 엔드급 및 저가형의 솔루션이 제공될 수 있다.
일부 구현예에서, 하이 레벨 자율 차량은, 무선 통신 채널을 통해서 이웃 차량 및 이 이웃 차량 내 컴퓨팅 시스템과 통신해서 자율 차량에 의해 수집되고 분석된 정보 및 자율 차량에 의해 결정된 계획, 이벤트 및 기타 환경 정보를 공유할 수 있는 통신 기능을 보유할 수 있다. 일부 구현예에서, 이종의 자율 주행 환경/비자율 주행 환경에 하이 엔드 자율 차량들이 있다면, 로우 엔드 차량의 컴퓨터와 협력해서 자율 주행 "지식"을 전달하는데 사용될 수 있다. 나아가, 일부 경우에 도로변 컴퓨팅 시스템 또는 클라우드 기반 컴퓨팅 시스템을 활용해서 로우 엔드 차량의 컴퓨팅 시스템과 통신해서, 이러한 차량의 지능과 기능을 보강할 수 있다. 이러한 솔루션 및 시스템은 하이 엔드 센서 제품군에 대한 로우 레벨 케어의 의존성을 최소화하는 데 도움이 될 수 있을 뿐만 아니라, 다른 이웃하는 차량에 핵심 자율 주행 기능을 제공하는 데 있어서의 갭을 메우는 데 도움이 되도록 정의된 최소 기능 및 서비스의 세트에 대한 기본적인 지원을 제공할 수 있다. 이웃 차량에 자율 주행 기능을 제공하는 데 사용하기 위한 정보 및 데이터 제공을 지원하는 것 외에도, 본 명세서에 설명된 것과 같은 추천 시스템을 보유한 하이 레벨의 자율 차량은 그 추천 시스템을 통해 가능한 결과 및 서비스를 이웃하는 차량 시스템에 공유할 수 있다.
스마트 폰, 인공 지능, 소셜 미디어가 도래하고, 기타 웹 사이트 및 소프트웨어 서비스가 증가함에 따라서, 다양한 산업 분야에서 추천 시스템에 대한 수요가 증가하고 있다. 운전 및 여행의 영역 내에서(예를 들어, 자율 차량 내에서) 빈번한 예상되는 여행 관련 쿼리 및 서비스의 세트가 정의될 수 있으며, 이는 자율 주행 로직이 장착된 차량의 다양한 센서를 통해 액세스할 수 있는 정보와 연관될 수 있다. 도 6으로 돌아가서, 검지 단계(605)의 센서 집합은 주로 자율 차량 시스템의 핵심 경로 계획, 손실 계획(missing planning) 및 의사 결정 기능을 위한 기능을 제공하기 위해 제공될 수 있다. 따라서, 계획 단계(610)는 경로 계획, 잠재적인 자율 차량 레벨 도전에 대한 경고 등의 기능을 지원할 수 있다. 추가로, 검지 단계(605)의 센서는 차량 탑승자의 상태, 신원 및 상태를 반영하는 정보; 거주자의 편안함과 관련된 환경 조건(예를 들어, 더위, 추위, 습도 등); 안전(예를 들어, 차량 안전벨트 체결 상태, 사고가 발생하기 쉬운 지역의 여행, 돌발 홍수 위험, 높은 범죄 지역의 여행) 등의 정보를 수집할 수 있다. 탑승자 식별 센서(예를 들어, 특정 사용자, 사용자의 감정 및/또는 탑승자의 인구 통계학적 정보 등을 식별하기 위한)는 또한 탑승자(들)의 선호도를 식별할 수 있게 하고(예를 들어, 특정 탑승자의 대응하는 선호 설정 또는 모델에 액세스하거나, 혹은 탑승자의 단일 모드 속성 또는 다중 모드 속성에 기초해서), 추천 시스템(620)을 사용하여 추천(예를 들어, 레스토랑 추천, 활동 추천, 경로 계획 수정, 소매점 추천 등)을 생성하는 데 활용된다.
일부 구현예에서, 차량 내 자율 차량 시스템은 예시적인 추천 시스템(620)을 통해, 경로에 따른 날씨 관심사(예를 들어, 비, 안개, 눈, 극한 온도)의 식별; 식사 장소, 머물 곳, 관심 장소, 주유소, 소매점 등의 추천; 식별된 승객에게 커스토마이징된 차량 내 환경 조정 등의 예시적인 서비스를 추가로 제공할 수 있다. 이러한 서비스를 도출하는 데 사용될 입력은, 내비게이션 및 대체 경로 미션 계획에 의존한 것과 같은, 시스템의 핵심 자율 주행 기능의 컨텍스트 내에서 적용 가능한 것들과 공유될 수 있다. 일부 구현예에서, 추천 시스템은 예시적으로, 운전자에게 잠재적 문제 지역(areas of concern)을 경고하고, 한 명 이상의 승객에게 핸드오버 또는 풀오버 이벤트를 준비시키며, 이러한 이벤트의 가능성을 승객에게 경고하고, 사전에 검출된 주행 조건(및 일부 구현예에서는 사용자 선호도 정보(사용자의 위험 및 수동 운전 허용 오차를 나타내는)에 기초한 자율 주행 레벨의 잠재적인 다운그레이드(예를 들어, L5에서 L4로, L4에서 L3로)를 승객에게 경고하는 것과 같이, 차량의 오디오 및/또는 그래픽 디스플레이에 표시할 경고를 생성하는 데 사용될 수 있다. 일부 예에서, 추천 시스템은 자율 차량(예를 들어, 계획 단계 로직(예를 들어, 610) 및 차량 내 환경 조정 블록(예를 들어, 625) 중 하나 또는 둘 모두)에 의한 소비 결과 및 추천을 다양한 간격으로 혹은 빈도로 생성할 수 있다. 마찬가지로, 주변 차량과 이러한 추천을 공유할 때, 일부 공유된 추천 정보는 더 낮은 업데이트 속도로 충족되고, 날씨 및 교통 상황과 같은 다른 정보는 높은 통신 대역폭 지원 및 차량으로부터의 정확한 위치 보고를 이용해서 분 단위의 새로 고침 속도를 포함하는 데, 로우 레벨 타입의 센서를 가진 차량에서는 이것을 지원하는 것이 기본적으로 강하게 억제될 수 있다. 일부 예에서, 하이 레벨 자율 차량으로부터 로우 레벨 자율 차량으로의 추천 정보 전달 속도는 이웃 차량의 특정한 능력을 식별하는 것(하이 레벨 차량에 의한)에 기초할 수 있다. 예를 들어, 이웃 차량에는 하이 레벨 차량이 이러한 기능을 식별할 때, 다른 로우 레벨 자율 차량 모델과 인터페이스할 때와는 다른 빈도로 다른 추천 타입을 전송하고 및/또는 추천을 전송할 수 있게 하는 일부 처리 기능 및 센서가 제공될 수 있다.
도 8을 참조하면, 다양한 향상 모드를 가진 로우 레벨 자율 차량의 향상을 나타내는 개략 블록도(800)가 도시되어 있으며, 각각의 모드는 환경 설명의 다양한 모드를 제공할 수 있으며, 다양한 모드는 조합될 때, 탑승자 기준을 개인화하는 특정 조건 세트에 대해 로우 엔드 자율 차량의 로우 레벨 기능을 보완/보충하며, 이는 특정 지역 또는 현장(locale) 또는 기타 조건의 세트에서 작동할 수 있는 전체 추천자 응답을 효과적으로 향상 또는 인위적으로 강화한다. 이 예에 도시된 바와 같이, 특정 로우 레벨 자율(또는 비자율) 차량에 장착된 로우 엔드 센서(805)는 다양한 외부 고성능 센서(예를 들어, 810~830)를 통해 보완될 수 있다. 특정한 기능을 가진 일부 센서를 포함한 이러한 센서는, 로우 엔드 자율 차량의 센서(예를 들어, 805)를 보완할 수 있으며 저용량 또는 비자율 레거시 차량에서 제공되는 애프터 마켓 추천 시스템에 데이터를 제공할 수도 있다.
일부 구현예에서, 이러한 다양한 센서에 의해 생성된 데이터는 하나 이상의 클라우드-기반 또는 포그-기반 컴퓨팅 환경(예를 들어, 835)에 의한 소비 및/또는 호스팅을 위해 제공될 수 있다. 일부 구현예에서, 이러한 솔루션은 자율 차량이 존재하는 환경 내에서 수집된 데이터를 대중화 및/또는 일반화하는 역할을 할 수 있다. 이 데이터의 적어도 일부의 수집을 집계함으로써 추가 처리를 수행할 수 있고, 예를 들어, 누락 타입에 대한 센서 유도 데이터의 타입, 인구 통계, 컨텍스트, 집계된 결과의 전달, 특정 지역 또는 지역에 고유한 결과을 획득하기 위해서 이들 서비스(예를 들어, 835)와 인터페이스하는 다양한 "클라이언트" 차량의 특정한 요건을 처리하는 것 등과 같이, 데이터 수집 및 오프로드를 최대화할 수 있다. 이러한 구성 요소 또는 이들의 하위 집합은 클라우드(예를 들어, 835)에 다양한 레벨의 센서 정보를 제공해서, 환경 내에서 수집된 정보를 상호 연관시키고,로우 엔드 센서 기능을 가진 클라이언트 자율 차량용 서비스로서의 다양한 데이터 및 센서, 영구적 또는 일시적으로 손상된/디스에이블된 센서(하이 엔드 자율 차량을 포함) 또는 전체 하이 레벨 검지 또는 컴퓨트 기능의 제품군 미만을 보유한 차량을 효과적으로 통합할 수 있다.
위에서 언급한 바와 같이, 다양한 외부 센서가 보다 무결성의 센서 입력의 집합을 구축하는 데 활용될 수 있으며, 이 집합은 데이터 또는 자율 주행 서비스로서의 지원(support-as-a-service)으로서 집계, 상호 상관 및/또는 번들될 수 있다. 일부 예에서, 센서는 항공 드론(예를 들어, 815), 비행선 드론(예를 들어, 810), 또는 항공 교통 및/또는 환경 지원을 제공하는 센서를 가진 기타 비행 장치를 포함할 수 있다. 항공 드론은 클라우드-기반 서비스 또는 포그-기반 서비스에 또는 범위 내 자율 차량 장치에 직접 빠른 경보를 제공하는 통신 기능을 포함한 항공 교통 분석을 제공할 수 있다. 이러한 교통 정보는 교통 보고, 안전 보고, 사고 보고, 비상 경보, 잘못된 길의 운전자 경보, 운전자 폭행 경보 등과 같은 예를 포함할 수 있다. 비행선 드론(Blimp drone)(예를 들어, 810)은 항공 드론이 제공하는 것과 유사한 정보와 서비스를 제공할 수 있지만, 더 좋지 않은 날씨에 배치될 수 있다. 오토-파일럿, 지상 기반 드론 및 기타 차량(예를 들어, 820)도 제공될 수 있는데(예를 들어, 무인 드론 차량, 스마트 제설차, 스마트 거리 청소차, 대중 교통 차량, 공공 안전 차량 등), 이는 다양한 도로 구간을 체계적으로 또는 일상적으로 탐색할 수 있으며, 이러한 도로 구간의 상태를 검지하는 센서가 장착되어서 교통 흐름, 도로 상태에 대한 정보(예를 들어, 구멍, 다리 상태, 도로 잔해물, 얼음이나 눈,, 스모그 레벨, 도로 등급, 알레르겐 레벨 등)를 캡처하는 데 도움을 줄 있다. 위에서 언급한 바와 같이, 하이 레벨 자율 차량(예를 들어, 825)과 같은 다른 자율 주행 승용차의 센서 및 비콘, 도로변 및 도로에 내장된 센서(예를 들어, 830)도 활용될 수 있다. 비콘, 도로변 및 도로에 내장된 센서(예를 들어, 830)는 도시 지역 및 주요 농촌 지역(예를 들어, 돌발 홍수, 야생 동물 및 가축 횡단, 눈사태 등이 발생하기 쉬운 지역 근처)에 위치된 고정식 또는 이동식 센서로서 제공되어서, 정보를 검지하고 교통 흐름, 날씨, 안전 정보, 상업 및 소매 프로모션 정보, 관광 정보 등과 같은 정보를 설명하는 데이터를 제공한다. 일부 경우에, 이러한 센서는 도로 표지판, 신호등, 빌보드, 버스 정류장 등과 같은 다른 도로 기능에 통합되거나 연결될 수 있다. 나아가, 다양한 외부 장치(예를 들어, 810-830)가 액세스 포인트의 역할을 해서, 하위 레벨 차량이 데이터를 집계하는 클라우드 서비스(예를 들어, 835)로부터의 데이터에 액세스하고 (예를 들어, 이 차량이 이들 다른 장치(예를 들어, 예를 들어, 810-830) 중 하나에 인접해 있는 것에 기초해서 추천 데이터를 쿼리하거나 푸시받을 때) 이 데이터에 기초해서 추천 서비스를 제공할 수 있게 한다.
일부 구현예에서, 차량(예를 들어, 805)의 차량 내 컴퓨팅 시스템에 제공되는 데이터는 해당 차량의 특정한 특성 및 성능에 기초해서, 시간 설정, 필터링 및 큐레이트될 수 있다. 나아가, 승객 정보가 차량에서 수집될 수 있으며, 외부 시스템(예를 들어, 810-830)과 공유(예를 들어, 보안, 익명화된 방식으로)될 수 있으며, 차량과 공유되는 데이터는 차량 탑승자에 대해 결정된 선호도 정보에 기초해서 추가 필터링되고 및/또는 큐레이트될 수 있다. 탑승자 특정 요인(예를 들어, 승객 수, 승객의 인구 통계, 승객과 서로의 관계 등) 외에도, 하위 레벨 차량에 제공되는 지원의 수 및 타입에 영향을 미치는 추가 요인은, 하루 중 시간(예를 들어, 러시아워, 식사 시간, 직장 또는 통근 시간에 해당하는 시간 등), 이동 거리(예를 들어, 장거리 또는 단거리), 차량의 특정 모델에 대한 센서 및 자율 레벨 정보 등을 포함할 수 있다. 도 8에 도시된 바와 같이, 하위 레벨 차량의 센서로부터 수집된 정보 및 차량의 컴퓨트 기능을, 다른 시스템(예를 들어, 810-835)의 다른 센서(예를 들어, 810-830에서) 및 컴퓨트 리소스를 통해 제공되는 정보 및 서비스와 연결시킴으로써(845에서), 더 저렴하고 액세스하기 쉬운 비용으로 낮은 레벨의 차량(850에서)의 기능, QoS, 안전성 및 편안함을 향상시킨다. 경우에 따라, 이러한 강력한 추천 기능은 하위 레벨 차량으로 확장될 수 있으며, 이는 일부 상위 레벨의 자율 차량과 마찬가지로, 이러한 추천을 제공할 때 탑승자 별 선호도 및 설정을 검지하고 더 고려할 수 있다(840에서). 일부 구현예에서, 차량 외부에 있는 이러한 시스템에 의해 제공되거나 혹은 시스템에 의해 지원되는 추천 서비스는, 다른 예제 구현 중에서, 광고 플랫폼(예를 들어, 빌보드)과 관련하여 지자체, 지역 또는 국가 인프라의 일부로서 제공될 수도 있고, 클라우드 기반 센서나 또는 서비스로서의 추천 시스템(recommendation-system-as-a-service)으로서 제공될 수도 있다. 일부 구현예에서 추천 서비스 및 추가 센서 데이터 및 출력은 경량(lighter-weight) 추천 시스템, 차량 내 GPS 시스템 또는 기타 시스템에 의한 소비를 위해 제공되어서, 다른 경우들 중에서 차량 외부(예를 들어, 810-835에 의해)에서 제공되는 정보 및 컴퓨팅 로직에 의해 기존 시스템의 정보 및 기능이 향상되고 보강된다.
이전의 예시에서 추천 시스템이 설명되었는데, 이는 차량이 여러 다른 장치에 의해 제공되는 여러 센서를 활용해서 하위 레벨 자율 차량에 대한 보다 강력한 추천을 구축할 수 있으며, 일부 구현예에서 하이 레벨 자율 차량의 추천 시스템을 지원하도록 유사한 인프라가 더 활용될 수 있다. 일부 경우에, 하이 레벨 자율 차량은 최고 레벨(예를 들어, L4 또는 L5)에서의 자율 주행을 지원할뿐만 아니라, 상대적으로 로우 레벨(예를 들어, L3)에서의 자율 주행 기능도 지원할 수 있다. 실제로, 도로 상태, 센서 무결성, 운전자 선호도 및 기타 요인에 따라서, 차량의 차량 내 컴퓨팅 시스템을 통해 구현된 자율 주행 스택은 여러 다른 자율 주행 레벨에서의 작동을 지원하도록 프로그래밍될 수 있으며, 수동으로 또는 자동으로(예를 들어 검출된 이벤트 또는 조건에 대한 응답으로) 레벨 사이에서 토글된다. 예를 들어, 사용자는 일반적으로 차량의 가장 높은 지원 레벨을 유지하기를 원할 수 있지만(예를 들어, 항상 L4 사용), 차량의 센서 상태 및 외부 주행 환경의 현실로 인해서, 일정 기간 동안 어떤 상황에서는 사용자를 낮은 인간-지원식의(human-assisted) 자율성 레벨로 제한할 수 있다. 예를 들어, L4 자율 차량의 센서에 진흙이 튀거나 빙판 도로에 소금이 뿌려진 경우에 L4 모드를 지원하는 중요 센서가 (일시적으로) 손상되어, 차량은 낮은 자율 주행 레벨에서 동작할 수 있다.
일부 구현예에서, 차량이 자율 주행 레벨을 잠재적으로 다운그레이드해야 하는 경우를 검출하고 예측하는 데 차량의 온보드 컴퓨터의 추천 시스템 또는 다른 구성 요소가 사용될 수 있다. 일부 예에서, 이러한 조건을 검출하는 것에 응답하여, 추천 시스템은 다른 장치 또는 다른 장치의 센서를 통해 수집된 센서 데이터를 집계하는 서비스와 인터페이스하여, 자율 차량에 추가 정보를 제공하고, 자율 차량에서 더 높은 자율 모드를 지원하는 데 사용되는, 훼손된 센서 중 하나에 의해 수집된 누락 정보를 채울 수 있다. 일례로, 이러한 기능을 지원하기 위해, 자동차에 그 성능을 알려주는 추천 시스템이 제공될 수 있다. 일부 경우에, 이 추천 시스템은, 본 명세서의 일부 예에서 설명된 바와 같이, 사용자의 소비를 위한 추천을 제공하고 및/또는 승객의 편안함을 향상시키기 위해 동일한 자동차에 제공되는 추천 시스템과는 상이한 것일 수 있다. 실제로, 다른 추천 시스템과 마찬가지로, 핵심 검지, 계획, 액션 파이프라인(예를 들어, 도 6에 설명된 바와 같이)이 추천 시스템에 의해 활용될 수 있다. 경우에 따라 센서 상태가 시스템 진단 도구에 의해 결정될 수 있다. 다른 경우, 자율 차량의 계획 로직 또는 기타 머신 학습 로직은, 다양한 센서로부터 수신된 데이터가 특정 센서가 어떤 방식으로든 손상되었음(예를 들어, 차단, 오작동, 비활성화 등)을 나타내고 있다는 것을 검출할 수 있다. 검출된 센서 상태에 기초해서, 차량의 시스템은 차량의 상태 및 자율 주행 기능을 실시간으로 확인할 수 있다. 실제로, 시스템은 이 상태 정보에 기초해서 현재 사용 가능한 최대 자율 레벨을 결정할 수 있다. 이후, 차량 센서의 이러한 결정된 상태 및 자율 주행 기능에 기초해서 추천이 생성될 수 있다. 실제로, 검지 성능은 차량의 수명 동안에 및 심지어 개별 주행 동안에도 변경될 수 있으므로, 추천 시스템에 의해 생성된 상태 및 대응하는 추천이 주행마다 변경될 수 있다. 경우에 따라, 추천 시스템은 검출된 시나리오 및 시스템 상태에 기초해서 지원되는 여러 자율 레벨 중 특정 레벨을 사용하도록 추천을 생성할 수 있다. 센서 정보를 사용할 수 없거나 품질이 낮아서 자율 주행 레벨이 낮아짐에 따라서, 추천 시스템은 차량 외부의 다른 장치 또는 서비스(예를 들어, 크라우드 소싱 데이터, 클라우드에서 업데이트)로부터 생성 및 통신된 센서 데이터를 획득해서 사용하려고 시도할 수 있으며, 이 정보를 사용해서 차량 자체 기능의 부족한 점을 보충해서 차량의 자율성을 복원하거나 높인다.
도 9를 참조하면, 하나 이상의 차량(예를 들어, 105, 110, 115, 905 등)뿐만 아니라 다른 장치(예를 들어, 130, 180 등) 및 구조(예를 들어, 125, 910 등)를 포함하는, 특정 현장에서의 예시적인 주행 환경을 나타내는 개략 블록도(900)가 도시되어 있으며, 이는 차량의 자율 주행 로직에 대한 입력으로서 사용할 수 있는(또는 입력을 생성하는) 관련 정보를 수집하는 것이다. 이 예에서, 특정 레벨(예를 들어, L4)까지 자율 주행을 지원할 수 있는 자율 차량(105)이 제공된다. 다양한 센서(예를 들어, 920, 925, 930 등)가 차량(105)에 제공되어서 차량(105)의 컴퓨팅 시스템에 구현된 자율 주행 파이프라인에 의해 사용되는 데이터를 제공하여 경로 및 차량(105)에 의해 수행될 판정을 결정할 수 있다.
일 구현예에서, 차량 내 시스템은 차량(105)의 센서(예를 들어, 920, 925, 930) 중 하나 이상이 손상되었다는 것을 검지하고, 이들이 생성하는 데이터의 신뢰성을 떨어뜨릴 수 있다. 일부 경우에, 하나 이상의 센서가 손상되었다는 것을 검지하는 것은 차량(105)의 자율 주행 기능을 지원하는 신뢰할 수 있는 센서 데이터가 감소하는 것에 기초해서 차량의 추천 시스템이 자신의 주행 자율 레벨을 낮추게 할 수 있다. 다른 경우에는, 차량(105)의 자율 주행 레벨에서 다운그레이드를 방지하거나 그 정도를 최소화하기 위해서, 차량은 센서 데이터, 개체 인식 결과, 교통 인식 결과, 도로 상태 인식 결과 및 다른 장치(예를 들어, 110, 115, 125, 130, 180, 910 등)에 의해 생성된, 차량(105)의 현재 현장 또는 차량(105)의 계획된 경로 또는 경로에 대응하는 현장과 관련이 있는 기타 데이터에 액세스할 수 있다. 예를 들어, 센서(925)는 정상적으로 동작하지 않는 것으로 검출될 수 있으며, 차량(105)의 시스템은 다른 장치(예를 들어, 110, 115, 125, 130, 180, 910 등)에 의해 생성된 데이터에 액세스해서, 고장난 센서(925)에 의해 야기된 신의(fidelity) 감소를 대체하거나 보완할 수 있다. 일부 경우에, 차량(105)은 손상된 센서의 위치에 기초해서 다른 소스(예를 들어, 110, 115, 125, 130, 155, 180, 910 등)로부터 이용 가능한 데이터를 필터링할 수 있으며(센서(예를 들어, 160, 165, 175), 차량(115), 공중 드론(180) 등에서 )로부터 데이터를 획득하기 위해서), 이는 예를 들어, 정상이라면 손상된 센서(925)가 제공했을 정보를 제공할 가능성이 가장 높다(예를 들어, 차량(105)의 좌측면에). 또한, 센서가 고장나는 것에 응답해서 차량(105)이 일정한 데이터 스트림으로 넘치는 일없이, 일부 구현예에서, 목적하는 가이드가 차량에 송신되어서, 고장난 센서(들)을 감안해서 잠재적으로 좋지 않은 혹은 문제가 될 위치 또는 차량(105)이 직면한 이벤트에 대응하도록 유사하게 타깃팅된 추천이 행해질 수 있다.
본 명세서에서 논의된 다른 예들에서와 같이, 일부 예에서, 센서와 이들 장치들의 집합에 의해 생성되는 센서 데이터 및 관찰 결과는 백엔드 서비스(예를 들어, 네트워크(155)에서)에 의해 제공되고 집계될 수 있다. 일부 예에서, 다양한 네트워크 액세스 포인트(예를 들어, 145)는, 차량(예를 들어, 105)이 서비스에 의해 축적된 지능 및 정보에 액세스할 때 사용할 수 있는 저지연 네트워크 통신 채널을 제공할 수 있다. 일부 경우에, 서비스는 차량(예를 들어, 105)의 타입을 식별하고, 어떤 센서(예를 들어, 925)가 손상되었는지를 식별하는 차량(105)으로부터 보고를 수신할 수 있으며, 이 정보를 사용해서 이 서비스가 (보고된 센서 문제에 비추어서) 차량(105)의 특정한 요건 또는 요구가 된다고 결정하는 것에 기초해서 차량과의 통신을 적절하게 필터링하고 스테이지화/타이밍할 수 있다. 보충 데이터의 소스에 관계없이, 추천 시스템은 자율 차량(105)의 동작을 가이드하는 것을 돕기 위해 이 보충 정보를 활용할 수 있다.
일부 예에서, 하나 이상의 센서의 상태가 동작 가능 상태에서 손상 상태로 저하되는데 수 분밖에 걸리지 않는다. 예를 들어, 진흙 투성이, 예기치 않은 오작동, 각도가 잘못된 헤드라이트 또는 햇빛 등이 센서의 무결성을 손상시키는 데는 잠시 시간이 걸릴 수 있다. 이 때, 추천이 인정하는 낮은 자율의 주행 모드로 전환하는 것이, 운영 및 실제 관점에서 과도하게 요구될 수 있다. 따라서, 일부 구현예에서, 차량(예를 들어, 105)의 추천 시스템은, 추천 시스템(및 보충 센서 및 개체 인식 데이터)의 사용 또는 자율 레벨의 변화가 있을 가능성이 있는 경우를 예측하기 위해서, 예측 분석 및 머신 학습 로직을 보유할 수 있다. 예를 들어, 차량(예를 들어, 105)의 시스템으로부터 입력을 받아서, 여행이 차량의 하이 레벨 자율 주행 기능의 작동이 이렇게 변경되는 것에 더 많이 의존할 가능성이 더 높은 시기를 예측하기 위해, 하나 이상의 머신 학습 모델이 제공될 수 있다. 예를 들어, 입력은 센서 상태 정보, 시스템 진단 정보, 센서 사용 기간 또는 사용 통계, 날씨 정보(예를 들어, 거친 도로, 소금이 뿌려진 도로, 가시성 저하 등을 초래할 수 있음), 도로 상태 정보(예를 들어, 센서의 기능을 방해 할 가능성이 더 높은 도로(예를 들어, 비포장 도로, 고인 물이 있는 도로 등))와 같은 입력에 대응한다. 이러한 가능성이 예측되면, 예시적인 구현예에서, 하나 이상의 센서에 문제가 발생한 경우에, 차량이 센서 문제에 신속하게 반응하고 자율 주행 로직의 동작을 조정할 수 있는 경우에, 차량은 시스템을 준비할 수 있다(예를 들어, 계획된 경로에 따른 도로의 현재 코스 또는 곧 있을 코스를 설명하는 다른 장치로부터의 데이터를 선제적으로 승인하기 시작함).
본 명세서의 일부 예들에서 언급된 바와 같이, 일부 자율 주행 구현에서는, 차량에 통합되거나 혹은 연결된 센서(차량 내부 및 외부의 상태를 검지하는 센서를 포함함) 및 해당 자율 차량 외부에 있는 센서 및 외부(extraneous) 센서를 포함하는 센서의 시스템을 활용할 수 있다. 이 데이터의 적어도 일부는, 예를 들어 차량 대 차량 통신, 차량과 도로변 또는 교통 표지/신호 장착 센서 사이의 통신, 백엔드 센서 데이터 수집기(aggregators) 및 서비스와의 통신, 드론과 자율 차량 사이의 통신, 드론과 자율 차량 및/또는 센서 데이터 집계 서비스 사이의 통신 등을 통해, 다른 액터와 통신하고 공유될 수 있다. 하이 엔드 센서를 사용하는 상위 레벨의 자율 시스템의 경우, 이 데이터의 대부분은 크기가 크고 해상도가 높다. 따라서, 이러한 시스템은 수집 및 장치 간 통신을 위해 막대한 양의 데이터를 생성할 수 있으며, 이 때문에 이러한 양의 데이터(예를 들어, 데이터 센터, 클라우드-기반 또는 포그-기반 서비스 및 기타 장치로의)의 스케일링 및 오프로드는 고가의 작업이 된다. 일부 구현예에서, 데이터 오프로딩(예를 들어, 비용 및 시간 측면에서)을 위한 시스템 내에서의 최적의 접근 방식을 동적으로 결정함으로써, 데이터 수집을 최적화하고 효율적으로 제어하기 위해 시스템 프로토콜 및 로직이 제공될 수 있다.
표 1은 단일 자율 주행 자동차의 예에서 생성된 센서 데이터의 일부를 산정한 개요를 나타낸다. 이 예에서, 총 대역폭은 초당 최대 40Gbit(예를 들어, ~20TB/hr)에 이를 수 있다. 따라서, 여기에 언젠가 도로를 점유할 수 있는 이론적으로 수백만 대의 자율 차량을 곱하면, 수집되는 데이터의 모든 비트를 전송하고, 이러한 엄청난 양의 데이터(예를 들어, 딥 러닝 모델 학습용)를 저장하는 데는 엄청난 비용이 들 수 있다. 나아가, 기존 네트워크 인프라는 이러한 대량 데이터의 지속적인 통신에 압도될 수 있으며, 동일한 인프라를 사용해서 분석된 데이터를 취득하고 실시간으로 시나리오에 응답/반응하는 데는 어려움을 겪을 수 있다.
자율 차량의 센서
센서 타입 센서 수 센서 당 생성되는 데이터
레이터 6 15 Mbits/s
LIDAR 5 100 Mbits/s
카메라 12 3500 Mbits/s
일례로, 자율 주행 시스템이 제공될 수 있으며, 이에 따라 시스템에 참여하는 장치(예를 들어, 개별 자율 차량, 드론, 도로변 센서 장치, 클라우드 기반 자율 주행 지원을 호스팅하는 시스템 등)에는, 수집 및 오프로드되는 전체 센서 데이터의 양을 머신 학습 모델을 활용해서 지능적으로 감소시키는 데 도움을 주는 로직(예를 들어, 불필요한 데이터는 수집 및/또는 차량에 로컬하게 저장되지 않음) 및 데이터를 지능적으로 업로드 및 전송하는 로직이 마련된다. 예를 들어, 분산형 머신 학습 트레이닝 및 전송 모델 기술을 적용해서 이러한 비용/오버 헤드를 감소시킴으로써, 센서 데이터 수집이 감소될 수 있다. 이러한 방식에서, 임의의 장치에 의해 추가 데이터가 "요구되는" "조건"이 지정되고, 장치의 머신 학습 엔진(예를 들어, 접속된 자율 차량의 머신 학습 엔진)과 통신할 수 있다. 결과적으로 접속된 장치는 명시된 조건을 충족하는 센서 데이터만 수집하고 전송하며, 모델이 계속 진화하고 트레이닝함에 따라서 업데이트(예를 들어, 동적으로)될 수 있다. 또한, 일부 구현예에서, 머신 학습 기반 지능형 센서 데이터 업로드는, 한 장치로부터 다른 장치로의 및/또는 한 장치로부터 클라우드로의 센서 데이터 통신을 지능적으로 필터링하고 시간을 측정하도록 구현될 수 있다. 기존 시스템은 오프라인 업로드(예를 들어, 결론적으로 차량 충전 중, 주차 중 등에 데이터 업로드 또는 업로드) 또는 온라인 업로드(예를 들어, 네트워크 접속이 가능할 때마다 주행 시간 동안 데이터를 지속적으로 업로드)를 위해 모든 데이터를 수집할 수 있다. 일부 데이터는 즉시 또는 (거의) 실시간으로 클라우드 또는 다른 장치로 전송되어야 할 수 있지만, 모든 데이터를 실시간으로 전송하는 것은 효율적이지 않고, 비용이 많이 들며, 부족한 무선 리소스를 낭비해서, 이러한 시스템의 확장을 저해한다. 따라서, 개선된 예시적인 자율 시스템에서, 참여하는 센서 장치들은(예를 들어, 접속된 차량)는 추가 머신 학습 기술을 활용해서, 데이터의 시간 민감도, 다른 위치 및 하루 중 다른 시간의 데이터 전송 옵션들(예를 들어, 셀룰러, Wi-Fi, 사용 가능한 전송 기술(예를 들어, 4G, 5G), 및 채널의 비용 및 사용 가능한 처리량), 및 차량 사용자의 다른 용례 및 선호도(및 대응하는 네트워크 및 이들 용례에 기초한 컴퓨트 용례(예를 들어, 차량 내 미디어 스트리밍 및 게임 등))와 같은 속성으로부터 학습함으로써, 클라우드 또는 다른 접속된 장치에 어떤 데이터를 언제 어떻게 전송할지에 대한 최적화된 옵션을 결정한다.
도 10으로 돌아가면, 대응하는 자율 차량의 센서 어레이(1005)에 의해 생성된 센서 데이터의 생성, 저장 및 오프로딩을 지능적으로 관리하는 기능을 제공하는 블록(예를 들어, 1005, 1035, 1040, 244 등)을 포함하는 향상된 자율 주행 시스템을 나타내는 개략 블록도(1000)가 도시되어 있다. 예를 들어, 센서 어레이(1005)는 다수의 상이한 타입의 센서(예를 들어 본 명세서에 설명됨)로 구성될 수 있으며, 일부 개체 인식을 수행하고 원시 데이터뿐만 아니라 개체 리스트 결과를 제공하기 위해 전처리 소프트웨어 및/또는 하드웨어가 추가로 제공될 수 있다. 일부 구현예에서, 전처리 로직은 또한 데이터 전달 및 생산을 최적화하는 데 도움이 될 수 있다. 센서 어레이(1005)로부터의 데이터는, 자율 주행 시스템의 다른 기능 블록에 의해 액세스되고 사용될 수 있는 차량 내 데이터 저장소(1010)(또는 메모리)에 제공될 수 있다. 예를 들어, 다양한 인공 지능 로직 및 머신 학습 모델을 사용하는 자율 주행 스택(1015)은 센서 데이터를 수신 혹은 취득해서, 차량(105)을 자율적으로 조향, 가속 및 제동하도록 가동 및 제어 블록(1020)에 출력을 생성할 수 있다. 일부 경우에, 자율 주행 스택(1015)에 의해 생성된 결과는 차량(105) 외부에 있는 다른 장치(예를 들어, 1025)와 공유될 수 있다.
도 10의 예를 계속 참조하면, 데이터 저장소(1010)에 저장된 센서 데이터는 또한, 원래 해상도의 데이터를 필요하지 않을 수 있는 프로세스 및 서비스로 전달하기 위한 데이터의 풋 프린트를 감소시키는 데 도움이 되도록 처리될 수 있다. 예를 들어, 무손실 트랜스코딩이 적용될 수 있다(1030에서). 일부 구현예에서는, 머신 학습 기반 손실-인트라 프레임 트랜스코딩이 수행될 수 있을뿐만 아니라(블록 1035 사용), 머신 학습 기반 이벤트/장면 및 시나리오 검출이 수행될 수도 있다(1040에서). 이들 블록(예를 들어, 1030, 1035, 1040)에 의해 생성된 트랜스코딩된 데이터는 자율 차량의 추천 시스템(244)에 제공될 수 있으며, 이는 준비된 데이터의 통신 채널 및 수신자의 속성을 검출하고 예측하는 데 사용될 수 있다. 일부 경우에, 동적 데이터 파이프(1045)는 추천 시스템(244)에 의해 지원될 수 있으며, 이는 추가 처리를 위해 클라우드-기반 및/또는 포그-기반 서비스 및 저장소(예를 들어, 1055, 1060)에 제공될 수 있다. 나아가, 추천 시스템(244)(및 자율 주행 시스템의 다른 구성 요소)은, 다수의 자율 차량 및 다른 센서 장치로부터의 센서 데이터를 입력으로서 취하는 다른 머신 학습 모델로부터의 결과 등과 같이, 다른 센서 장치 및 클라우드-기반 서비스(예를 들어, 1055, 1060)로부터의 결과 데이터(예를 들어, 1050)를 사용할 수 있다.
예시적인 실시예에서, 자율 주행 시스템은 2개의 센서(예를 들어, 초당 30 프레임(fps)으로 실행되는 2MP(megapixel)의 해상도를 가진 전면 및 후면 카메라)에 의해 수집된 데이터를 적어도 소비하고, 차량 내 자율 주행 스택에 의해 실행되는 하나 이상의 머신 학습 모델을 사용해서 데이터를 처리 및 분석해서 경로 계획하고 다양한 시나리오에 대응할 수 있다. 어떤 경우에는, 자율 차량은, (자체 센서 및 밖의 소스로부터의) 지속적인 데이터 수집 및 그 모델의 지속적인 또는 점진적인 트레이닝 없이도 복잡하고 동적인 환경에서 완전히 운행할 수 있을 만큼 충분히 "경험한" 모델 또는 로직을 기본적으로 보유하지 못할 수 있다. 실제로, 특히 자율 차량 배치가 초기 단계에 있기 때문에, 여러가지 다른 예시적인 문제와 이점 중에서, 수집된 데이터를 사용해서 이러한 유지 관리를 수행하는 것은 중요한 태스크가 될 수 있다. 그러나 이러한 시나리오에서는, 수집, 전처리 및 저장될 수 있는 데이터의 양은 매우 비용이 많이 들 수 있다. 예를 들어, 매일 4시간 동안 10대의 자율 차량을 운행하는 경우, 각각 30fps로 동작하는 2MP 해상도(픽셀 당 24 비트)의 2대의 카메라 센서를 이용해서, 초당 2880MBits(초당 360MB)의 데이터가 생성된다. 4시간 만에 총 51.48TB의 데이터가 생성된다. 1년 동안 평균 근무일이 261일이라고 가정하면, 10대의 자동차에서 생성되는 총 데이터의 양은 거의 14 페타바이트의 데이터가 될 것이다.
일부 구현예에서, 추천 시스템(예를 들어, 244)은 접속된 차량을 현재 직면하고 있거나 혹은 직면할 것으로 예상되는 상태를 검출할 수 있으며, 밖의 시스템으로의 데이터 오프로드, 센서 데이터에 대한 트랜스코딩 및 압축의 적용, 및 심지어 센서 어레이(1005)에 의한 센서 데이터 자체의 생성을 포함한, 자율 주행 시스템의 다른 구성 요소에 대한 데이터 핸들링 절차를 추천하고 지시할 수 있다. 예를 들어, 추천 시스템(244)은, 차량이 발견되는 결정된 조건(예를 들어, 차량의 네트워크 리소스 및 데이터 공유 기회에 영향을 미치는 조건, 자율 주행 태스트의 복잡성에 영향을 미치는 조건 및 계획된 경로를 따라 차량에 직면할 분류 등)에 기초해서 센서 어레이(1005)의 하나 이상의 센서의 동작이 조정될 것을 추천한다. 예를 들어, 추천 시스템(244)은, 이들 조건에 기초해서 예를 들어 데이터의 최소 허용 품질을 지정하는 것과 같이, 이들 조건에 기초해서 센서에 의해 생성된 품질, 해상도 또는 신의(fidelity)를 조정하도록 센서 어레이의 하나 이상의 센서에 지시할 수 있다(예를 들어, 센서의 속도, 초당 프레임 수, 크롭 윈도우, 최대 비트 전송률 등을 기준으로 해서).
일부 구현예에서, 자율 차량의 센서 장치에 의해 출력되는 데이터의 양을 줄이기 위해서 데이터 리샘플링 및 프루닝(pruning)이 적용될 수 있다. 예를 들어, 자율 차량의 예시적인 카메라 센서에 의해 생성된 비디오 프레임들 사이의 높은 상관 관계로 인해서, 리샘플링이 적용되어서 이러한 카메라에서 생성되는 데이터의 크기를 여러가지 배율(예를 들어, 데이터를 30fps에서 1fps로 리샘플링하면 데이터를 30배 감소시킴)로 감소시킬 수 있다. 일부 경우에, 무손실 압축이 적용될 수도 있으며(예를 들어, 50x 압축률), 이로써 리샘플링과 압축이 모두 적용될 때 순 데이터가 감소되어서 원래 데이터 크기의 약 0.05%인 압축 데이터가 생성될 수 있다. 따라서, 앞선 예로부터, 예컨대, (정확한 트레이닝이 가능한 해상도의) 수집되는 데이터의 다운 샘플링 및 헤비한 전처리를 통해서 데이터 양은 2대의 30fps의 2MP 카메라 센서를 가진 예시 차량 10대로부터 약 6테라바이트의 데이터로 감소될 수 있다.
위의 예는, 각각이 단 2개의 카메라 센서를 가진 10대의 자율 차량으로부터 생성된 데이터를 핸들링하는 데 어려움이 있다는 것을 보여준다. 그러나 더 복잡한 시나리오에서는, 수천 대의 자율 차량이 도로를 공유하고 있으며, 다양한 종류의 더 많은 센서를 장착할 수 있다. 따라서, 이러한 복잡한 시나리오에서, 수천 페타바이트의 데이터가 생성될 수 있고, 자율 주행 환경 내에서 무선 통신 채널을 통해 통신될 수 있다. 이 모든 데이터를 전송하고 트레이닝의 목적으로 클라우드 시스템에 저장하는 것은, 매우 비용이 많이 들고 시간이 많이 걸리는 태스크이다. 표 2는, 자율 주행 시스템(예를 들어, 332 GFLOPS 성능의 GPU 사용)에 사용될 수 있고 센서 장치의 여러 차량으로부터 생성된 센서 데이터를 사용할 수 있는, 일부 예시적인 머신 학습 모델의 트레이닝 기간을 나타낸다.
모델 파라미터의 수(밀리온) GFLOPS 트레이닝 시간
(100에포크 동안)
AlexNet 60.97 1.34 6.3 hrs.
VGG-16 138.36 14.7 69.59 hrs.
GoogleNet V1 7 1.6 7.54 hrs.
ResNet-50 25.56 3.9 18.39 hrs.
ResNet-152 60.19 11.4 53.76 hrs.
Inception V4 42.71 12.35 58.24 hrs.
일부 구현예에서, 도 11의 개략 블록도(1100)에 의해 예시된 바와 같이, 머신 학습 기반 손실-인터-인트라 프레임 트랜스코더(1035)는, 표준 코덱(JPEG2000, m-jpeg, mpeg4 및 무손실 mpeg4s) 및 향상된 머신 학습 기반 슈퍼 압축을 사용하여 동시 데이터 압축을 수행할 수 있다. 이러한 방식의 데이터 압축은, 다른 예시 용례 및 잠재적 이점의 예시 중에서, 캡처된 이미지를 다른 프로필(예를 들어, 비트-레이트, 프레임 레이트 및 전송 오류 제한)로 트랜스 코딩하는 데 도움이 될 수 있다. 예를 들어, 높은 프로파일, 낮은 압축 스트림은, 다른 예시적인 사용 사례 및 응용례 중에서 차량이 낮은 대역폭 영역을 통과할 때 현재 네트워크의 효율성을 개선하기 위해서, 연기될 수 있다.
도 12 및 도 13의 개략 블록도(1200, 1300)에 의해 도시된 바와 같이, 자율 주행 시스템 내의 데이터를 전송 및 저장을 개선하기 위해 머신 학습 기반 이벤트 또는 시나리오 검출 엔진(예를 들어, 1040)이 더 사용될 수도 있다. 위에서 설명한 바와 같이, 수동의 제어되지 않은 데이터 수집 및 전송은 매우 비용이 많이 들 수 있다. 일부 구현예에서, 데이터 수집 및 전송을 필터링하는 것은 실질적으로 머신 학습 이벤트 및/또는 장면 분류(데이터 수집에서 추천을 나타냄)에 기초한 내부 및/또는 외부 이벤트에 기초할 수 있다. 예를 들어, 접속된 자동차의 하나 이상의 결함 센서와 같은 이벤트를 검출하면, 밖의 데이터 소스(예를 들어, 다른 접속된 자동차 또는 다른 센서 장치)와의 통신을 증가시킬 수 있다. 또 다른 시나리오 또는 이벤트로서, 특정 타입의 악천후(예를 들어, 안개, 눈, 비 등)를 검출하면, 다른 예 중에서, 차량이 불명확한 데이터를 사용하지 않게 하고, 고화질 데이터를 보존 및 사용하며, 다른 밖의 소스로부터의 보충 데이터로 자체 센서 데이터를 향상시킬 수 있다. 이러한 이벤트는 접속된 자율 차량의 하나 이상의 센서로부터 하나 이상의 머신 학습 모델(예를 들어, 1205)에 데이터를 제공함으로써 검출될 수 있다. 예를 들어, 도 12의 예에 도시된 바와 같이, 내부 시스템 상태(health) 정보(1210)는, 다른 예시적인 입력들 중에서 차량을 둘러싼 밖의 환경(예를 들어, 날씨 정보, 도로 상태, 교통 상태 등)을 나타내거나 또는 결정된 경로 계획의 다가올 부분에 따른 환경 상태를 나타내는 데이터(1215)(통합 또는 외부 센서로부터)와 함께(예를 들어, 하나 이상의 내부 센서 및/또는 시스템 진단 모듈로부터) 제공될 수 있다. 머신 학습 모델(1205)은 위에 설명한 바와 같이, 이들 입력으로부터, 부서진 혹은 다른 방식으로 손상된 센서(예를 들어, 1220) 및 날씨(예를 들어, 1225)는 물론 (예를 들어, 차량이 이벤트 및 분류 모델을 사용해서 차후에 사용하기 위해 리치한 데이터 혹은 높은 신의의 데이터를 수집하게 할 수 있는, 커버리지가 없는 영역, 신뢰할 수 없는 신호 또는 로우 대역폭 무선 채널과 같은) 통신 채널 특성(1230) 및 도로 상태 및 교통 이벤트(예를 들어, 1235)(이는 차량이 실시간 분류 및 데이터 전송의 우선 순위를 결정하게 할 수 있음)와 같은 하나 이상의 타입의 이벤트를 결정할 수 있다.
도 13의 예를 살펴보면, 개략 블록도(1300)는 접속된 차량의 자율 주행 시스템에 통합될 수 있는, 머신 학습 기반 장면 분류 블록(1305)을 예시한다. 카메라 데이터, 레이더 데이터, LIDAR 데이터, IMU 데이터 및 기타 센서 데이터와 같은 다양한 센서 데이터(1310)는, 분류 모델(예를 들어, 트레이닝된 컨볼루션 신경망)으로의 입력(예를 들어, 다중 모드 입력)으로서 제공될 수 있으며, 이로부터 어떤 장면 분류가 출력될 수 있는다. 예를 들어, 제공된 센서 정보로부터, 모델은 차량이 특정 환경적 특징을 가진 현장에 현재 있다는 것(또는 곧 (경로 계획에 기반하여) 현장에 있을 것이라는 것)을 검지할 수 있다. 이들 환경적인 특성은, 차량의 자율 주행 시스템에 의한 데이터 수집 및 오프로드의 관리를 담당하는 자율 차량의 추천 시스템에 영향을 미칠 수 있다. 예를 들어, 모델(1305)은, 입력(1310)으로부터, 예를 들어, 차량의 환경이 교통량이 많고 역동적인 조건을 특징으로 하는 도시 환경(예를 들어, 1315), 대부분 정적인 주행 상태를 특징으로 하는 잘 트레이닝된 고속도로(예를 들어, 1320), 대부분의 트레이닝되지 않은 도로 및 미개발된 자율 주행 지원 인프라를 특징으로 하는 개방된 지역 또는 산림(예를 들어, 1325)에 있다는 것을 결정할 수 있다. 실제로, 로우 시그널 구역, 사고, 비정상적인 장애물 또는 도로 장애물 등과 같은 위치-기반 또는 위치-특정 장면 또는 경고(예를 들어, 1330)도 센서 데이터(1310)로부터 검출될 수 있다. 예시적인 추천 시스템의 머신 학습 모델 시스템은, 이벤트 분류(예를 들어, 모델(1205)로부터) 및 장면 분류(예를 들어, 모델 1305로부터) 모두를 입력으로 받아들여서, 센서 데이터를 수집하고 오프로드할지 여부 및 어떻게 할지, 그리고 신의, 빈도 등은 어느 정도인지 결정할 수 있다. 예를 들어, 자율 주행 시스템의 의사 결정이 더 활성화될 가능성이 있는 장면 및 이벤트(예를 들어, 악천후에서의 도시 설정)는, 추천 시스템으로 하여금 높은 신의 데이터 수집, 센서 데이터의 실시간 분류 및 다양한 밖의 센서 장치 및 서비스를 이용한 높은 대역폭의 저-지연 통신을 지시하게 한다. 반대 경우로서, 차량의 센서가 완벽하게 기능하는 것으로 검출되는 맑은 날씨의 고속도로에서, 추천 시스템은, 다수의 다른 예 중에서, 센서 데이터의 수집, 처리 및 오프로드를 다르게 핸들링하는 것을 지시할 수 있으며, 이는 궁극적으로 장면에 대해 검출된 팩터 및 예시적인 자율 차량이 직면한 이벤트의 합류에 의해 결정될 수 있다.
도 14의 개략 블록도(1400)으로 돌아가면, 자율 차량의 상황 및 이들 상황이 차량의 자율 주행 시스템의 경로 계획 및 의사 결정 로직에서 중요시하는 즉각적인 요구를 고려하는 것 외에도, 다른 장치, 차량 또는 서비스와 데이터를 송수신하는 데 사용할 수 있는 통신 인프라의 성질이, 차량에서 그 시점에 적용되는 데이터 오프로딩 및 수집 정책을 지시하는 방법을 결정할 때 추천 시스템에서 고려될 수도 있다. 예를 들어, 동적 데이터 업로드 파이프라인에 따라 향후의 데이터 업로드가 수행되는 방식에 대한 추천이 시스템에 의해 결정될 수 있으며, 이는 마찬가지로 (예를 들어, 사전 결정된 방식(예를 들어, 야간에, 주차되어 있을 때 등)으로 수동적으로 업로드를 수행하는 것보다)업로드를 수행하는 최적화된 방식을 지능적으로 결정하기 위해 하나 이상의 머신 학습 모델을 활용할 수 있다. 이러한 동적인 머신 학습 기반 방식은 차량뿐 아니라 이들 업로드에 사용되는 네트워크 인프라 모두에서 상당한 비용 및 대역폭 절감을 실현할 수 있다.
도 14의 예에 도시된 바와 같이, 일부 경우에 추천 시스템은 예를 들어, 차량에서 생성된 센서 또는 결과 데이터의 적어도 일부를 포그, 클라우드 또는 에지 클라우드 시스템(예를 들어, 에지 컴퓨팅 서버, 포그 장치 또는 도로변 장치)에 업로드함으로써, 자율 차량에 의한 데이터 업로드 방식을 조정할 수 있다. 이러한 업로드는 업로드될 데이터의 양 및 가용성 접속 특성 모두에 기초할 수 있다. 자율 차량 시스템은 다양한 통신 기술(예를 들어, Bluetooth, 밀리미터파, WiFi, 셀룰러 데이터 등)을 통해 다양한 상이한 장치 및 서비스와의 통신을 지원할 수 있으며, 환경에서 이용 가능한 것으로 검출된 통신 채널 기술 및 잠재적인 데이터 오프로드 또는 공유 파트너에 오프로드 결정을 더 기초할 수 있다(예를 들어, Bluetooth 또는 WiFi를 통한 도로변 유닛에 접속, mmWave를 통한 포그 요소에 접속, 5G를 통한 에지 컴퓨터 서버 또는 클라우드 서비스에 접속 등). 데이터 전송에 소비되는 시간 및 네트워크 대역폭은 차량의 오프로드 동작을 결정할 때 추천 시스템 머신 학습 모델에 의해 계산 및 고려될 수도 있다. 예를 들어, 여러 잠재적인 오프로드 대상을 사용할 수 있는 경우 추천 시스템은 환경 내에서 검출된 접속 특성에 기초해서 여러 잠재적인 대안 중에서 선택할 수 있다. 예를 들어 추천 시스템은 오프로드를 위한 특정 목적지 및 사용할 특정 통신 채널 또는 기술을 선택할 수 있다. 예컨대 오프로드할 데이터의 타입 및 민감도가 추천 시스템에서 고려될 수 있다(예를 들어, 미션 크리티컬 데이터(예를 들어, 사고 후 또는 사고 중)는 주로 맵 작성에 사용하기 위해 오프로드된 데이터와는 다르게 핸들링됨).
도 14는 예시적인 추천 시스템이 데이터 오프로딩을 위해 행할 수 있는 다양한 예시적인 추천을 보여준다. 예를 들어, 1405에서, 중요한 시간 민감 데이터가 오프로드되었는데(예를 들어, 에지 장치 또는 다른 차량(예를 들어, 110)) 높은 대역폭의 데이터 경로는 검출되지 않은 경우에, 추천 시스템에 의해 적용되는 머신 학습 모델은, 차량(105)에 의해 검출되는 추상적인 장애물의 좌표를 단순히 기술하는 것과 같은, 저해상도 형식(예를 들어, 1425)으로 데이터를 전송하라고 추천할 수 있다. 다른 예에서, 차량(105)은 오프로드할 데이터는 갖고 있지만, 부분 대역폭 상태가 검출되면(1410에서), 추천 시스템은 데이터가 전처리된 낮은 대역폭 형식(예를 들어, 1430)으로, 로컬의 포그 시스템(예를 들어, 1420)으로 오프로드될 것이라고 결정할 수 있다. 포그 리소스(1420)는 이 데이터를 다른 장치(예를 들어, 자동차(110)) 또는 심지어 제공 차량(105)(예를 들어, 이후 시간)에 이용 가능하게 할 수 있다. 또 다른 예에서, 저-지연 고 대역폭 채널이 검출될 수 있고(예를 들어, 차량이 또한 네트워크 통신 및 컴퓨트 리소스가 용량을 갖는 조건에서 주행하는 것으로 검출될 때(예를 들어, 고속도로 주행 중, 주차시, 등), 예컨대, 클라우드 기반 백엔드 시스템(예를 들어, 150)으로의 오프로드가 직접 풀-해상도 데이터(예를 들어, 1435)로 수행될 수 있다.
차량이 자율적으로 기능하는 데 필요한 모든 기능은 기본적으로 차량 내 컴퓨팅 시스템을 통해 제공될 수 있지만(필요한 경우 유선 또는 무선의 가정-기반 또는 차고-기반 네트워크 접속을 통한 주기적 통신을 통해 업데이트됨), 무선 통신 기술 및 속도가 향상됨에 따라서, 일부 자율 차량 구현은 외부 데이터 및 컴퓨팅 리소스(예를 들어, 차량 외부 또는 기본적으로 통합되지 않음)의 통신에 더 크게 의존할 수도 있다. 예를 들어, 5G 캐리어 네트워크가 등장하고, 4G LTE 커버리지가 확장됨에 따라서, 접속된 자율 차량 및 V2X(Vehicle-to-Everything) 시스템의 구현이 더욱 즉각적으로 달성될 수 있다. 예를 들어, 안전에 대한 프리미엄을 감안할 때, 차량의 자율 주행 시스템을 통해 기본적으로 제공되는 안전은 차량 밖의 시스템을 사용해서 보완, 보강 및 강화되고, 강화된 지능과 크라우드 소싱된 지능을 모두 제공하고, 예를 들어 실시간 고-신뢰성 애플리케이션을 통해서 리던던시를 제공할 수 있다.
자율 차량은 밖의 컴퓨팅 시스템과 통신하고 그에 의해 지시받을 수 있다. 이러한 제어는 OTA(Over-the-Air) 업데이트의 푸시와 같은 낮은 레벨의 제어를 포함할 수 있으며, 여기에서 차량은 원격 제어/유지 관리 센터(예를 들어, 차량의 또는 자율 주행 시스템의 OEM(original equipment manufacturer) 또는 공급자)로부터 소프트웨어 및/또는 펌웨어 업데이트를 수신할 수도 있다(예를 들어, 기술자를 통해 수동으로 차량을 유지 보수 센터로 가져가는 것과는 반대임). 다른 상위 제어 애플리케이션에서, 자율 차량의 완전한 제어는 밖의 컴퓨팅 시스템 또는 원격 컴퓨팅 터미널의 원격 사용자/가상 운전자에게 핸드오버될 수 있다. 예를 들어 자율 차량으로부터 차량 내 승객에게 제어권을 핸드오버하는 것이 실행 가능하지 않거나 바람직하지 않을 때 예를 들어, 이러한 원격 제어는 주문형 "원격 발렛" 서비스로서 제공될 수 있으며; 이로써 자율 주행 시스템이 경로의 특정 부분을 정확하고 효율적으로 또는 안전하게 탐색하는 데 어려움을 겪고 있는 차량을 지원하거나; 또는 풀오버 이벤트 또는 달리 고정된 자율 차량을 지원한다.
일부 구현예에서, 자율 차량이 어떻게 신뢰 가능하고 안전하게 핸들링해야 하는지 알 수 없는 상황 또는 이벤트에 직면할 때 차량은 풀오버 이벤트를 시작하도록 프로그래밍될 수 있으며, 여기서 자율 주행 시스템은 도로로부터 멀어지도록 (예를 들어, 도로의 갓길, 주차 공간 등으로) 차량에 지시할 수 있다. 미래에는 도로에서 자율 차량이 더 많이 발견될 때, 하나의 자율 차량이 풀오버를 시작하는 이벤트는 다른 이웃 자율 차량에 유사하게 영향을 미칠 수 있으며, 이로 인해 다수의 풀오버는 추가적인 혼잡 및 도로 정체를 유발하여 잠재적으로는 차도를 마비시키고 도로에서의 자율 주행을 마비시킬 가능성이 있다. 일부 사례는 자율 주행 시스템으로부터 사람 승객으로의 핸드오버 이벤트를 허용해서 풀오버를 유발하는 상황을 탐색할 수 있지만, 다른 예시적인 상황 및 구현예 중에서, 다른 구현예에서는 원격 발렛 서비스가 트리거될 수 있다(예를 들어, 차량에 승객이 없는 경우(예를 들어, 드론 차량, 원격 소환 기능을 사용하여 승객에게 진행중인 차량 등)).
상기에 따라, 자율 차량의 일부 구현예는 원격 발렛 모드를 지원할 수 있으며, 차량의 주행이 (차량의 자율 주행 시스템으로부터) 원격 컴퓨팅 시스템으로 핸드오프되게 해서, 원격 컴퓨팅 시스템에 의해 네트워크를 통해 제어될 수 있다. 예를 들어, 자율 차량이 핸들링할 수 없는 상황(예를 들어, 센서가 기능하지 않음, 차량이 모르는 새로운 도로 상황, 온보드 시스템이 의사 결정을 내릴 수 없는 상황)에 직면할 때 자율 차량의 원격 제어가 자율 차량에 의해 주문형으로 트리거될 수 있다. 이러한 원격 제어는 또한 차량이 원격 제어를 요청하는 긴급 상황에서 차량에 제공될 수 있다. 원격 발렛 서비스는, 차량을 원격으로 제어하도록 동작되는 사용자 엔드포인트 시스템이 제공되는 제어 및 유지 보수 센터에 사람이 이격되어 앉아 있는 것을 포함할 수 있다. 이러한 시스템은, 자율 차량이 자체 또는 그 환경에 대한 실행 가능한 정보가 부족해서 기동이 불가능하기 때문에 풀오버되거나 움직이지 못하는, 엣지 케이스를 완화하는 데 사용될 수 있다. 원격 발렛 시스템은 또한 자율 시스템으로부터 정보를 수신하는 기능을 구비할 수 있지만(예를 들어, 차량이 네비게이트하는 도로의 뷰를 제공하고, 차량의 시스템 상태, 차량의 승객 상태에 관한 정보를 제공하는 등), 그럼에도 불구하고 차량의 자율 주행 시스템과는 독립적으로 기능할 수 있다. 이러한 독립성은 다른 예시적인 용례, 이점 및 구현 중에서 자율 차량의 전체 또는 실질적인 센서 고장의 상태에서도 원격 발렛 서비스 자체가 기능하게 할 수 있다.
예를 들어, 도 15의 개략 블록도(1500)에 도시된 바와 같이, 자율 차량(105)은 다양한 센서(예를 들어, 920, 925, 930 등) 및 자율 주행 로직을 포함해서, 자율 차량이 다양한 환경에서 자가 주행할 수 있게 한다. 위에서 소개한 바와 같이, 일부 경우에, 자율 차량에 의해(또는 자율 차량 내 승객의 요청에 따라), 차량(105)의 자율 주행 시스템이 경로 계획에서 루트의 일부를 안정적이고, 바람직하며 또는 안전하게 네비게이트할 수 없다고 결정될 수 있다. 자율 차량(105)은 하나 이상의 네트워크(예를 들어, 155)와 인터페이스하고 차량(105)과 원격 발렛 서비스(1505)를 구현하는 하나 이상의 컴퓨팅 시스템 사이에서 데이터가 교환될 수 있게 하는 통신 기능을 포함할 수 있다. 원격 발렛 서비스(1505)는 다수의 사용자 단말 장치를 제공할 수 있으며, 이는 가상 운전자 사용자가 차량의 센서(예를 들어, 920, 925, 930 등) 또는 다른 장치(예를 들어, 도로변 시스템(예를 들어, 130), 항공 또는 지상 기반 드론(예를 들어, 180) 및 다른 인접 차량의 센서)의 센서(예를 들어, 175)로부터 제공된 센서 데이터(예를 들어, 카메라 뷰 또는 기타 센서 정보)에 기초하여 차량(105) 주위의 상태를 관찰할 수 있게 한다. 이후, 가상 운전자는 원격 발렛 단말기에서 입력을 제공하여, 대응하는 낮은 대기 시간, 높은 우선 순위 데이터가 차량(105)에 전달되어서(네트워크(155)를 통해) 차량(105)의 조향, 가속 및 제동을 제어하게 할 수 있다.
일부 예에서, 차량(105)은 원격 발렛 서비스(1505)에 대한 개입 및 제어의 핸드오버를 자동으로 요청할 수 있다. 일부 경우에, 이 요청은 반동적(reactionary)일 수도 있지만(예를 들어, 풀오버 이벤트, 센서 정지 또는 긴급 상황에 대한 응답으로), 다른 경우에, 원격 발렛 서비스(1505)가 차량의 제어를 인수하도록 요청이 송신될 수도 있다(그 루트 앞의 상태를 고려할 때 풀오버 이벤트 또는 다른 어려움이 있을 수 있다는 예측에 기초). 차량(105)은 자체 센서(예를 들어, 920, 925, 930 등)로부터의 센서 데이터는 물론 다른 센서 및 장치(예를 들어, 130, 180 등)로부터의 데이터 및 백엔드 자율 주행 지원 서비스(예를 들어, 클라우드 기반 서비스(150))를 활용해서, 하나 이상의 머신 학습 모델을 사용하여, 제어가 원격 발렛 서비스(1505)로 핸드오버되어야 하는 조건을 결정할 수 있다.
일부 경우에, 다수의 상이한 자율 차량 중 어느 하나에 의해 활용될 수 있는 다수의 원격 발렛 파킹 서비스가 존재할 수 있다. 실제로, 다수의 자율 차량이 동시에 단일 원격 발렛 서비스에 접속되어서 이에 의해 제어될 수 있다(예를 들어, 개별 원격 운전자가 각 차량을 가이드함). 경우에 따라, 하나의 원격 발렛 파킹 서비스는 다른 서비스보다 더 많은 가용성을 광고(advertise)할 수 있다. 경우에 따라, 원격 발렛 서비스 품질 등급이 유지될 수 있다. 또 다른 경우에, 여러 다른 원격 발렛 서비스 각각의 실시간 접속 상태를 식별하기 위해 접속 품질 및 속도 정보가 유지될 수 있다. 따라서, 원격 핸드오버가 요구되거나 가능성이 있다는 것을 검출하는 것에 더해서, 자율 차량(예를 들어, 105)은 잠재적으로 많은 이용가능한 대안의 원격 발렛 서비스 중 어느 것이 사용되고 요청될 수 있는지를 결정하기 위해 이러한 입력을 고려할 수도 있다. 일부 구현예에서, 선택은, 차량이 원격 발렛 서비스 중 특정 서비스와 연관되는 예와 같이, 간단할 것이다(예를 들어, 특정 제공 업체로부터 원격 발렛 서비스에 대한 활성 가입을 통해 이루어지며, 여기서 원격 발렛 서비스는, 다른 고려 사항 중에서, 자동차 제조업체 또는 자율 주행 시스템과 관련이 있는 것임).
추가적으로, 원격 발렛 서비스는, 원격 발렛 서비스에 의해 검출된 다양한 속성(예를 들어, 핸드오버 요청에 포함된 정보, 핸드 오버 또는 원격 제어 등과 관련하여 수신된 센서 데이터로부터 수집된 정보로부터 등)에 기초하여, 개별 자율 차량(예를 들어, 105) 및 그 소유자 및 승객에 대해 서비스를 맞춤화할 수도 있다. 예를 들어, 여러 다른 고려 사항 중에서 제어되는 차량의 제조사와 모델, 차량의 자율 주행 시스템의 버전 및 구현예, 차량의 어떤 센서가 동작하고 안정적으로 유지되고 있는지, 핸드오프를 촉발한 특정 조건(예를 들어, 전문 원격 운전자가 차량의 문제를 해결하고 어려운 코너 케이스에서 네비게이트하는 것을 도울 것을 요청하는 것을 포함함)에 기초해서, 맞춤화된 주행 보조 사용자 인터페이스가 원격 발렛 서비스의 가상 운전자에게 제공되고 제시될 수 있다.
일부 구현예에서, 원격 발렛 서비스는 공공 서비스로서 정부 기관을 통해 제공될 수도 있다. 다른 구현예에서 원격 발렛 서비스는 민간 부문 상업 벤처로서 제공될 수도 있다. 따라서, 해당 차량(예를 들어, 105)의 여행과 관련하여 제공되는 원격 발렛 서비스와 관련해서, (예를 들어, 차량(예를 들어, 105) 및 원격 발렛 시스템(1505) 중 하나 또는 모두의 센서 또는 모니터에 의해) 메트릭이 자동으로 수집될 수도 있고, 제공된 원격 발렛 서비스를 나타내는 대응하는 데이터가 생성될 수도 있다. 이러한 메트릭 및 데이터는, 여러 메트릭 중에서 원격 발렛 서비스를 트리거한 상태의 심각도(예를 들어, 더 높은 원격 발렛 서비스 요금을 요구하는 더 어려운 문제가 있는 경우), 원격 발렛 서비스 제어에 따라 주행한 마일리지, 원격 발렛 서비스 제어 하의 시간, 원격 발렛 서비스를 용이하게 하는 데 사용되는 특정 가상 운전자 및 툴, 원격 발렛 서비스에 의해 사용되는 외부 데이터의 소스 및 양(예를 들어, 센서(예를 들어, 920, 935, 930)) 외부의 소스(예를 들어, 175, 180)로부터 요청되고 수집된 데이터의 양과 같은 원격 발렛 서비스의 특성을 나타낼 수 있으며, 이는 원격 가상 서비스에 의해 서비스에 대해 부과되는 요금을 결정하는 데 고려되고 사용될 수 있다. 경우에 따라, 요금은 차량의 소유자, 차량 제조업체, 차량 보증 공급자, 차량의 자율 주행 시스템 공급자 등에 의해 지불되거나 이들 사이에 분할될 수 있다. 경우에 따라, 다른 예시적인 구현 중에서, 원격 발렛 서비스 요금에 대한 책임은, 핸드오버 요청과 관련하여 생성된 데이터로부터 자동으로 결정되어서, 어떤 당사자/당사자들이 원격 발렛 서비스 요금의 어느 금액에 대해 책임을 지는지를 결정한다.
원격 발렛 서비스에 대한 핸드오버 요청과 관련하여 생성된 데이터는 물론, 주어진 여행에서 차량에 제공되는 원격 발렛 서비스를 기록하기 위해 생성된 데이터가 수집되고 원격 발렛 서비스(예를 들어, 1505)의 시스템(예를 들어, 1510) 또는 클라우드 기반 서비스(예를 들어, 150)에 유지될 수 있으며, 이는 여러 용례 중에서 원격 발렛 서비스의 결과를 집계하고 크라우드 소싱하여 향후 원격 발렛 서비스의 제공 및 차량이 자가 운전 및 원격 발렛 서비스를 요청하는데 의존하는 자율 주행 모델을 모두 개선할 수 있다.
도 16으로 돌아가면, 예시적인 원격 발렛 서비스를 전달하는 동안 시스템들 사이의 통신을 나타내는 개략 블록도(1600)가 도시되어 있다. 예를 들어, 핸드오버 요청(1610)이 네트워크를 통해 차량(105)(예를 들어, 자율 주행 시스템의 원격 발렛 지원 블록(예를 들어, 1605))으로부터 원격 발렛 서비스를 제공하거나 중개하는 컴퓨팅 시스템에 송신될 수 있다(하나 이상의 원격 발렛 서비스 시스템(예를 들어, 1505)을 통해 제공됨). 다른 경우에, 트러스트되는 제3자 시스템(예를 들어, 자율 차량(105) 외부의)에서 차량(105)이 도움이 필요하다고 결정할 수 있다(그 차량을 포함한 교통을 모니터하는 다양한 장치로부터의 센서 데이터의 앙상블을 통해). 일부 경우에 차량 내의 승객은 제3자 서비스(예를 들어, 클라우드 기반 서비스(150))를 사용해서 (예를 들어, 스마트 폰 앱을 통해) 원격 발렛 서비스가 트리거되게 할 수 있으며, 이는 다른 예시적인 구현예 중에서, 차량(105)을 대신해서 핸드오버 요청(예를 들어, 1605')을 송신할 수 있다. 원격 발렛 서비스가 제공될 수 있도록 차량(105)과 원격 발렛 시스템(1505) 사이에 보안의 고 우선 순위 통신 채널(1615)이 성립될 수 있다. 예를 들어, 차량(105)의 센서에 의해 수집된 센서 데이터(예를 들어, 카메라 데이터, LIDAR 데이터 등)는, 차량의 위치 및 상태는 물론 주변 환경에 대한 거의 실시간 뷰를 제공하기 위해, 송신될 수 있다. 일부 경우에, 데이터는 차량(105)의 내부 센서로부터의 데이터를 포함할 수 있다(예를 들어, 다른 예시적인 사용 중에서 차량의 승객의 뷰를 가능하게 하고 및/또는 승객과 원격 발렛의 가상 운전자 사이의 실시간 통신을 용이하게 하기 위해). 원격 발렛의 가상 운전자는, 자신이 수신한 차량(105)의 라이브 상태를 설명하는 정보에 응답해서, 자신의 단말기에서 제어를 사용하여 차량(105)의 주행 동작을 원격으로 제어하기 위해 채널(1615)을 통해 차량에 송신될 주행 지시 데이터를 생성할 수 있다. 원격 발렛 서비스는 또한 도로변 유닛, 다른 차량, 드론 및 기타 센서 장치와 같은 외부 소스로부터 보충 데이터(예를 들어, 차량(105)으로부터 수신되는 데이터에 더해서)를 획득할 수 있다. 이러한 정보는 하나 이상의 백엔드 시스템(예를 들어, 150)을 통해 용이하게 되는 우선 순위 채널(예를 들어, 1620)을 통해 제공될 수 있다. 일부 구현예에서, 원격 발렛 시스템(1505)은 차량(105)의 위치로부터 센서 세트(차량이 원격 발레 운전자의 제어하에서 경로를 따라 이동함에 따라 동적으로 변경될 수 있음)를 결정할 수 있고, 이로써 원격 발렛 시스템은 다른 보안 채널(예를 들어, 1620)을 성립시키고 원격 발렛 시스템에 의해 제어되는 차량 주변의 장면을 설명하는 라이브 데이터를 획득할 수 있다. 따라서, 일부 구현예에서, 원격 발렛 서비스는 제어되는 차량(105) 상의 또는 그 외부의 센서로부터의 센서 데이터 중 하나 또는 둘 다를 사용할 수 있다.
위에서 언급한 바와 같이, 일부 구현예에서, 자율 차량은 지원을 위해 원격 발렛 서비스를 호출해야 하는 경우를 검출할 수 있다. 일부 경우에, 이 결정은 하나 이상의 백엔드 서비스(예를 들어, 150)에 의해 지원될 수 있다. 일부 구현예에서, 차량은 핸드오버 요청(예를 들어, 1610)을 유발한 조건을 나타내는 데이터를 이러한 서비스(150)(또는 다른 클라우드 기반 시스템, 저장소 및 서비스)에 제공할 수 있다. 이 차량은 원격 발렛 시스템의 성능을 나타내는(예를 들어, 원격 발렛 시스템이 취한 기동 또는 경로를 나타내거나, 서비스에 대한 승객 만족도를 나타내는 등) 보고를 더 제공할 수 있다(서비스 이후에 또는 도중에). 이러한 보고 데이터(예를 들어, 1630)는 이후에 머신 학습 모델을 트레이닝하고 백엔드 또는 클라우드 기반 시스템(예를 들어, 150)에 의해 제공되는 서비스를 개선하는 데 사용될 수 있다. 시스템(150)에 의해 통찰(insight) 및 개선된 모델이 도출되고, 이후에 차량의 자율 주행 시스템(및 원격 발렛 지원 로직(1605))과 공유될 수 있다. 경우에 따라, 자율 차량은 원격 발렛의 기동 및 반응을 설명하는 정보를 기록하고 이를 사용해서 자체 자율 주행 머신 학습 모델에 사용되는 모델을 더 트레이닝하고 개선할 수 있다. 유사하게, 보고 데이터(예를 들어, 1620을 통해)는 본 명세서에 설명된 것과 같은 용례들 중에서, 차량의(및 다른 차량의) 자율 주행 로직 및 핸드오버 요청을 향상시키는 데 사용하기 위해 원격 발렛 시스템(1505)으로부터 클라우드 기반 서비스로 또는 차량으로 제공될 수 있다.
예로서, 자율 차량(예를 들어, 105)은 루트를 따라 주행하는 동안에 차량의 자율 주행 시스템이 특정한 상황을 핸들링할 수 없다는 것을 자율적으로 결정할 수 있다(또는 승객 피드백에 기초하거나 또는 공공 안전 담당자에 의해 수신 또는 보고된 피드백에 기초해서 결정할 수도 있다). 따라서, 원격 발렛 서비스가 트리거될 수 있다. 경우에 따라, 도로의 곧 있을 구간이 문제가 될 것이라는 예측에 기초해서 도로의 그 구간에 앞서서 원격 발렛 서비스가 컨택트될 수 있다. 일부 구현예에서, (도 5의 예에서 설명된 것과 같은) 자율 주행 파이프라인에서 경로 계획 단계를 구현하는 자율 주행 시스템 로직을 보완하는 로직의 블록에 의해 핸드오프 요청이 수행될 수도 있다. 일부 예에서, 원격 발렛 파킹 핸드오프 요청이 원격 발렛 시스템에 발행되면, 원격 발렛 서비스에 접속하는데 TCU(telematic control unit)와 같은 자율 차량의 통신 모듈이 사용될 수 있다. 일부 구현예에서, 원격 발렛 서비스 통신은 TCU의 제조 단계 동안 명시된 긴급 서비스(긴급 호출과 유사)와의 통신으로서 설정될 수 있다. 이 핸드오프 요청에서, 차량 위치가 제공될 수 있다. 일부 구현예에서, 핸드오프 요청 및 원격 발렛 서비스는 "원격 발렛"을 핸들링하는 인간 가상 운전자가 액션을 취하는 OEM-제공 통화/제어 센터에서 구현될 수 있다. 일부 구현예에서, 차량과 원격 발렛 서비스 사이의 접속을 설정하는 것에 응답해서, 원격 발렛은 실시간으로 주변을 보기 위해 모든 카메라로부터의 비디오를 스트리밍하는 요청을 차량에 송신할 수도 있다. 차량으로부터 수신되는 정보를 보충하기 위해, 동일한 위치에서 데이터(예를 들어, 추가 스트리밍 비디오)를 제공하는 다른 센서(예를 들어, 도로 카메라 및 도로변 센서)도 식별될 수 있다. 차량으로부터(및 가능하게는 추가 소스(예를 들어, 도로 카메라))로부터도) 스트리밍된 비디오를 통해 원격 발렛으로 거의 실시간으로 디스플레이되는 차량 주변 및 도로 상태의 뷰에 기초해서, 원격 발렛은 차량을 제어해서 차량을 목적지까지 주행시킨다(플레이어가 차량의 뷰를 보고 바퀴, 휴대형 컨트롤러 등으로 이를 운전하고 제어하는 비디오 몰입형 게임과 유사). 일부 경우에, 목적지는 루트에서 문제가 거의 없는 것으로 결정된 다음 섹션에 대응할 수 있으며, 여기서 포인트 제어는 표준 자율 주행 모드에서 차량의 주행을 제어하기 위해 자율 주행 시스템으로 다시 넘어갈 수 있다. 다른 경우에는, 원래 핸드오프 요청의 상황 및 검출된 특성에 기초해서, 다른 예시 및 용례 중에서, 센서 또는 자율 주행 시스템이 손상된 차량을 가장 가까운 서비스 센터로 이동시키거나, 혹은 아프거나 다친 승객이 있는 차량을 병원으로 이동시키는 것과 같이, 원격 발렛 서비스는 차량에서 검출된 문제를 해결하기 위해 장착된 것으로 식별된 특정 목적지로 차량을 안내할 수도 있다.
위에서 언급한 바와 같이, 일부 구현예에서, 차량의 자율 주행 시스템은, 다른 원격 센서 장치(예를 들어, 다른 자율 차량, 드론, 도로변 유닛, 날씨 모니터 등)에 의해 수집된 데이터에 액세스해서, 도로에서 곧 있을 코스의 가능한 상태를 선제적으로 결정할 수도 있다. 경우에 따라, 다양한 센서가 클라우드 기반 시스템에 데이터를 제공해서, 이 데이터의 집합을 집계하고 처리하여, 차도의 구간 및 이들 루트에 영향을 미치는 상태에 관한 정보를 여러 자율 차량에 제공할 수 있다. 위에서 언급한 바와 같이, 일부 경우에, 클라우드 기반 시스템 및 기타 시스템은 이전 풀오버 및 원격 발렛 핸드오버 이벤트와 관련된 입력을 수신하고 이러한 이벤트에 공통인 특성을 검출할 수 있다. 일부 구현예에서, 머신 학습 모델은 이 정보로부터 구축 및 트레이닝될 수 있으며, 이러한 머신 학습 모델은 도로변 장치, 클라우드 기반 지원 시스템, 원격 발렛 컴퓨팅 시스템 또는 자율 차량의 차량 내 시스템에 배포되어서 이에 의해 실행됨으로써, 잠재적인 원격 발렛 핸드오프를 예측적으로 결정하기 위한 로직을 제공한다. 예를 들어, 특정 자율 차량이 액세스하는 센서 데이터를 통해서 차량은 각 도로를 따라서, 빈번한 풀오버가 발생하고/또는 원격 발렛이 흔한 지역을, 미리 결정할 수 있다. 일부 예에서, 자율 차량은 (예를 들어, 대응하는 머신 학습 모델로부터) 도로에서 곧 있을 구간에 대해 보고된 상태가 풀오버 및/또는 원격 발렛 핸드오버의 가능성을 시사한다고 결정할 수 있다(심지어 이전에 도로의 특정 구간에서 풀오버 및 핸드오버가 발생하지 않은 경우에도). 이러한 정보를 사용해서, 자율 차량은 차량 내 운전자로의 또는 원격 발렛 서비스로의 핸드오버를 준비하기 위한 사전 조치를 취할 수 있다. 어떤 경우에는, 자율 차량이 앞길의 문제 구간을 피하기 위해 경로 계획을 변경하도록 결정할 수 있다(예를 들어, 원격 발렛을 지원할 수 있는 비가용성 통신 리소스, 선호하는 발렛 서비스에 대해 보고된 가용성 부족, 가능한 경우 원격 발렛을 피하도록 요청하는 사용자 선호도 등에도 기초해서). 일부 구현예에서, 자율 차량의 디스플레이는 곧 있을 예측 문제 및 풀오버 및/또는 원격 발렛 핸드오버의 가능성에 대해 차량 탑승자에게 경고 또는 지시를 제시할 수 있다. 어떤 경우에는, 이 정보는 대화형 디스플레이에 표시될 수 있으며, 이를 통해서 승객은, 승객으로의 핸드오버, 원격 발렛 서비스로의 핸드오버, 대한 루트의 선택 또는 풀오버 이벤트를 통해서, 곧 있을 여행 구간을 핸들링하기 위한 자신들의 선호도를 등록할 수도 있다. 또 다른 구현예에서, 도로의 문제 구간을 나타내는 클라우드-기반 지식은, 다른 예시적인 구현들 중에서, 운전자 및 다른 자율 차량에 문제 구간을 표시시키기 위해 도로 표지판 또는 차량 내 로드맵에 통신될 수 있다.
도 17을 참조하면, 풀오버 이벤트 위험 및 도로 상태 경고와 관련된 정보의 연계 보고를 나타내는 개략 블록도(1700)가 도시되어 있으며, 이는 이러한 위험하고 어려운 시나리오를 통해 자율 차량을 지원하기 위해 원격 발렛 서비스를 런칭하는 데 더 활용될 수 있다. 예를 들어, 영향을 받는 차량 및/또는 주변 센서 장치에 의해 풀오버 요청 및/또는 원격 발렛 이벤트에 대한 정보가 수집될 수 있으며, 이 정보는 자율 주행 시스템을 향상시키기 위해 공유되고 활용될 수 있다. 도 17의 예에서, 풀오버 또는 핸드오프가 발생되면, 영향을 받는 차량(예를 들어, 105)은 이 이벤트와 관련하여 생성 및 수집된 데이터를 조합하고, 이 정보를 클라우드 기반 지원 시스템(예를 들어, 150) 및/또는 도로변 유닛 또는 에지 컴퓨터(또는 에지 클라우드) 서버(예를 들어, 140)와 같은 에지 장치와 공유할 수 있다.
도 18은 다양한 차량 센서(예를 들어, 920, 925), 인공 지능/머신 학습 기반 자율 주행 스택(515) 및 원격 발렛 서비스를 제공할 수 있는 시스템에 대한 핸드오프 요청을 트리거하고 생성하는 것을 지원하는 로직(예를 들어, 1805)을 포함할 수 있는, 예시적인 자율 차량(105)의 특징을 도시하는 개략 블록도(1800)을 나타낸다. TCU(telematics control unit)(1810)이 제공될 수 있으며, 이를 통해 핸드오프 요청이 송신되고, 차량(105)과 원격 발렛 서비스를 제공하는 가상 운전자 단말기 사이에 통신이 설정된다.
자율 주행 엔진(예를 들어, 515)이 풀오버 이벤트를 결정하거나 혹은 원격 발렛 지원 로직(예를 들어, 1805)이 핸드오프 요청이 송신되어야 한다고 결정하면, 신호가 TCU(1810)로 송신되어서 차량 위치 및 풀오버 위치를 다양한 클라우드 기반 엔터티(또는 이 정보를 다수의 엔터티 또는 서비스에 배포하는 단일 엔터티 또는 게이트웨이)로 송신한다. 실제로, 많은 다양한 서비스가 이러한 정보를 사용할 수 있다. 예를 들어, 클라우드 기반 애플리케이션(1715)(예를 들어, 차량 OEM과 관련됨)은 이 정보에 대한 주요 타깃 또는 수신자가 될 수 있으며, 이 정보의 일부를 다른 수신자에게 배포할 수도 있다. 다른 경우에, 차량(105)은 데이터 자체를 제공하고 다수의 상이한 클라우드-기반 애플리케이션에 배포할 수 있다(예를 들어, 수신자 당 하나의 애플리케이션). 예를 들어, OEM 유지 관리 애플리케이션(예를 들어, 1720)은 풀오버 또는 핸드오프 정보를 활용해서 이를 진단에 사용할 수 있으며, 차량(및 그 모델)이 자율 주행을 핸들링할 수 없는 코너 케이스를 식별한다. 일부 예에서, 풀오버 또는 핸드오프 정보의 수신자는, 차량으로부터 직접 정보를 수신하거나 또는 차량으로부터 직접 정보를 수신하는 OEM을 통해서, 전용 클라우드 앱을 통해 이 정보를 수신할 수 있는 기존의 내비게이션 맵, 3D 맵, 고화질(HD) 맵 등의 제공 업체를 포함하는 맵 애플리케이션 제공 업체(예를 들어, 1725, 1726)를 포함할 수 있다. 맵 제공 업체는, 풀오버 이벤트 및 어려운 자율 주행 조건의 경향이 있는 영역에 대한 정보로 맵을 채우는 데 도움을 줄 수 있는 통계에 풀오버 및 핸드오프 정보를 활용함으로써, 이 정보가 지속적으로 업데이트될 수 있게 한다. 또한, HD 맵은 다른 예 중에서도, HD 맵이 제공하는 도로 구간당 고정밀 정보의 일부로서 이러한 정보를 포함할 수 있다. 지방 자치 단체, 정부 기관, 유료 도로 제공 업체 및 기타 인프라 회사 및 관리 기관(예를 들어, 1730)은 풀오버 및 핸드오프 정보의 수신자일 수 있다(예를 들어, 다른 예들 중에서, 차량(105)으로부터 직접적으로, 다른 애플리케이션 또는 엔티티를 통해 간접적으로, 또는 관련 도로변 센서 및 도로변 지원 장치를 통해 이러한 정보를 캡처함으로써). 이들 기관은 이 정보를 사용해서, 새로운 도로 및 인프라 프로젝트, 경찰, 통행료에 대한 증거로서 도로 유지 관리를 트리거하는 데 활용하여 표지판이나 경고의 배포 및 다른 용례를 트리거할 수 있다.
풀오버 또는 핸드오프 이벤트는 또한 차량(105)이 인근 도로변 유닛, 차량 및 다른 센서 장치와 정보를 공유하는 것을 트리거할 수 있다. 예시적인 도로변 장치(예를 들어, 140)는 예를 들어 자신이 수신한 다른 데이터로 이 데이터를 처리하는데 이 정보를 활용하고, 이 정보 또는 그 분석 결과를 다른 차량(예를 들어, 110) 또는 근접한 시스템(예를 들어, 도로 구간 애플리케이션(1735)을 통해서)과 공유할 수 있다. 예를 들어, 다른 예시 액션들 중에서, 도로변 장치는 풀오버 이벤트의 위험에 대해 다른 차량에 경고하고, 원격 발렛 서비스와의 통신을 지원하기 위한 인프라를 준비할 수 있다. 도로변 유닛은 또한 이 정보를 저장하거나 통신해서, 관련 지방 자치 단체, 유지 보수 공급 업체 및 기관이 이 정보를 사용할 수 있게 한다(예를 들어, 교통 신호 타이밍을 동적으로 조정하고, 디지털 표시판을 업데이트하며, 추가 교통 차선을 여는 등).
위에서 논의된 바와 같이, 다양한 클라우드-기반 및 에지-기반 컴퓨팅 시스템은 시간이 지남에 따라 다양한 차량으로부터 수집된 풀오버 및 핸드오프 정보를 활용하여 모델을 개선할 수 있으며, 이는 다른 예시적인 용례 및 이점 중에서, 추천 시스템을 개선하고(예를 들어, 풀오버 또는 원격 발렛 핸드오프를 추천), 예측적인 또는 선제적인 원격 발렛 핸드오프를 활성화하며, 자율 주행 모델을 개선하고, 원격 발렛 서비스를 개선하는데 공유 및 사용될 수 있다.
일부 구현예에서, 자율 주행 스택은 "검지, 계획, 액션" 모델을 활용할 수 있다. 예를 들어, 도 19는 적어도 하나의 실시예에 따른 자율 차량을 제어하기 위한 예시적인 "감각, 계획, 액션" 모델(1900)을 나타낸다. 이 모델(1900)은 또한 경우에 따라서 자율 차량 제어 파이프라인이라고 지칭될 수도 있다. 도시된 예에서, 검지/인식 시스템(1902)은 단일 타입 또는 다중 모드의 센서의 조합(예를 들어, LIDAR, 레이더, 카메라(들), 도시된 바와 같은 HD 맵, 또는 다른 타입의 센서)으로 구성되어서, 움직이는 에이전트와 움직이지 않는 에이전트 및 검지 요소와 관련된 현재 위치를 포함하는, 환경의 디지털 구성(센서 융합을 통해)을 가능하게 한다. 이를 통해 자율 차량은 그 주변의 내부 표현을 구성하고, 이 표현(환경 모델이라고도 함) 내에 자신을 배치할 수 있다. 이 환경 모델은 경우에 따라 3가지 타입의 구성 요소, 환경에 관한 정적 정보(HD 맵과 연관될 수 있음), 환경에 관한 동적 정보(예를 들어, 현재 위치 정보 및 속도 벡터로 표현될 수 있는 도로에서 움직이는 물체), 및 자율 차량이 모델 내에서 적합한 위치를 나타내는 자아 위치(Ego localization) 정보를 포함할 수 있다.
이후 환경 모델은 차량 내 자율 주행 시스템의 계획 시스템(1904)에 공급될 수 있으며, 이는 능동적으로 업데이트된 환경 정보를 취하고, 이들 환경 상태의 예측되는 거동에 응답해서(예를 들어, 경로 정보, 거동 정보, 예측 정보 및 궤도 정보) 액션 계획을 구성한다. 이후 이 계획은 가동 시스템(1906)에 제공되고, 이는 자동차가 상기 계획에 따라 액션하게 할 수 있다(예를 들어, 자율 차량의 가스, 제동 및 조향 시스템을 가동시킴으로써).
하나 이상의 측면에서, 사회 규범 모델링 시스템(1908)은 감각 시스템과 계획 시스템 사이에 존재하고, 계획 시스템에 대한 병렬 입력으로서 기능한다. 제안된 사회 규범 모델링 시스템은, 차량의 거동을 특정 위치에서 관찰되는 사회 규범에 적응시키는 것을 목표로 해서, 차량의 환경에 대한 적응적 시멘틱 거동 이해를 제공하는 역할을 한다. 예를 들어, 도시된 예에서, 사회 규범 모델링 시스템(1908)은, 인식 시스템(1902)에 의해 생성된 환경 모델을 계획 시스템(1904)에 의해 사용되는 거동 모델과 함께 수신하고, 이 정보를 사회 규범 모델을 결정하기 위한 입력으로서 사용하며, 이는 고려를 위해 계획 시스템(1904)으로 다시 제공될 수도 있다.
사회 규범 모델링 시스템(1908)은, 차량의 검지 구성 요소로부터 센서 정보를 취하고, 사회적 주행 규범의 위치-기반 거동 모델을 공식화할 수 있다. 이 정보는 인간 운전자가 정상적인 도로 협상을 고려하는 것에 비해 자율 차량이 위험 회피를 덜 행하게 만드는 방식으로, 인간 운전자의 거동을 정량화하고 해석하는 데 사용될 수 있으므로, 소심한(timid) 자율 차량 거동을 해결하는 데 유용할 수 있다. 예를 들어, 현재 모델은 계산된 방식을 취하고, 특정 액션이 취해질 때의 충돌 위험을 측정할 수 있지만, 그러나 이러한 방식만으로는 공격적인 주행이 사회 규범인 환경에서 자율 차량이 고속도로에서 협상을 행할 때 무력하게 할 수 있다.
도 20은 적어도 하나의 실시예에 따른 개략의 사회 규범 이해 모델(2000)을 나타낸다. 사회 규범 이해 모델은 자율 차량 제어 파이프라인(1900)의 사회 규범 모델링 시스템(1908)과 같은, 자율 차량 제어 파이프라인의 사회 규범 모델링 시스템에 의해 구현될 수 있다.
도시된 예에서, 사회 규범 모델링 시스템은 자율 차량에 대한 환경 모델 및 거동 모델을 먼저 로딩한다(2002). 환경 모델은 자율 차량 제어 파이프라인(예를 들어, 도 19 참조)의 인식 시스템으로부터 사회 규범 모델링 시스템으로 전달되는 환경 모델일 수 있다. 거동 정책은 자율 차량 제어 파이프라인의 계획 단계에서(예를 들어, 도 19에 표시됨) 수신될 수 있다. 경우에 따라, 계획 단계에서 사용되는 디폴트 거동 정책이 송신될 수 있다. 다른 경우, 거동 정책은 인식 시스템에 의해 계획 시스템으로 전달되는 환경 모델에 기초할 수 있다.
2004에서, 사회 규범 모델링 시스템은 환경 모델에 의해 묘사된 시나리오가 기존 사회 규범 프로파일에 매핑되는지 여부를 결정한다. 매핑된다면, 참조용으로 기존의 소셜 규범 프로필이 로딩된다. 매핑되지 않는다면, 새로운 사회 규범 프로필이 생성된다. 새롭게 생성된 사회 규범 프로파일은 사회 규범을 설명하기 위한 디폴트 제약 또는 기타 정보를 포함할 수 있다. 각각의 사회 규범 프로파일은 특정 시나리오/환경(예를 들어, 자율 차량 주변의 차량 수, 시간대, 주변 차량의 속도, 기상 상태 등)과 연관될 수 있으며, 제약(이하에 더 설명됨) 또는 거동 정책과 관련된 사회 규범을 설명하는 기타 정보를 포함할 수 있다. 각 사회 규범 프로필은 특정한 지리적 위치와도 연관될 수 있다. 예를 들어, 동일한 시나리오가 서로 다른 지리적 위치에 표시될 수도 있지만, 관찰되는 거동이 각각의 위치마다 상당히 다를 수 있기 때문에, 각각의 시나리오는 서로 다른 대응하는 사회 규범 프로필을 가질 수 있다.
다음으로, 2010에서, 사회 규범 모델링 시스템은 환경 모델의 동적인 정보를 관찰한다. 동적인 정보는 동적 장애물(예를 들어, 다른 차량 또는 도로상의 사람)에 대한 거동 정보를 포함할 수 있다. 이후 사회 규범 모델링 시스템은, 동시에, (1) 동적 장애물에 의해 표시되는 관찰되는 거동의 변동을 결정 또는 추정하고(2012), (2) 자율 차량의 거동으로부터, 동적 장애물에 의해 표시되는 관찰된 거동의 편차를 결정하거나 추정한다(2014). 예를 들어, 모델은 다른 차량의 관찰된 거동이 2002에서 로딩된 거동 모델의 현재 파라미터 내에 있는지 결정할 수 있으며(2012), 차량의 거동 사이의 편차가 거동 모델의 현재 파라미터 내에 있는지 여부를 결정할 수 있다(2014).
결정된 변동 및 편차에 기초해서, 사회 규범 이해 모델은 관찰된 사회 규범이 사회 규범 프로파일로부터 변경되었는지 여부를 결정할 수 있다(2016). 변경되었다면, 새로운 정보(예를 들어, 아래 설명된 제약)는 사회 규범 프로필에 저장될 수 있다. 변경되지 않았다면, 모델은 시나리오가 변경되었는지 여부를 결정할 수 있다(2020). 변경되지 않았다면, 모델은 계속해서 동적 정보를 관찰하고, 위에서 설명한 바와 같이, 관찰된 거동의 분산 및 편차를 결정한다. 시나리오가 변경되면 모델은 2002부터의 프로세스를 처음부터 수행한다.
일부 실시예에서, 사회 규범 이해 모델(2000)은 자아(ego) 차량 거동 정책에 대한 관찰-기반 제약으로서 사회 규범을 생성할 책임이 있을 수 있다. 이러한 제약의 생성은, 주변 차량의 시나리오에서 시간적인 트래킹 동작으로부터 파생될 수 있다. 특히 2가지 프로세스가 동시에 실행될 수도 있다:
·모든 주변 차량의 관찰로부터 현재 거동 정책/모델에 대한 유클리드 거리를 분석하는, 거동의 변경을 추정; 및
·거동의 한계의 역할을 하는 부정적인 피드백(범법)을 결정하는, 관찰된 주행 정책에 대한 주변 차량의 반응을 분석하는 편차의 추정.
2가지 병렬 프로세스의 결과는 사회 규범을 형성하는 거동 범주 한계를 결정하는 데 사용될 수 있다. 이 사회 규범(예를 들어, 범주 한계)은 계획 모듈로 반환되어서 특정한 주행 시나리오에 적합한 제약으로 작용할 수 있다. 병렬 프로세스에서 관찰되는 거동의 변화 및 편차에 따라서, 결과적인 사회 규범은 거동 플래너에 더 엄격한 제약 혹은 더 느슨한 제약을 적용해서, 보다 자연스러운 주행 거동을 가능하게 할 수 있다. 경우에 따라, 사회 규범 구성은 도로의 기하학적 형상 및 시그널링과 같은 시나리오 특성 및 관찰되는 주변 차량에 따라 달라질 수 있다. 도로 환경과 자아 차량과 상호 작용하는 차량 참여자 수의 조합으로부터 다른 사회 규범이 나타날 수 있다. 어떤 경우에는, 모델은 시간 경과에 따라 나타나는 사회 규범의 변화를 허용할 수 있다.
일 예시적인 구현예에서, 시나리오는 HD 맵의 일부로서 차선을 명시하는 로드맵 지오메트리 및 Xi=[xi, yi, θi, vi]로 특징 지어지는 상태를 가진 이들 차선에 배치된 차량으로 구성될 수 있으며, 여기서 각각의 차량 i에 대해, (xi, yi)는 위치를 나타내고, θi는 방향을 나타내며, vi는 속도를 나타낸다. 따라서 m개의 차량 상태가 집합(xi,... xm)으로 제공될 수 있다. 각 차량의 궤적은 비용 함수를 사용해서 일정 시간 간격으로 계산할 수 있다:
Figure pct00001
여기서 Δui는 거동 모델과 관련하여 관찰되는 차량 제어 차이이다. 정의된 관찰 윈도우(N)에 비용 함수를 적용하면 궤적 tryi가 생성된다. 이 궤적 계획에 대한 제약은
Figure pct00002
와 같은 정적인 장애물, 동적 장애물(안전 제약)
Figure pct00003
, 또는 특정 출력 ui,k의 타당성으로부터 취득될 수 있다. 각 차량 사이의 상호 작용은
Figure pct00004
로서 관찰할 수 있으며, 관찰된 상호 작용으로부터 제약 조건의 변화가 도출될 수 있다(예를 들어, 비용 함수 Ji를 최소화함으로써). 도출된 제약은 시나리오에 대한 "사회 규범"으로 간주될 수 있으며, 일부 실시예에서, 궤적 계획을 위한 자아 비용 함수에 직접 적용되도록 계획 시스템으로 전달될 수 있다. 다른 구현예에서는, 다른 비용 함수를 사용해서 제약을 도출할 수도 있다. 예를 들어, 일부 경우에, 구현예는 사회 규범을 학습하기 위해 신경망을 사용하는 것이나 또는 부분적으로 관찰 가능한 Markov 판정 프로세스를 포함할 수 있다.
주행 문화/사회 규범에 대한 이해가 알려져 있는 경우(예를 들어, 공격적인 주행의 경우), 도로에 있는 다른 에이전트들에 의해 위험이 예상된다고 하는 지식으로부터 위험 감소가 생겨나기 때문에, 계획 시스템은, 더 공격적으로/덜 공격적으로 위험을 수용하도록, 자신의 협상 전술을 변경하도록 조정될 수 있다. 또한, 사회 규범을 모니터함으로써, 거동 모델이 다수의 지리적 위치에 대해 설계될 수 있고 이것이 시간이 지남에 따라 개선될 수 있으므로, 특정 지리적 컨텍스트에 맞춰선 설계되는 자율 주행 시스템의 문제를 해결할 수 있다. 이 방식은 또한 사회적 운전 규범의 생성 및 배포를 위한 기반을 설정한다. 자율 차량이 도로에서 대부분을 차지함에 따라서, 이러한 적응형 시멘틱 거동 이해 시스템은 모든 도로 액터에 대한 도로 협상을 지시할 수 있는, 공유 거동 모델을 가능하게 할 수 있다.
도 19, 20에 도시된 예시적인 프로세스에서의 동작은, 예시적인 자율 차량의 차량 내 컴퓨팅 시스템의 다양한 측면들 또는 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스는 추가 동작 또는 상이한 동작들을 포함할 수 있고, 이 동작들은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 일부 경우에, 도 19, 20에 도시된 하나 이상의 동작들은, 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들이 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
차량 대 차량 통신(V2V)은 위험 감소를 실현하기 위해 자율 차량에 의해 활용될 수 있다. 예를 들어, 이러한 통신은 충돌, 도로의 장애물 위치와 같은 이벤트를 브로드캐스트하는 데 사용될 수 있다. 다른 사용 사례에서는, 매핑 또는 기동 연계와 같은 기동 태스트에 대해 원격 검지를 사용할 수 있다. 두번째 타입의 연계 태스크에서, 대부분의 개념은 군집 주행(platooning)을 조정하는 데 사용되는 C-ACC(Cooperative Adaptive Cruise Control)와 같은 매우 구체적인 교통 상황이나 애플리케이션으로 제한된다. 예를 들어, C-ACC는 종 방향 조정을 사용해서, 선행 차량과의 시간 간격을 최소화하고, 교통 흐름 및 연비 개선을 얻는다. 차량 통로(corridor) 및 인접 차선에 안전 갭을 설정하기 위해서, 일부 시스템에서는 종 방향 조정과 횡 방향 조정의 조합을 통한 차선 변경 및 합류과 같은, 다른 조정된 기동이 지원될 수 있다. 그러나, 연계를 달성하기 위해 다수의 차량을 조정하고 통행권 규칙(right-of-way rules)을 적용해야 하는 교차로에서는, 종 방향 및 횡 방향 조정 제어로는 충분하지 않을 수 있다. 기존 솔루션은 특정 주행 시나리오에는 유용하지만, 상호 운용을 위한 메커니즘은 부족하다. 또한, 이러한 솔루션의 대부분은, 각 차량이 접속되고 자동화되어 있으며, 동일한 전략으로 제어된다고 가정한다. 이러한 견지에서, 일부 자율 주행 시스템에 사용되는 머신 학습 모델은 일반적인 차량 거동을 가정하고, 이러한 가정에 기초해서 자율 주행 결정을 조정한다. 자율 주행 시스템에 대한 표준 방식은 이상이라고(예를 들어, 다른 자동차는 자율이고, 인간 운전자는 법을 준수하는 등) 가정하는 모델을 적용할 수도 있지만, 이러한 솔루션은 인간 운전자 및 그 거동이 통제될 수 없고 규칙이나 교통 연계 목표를 준수할 수도 있고 준수하지 않을 수도 있는 혼합 교통 시나리오에서는 적용할 수 없다.
일부 구현예에서, 특정 차량의 차량 내 자율 주행 시스템은 완전 자동화된 혹은 혼합된 교통 시나리오에서 기동 조정을 수행하고, 특정 차량의 자율 주행 의사 결정 및 경로 계획 기능을 지원하면서 V2X 통신 기술(V2V(Vehicle to Vehicle) 혹은 I2V(Infrastructure to Vehicle) 등을 포함)을 통해 통신되는 공유 거동 모델을 사용하도록 구성될 수 있다. 예를 들어, 도 21에 도시된 바와 같이, 차량의 적어도 일부가 반-자율 또는 완전-자율인 환경에서 차량 사이에서 조정하는 측면들을 나타내는 도면(2100a~c)이 도시되어 있다. 예를 들어, 거동 모델은 자율 차량의 경우에 주행 규칙을 사용해서 혹은 자연적인 주행 거동을 유도하는 데이터 학습 프로세스를 통해서 구성될 수 있다. 예를 들어, 위에서 논의한 바와 같이, 모델에서 정의된 학습된 제약을 수정하는 데 기초가 되는 역할을 하는 환경으로부터의 관찰에 기초한 적응을 통해서 지속적으로 개발 및 개선할 수 있는 거동 모델이 제공될 수 있다. 모델이 존재하지 않을 수 있는 인간 주행 차량의 경우에, 인공 신경망을 사용해서 시간이 경과됨에 따라 대략적인 거동 모델이 구성될 수 있다. 이러한 신경망 모델은 모델에 제공되는 입력에 기초해서 지속적으로 학습하고 개선할 수 있다. 예를 들어, 이러한 모델에 대한 예시적인 입력 파라미터는 다른 예들 중에서 도로 환경 정보(예를 들어, 맵 데이터), 주변 차량의 위치 및 속도 벡터, 자아 차량 초기 위치 및 속도 벡터, 운전자 식별 정보(예를 들어, 인간 운전자의 인구 통계)를 포함할 수 있다. 따라서, 차량이 자신의 거동 모델을 다른 차량과 공유할 때, 거동 모델의 버전은 도로 운전 동안에 차량에 의한 관찰 및 추가 학습에 기초해서 개선되고 더 조정된 것일 수 있다.
도 21에 도시된 바와 같이, 도면(2100a)은 주행 환경에 있는 2대의 차량(A 및 B)를 나타낸다. V2V 통신을 통해서 차량 중 하나 또는 모두는 관측 및 센서 데이터를 다른 차량과 공유할 수 있다. 예를 들어, 차량 A는 도로의 한 구간에 영향을 미치는 장애물(예를 들어, 2105)을 검지할 수 있으며, 다른 차량(예를 들어, 도로의 동일한 구간에 있거나 진입하는 차량 B)의 존재를 더 검지할 수 있다. 차량 A는 장애물(2105)에 관한 정보(예를 들어, 자신의 좌표, 장애물 또는 위험의 타입(예를 들어, 물체, 사고, 날씨 이벤트, 신호 또는 신호등 정전 등), 장애물(예를 들어, 장애물이 자전거인 경우)에 대해 결정된 컴퓨터-비전-기반 분류 등의 정보)를 통신한다. 나아가, 위에서 소개한 바와 같이, 차량(A 및 B)는 V2V 또는 V2X 통신을 활용해서 다른 차량과 거동 모델을 공유할 수 있다. 이들 모델은, 수신 차량이 이웃 차량이 특정 상황에서 특정 거동을 취할 확률을 결정하는 데 활용될 수 있다. 이렇게 결정된 확률은 차량 자체의 머신 학습 또는 기타(예를 들어, 규칙 기반과 같은 로직 기반) 모델 및 자율 주행 로직으로의 입력으로서 사용되어서, 이들 인접 차량이 존재할 때 의사 결정 및 경로 계획에 영향을 미칠 수 있다.
도 21은 자율 주행 환경 내에서 거동 모델을 교환하고 사용하는 흐름을 나타낸다. 예를 들어, 도 2100a에 도시된 바와 같이, 두 대의 차량은 도로의 한 구간 내에서 서로의 존재를 식별하고, 송신 차량의 현재 위치, 자세 및 속도 등을 식별하는 정보를 다른 차량에 송신할 수 있다. 거동 모델이 아직 공유되지 않았거나 다른 차량으로부터 획득되지 않은 경우에, 하나 이상의 거동 모델이 차량 사이에서 또는 인프라 중개자와 교환될 수 있다. 도면(2100c)에 도시된 바와 같이, 거동 모델은 입력 매핑 및 다른 지리적인 데이터(예를 들어, 운전 가능한 잠재적 경로의 식별), 이 경로 내에서 검출된 장애물 및 차량의 상태(예를 들어, 그 위치, 방향, 속도, 가속, 제동 등)를 취한다. 거동 모델에 의해 생성된 출력은 대응하는 차량이 특정 액션(예를 들어, 조향, 제동, 가속 등)를 수행할 확률을 나타낼 수 있다. 거동 모델은 일반적인 것일 수도 있고 특정 시나리오일 수도 있다(예를 들어, 차선 유지, 차선 변경, 램프 합류 또는 교차로 모델 등). 예를 들어, 거동 모델은, 특정 주행 시나리오의 경우, 시나리오에서의 대응하는 차량의 액션 확률을 분류한다는 견지에서 "보편적인" 모델일 수 있다. 다른 경우에는, 단일 차량(또는 차량 제조업체/모델)에 대해 다수의 시나리오-특정 또는 위치-특정 거동 모델이 개발될 수 있으며, 모델의 집합은 (예를 들어, 차량이 다른 차량과 마주치는 위치(들) 또는 시나리오(들)에 기초해서 상황에 따라서, 패키지로서 한 번에 모두) 교환될 수 있다. 이 경우에, 차량은 먼저 계획중인 시나리오를 검출하고(예를 들어, 차량의 자체 경로 계획 단계에서 행해진 결정에 기초해서), 다른 예제 구현 중에서 이 결과를 사용해서 다른 차량의 공유 모델 중 특정 모델을 식별해서 현재 시나리오에 가장 '적합(fit)'하고 이 거동 모델을 사용하는 거동 모델을 식별할 수 있다.
도 21의 예를 계속 참조하면, 차량 B는 차량 A의 거동 모델을 수신하면, 차량 A가 그 근처에 있다는 것을 검출하고 차량 B의 자체 센서 어레이, 외부 데이터 소스(예를 들어, 도로변 장치), 또는 환경, 장애물, 차량 A의 속도 등을 설명하는 차량 A에 의한 (예를 들어, 비콘 신호를 통한) 데이터 공유 V2V와 같은 거동 모델에 대한 전류 입력을 추가로 검출할 수 있다. 이들 입력(예를 들어, 2110)은 확률 값 P(예를 들어, 2120)를 유도하기 위한 공유 거동 모델(예를 들어, 2115)로의 입력으로서 제공될 수 있다. 이 확률 값(2120)은, 차량 A가 특정 방향으로의 조향, 가속, 제동, 속도 유지 등과 같은 특정 액션(현재 환경 및 차량 A의 관찰된 상태가 주어진 경우)을 수행할 확률을 나타낼 수 있다. 이 확률 값(2120)은 이후에, 차량 B의 자율 주행 스택(예를 들어, 2125)이 자신의 경로를 계획하고 차량 A의 존재와 관련해서 판정을 내리는 데 사용될 수 있다. 따라서 공유된 거동 모델을 사용해서, 차량 B는 다른 예시적인 구현예들 중에서, 운전 환경 내에서, 거동 모델을 이용할 수 없는 차량이 존재하는 동안에 운전할 때 자율 주행 스택(2125)이 사용하는 디폴트 방식 또는 프로그래밍으로부터 취할 액션을 결정하는 방식을 변경할 수 있다.
따라서, 일부 구현예에서, 하나의 차량이 다른 차량의 액션과 기동 및 상세하게는 상이한 주행 자율 레벨을 가진 특정한 차량들의 액션 및 기동을 예상하고 계획하는 것을 가능하게 하기 위해서(자신의 머신 학습 기능을 사용해서), 차량은 이들 다른 차량의 거동 모델을 획득하거나 아니면 이에 액세스할 수 있다. 이들 인접 차량의 모델에 기초해서, 이들 차량과 도로를 공유하는 차량은, 각각의 차량에 영향을 미치는 환경에서 관찰된 조건에 기초해서 이들 차량이 어떻게 반응할지 예측할 수 있다. 주변 차량의 거동 모델을 차량에 제공함으로써, 이 차량은 환경 조건의 예측을 통해 미래 시나리오를 예측할 수 있다. 이러한 방식에서, 이들 추가 거동 모델이 장착된 차량은 불확실성이 낮은 모델 기반 예측과 현재 관찰에 기초해서 위험 최적화된(risk-optimized) 판정을 계획할 수 있다. 이러한 솔루션은 자율 주행 환경 내에서 안전성을 향상시킬뿐만 아니라 이러한 다른 모델을 사용하는 차량이 주변 차량에 대한 확률 예측에 기초해서 개별적인 거동 모델을 계산할 필요가 없으며, 이 예측이 신뢰될 수 있는지 체크하고 그에 따라 동작을 수정하기 때문에 계산적으로 더 효율적일 수 있다.
도 22로 넘어가면, 2개의 차량(105, 110) 사이의 예시적인 정보 교환을 나타내는 블록도(2200)가 도시되어 있다. 일 예에서, 접속된 차량은 비콘 교환 및 모델 교환을 포함한 정보 교환을 위한 다수의 상이한 모드를 가질 수 있다. 일례로, 비콘 교환은 대응하는 차량의 신원(예를 들어, 동일한 차량의 위치, 방향(orientation) 및 방향(heading)을 나타내는 상태 벡터와 함께 예를 들어 CAVid(connected autonomous vehicle identifier))을 시그널링하기 위한 비콘(2208)의 브로드캐스트를 포함한다. 모델 교환은 브로드캐스팅 차량의 거동 모델을 다른 차량(및 도로변 시스템)에 브로드캐스트하는 것을 포함할 수 있다.
거동 모델이 다른 차량에 의해 동작되어서 미래의 차량 거동을 예측하고 대응하는 거동을 취할 수 있다는 점을 감안할 때, 어떤 경우에는, 거동 모델이 트러스트되는 차량으로부터 수신될 때에만 수용되고 사용될 수 있다. 따라서, 차량 사이의 모델의 교환은 장치가 해당 차량으로부터 수신된 거동 모델의 초기 신뢰도를 설정할 수 있게 하는 트러스트 프로토콜을 포함할 수 있다. 일부 구현예에서, 이 신뢰도 값은 출력 거동이 관찰된 차량 거동과 크게 상이한 경우에 시간이 지남에 따라 변경될 수 있다. 신뢰성 값이 특정 임계값 아래로 떨어지면 이 모델은 적합하지 않은 것으로 간주될 수 있다. 도 22에 도시된 바와 같이, 일부 구현예에서, 2개의 차량(105, 110)이 환경 내에서 서로 마주칠 때, 2개의 차량(예를 들어, 105, 110)은 비콘 교환을 사용해서 브로드캐스트되는 각각의 CAVid를 통해 서로를 식별한다. 차량(예를 들어, 105)은 CAVid(예를 들어, 2210에서)로부터 다른 차량(예를 들어, 110)이 알려진 차량인지(또는 그 거동 모델이 알려진 모델인지) 결정함으로써, 차량(105)은 대응하는 거동 모델(예를 들어, 로컬 캐시에 있거나 트러스트되는(예를 들어, 클라우드-기반 또는 포그-기반) 데이터베이스(예를 들어, 2215)에 저장됨)을 식별하고 액세스한다. 따라서, 일부 구현예에서, 다른 차량과 마주칠 때, 필요한 거동 모델이 비콘 신호에 포함된 광고된 CAVid에 대응하는 데이터베이스(2215)에 있는지 여부를 결정하기 위해 룩업이 수행될 수 있다. 차량(105)이 식별된 차량(110)에 대한 거동 모델을 소유하지 않는 것으로 결정되면, 이 차량은 토큰의 교환을 통해 세션을 설정함으로써 모델 교환을 시작할 수 있다(2220에서). 일례로, 각 토큰(예를 들어, 2225)은 CAVid, 공개키 및 비밀값뿐만 아니라 세션 ID를 포함할 수 있다. 각 차량(예를 들어, 105, 110)은 다른 차량의 토큰을 수신하고, 토큰이 유효한지 확인하기 위해 토큰의 검증(2230)을 수행할 수 있다. 토큰 서명을 검증하면, 차량이 다른 차량을 트러스트하고 모델 교환을 진행하기를 원한다는 것을 나타내는 확인(acknowledgement)이 다른 차량과 공유될 수 있다. 일부 구현예에서, 모델 교환은, 모델 교환(2240)이 마지막 패키지에서 완료될 때까지(예를 들어, 확인에 의해 표시될 수 있는), 다수의 패킷을 통해 분할되고 통신되는 거동 모델(예를 들어, 2235)의 통신을 포함할 수 있다. 2대의 차량 사이의 접속이 끊어진 경우에, 세션의 세션 ID이 필요에 따라서 데이터를 복구하는 데 사용할 수 있다. 2대의 차량 사이의 통신에서 V2V 또는 V2X 통신은 활용될 수 있다. 일부 예에서, 통신 채널은 5G 무선 채널과 같은 저지연의 높은 처리량일 수 있다.
차량은, 다른 차량의 거동 모델을 수신하면, 모델에 대한 모델 검증(2245)을 수행할 수 있다. 모델 검증(2245)은, 수신 차량의 자율 주행 스택 또는 머신 학습 엔진과의 표준 적합성 및 호환성과 관련해서 그 모델을 체크하는 것을 포함할 수 있다. 일부 예에서, 수신 차량의 거동 모델의 과거 입력 및 기록된 출력은 수신 차량에 캐시될 수 있으며, 수신 차량은 이들 캐시된 입력을 수신한 거동 모델에 적용하고, 출력을 캐시된 출력과 비교해서(예를 들어, 출력이 비교 가능한 경우 수신한 거동 모델의 유효성을 검사) 수신한 거동 모델의 유효성을 검증할 수 있다. 다른 구현예에서, 거동 모델(2245)의 검증은 대응하는 차량(예를 들어, 110)의 성능을 관찰하고, 관찰된 성능이 거동 모델을 통해 결정된 예상 성능에 대응하는지 여부를 결정함으로써(예를 들어, 현재 환경에 대응하는 입력을 모델에 제공하고, 출력이 차량의 관찰된 거동에 부합하는지 여부를 식별함으로써) 수행될 수 있다. 도 22의 예에서, 수신한 거동 모델이 검증되면 확인(acknowledgement)(예를 들어, 2250)이 소스 차량으로 송신되고 세션은 닫힐 수 있다. 이로부터 차량은 비콘을 계속 교환하여(2255에서) 지속적인 근접성을 식별하고 다른 정보(예를 들어, 센서 데이터, 모델 출력 등)를 공유할 수 있다.
도 22의 예는, 익숙하지 않은 차량과 마주치고 새로운 거동 모델이 공유되는 경우를 나타내고 있지만, 만약 2대의 차량(예를 들어, 105, 110)이 과거에 이미 서로 거동 모델을 공유했다면, 캐시 또는 거동 모델 데이터베이스(2215)를 룩업함으로써 긍정 결과를 내고, 모델 검증의 확인 메시지가 2대의 차량 사이에 공유될 수 있다. 일부 경우에, 거동 모델은 업데이트되거나 만료될 수 있는데, 이 경우 예컨대, 차량은 다른 알려진 차량(또는 차량 모델)에 대한 업데이트를 식별해서 모델 업데이트 교환이 수행될 수도 있다(예를 들어, 새로운 세션에서의 전체 모델 교환과 유사한 방식으로). 일부 경우에, 차량(예를 들어, 105)은, 특정한 다른 차량(예를 들어, 110)의 관찰된 거동이 (이후에 이 특정 차량과 마주쳤을 때) 거동 모델의 이전에 저장된 버전을 적용할 때 결정된 예측 거동에 부합하지 않는다고 판정하는 것에 기초해서, 이 특정한 다른 차량에 대해 이전에 저장된 거동 모델이 오래되었다거나 부정확하다거나 결함이 있다고 일방적으로 결정할 수 있다. 이와 같이 결정되면, 차량(예를 들어, 105)에게 거동 모델의 업데이트된 버전을 요청할 수 있다(예를 들어, 도 22에 도시된 것과 유사한 모델 교환을 트리거함).
검증되고, 정확하며, 트러스트되는 거동 모델의 교환 및 수집을 통해서, 차량은 향후에 비콘 교환을 활용해서 차량을 식별할 수 있으며, 이는 환경을 네비게이트할 때 트러스트되는 정확한 거동 모델을 사용해서 주변 차량의 거동의 향후 예측을 효율적인 방법으로 생성할 수 있다. 경우에 따라, 거동 모델 및 CAVid는 차량별로 제공될 수 있다. 다른 예에서, 특정 자율 차량 모델(예를 들어, 제조사, 모델 및 연도)의 각 인스턴스는, 동일한 거동 모델을 사용하는 것으로 가정될 수 있으며, 따라서 차량은 예컨대, 이 자동차 모델의 임의의 인스턴스와의 마주칠 때 이 자동차 모델과 연관된 단일 거동 모델의 검증을 사용할 수 있다.
거동 모델은 대응하는 차량에서 자율 주행을 가능하게 하는 데 사용되는 머신 학습 모델에 기초할 수 있다. 경우에 따라 거동 모델은 대신에 규칙 엔진 또는 휴리스틱에 기초할 수 있다(따라서 규칙 기반일 수 있음). 경우에 따라, 다른 차량과 공유되고 교환되는 거동 모델은 차량에서 실제로 사용하는 머신 학습 모델과는 다를 수도 있다. 예를 들어, 위에서 논의한 바와 같이, 거동 모델은 전체 모델의 더 작고 간단한 "정크(chunk)"일 수 있으며, 특정 환경, 시나리오, 도로 구간 등에 대응할 수 있다. 예를 들어, 시나리오-특정 거동 모델은 신경망 모델을 포함할 수 있다. 특정 시나리오(예를 들어, 교차로 기동, 로터리 기동, 인수 또는 풀오버 이벤트 핸들링, 고속도로 주행, 악천후에서 운전, 다양한 등급의 고도 변화를 주행, 차선 변경 등)의 컨텍스트에서 대응하는 차량의 다양한 액션 가능성을 보여준다. 따라서, 단일 차량에 대해 다수의 거동 모델이 제공될 수 있으며 이는 이들 모델을 사용해서 특정 차량의 메모리에 저장될 수 있다. 또한, 이들 다중 모델을 개별적으로 사용하면, 여러 예시적인 구현예들 중에서, 특정 차량의 모든 잠재적 거동을 모델링하는 범용 거동 모델을 사용하는 것에 비해서 특정 차량에 의한 더 빠르고 효율적인(그리고 정확한) 예측을 가능하게 할 수 있다.
거동 모델의 교환 및 수집은 일부 예에서 하위 레벨의 자율 차량을 포함하는 인간-주행 차량을 포함하도록 확장될 수 있다. 경우에 따라, 개별 운전자의 거동 모델, 운전자 그룹(특정 이웃이나 위치의 운전자, 특정 인구 통계의 운전자 등), 혼합 모델(차량이 자율 모드에서 운행하는지 또는 사람 운전자 모드에서 운행하는지에 따라 다름) 등의 예가 생성될 수 있다. 예를 들어, 차량은 인간 운전자의 성능을 관찰하고 이 운전자 또는 운전자 그룹에 대한 거동 모델을 구축하기 위한 모니터를 (OEM 구성 요소 또는 애프터마켓 구성 요소로서) 포함할 수 있다(예를 들어, 모니터링 데이터를 클라우드-기반 수집기(aggregator) 애플리케이션과 공유함으로써). 다른 예에서, 도로변 센서 및/또는 크라우드 소싱된 센서 데이터가 활용될 수 있으며, 이는 개별 운전자 또는 운전자 그룹의 관찰된 주행을 설명하고 이 정보에 기초해서 거동 모델이 구축될 수 있다. 인간 운전자에 대한 거동 모델은 연관된 차량에 저장될 수 있고, 위의 예에서 설명된 바와 같은, 거동 모델의 다른 교환에 따라 다른 차량과 공유될 수도 있다. 인간 주행 자동차가 접속되어 있지 않거나 모델 교환을 지원하지 않는 경우와 같은 다른 예에서, 도로변 유닛, 다른 차량에 의한 P2P(예를 들어, V2V) 배포 등과 같은, 사람 운전자를 위한 거동 모델을 공유하고 전파하는 데 다른 시스템이 사용될 수 있다.
더 많은 도로 액터가 자율 주행이 되고 도시 인프라가 현대화됨에 따라서, 다양한 자율 주행 스택과 이들 액터가 의존하는 머신 학습 기반 거동 모델 사이에 충돌이 발생할 수 있다. 실제로 상이한 자동차 및 자율 시스템 제공 업체가 독립적 인 솔루션과 경쟁함에 따라서, 이들 다수의 차량 및 다른 액터에 의해 활용되는 다양한 모델들 사이의 조정 및 합의 구축을 용이하게 하는 것이 바람직할 수 있다. 다양한 기술들 사이의 안전 및 호환을 용이하게 하기 위해 정부 입법 및 규제 및 산업 표준화가 개발될 수 있다. 그러나, 다수의 주요 업체가 자체 솔루션을 개발할 때, 도로의 전반적인 안전을 개선하는 문제는 아직 해결되지 않았다. 정책 입안자와 일반 대중이 이러한 차량이 내리는 결정을 검증할 수 있는 명확한 방법이 없기 때문에 안전 표준은 아직 청소년기에 있다. 또한, 자율 차량이 자신의 모델 및 대응하는 의사 결정을 개선함에 따라서, 오래된 모델 및 솔루션(예를 들어, 자율 주행 초기에 차량에 포함되어 있는)은 도로에 위험을 증가시킬 수 있다. 이는 노후되거나 오작동하는 자율 차량 도로 액터가 충돌하는 모델을 활용함으로써, 새롭고 진화된 모델을 통해 제공되는 개선된 기능의 이점을 누리지 못할 수 있기 때문에 거동 합의에 문제를 야기한다.
젊고 발전하는 자율 차량 산업과 5G 네트워크 및 인프라가 초기 단계에 있다는 점을 감안할 때, V2X 통신 및 솔루션은 유사하게 제한된다. 예를 들어, 현재 제공되는 현재 V2X 솔루션은 주로 로컬화(localization) 및 매핑 도메인에 있다. 자율 차량과 지원 인프라가 주류가 되면서, 접속된 차량과 그 환경 사이의 연계와 상호 통신을 활용하는 새로운 솔루션을 확장하고 개발할 수 있는 기회가 대두되고 있다. 예를 들어, 일부 구현예에서, 합의 거동 모델의 구축을 가능하게 하는 것과 같은, 합의 및 지원 프로토콜이 구현될 수 있는데, 이는 차량에 대한 "최상의" 모델을 전파하도록 공유 및 활용될 수 있으며, 이로써 차량의 머신 학습 모델이 가장 안전하고, 가장 효율적이며, 승객 친화적인 혁신과 "지식"을 채택하도록 지속적으로 진화할 수 있게 한다. 예를 들어, 이러한 합의 시스템을 지원하기 위해 고속 무선 네트워킹 기술(예를 들어, 5G 네트워크) 및 개선된 거리 인프라가 활용될 수 있다.
일 예에서, 고장 허용(fault tolerant) 합의를 구현하기 위해서 비잔틴 합의 알고리즘은 자율 주행 시스템의 액터들 사이에서 정의 및 구현될 수 있다. 이러한 합의는 합의 시스템에 정확한 정보를 제공하는 대부분의 기여자(예를 들어, 공유 거동 모델의 기여자)에 의존할 수 있다. 주어진 시간에 주어진 교차로에 있는 도로 액터의 총 수가 잠재적으로 낮으면 잘못된 합의의 가능성을 높이기 때문에(예를 들어, 소수 액터 사이에서의 모델 공유를 통해서), 자율 차량 컨텍스트에서 기여의 정확도가 문제가 될 수 있다. 일부 구현예에서, 여러 예시적인 위치 중에서 가로등, 인근 건물, 교통 신호 등에 장착된 도로변 유닛(예를 들어, 140)에서와 같이, 도로 및 도로 인터체인지(예를 들어, 교차로, 로터리 등)의 도로 구간과 일치하도록 컴퓨트 노드가 제공될 수 있다. 일부 경우에, 컴퓨트 노드는 도로 구간에 대응하는 교통을 관찰할 수 있는, 보조 센서 장치와 통합될 수도 있고 이와 접속될 수도 있다. 이러한 도로변 컴퓨팅 장치(본 명세서에서 편의상 "도로변 유닛(road-side unit)" 또는 "RSU"로 통칭)는, 모델 기여도의 수집, 차량들 사이의 모델의 배포, 곧 있을 접속된 자율 차량들에 걸친 모델의 검증, 및 대응하는 도로 구간 위치에서 이들 모델(및 RSU의 센서 관찰에 기초해서 활성화됨)로부터 합의 결정을 위한 중심점 역할을 하도록 지정 및 구성될 수 있다.
일부 구현예에서, 도로의 특정 섹션에 대한 합의 노드를 구현하는 도로변 유닛은 각 차량의 고유한 감각 및 지각 스택으로부터 모델-기반 거동 정보를 수용할 수 있으며, 시간이 경과함에 따라서 그 도로 구간의 이상적인 거동 모델이 무엇인지 구체화할 수 있다. 이 때, 이 중심점은 이전에 동일한 도로 구간을 협상한 적이 있는 피어(peer)들 뿐만 아니라 그 시점의 도로에서의 피어와 비교해서 모델의 정확도를 검증할 수 있다. 이러한 방식으로, 합의 노드는 이력 방식으로 모델을 고려할 수 있다. 이 중앙 노드는 다양한 수 및 분포의 정확한 합의 기여자에도 불구하고, 다양한 액터들 사이에서 도로 안전을 표준화하기 위한 비잔틴 합의 통신의 리더의 역할을 할 수 있다.
도 23를 참조하면, 예시적인 도로 교차로(2305)를 나타내는 개략 블록도(2300)가 도시된다. 하나 이상의 도로변 유닛(예를 들어, 140)이 도로 구간(2305)에 대한 합의 노드로서 기능하도록 제공될 수 있다. 이 예에서, 합의 노드 장치(예를 들어, 140)는 카메라(2310)와 같은 하나 이상의 센서를 포함할 수 있다. 일부 구현예에서, 합의 노드는, 여러 다른 예시적인 구현들 중에서, 대응하는 도로 구간(2305)에 대한 합의 서비스를 수행할 때 단일 장치로서 통신하고 상호 작용하는, 2개 이상의 별개의 함께 위치된 컴퓨팅 장치로 구현될 수 있다. 합의 노드를 구현하는 도로변 유닛(들)(예를 들어, 140)의 신뢰성은 기초적일 수 있고, RSU(140)는 정부 기관과 같은 트러스트되는 액터와 제휴할 수 있다. 일부 구현예에서, RSU(140)는 다른 예시적인 기능들 중에서 다른 인근 도로 액터(예를 들어, 차량(105, 110, 115 등))와 관련된 다른 컴퓨팅 시스템에 대한 신원 및 신뢰성을 증명하기 위해, 증명 트랜잭션을 수행하도록, 하드웨어, 펌웨어 및/또는 소프트웨어로 구성될 수 있다. 예시적인 RSU는 다른 도로 액터 시스템과 무선으로 통신하고, 차량들 사이의 거동 모델 교환을 관찰 및 캡처하며(예를 들어, 도 21 및 도 22의 예에서 위에서 설명됨), 다른 도로 액터로부터 직접 거동 모델을 수신하고, (수신하는 모델 입력으로부터) 합의 모델을 결정하며(예를 들어, 비잔틴 합의 체계 또는 알고리즘에 기초해서), 대응하는 도로 구간(예를 들어, 2305)의 도로 액터의 네비게이션을 최적화하도록 이들의 내부 모델을 업데이트(또는 교체)하는 데 사용하기 위해서 합의 모델을 도로 액터(예를 들어, 105, 110, 115)에 기여하도록, 하드웨어 및/또는 소프트웨어-기반 로직을 사용하는 컴퓨팅 및 메모리 리소스를 포함할 수 있다.
합의 노드를 구현하는 RSU는 보조 센서 장치없이도 이렇게 할 수 있다는 것을 이해해야 한다. 그러나, 일부 구현예에서, RSE 센서 시스템(예를 들어, 2310)은 유용한 입력을 제공할 수 있으며, 이는 합의 거동 모델을 구축할 때 RSE에 의해 활용될 수 있다. 예를 들어, RSU는, 로컬화된 모델(예를 들어, 도로 구간(예를 들어, 2305)에 대해)을 생성하고, 이들 관측 자이를 합의 모델에 포함시키기 위해, 하나 이상의 센서(예를 들어, 2310)를 사용하여 비자율 차량 도로 액터(예를 들어, 비자율 차량, 전기 스쿠터 및 기타 소형 모터화 운송, 자전거 운전자, 보행자, 동물 생활 등)를 관찰할 수 있다. 예를 들어, 비자율 차량은 거동 모델을 통신하지 못할 수 있으며, RSU의 센서 시스템은 센서(예를 들어, 2310)의 관찰 결과에 기초해서 비자율 차량, 인간 운전자 및 기타 도로 액터에 대한 거동 모델을 구축할 수 있다고 가정할 수 있다. 예를 들어, 센서 시스템 및 예시적인 RSU(예를 들어, 140)의 로직은 특정 비자율 차량의 인식을 가능하게 할 수도 있고 혹은 심지어 특정 인간 운전자 및 대응하는 거동 모델의 인식은 도로 환경 내에서의 존재(및 이들 액터의 존재의 빈도)에 기초해서 개발될 수 있다. 이러한 비자율적 액터가 합의 모델을 적용하는 자율 차량(예를 들어, 105)에 의해 검출되면, 경로 계획 및 결정을 내리는 최선의 방법에 대한 지식을 포함하도록 이 도로 구간(2305)에 대해 합의 모델이 구축될 수 있다. 또 다른 예에서, 그럼에도 불구하고 비자율 차량에는, 차량 또는 운전자의 액션을 기록할 수 있고 이들 기록된 동작에 대응하는 환경 상태를 기록하고(예를 들어, 이들 상태에 대한 주행 반응을 검출할 수 있도록) 정보를 도로변 유닛에 통신하여 데이터 기여를 지원하는 센서(예를 들어, OEM 또는 애프터마켓)가 장착될 수 있으며, 이는 이들의 각각의 현장 또는 도로 구간에 대해 이러한 RSU 각각에 의해 생성된 합의 모델 내에서 사용 및 통합될 수 있다. OEM 및 애프터마켓 시스템은 또한 비자율 차량에서 일부 자율 주행 기능을 활성화시키고 및/또는 운전자 지원을 제공하기 위해서 제공될 수 있으며, 이러한 시스템에는 다른 예시적인 구현예들 중에서, RSU와 통신하고 이러한 운전자 지원 시스템을 통해 제공되는 서비스 및 정보를 강화하는 데 사용할 합의 모델을 획득하는 기능이 장착될 수 있다.
협의 기여자는 자율 차량 또는 비자율 차량 도로 액터일 수 있다. 예를 들어, 차량(예를 들어, 105, 110, 115)이 서로의 범위 내에 있고 도로 구간(예를 들어, 2305)을 관리하는 도로변 유닛(140)의 범위 내에 있을 때, 차량들은 서로 통신해서 이들 각각의 거동 모델을 공유해서 합의 협상에 참여할 수 있다. RSU(140)는 시간이 경과함에 따라 RSU(140)에 의해 개발된 합의 모델에 기초해서 오래된, 악의적이며 부정확하거나, 결함이 있는 모델을 식별하기 위해 협상에 개입할 수 있다. 합의 모델은 작업 지시서(statement of work)와 유사하며, 협상에서 소수의 액터가 합의 모델에 구현된 누적 지식의 품질을 크게 악화시키고 무시하는 것을 방지한다. 도 24를 참조하면, 대응하는 RSU(예를 들어, 140)가 그 도로 구간에 대한 각각의 합의 협상에 개입한다는 점에서, 해당 도로 구간에 대해 시간(t)이 경과함에 따라 로컬화되는 거동 모델 합의가 수집되고 결정되는 것을 나타내는 도면(2405, 2410)이 도시되어 있다. 이러한 이력 기반(historical) 합의 방식은, 서로 다른 자율 주행 시스템을 가진 제조사와 제조 업체의 자율 차량이 현재와 과거의 서로로부터 이득을 취할 수 있기 때문에 도로 안전을 개선할 수 있다. 이러한 합의 기반 시스템은 거동 모델 공유를 통해서 도로 안전에 대한 전체론적(holistic)이고 시간이 검증된 방식을 적용한다. 자율 차량이든 비자율 차량이든 각각의 도로 액터(예를 들어, 105, 110, 115)는 환경을 관찰하고 어떻게 독립적으로 액션해야 하는지에 대한 결정을 내릴 것으로 예상된다. 모든 합의 기여자들(예를 들어, 105, 110, 115, 140 등)는 각각의 센서 시스템을 통해 다른 도로 액터의 거동을 예측하려고 시도한다. 이후 자율 차량(예를 들어, 105, 110, 115)은 도면(2405, 2410)으로부터 볼 수 있듯이 RSU(예를 들어, 140)와 그리고 서로와 거동 모델을 공유한다.
합의 구축 방식(예를 들어, 비잔틴 합의 모델에 기초한) 내에서의 모델들의 연계 공유를 통해서, 자율 차량은 합의 거동 모델(들)을 통해 환경을 통한 자신의 인식을 활용하고, 이 액터는 물론 이들의 피어가 서로에 대한 초기 예측이 정확했는지 여부를 검증하는 것을 가능하게 하는 다른 도로 액터의 정확한 거동을 결정할 수 있다. 이 정보 및 검증은 이 합의 협상에도 포함되는 RSU에서도 볼 수 있다. 충돌을 초래할 수 있는 더 위험한 거동 모델에 대한 지식을 이용해서, 다른 도로 액터를 포함하는 환경에 대한 충돌이나 오해를 유발하지 않는 거동 모델의 배포가 제공되는 곳에서 투표(voting)를 시작할 수 있다. 선택된 모델에 기초한 해시 또는 시드를 사용함으로써 비교를 간략화하고 프로세스 동안에 로컬 거동 모델 예측의 재실행을 방지할 수 있다. 일부 구현예에서, 합의 노드로서, 그 합의에 대한 RSU 기여도에는 이전에 참여했던 성공적인 합의 협상에 기초해서 가중치가 부여될 수 있으며, 이것이 다른 도로 액터들에 의해 고려되어야 한다. 이후, 도로 액터의 액션에 기초해서 합의의 검증이 체크될 수 있다.
본 명세서에 언급된 바와 같이, 차량 내 시스템 자체뿐만 아니라 자율 차량에 주행 지원을 제공하는 밖의 시스템(예를 들어, 클라우드-기반 시스템 또는 도로변-기반 시스템, 원격 발렛 시스템 등)을 포함한 다양한 자율 주행 애플리케이션에서 고화질(HD) 맵이 활용될 수 있다. 따라서, 자율 주행/자율 차량 제어에 사용되는 HD 맵의 정확도는 필수적이다. HD 맵을 생성하고 유지하기 위해서는, 유동적인 최신 데이터를 획득하는 것이 중요하다. 환경에 변화가 있는 경우(예를 들어, 도로 공사, 사고 등)에는, 변경 사항을 반영하도록 HD 맵을 업데이트해야 한다. 일부 구현예에서, HD 맵을 업데이트하는 데 다수의 자율 차량으로부터의 데이터가 크라우드 소싱되고 사용될 수 있다. 그러나, 어떤 경우에는 수신된 데이터에 대한 트러스트 또는 신뢰도가 의심스러울 수 있다. 한 가지 과제는 각 자동차로부터 받은 데이터의 확실성(trustworthiness)을 이해하고 코드화하는 것을 포함할 수 있다. 예를 들어, 자율 차량으로부터 들어오는 데이터는 정확도가 낮을 수도 있고(예를 들어, 성능이 낮은 센서로부터 제공됨), 의도하지 않게 손상될 수도 있으며(예를 들어, 랜덤 비트 플립), 악의적으로 수정될 수도 있다. 이러한 저품질의 데이터는 서버에 있는 HD 맵을 손상시킬 수 있다.
따라서, 특정 실시예에서, 자율 차량의 다양한 센서에 의해 수집된 데이터는 자율 차량에 다운로드된 HD 맵의 관련 타일에 존재하는 데이터와 비교될 수 있다. 수집된 데이터와 HD 맵 데이터 사이에 차이가 있을 경우, 델타(HD 맵 타일과 새로 수집된 데이터의 차이)가 HD 맵을 호스팅하는 서버로 전송되어서, 특정 위치의 HD 맵 타일이 업데이트될 수 있다. 서버로 전송하기 전에, 데이터는 각 자율 차량에서 로컬하게 평가되고, HD 맵을 업데이트하기 전에 서버에서 다시 확인할 수 있다. 본 명세서에서는 서버가 HD 맵을 업데이트하기 전에 자율 차량 센서 데이터를 검증하는 것으로 설명되었지만, 일부 경우에, 델타 정보는 HD 맵을 빠르게 업데이트하기 위해 데이터를 수집한 자율 차량 근처의 다른 자율 차량으로 송신될 수도 있다. 다른 자율 차량은 HD 맵을 업데이트하기 전에 서버와 동일한 방식으로 데이터를 분석할 수 있다.
도 25은 적어도 하나의 실시예에 따라 크라우드 소싱된 자율 차량 센서 데이터를 평가하고 검증하는 예시적인 프로세스를 나타내는 개략도이다. 도시된 예에서, 각각의 자율 차량(2502)은 이에 연결된 하나 이상의 센서(예를 들어, 카메라(들), LIDAR, 레이더 등)로부터 데이터를 수집한다. 자율 차량(2502)은 센서 데이터를 사용해서 자율 차량의 하나 이상의 측면을 제어할 수 있다. 각각의 자율 차량이 하나 이상의 센서로부터 데이터를 수집함에 따라서, 자율 차량은 수집된 데이터에 배치된 신뢰도를 결정할 수 있다. 예를 들어, 신뢰도 스코어는, 예를 들어 데이터 수집 시점의 날씨 데이터(예를 들어, 맑은 날의 카메라 정보는 안개가 자욱한 날의 카메라보다 더 큰 신뢰도 스코어를 획득함), 센서 장치 구성 정보(예를 들어, 카메라 스트림의 비트 레이트 또는 해상도), 센서 장치 동작 정보(예를 들어, 카메라 스트림의 비트 에러율), 센서 장치 인증 상태 정보(예를 들어, 아래에서 더 설명되는 바와 같이 센서 장치가 자율 차량에 의해 이전에 인증된 적이 있는지 여부) 또는 로컬 센서 보강 정보(예를 들어, 자율 차량의 2개 이상의 카메라 각각이 동일한 비디오 프레임에서 또는 동시에 개체를 감지했다는 것을 나타내는 정보)와 같은, 센서 데이터의 수집과 관련된 정보에 기초할 수 있다.
자율 차량은 데이터와 관련된 메타 데이터에서 유지될 수 있는 신뢰도 스코어를 계산할 수 있다. 신뢰도 스코어는 일부 구현예에서 0과 1 사이의 연속 스케일일 수도 있고(모두 트러스트 혹은 전혀 트러스트하지 않음의 바이너리 결정 이외에), 또는 0과 다른 숫자(예를 들어, 10) 사이일 수도 있다. 나아가, 수집 장치가 인증 또는 증명할 수 있는 경우(예를 들어, 자율 차량이 장치로부터의 데이터를 수락하기 전에, 장치가 자율 차량에 의해 인증되는 경우), 장치의 인증/증명 상태가 센서 장치에 의해 수집된 데이터의 메타 데이터(예를 들어, 플래그, 디지털 서명 또는 센서 장치의 인증 상태를 나타내는 다른 타입의 정보)에 표시될 수 있으며, 이로써 서버(2504) 또는 다른 자율 차량은 데이터를 사용해서 HD 맵을 업데이트하기 전에 보다 완전하게 데이터를 확인/검증/트러스트할 수 있다. 일부 경우에, 자율 차량 자체가 서버에 의해 인증될 수도 있다(예를 들어, 디지털 서명 기술 사용). 이 경우, 자율 차량의 서로 다른 센서로부터 수집된 데이터는, 서버 또는 부근의 자율 차량으로 전송되거나 통신되기 이전에 자율 차량 내의 메인 프로세서 또는 처리 장치에 의해 집계되고 일부 경우 인증될 수 있다.
서로 다른 장치를 스코어링하는 방법에 대한 값은 데이터를 수집하고 집계하는 정책에 의해 정의될 수 있다. 이 정책은 또한 자율 차량이 새롭게 수집한 데이터를 업로드해야하는 시기, 예를 들어, HD 맵을 업데이트해야 하는 시기를 나타낼 수 있다. 예를 들어, 이 정책은, HD 맵 타일과 새롭게 수집된 데이터로부터의 델타가 특정 임계 값을 초과해야 HD 맵을 업데이트하기 위해서 데이터를 서버로 다시 송신할 수 있다고 명시할 수 있다. 예를 들어 건설 현장 자재(배럴, 장비 등)는 HD 맵 데이터와 수집된 데이터 사이에 큰 델타를 유발할 수 있는 반면, 도로의 자갈/암석은 더 작은 델타를 유발할 수 있으므로, 건설 현장 관련 데이터는 클라우드로 전달될 수 있지만, 자갈 데이터는 전달되지 않을 수 있다. 이 정책은 또한 데이터를 업로드하기 전에 데이터와 관련된 신뢰도 스코어가 특정 임계값 이상이어야 한다는 것을 나타낼 수도 있다. 예를 들어, 신뢰도 스코어는 모든 데이터가 서버로 다시 전송/퍼블리시되려면 (예를 들어) 0.8 이상이어야 한다.
자율 차량으로부터 수신되면, 서버는 델타 정보로 HD 맵에 업데이트를 적용하기 전에 추가 검증 동작을 수행할 수 있다. 예를 들어, 서버는 데이터(예를 들어, 메타 데이터)와 공유된 신뢰도 스코어/메트릭을 검증할 수 있다. 신뢰도 스코어 값(들)이 서버 정책을 만족하는 한(예를 들어, 맵을 업데이트하는 데 사용되는 모든 델타 데이터는 예를 들어 0.9와 같은 임계값 이상의 트러스트 스코어를 가져야 함), 서버는 HD 맵을 업데이트하는 데 이 데이터를 고려할 수 있다. 일부 경우에, 서버는 최근에 본 자율 차량의 리스트를 유지할 수 있고, 맵 업데이트를 위한 데이터의 트러스트 스코어와 함께 자율 차량 각각에 대한 트러스트 스코어/값을 추적할 수 있다. 일부 실시예에서, 트러스트 스코어는, 서버가 HD 맵을 업데이트하기 위해 데이터를 사용하는지 여부에 대한 추가 필터로서 사용될 수도 있다. 경우에 따라 트러스트 스코어는 수신된 데이터의 신뢰도 스코어에 기초할 수 있다. 예를 들어, 신뢰도 스코어가 제 1 임계값보다 높으면 자율 차량에 대한 트러스트 스코어가 증가할 수 있으며(예를 들어, 증가(+1)), 신뢰도 스코어가 제 2 임계값 미만이면(즉, 제 1 임계값), 자율 차량에 대한 트러스트 스코어는 감소될 수 있다(예를 들어, 감소(-1)). 신뢰도 스코어가 제 1 임계값과 제 2 임계값 사이에 있으면 자율 차량에 대한 트러스트 스코어는 동일하게 유지될 수 있다. 일부 구현예에서는 IoT 기반 평판 시스템(예를 들어, EigenTrust 또는 PeerTrust)을 이 추적에 활용할 수도 있다. 일부 경우에, 센서 데이터는, 그 센서 데이터가 트러스트될 수 있는 것인지 여부를 결정하기 위해 그 지역의 다른 자율 차량의 센서 데이터와 상관될 수도 있다.
일부 실시예에서, 각 자동차가 데이터를 서버에 퍼블리시함에 따라, 자율 차량은 의사 익명(pseudo-anonymous certificate) 인증서로 데이터에 서명할 수 있다. 자율 차량은 예를 들어 V2X 통신용으로 설계된 방식 중 하나를 사용할 수 있다. 경우에 따라서, 서명된 데이터가 서버에서 수신될 때, 데이터가 블랙리스트에 오른 자율 차량이 아닌 한, HD 맵 업데이트를 위해 HD 맵 모듈로 전달될 수 있다. 다른 경우에는, 데이터의 서명 여부가 자율 차량에 대한 트러스트 스코어 결정에 사용될 수 있다.
서버에서 인증 및/또는 트러스트 검증이 성공되지 못한 경우에, 데이터를 수신한 자율 차량에 대한 트러스트 스코어가 낮은 것으로 랭크되거나 낮아질 수 있으며, 데이터는 무시되거나 HD 맵 업데이트에 사용되지 않을 수 있다. 경우에 따라, 자율 차량은 트러스트 스코어가 지정된 임계값 아래로 떨어지면 블랙리스트에 오를 수 있다. 서버에서 인증 및/또는 트러스트 검증이 성공하면, 자율 차량에 대한 신뢰도 스코어는 증가될 수 있고, 자율 차량으로부터 수신된 데이터를 사용해서 HD 맵을 업데이트할 수 있다. 본 명세서에서 설명되는 메커니즘은 또한 트러스트의 전이를 가능하게 하며, 이로써 자율 차량은 더 먼 소스(예를 들어, 다른 자율 차량)로부터 데이터를 사용할 수 있게 되어서, 다른 목적(예를 들어, 머신 학습 모델의 트레이닝)에 필요한 크라우드 소싱 데이터를 랭킹하는데 사용될 수 있다.
도 26은 적어도 하나의 실시예에 따라 자율 차량의 센서 데이터를 평가하는 예시적인 프로세스의 흐름도이다. 도 26에 도시된 예시적인 프로세스에서의 동작은 자율 차량의 다양한 측면 또는 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스는 추가 동작 또는 상이한 동작을 포함할 수 있고, 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 26에 표시된 동작 중 하나 이상이 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들이 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
2602에서, 자율 차량의 센서로부터 센서 데이터가 수신된다. 센서 데이터는 카메라 장치, LIDAR 센서 장치, 레이더 장치 또는 다른 타입의 자율 차량 센서 장치로부터의 데이터를 포함할 수 있다.
2604에서, 센서 데이터에 대한 신뢰도 스코어가 결정된다. 신뢰도 스코어는 2602에서 수신된 센서 데이터나 기타 센서 데이터(예를 들어, 날씨 또는 기타 환경 정보)로부터 획득 혹은 수집한 정보, 센서 장치 인증 상태 정보(예를 들어, 데이터를 수락하기 전에 센서 장치가 자율 차량에 의해 인증되었는지 여부), 로컬 센서 보강 데이터 또는 획득된 센서 데이터를 트러스트할지 여부를 결정하는 데 유용할 수 있는 기타 정보(예를 들어, 장치 센서 기능 또는 설정(예를 들어, 카메라 비디오 비트 레이트), 수신된 센서 데이터의 비트 에러율 등) 또는 센서 데이터의 트러스트 레벨에 기초할 수 있다.
2606에서, 신뢰도 스코어가 임계값 이상인지 여부가 결정된다. 만약 그렇다면, 2602에서 수신된 센서 데이터와 HD 맵 데이터 사이의 델타 값이 2608에서 결정되고, 이 델타 값이 2610에서 임계값보다 높은 것으로 결정되면, 2612에서 자율 차량은 데이터에 서명하고, 데이터를 서버에 퍼블리시해서 HD 맵을 업데이트한다. 신뢰도 스코어가 대응하는 임계값 미만이거나, 델타 값이 해당 임계값 미만이면, HD 맵을 업데이트하기 위해 데이터는 서버에 퍼블리시되지 않는다.
도 27은 적어도 하나의 실시예에 따른 자율 차량의 센서 데이터를 평가하는 예시적인 프로세스의 흐름도이다. 도 27에 도시된 예시적인 프로세스에서의 동작은 자율 차량용 HD 맵을 유지하는 서버와 같은 서버 장치의 다양한 양상 또는 구성 요소에 의해 또는 자율 차량의 하나 이상의 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스는 추가 또는 상이한 동작을 포함할 수 있고, 동작은 도시된 순서 또는 다른 순서로 수행될 수 있다. 어떤 경우에는 도 27에 표시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
2702에서 자율 차량으로부터 센서 데이터가 수신된다. 센서 데이터는 센서 장치에 의해 수집된 데이터의 신뢰도 레벨을 나타내는 센서 데이터와 관련된 신뢰도 스코어를 포함할 수 있다. 신뢰도 스코어는 위에서 설명된 프로세스(2600)에 따라 계산될 수 있다. 경우에 따라 신뢰도 스코어는 메타 데이터에 포함될 수도 있다.
2704에서, 신뢰도 스코어는 정책 임계값과 비교된다. 신뢰도 스코어가 임계값보다 크면, 2706에서 신뢰도 스코어에 기초해서 자율 차량에 대한 트러스트 스코어가 업데이트된다. 그렇지 않으면, 2712에서 센서 데이터는 무시된다.
2708에서, 트러스트 스코어에 적어도 부분적으로 기초해서 자율 차량이 트러스트되는지 여부가 결정된다. 일부 경우에, 자율 차량이 트러스트되는지 여부를 결정하는 것은 자율 차량이 블랙리스트에 올랐는지 여부에 기초할 수 있다(예를 들어, 전술 한 바와 같이). 일부 경우에, 자율 차량이 트러스트될 수 있는지 여부를 결정하는 것은, 자율 차량의 센서 데이터와 주변의 다른 자율 차량으로부터의 센서 데이터의 상관 관계에 기초할 수 있다(예를 들어, 센서 데이터가 정확한지 확인하기 위해). 자율 차량이 트러스트되면, 2710에서 센서 데이터는 HD 맵을 업데이트하는데 사용될 수 있다. 트러스트되지 않으면, 2712에서 센서 데이터는 무시된다. 다른 방안으로 트러스트 스코어에 기초한 트러스트 레벨을 사용해서 자율 차량의 센서 데이터에 대한 트러스트 레벨을 결정하고, 그 범위 또는 스케일에 따라서 HD 맵을 업데이트할 수 있다.
본 명세서에서 설명된 바와 같이, 크라우드 소싱 데이터 수집은 대규모 자율 차량 그룹의 도움을 받아서 데이터 세트를 구축하는 것을 포함할 수 있다. 관련 정보, 누락 정보 또는 신규 정보로 데이터를 보강하려는 소스 및 데이터 공급 업체가 있다.
대규모 자율 차량 그룹으로부터 데이터를 수집하면, 데이터 수집 속도를 빠르게 할 수 있고 자율 차량의 모델 생성 속도를 빠르게 할 수 있다. 데이터를 크라우드 소싱할 때, 일부 데이터는 불완전하거나 부정확할 수 있으며, 데이터가 완전하고 정확하더라도, 이렇게 많은 양의 데이터를 관리하기는 여전히 어려울 수 있다. 또한 크라우드 소싱된 데이터는, 서로 다른 자율 차량이 사용하는 다양한 센서에 의해 유발되는 노이즈 레벨의 차이와 함께 긍정 카테고리 및 부정 카테고리가 균형을 이루지 못하는 현실 세계 문제를 보인다. 따라서, 양호성을 식별하는 것을 돕는 방식으로 크라우드 소싱에 의해 수집된 데이터를 스코어링하고 랭킹하는 것이 바람직할 수 있다.
따라서, 일부 측면에서, 크라우드 소싱된 데이터는 자율 차량에 대한 지리적 위치 정보에 기초하여 스코어링되고 랭킹될 수 있다. 일부 측면에서, 크라우드 소싱된 데이터는 차량 메타 데이터에 더해서 위치 메타 데이터를 고려함으로써 스코어링되고 랭킹될 수 있다. 지리적 위치 정보를 사용해서 데이터를 스코어링되고 랭킹함으로써 차량 특정 모델이 아닌 위치 특정 모델이 생성될 수 있다.
도 28는 적어도 하나의 실시예에 따른 자율 차량 데이터 수집을 위한 예시적인 환경(2800)의 개략도이다. 예시적인 환경(2800)은 자율 차량 데이터 스코어링 서버(2802), 크라우드 소싱된 데이터 저장소(2806) 및 다수의 자율 차량(2810)을 포함하며, 이들 각각은 네트워크(2808)를 통해 서로 접속된다. 도시되지는 않았지만, 자율 차량(2810) 각각은 하나 이상의 센서를 포함하며, 이는 자율 차량이, 자율 차량을 제어하고 자율 차량이 여러 위치를 트립하는 것을 협상하는 데 사용된다. 추가로 설명된 바와 같이, 예시적인 환경(2800)은 각각의 자율 차량(2810)으로부터의 데이터 수집을 크라우드 소싱하는 데 사용될 수 있다. 특히, 자율 차량(2810) 각각이 주행할 때, 자율 차량은 자율 차량에 연결된 복수의 센서 각각으로부터, 카메라 데이터, LIDAR 데이터, 지리적 위치 데이터, 온도 또는 기타 날씨 데이터와 같은 센서 데이터를 수집할 것이다. 자율 차량은 일부 경우에 센서 데이터를 네트워크(2808)를 통해 자율 차량 데이터 스코어링 서버(2802)로 전송할 수 있다. 자율 차량 데이터 스코어링 서버(2802)는 이후 본 명세서에 설명된 바와 같이 데이터를 스코어링하거나 랭킹할 수 있고, 스코어링/랭킹에 기초해서 크라우드 소싱된 데이터 저장소(2806)에 데이터를 저장할지 여부를 결정한다.
경우에 따라, 자율 차량이 송신하는 데이터는 이미지 데이터 및 센서 데이터로 구성되며, 일부 관련 메타 데이터도 포함할 수 있다. 데이터 소스가 모두 함께 사용되거나 분리해서 사용되어서, 위치와 관련된 메타 데이터/태그를 추출하고 생성할 수 있다. 누적 위치 특정 메타 데이터는, 지리 좌표(예를 들어, 45° 31'22.4256" N 및 122° 59'23.3880" W)와 같은 정보가 될 수 있다. 이는 또한 지형 정보(예를 들어, "언덕" 또는 "평지"), 고도 정보(예를 들어, "59.1m"), 온도 정보(예를 들어, "20℃"), 또는 그 지리적 위치와 관련된 날씨 정보(예를 들어, "맑음", "안개" 또는 "눈")와 같은 환경적인 정황을 나타내는 추가 환경 정보일 수도 있다. 크라우드 소싱된 데이터 저장소에 데이터를 저장할지 여부를 결정하기 위해 위치 특정 데이터와 관련 메타 데이터(예를 들어, 날씨) 모두를 사용해서 자율 차량이 송신한 데이터를 스코어링할 수 있다. 일부 경우에, 데이터 스코어링 알고리즘은, 이하에서 더 설명되는 바와 같이, 데이터를 스코어링하기 위해 위치 컨텍스트 기반 히트 맵의 캐스케이드 또는 밀도 맵을 사용함으로써 데이터 수집과 관련하여 지리에 대한 포화(saturation for the geography)를 달성할 수 있다.
예를 들어, 지리적 좌표, 고도, 날씨 등과 같은 여러 위치 메타 데이터 카테고리가 있는 경우, 자율 차량의 센서 데이터에 대한 전반적인 양호성 스코어가 위치 스코어를 사용해서 결정될 수 있다. 위치 스코어는 모든 카테고리에 대한 가중 합계일 수 있으며, 다음과 같이 표현될 수 있다.
Figure pct00005
여기서 각 변수 GeoCoordinates, Elevation 및 Weather는 히트 맵, 임의의 타입의 밀도-플롯 또는 임의의 타입의 밀도 분포 맵(예를 들어, 도 30의 히트 맵(3000))으로부터 결정되는 값이고 α, β, γ는 각각의 위치 메타 데이터 카테고리와 연관된 가중치이다(각각 별도의 밀도 플롯에 기초해서 계산될 수 있음). 일부 경우에, 위치 스코어의 각 변수가 0~1 사이이고, 위치 스코어도 0~1 사이이다.
위치 스코어 계산 이후에, 센서 데이터에 대한 전체 양호성 스코어를 결정하는 데 센서 데이터와 연관된 추가 품질(예를 들어, 노이즈 레벨, 이미지 데이터에서의 관심 개체 등)이 사용될 수 있다. 경우에 따라 센서 데이터의 전체 양호성 스코어는 모든 데이터 품질의 누적 가중 합계로, 다음과 같이 표현될 수 있다.
Figure pct00006
여기서 a, b, c는 데이터 품질 카테고리와 관련된 가중치이다. 어떤 경우에는, 전체 양호성 스코어의 변수 각각은 0~1 사이이고, 전체 양호성 스코어도 0~1 사이이다. 자율 차량 데이터 스코어링 알고리즘(예를 들어, 밖의 데이터 저장소 시스템 또는 데이터 스코어링 시스템을 구현하는 다른 컴퓨팅 시스템에 의해 수행됨)에 의해 출력되는 전체 양호성 스코어는, 자율 차량의 센서 데이터와 연관될 수 있으며, 자율 차량 데이터를 크라우드 소싱 데이터 저장소에 전달할지 여부를 결정하는데 사용될 수 있다.
일부 구현예에서, 예시적인 자율 차량 데이터 스코어링 서버(2802)는 프로세서(2803) 및 메모리(2804)를 포함한다. 예시적인 프로세서(2803)는 예를 들어 본 명세서에 설명된 기능 중 하나 이상을 수행하기 위한 명령어를 실행한다. 명령어는 프로그램, 코드, 스크립트 또는 메모리에 저장된 다른 타입의 데이터를 포함할 수 있다. 이에 더해서 혹은 이와 달리, 명령어는 사전 프로그래밍된 혹은 재-프로그래밍 가능한 로직 회로, 로직 게이트 또는 다른 타입의 하드웨어 또는 펌웨어 구성 요소로 인코딩될 수 있다. 프로세서(2803)는 특수 코-프로세서 또는 다른 타입의 데이터 처리 장치로서, 범용 마이크로 프로세서일 수도 있고, 이를 포함할 수도 있다. 일부 경우에, 프로세서(2803)는 메모리(2804)에 저장된 소프트웨어, 스크립트, 프로그램, 기능, 실행 파일 또는 기타 명령을 실행하거나 해석하도록 구성될 수 있다. 일부 경우에, 프로세서(2803)는 다중 프로세서 또는 데이터 처리 장치를 포함한다. 예시적인 메모리(2804)는 하나 이상의 컴퓨터 판독 가능 매체를 포함한다. 예를 들어, 메모리(2804)는 휘발성 메모리 장치, 비휘발성 메모리 장치 또는 이들의 조합을 포함할 수 있다. 메모리(2804)는 하나 이상의 판독 전용 메모리 장치, 랜덤 액세스 메모리 장치, 버퍼 메모리 장치, 또는 이들 및 다른 타입의 메모리 장치의 조합을 포함할 수 있다. 메모리(2804)는 프로세서(2803)에 의해 실행 가능한 명령어(예를 들어, 프로그램, 코드, 스크립트 또는 다른 타입의 실행 가능 명령어)를 저장할 수 있다. 도시되지는 않았지만, 자율 차량(2810) 각각은 프로세서(2803) 및 메모리(2804)와 유사한 프로세서 및 메모리를 포함할 수 있다.
도 29은 적어도 하나의 실시예에 따른 자율 차량을 위한 예시적인 크라우드 소싱된 데이터 수집 환경(2900)의 개략 블록도이다. 예시적인 환경(2900)은 자율 차량(2902), 클라우드의 자율 차량 데이터 스코어링/랭킹 서버(2904) 및 크라우드 소싱된 데이터 저장소(2906)를 포함한다. 도시된 예에서, 자율 차량은 그 센서 데이터를 위한 자체 저장소 및 센서 데이터에 기초해서 자율 차량을 네비게이트하는 데 사용되는 AI 시스템을 포함한다. 자율 차량은 센서 데이터 중 일부 또는 전부를 자율 차량 데이터 스코어링/랭킹 서버로 전송하며, 여기서 데이터에 포함된 메타 데이터를 추출하고, 이 메타 데이터를 저장한다. 서버는 또한 자율 차량으로부터의 이미지 및 센서 데이터를 분석해서 추가 정보/메타 데이터를 추출하고 정보를 저장한다. 저장된 메타 데이터는 서버의 스코어링 모듈에 의해 위치 기반 스코어(예를 들어, 위에서 설명된 위치 스코어) 및 데이터 품질 스코어(예를 들어, 위에서 설명된 전체 양호성 스코어)를 계산하는 데 사용된다. 이러한 스코어들에 기초해서, 서버는 자율 차량 센서 데이터를 크라우드 소싱된 데이터 저장소로 전달할지 여부를 결정한다.
경우에 따라, 서버는 자율 차량과 관련된 차량 신뢰도 스코어를 계산할 수도 있다. 이 스코어는 과거 위치 스코어, 양호성 스코어 또는 기타 정보에 기초할 수 있으며, 크라우드 소스 거버넌스 시스템에서 향후 데이터 스코어/랭킹을 위해 자율 차량의 신원을 제공하기 위한 일부 컨텍스트로서 사용될 메트릭일 수 있다. 차량 의존도 스코어(Vehicle Dependability Score)는 향후에 데이터를 제공할 때 자율 차량의 참여를 장려하는 데에도 사용될 수 있다.
도 30은 적어도 하나의 실시예에 따른 센서 데이터 양호도 스코어를 계산하는데 사용하기 위한 예시적인 히트 맵(3000)의 개략도이다. 도시된 예에서 히트 맵은 지리 좌표 메타 데이터에 따라 크라우드 소싱된 데이터 가용성을 나타낸다. 히트 맵의 각 위치는 데이터 가용성과 관련된 값을 나타낸다. 도시된 예에서 값의 범위는 0~1이다. 맵에서 더 밝은 영역은 그 위치에서 사용할 수 있는 데이터의 양이 가장 적다는 것을 나타내고, 어두운 영역은 수집된 데이터가 밀집된 영역을 나타낸다. 수집된 데이터 밀도의 변동의 이유는, 인구 밀도, 산업 개발, 지리적 조건 등의 요인 중 하나 이상일 수 있다. 따라서 데이터 스코어링 알고리즘의 목표는, 히트 맵의 밝은 영역의 지리적 좌표에서 충분한 데이터가 수집되도록 데이터를 스코어링하는 것이 될 수 있다. 밝은 지역에서는 수집되는 데이터가 부족하기 때문에, 관대하게(leniently) 스코어링된다. 반면에, 데이터가 밀집된 맵의 어두운 영역에서 데이터가 수집되면, 데이터의 노이즈와 같은 요소가 데이터 스코어에 더 많은 영향을 미친다.
위치 스코어의 각 변수/인자에는 이와 연관된 별도의 히트 맵이 있을 수 있다. 예를 들어, 위의 위치 스코어를 참조하면 GeoCoordinates 변수는 제 1 히트 맵과 연관되고, Elevation 변수는 제 2 히트 맵과 연관되며, Weather 변수에는 제 3 히트 맵이 연관된다. 각 변수에 대해 수집되는 데이터의 양은 위치에 따라 다를 수 있으므로 각 히트 맵에는 다른 값이 포함될 수 있다. 상이한 히트 맵의 값은 예를 들어, 전술 한 가중 합산을 통해서, 위치 스코어를 계산하는데 사용될 수 있다.
도 31는 적어도 하나의 실시예에 따른 자율 차량 센서 데이터에 대한 양호도 스코어를 계산하는 예시적인 프로세스(3100)의 흐름도이다. 예시적인 프로세스(3100)의 동작들은 자율 차량 데이터 스코어링 서버(902)(예를 들어, 도 9의 서버)의 구성 요소나 혹은 이에 접속된 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스(3100)는 추가 동작 또는 다른 동작을 포함할 수 있으며, 동작들은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 31에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
3102에서, 하나 이상의 자율 차량으로부터 센서 데이터가 수신된다. 센서 데이터는 (예를 들어, 카메라로부터의) 비디오 또는 이미지 데이터 및 포인트 데이터 값(예를 들어, 온도, 기압 등) 중 하나 이상을 포함할 수 있다.
3104에서, 센서 데이터로부터 지리적 위치 및 기타 환경 정보가 획득된다.
3106에서, 센서 데이터의 전반적인 양호도 또는 품질을 나타내는 스코어가 계산된다. 스코어는 3104에서 획득된 지리적 위치 및 환경 정보에 기초한다. 예를 들어, 스코어는 위에서 설명한 바와 같이 지리 정보 및 환경 정보로부터 계산된 위치 스코어에 기초할 수 있다. 일부 경우에 스코어는 센서 데이터와 연관된 추가 스코어 정보에 기초할 수도 있다. 예를 들어, 스코어는 노이즈 스코어, 개체 다양성 스코어, 또는 센서 데이터에 대해 계산된 다른 스코어에 기초할 수 있다.
3108에서, 3106에서 계산된 스코어가 임계값을 초과하는지 또는 값의 범위 내에 있는지 결정된다. 그렇다면, 3110에서 센서 데이터는 크라우드 소싱된 자율 차량 센서 데이터를 수집하는 데 사용되는 데이터베이스에 저장된다. 저장될 때, 센서 데이터는 계산된 양호도 스코어와 연관될 수 있다. 스코어가 임계값 미만이거나 값 범위를 벗어나면, 3109에서 센서 데이터는 삭제되거나 저장되지 않는다.
자율 차량은, 문서화된 운전 프랙티스에 부합하지 않는 비정상적 거동을 나타낼 수 있는 인간-주행되는 차량(HV)과 계속해서 도로를 공유할 것으로 예상된다. 인간 운전자는 공격적인 거동(예를 들어, 교통 체증의 뒤를 따르거나 빠져 나가는) 또는 소심한 거동(예를 들어, 게시된 제한 속도보다 훨씬 느린 속도로 운전하여 사고를 유발할 수 있음)을 나타낼 수 있다. 인간의 비정상적 운전 패턴은 경우에 따라서, 특정 지역의 주행 관습으로부터 발생될 수도 있다. 예를 들어, 펜실베니아 서부에서 관찰되는 "피츠버그 좌회전"이라고도 하는 기동(maneuver)은 종종, 교차로를 직진하는 차량보다 제 1 좌회전 차량이 우선권을 갖게 함으로써(예를 들어, 신호등이 정지신호에서 양방향으로 녹색으로 변경된 후), 교차로에 있는 차량의 표준 우선도 규칙을 위반한다. 또 다른 예로, 한 나라의 특정 지역의 운전자는 다른 지역의 운전자보다 다소 공격적으로 운전할 수도 있다.
예시적인 자율 차량의 차량 내 컴퓨팅 시스템을 통해 구현된 자율 주행 스택은, HV가 보이는 비정상적 거동을 학습하고 검출하며 이에 안전하게 대응하도록, 개선될 수 있다. 일부 측면에서, 예를 들어, 자율 차량 시스템은 비정상적 거동(예를 들어, 아래 표에 표시된 거동)의 빈도를 관찰 및 추적할 수 있으며, 개별 HV가 가까운 장래에 비정상적 거동을 보일 가능성이 있다거나 혹은 특정 타입의 비정상적 거동이 그 국가의 특정 지역에서 발생할 가능성이 더 높다는 것을 예측하도록 학습할 수 있다.
Figure pct00007
일부 실시예에서, 비정상적 운전 패턴은 자율 차량에 의해 예상되는 정상적인 거동으로부터 벗어나는 일련의 주행 액션으로서 모델링될 수 있다. 도 32 및 도 33은 비정상적 주행 패턴의 2가지 예 및 자율 차량이 이러한 거동을 관찰하는 것에 응답해서 거동을 적응시키도록 합습할 수 있는 것을 나타낸다.
도 32는 전술한 바와 같은 예시적인 "피츠버그 좌회전" 시나리오를 나타낸다. 도시된 예에서, HV(3202)과 자율 차량(3204)은 모두 조명(3208)이 녹색으로 바뀔 때 교차로(3206)에서 정지된다. 일반적인 시나리오에서, 자율 차량은 HV보다 먼저에 교차로를 계속 통과하는 우선 순위를 갖는다. 그러나 도시된 피츠버그 좌회전 시나리오에서는, HV는 교차로를 직진하는 자율 차량에 양보하는 대신 먼저 좌회전한다. 이러한 거동을 지리적 영역에서 수회 관찰함으로써, 자율 차량은 이와 같은 거동(처음 좌회전 차량이 우선권을 갖는 곳)을 예측하도록 학습함으로써 이 지리적 영역에 있을 때 더 조심스럽게 교차로에 진입할 수 있다.
도 33은 HV에 의한 예시적인 "난폭 운전" 시나리오를 나타낸다. 도시된 예에서, HV의 운전자는 자율 차량에 화를 낼 수 있으며 이에 따라 자율 차량 앞에 끼어들어서 급감속할 수 있다. 이에 대응하여 자율 차량은 HV를 피하기 위해 속도를 줄이고 차선을 변경할 수 있다. 이후, HV는 다시 자율 차량 앞에 끼어들어서 다시 한번 급감속할 수 있다. 자율 차량은 HV로부터 이러한 기동을 수회 보았기 때문에, 자율 차량은 HV가 자율 차량의 앞에 반복해서 끼어들어 오는 화가 난 운전자라는 것을 검출할 수 있다. 따라서 자율 차량은 예를 들어 다음에 그 특정 HV를 마주쳤을 때 자신의 인간 운전자에게 제어권을 넘기는 것과 같은 수정 조치를 취할 수 있다.
도 34는 적어도 하나의 실시예에 따른 자율 차량에 대한 비정상적/이상 거동 추적 모델(3400)을 보여주는 개략 블록도이다. 도시된 예에서, 자율 차량 소프트웨어 스택의 검지 단계(3410)는 자율 차량의 센서(3402)로부터 센서 데이터를 수신하고, 이 센서 데이터를 사용해서 특정 HV에 의해 관찰되는 이상 거동을 검출/식별한다(예를 들어, 도시된 바와 같은 이상 거동 검출 소프트웨어 모듈(3404)에서). 이상 거동 검출에 응답해서 혹은 검출과 동시에, HV의 익명 신원이 생성된다(예를 들어, 도시된 익명 신원 생성 소프트웨어 모듈(3406)에서). 관찰된 거동 및 HV의 관련 식별은, 자율 차량 주변의 HV 및 기타 HV에 의해 관찰된 거동의 빈도를 추적하는 데 사용된다(예를 들어, 도시된 바와 같이 안전하지 않은 거동 추적 소프트웨어 모듈(3408)에서). 일부 경우에, HV에서 이상 거동의 패턴을 보는 것에 응답해서, 자율 차량에 대한 동적 거동 정책을 트리거하기 위해 추적된 거동이 자율 차량 소프트웨어 스택의 계획 단계(3420)에 의해 사용될 수 있다. 모델(3400)의 측면들은은 아래에서 더 설명된다.
일부 실시예에서, 자율 차량은 예를 들어 주행 액션의 시퀀스를 추적함으로써 주어진 HV에 의한 이상 거동 혹은 비정상적 거동을 검출할 수 있다.
o 자율 차량의 안전 모델을 위반한다(예를 들어, 책임 민감성 안전(Responsibility-Sensitive Safety) 규칙 세트에 따른 안전 측면 거리를 유지하지 않는 운전자).
o 주변의 다른 운전자와 주행 거동이 크게 다른 운전자(예를 들어, 다른 운전자보다 현저히 느리게 혹은 빠르게 운전하는 운전자나 교통 체증을 왔다 갔다하는 운전자). 연구에 따르면 속도가 주변 교통량과 크게 다른 운전자는 사고 가능성이 높을 수 있다.
o 다른 운전자들이 부정적인 반응을 하게 만드는 액션을 행하는 운전자(예를 들어, 여러 운전자가 회피하는 운전자 또는 여러 운전자들이 경적을 울림리는 운전자).
주행 액션의 시퀀스를 추적하는 것 이외에, 일부 실시예에서, 자율 차량은 또한 청각적 및 시각적 컨텍스트 정보를 사용해서 운전자의 타입(예를 들어, 다른 자동차로부터의 안전 거리를 관찰하는 안전한 운전자 대 산만한 운전자), 운전자의 속성(예를 들어, 도로에 주의를 기울이는 것에 대한 전화기를 내려다 보는 것) 또는 조만간 안전하지 않은 거동을 초래할 가능성이 있는 차량 속성(예를 들어, 손실된 미러, 깨진 앞 유리 또는 차량 주행에 부적합한 기타 특성)을 카테고리화할 수 있다. 예를 들어, 자율 차량의 외향 카메라로부터의 비디오를 사용해서 컴퓨터 비전 모델을 트레이닝하여, 운전자를 보고 있는 인간 운전자나 창문이 눈으로 덮여서 시야가 제한된 것과 같은, 사고 위험을 증가시키는 차량 또는 운전자 속성을 검출할 수 있다. 특정한 경우에 컴퓨터 비전 모델은 공격적인 경적, 고함 또는 끼익 하는 브레이크 소리와 같은 안전하지 않은 상황과 같은 공격적인 거동을 인식할 수 있는 음향 모델을 이용해서 강화될 수 있다. 아래 표에는 미래의 안전하지 않은 거동의 가능성이 증가했다는 것을 나타낼 수 있는 오디오 및 시각적 컨텍스트 정보의 특정예가 나열되어 있다.
Figure pct00008
일부 실시예에서, 자율 차량은 관찰되는 특정 차량(예를 들어, HV)에 의한 비정상적 거동의 빈도를 추적해서, 일정 시간 윈도우 동안 동일한 거동을 보이는 운전자가 혼자인지(이는 하나의 안전하지 않은 운전자를 나타낼 수 있음) 또는 해당 현장에서 동일한 거동을 보이는 운전자가 여럿인지(이는 현장에 대한 사회 규범을 나타낼 수 있음) 여부를 결정할 수 있다.
인간 운전자의 프라이버시를 보호하기 위해, 자율 차량은 안전하지 않은 HV에 대한 익명의 신원을 생성할 수 있고, HV 또는 다른 HV에 의한 재발을 추적하기 위해 이 신원에 안전하지 않은 거동을 태그할 수 있다. 익명의 신원은 번호판 인식에 의존하지 않고 생성될 수 있으며, 항상 사용 가능하거나 신뢰할 수 있는 것은 아니다. 익명의 서명은 일부 실시예에서 자동차 인식에 사용되는 딥 러닝 모델로부터 대표 특성을 추출함으로써 생성될 수 있다. 예를 들어, 자율 차량의 딥 러닝 네트워크의 특정 계층은 형상 및 컬러와 같은 자동차의 특성을 캡처할 수 있다. 이러한 특성은 또한 제조사, 모델 또는 움푹 들어간 곳, 긁힌 자국, 깨진 앞 유리, 사이드 미러 손실 등과 같은 비정상적인 기능과 같이 자동차에 대해 인식하는 추가 속성으로 강화될 수도 있다. 이후 결합된 특성들에는 암호화 해시가 적용될 수도 있고, 이 해시는 현재 자율 차량의 여행 중에 HV의 식별자로서 사용될 수 있다. 경우에 따라 이 서명은 차량에 대해 완전히 고유하지 않을 수도 있지만(예를 들어, 자율 차량 주변에 유사한 차량이 있는 경우), 자율 차량이 여행 중에 안전하지 않은 차량을 식별하는 것으로 충분할 수도 있다. 자율 차량이 위험한 차량과 관련해서 관계 기관에 경고해야 하는 경우와 같은 특정한 경우에는 번호판 인식을 사용할 수도 있다.
자율 차량은 예를 들어, 안전하지 않은 이벤트 사이의 기간이 감소되고 있는지 또는 안전하지 않은 액션의 심각도가 증가하고 있는지를 모니터함으로써, 안전하지 않은 거동이 확대되고 있다고 결정할 수 있다. 이후, 이 정보는 AD 파이프라인의 계획 단계로 전달되어서 자율 차량이 안전하지 않은 차량을 다시 마주치면 이를 피하거나 안전하지 않은 거동이 도로에서 다른 운전자를 위험에 빠뜨리면 관계 기관에 경고하는 것과 같은 유동적인 정책을 트리거할 수 있다. 자율 차량은 해당 차량에 대한 안전하지 않은 거동을 추적하기 위한 보존 정책(retention policy)을 정의할 수도 있다. 예를 들어, 보존 정책은, 자율 차량이 여행 기간 동안, 일정 횟수의 여행 동안, 일정 기간 동안 등에 안전하지 않은 운전자에 관한 정보만 유지하도록 요구할 수 있다.
일부 실시예에서, 자율 차량은 자신이 검출하는 이상 거동에 관한 데이터를 차량별로 클라우드에 전송할 수도 있다. 이 데이터는 인간이 행하는 비정상적 거동의 패턴을 학습하고, 이러한 거동이 해당 상황에서 발생할 가능성이 더 높은지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 차량들 사이의 측방향 간격이 일정 거리보다 클 때 특정 도시의 운전자는 끼어들기할 가능성이 있다는 것, 특정 교차로에 있는 운전자가 정차하는 경향이 더 많다는 것, 혹은 자신의 휴대 전화를 보고 있는 운전자는 차선을 벗어날 가능성이 있다는 것을 학습할 수 있다.
자율 차량으로부터 클라우드로 전송되는 데이터는 예를 들어 포함할 수 있다.
o 안전하지 않은 차량, 이 차량에 인접하는 차량 및 자율 차량의 궤적
o 안전하지 않은 차량의 운전자 및 차량 속성(예를 들어, 휴대 전화를 보는 운전자, 창문이 눈으로 덮여서 시야가 가려짐)
o 지리적 위치, 기상 상태, 교통 표지 및 신호등 데이터
o 안전하지 않은 거동 액션 - 이는 자율 차량의 안전 모델을 위반한 급정거와 같은 알려진 액션이나, 또는 시스템에 의해 플래그된 알려지지 않은 이상 거동으로 태그될 수 있다.
일부 실시예에서, 인간이 행하는 비정상적 거동의 컨텍스트 기반 패턴을 학습하는 것은, LCS(Longest Common Subsequences)와 같은 기술을 사용해서 안전하지 않은 거동과 관련된 주행 액션의 시간적 시퀀스를 클러스터링하는 것을 포함할 수 있다. 클러스터링은 차량 궤적 데이터의 차원수(dimensionality)을 감소시킬 수 있으며, 각각의 안전하지 않은 거동에 대한 주행 거동의 대표적인 시퀀스를 식별할 수 있다. 아래의 표는 클러스터링될 수 있는 특정 시간 시퀀스의 예를 제공한다.
Figure pct00009
또한, 일부 실시예에서, 주어진 컨텍스트에서 발생할 가능성이 더 높은 주행 패턴이 학습될 수 있다. 예를 들어, 추적된 시퀀스에 기초해서, 특정 도시에서 눈이 올 때 특정 비정상적 운전 패턴이 더 흔하게 발생하는지 여부 또는 화난 운전자에게 특정 주행 거동이 발생할 가능성이 더 높은지 여부가 학습될 수 있다. 이 정보는 주어진 컨텍스트에서의 운전 패턴의 조건부 확률 분포를 모델링하는 데 사용될 수 있다. 이러한 컨텍스트 기반 모델을 통해서 자율 차량은 주어진 시나리오에서 안전하지 않은 차량이 취할 수 있는 일련의 거동을 예측할 수 있다. 예를 들어, 주어진 컨텍스트에서 주행 패턴이 얼마나 자주 발생하는지를 추적하는 컨텍스트 그래프가 도 35에 도시되어 있다. 표시된 바와 같이, 컨텍스트 그래프는 컨텍스트 정보(도 35의 "컨택스트" 노드) 및 관련된 시퀀스 및 컨텍스트 관찰 빈도(도 35의 에지 가중치)와 함께 식별된 시퀀스(도 35의 "주행 패턴" 노드)를 추적해서, 특정 컨텍스트에서 다른 것보다 더 자주 발생하는 특정 거동 패턴(예를 들어, 특정한 지리적 컨택스트, 시간 컨택스트 등에서 압도적으로 발생하는 패턴)이 있는지 식별한다. 식별된 패턴은 자율 차량이 안전하지 않은 거동을 피하기 위해 취해야 하는 액션을 식별하는 강화 학습 모델을 트레이닝하는 데에도 사용될 수 있다. 예를 들어, 학습된 컨텍스트 거동 패턴은 예를 들어, 자율 차량이 컨텍스트 거동 패턴과 관련된 특정 컨택스트에 들어가거나 이를 관찰할 때 동적으로 자율 차량의 거동 모델을 수정하는 데 사용될 수 있다.
도 36은 적어도 하나의 실시예에 따른, 차량에 의해 관찰되는 비정상적 거동을 추적하는 예시적인 프로세스(3600)의 흐름도이다. 예시적인 프로세스(3600)에서의 동작은 자율 차량 또는 클라우드 기반 학습 모듈의 하나 이상의 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스(3600)는 추가 동작 또는 다른 동작을 포함할 수 있으며, 동작들은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 36에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
3602에서, 차량 및 주변을 식별하기 위해 자율 차량에 의해 사용되는 카메라, LIDAR 또는 기타 센서를 포함하여 자율 차량에 연결된 복수의 센서로부터 센서 데이터가 수신된다.
3604에서, 하나 이상의 차량에 의해 수행되는 비정상적 거동 혹은 이상 거동이 검출된다. 어떤 경우에는 검출은, 특정 차량에 의해 수행되는 관찰된 거동을 자율 차량의 안전 모델과 비교하고, 이 비교에 기초해서, 관찰되는 거동이 자율 차량의 안전 모델을 위반하는지를 결정함으로써 행해질 수 있다. 어떤 경우에는, 검출은, 특정 차량에 의해 수행되는 관찰된 거동을 다른 차량에 의해 수행되는 관찰된 거동과 비교하고, 이 비교에 기초해서, 특정 차량에 의해 수행되는 관찰된 거동이 다른 차량에 의해 수행되는 관찰된 거동으로부터 벗어나는지를 결정함으로써 행해질 수 있다. 검출은 다른 방식으로 수행될 수 있다. 검출은 센서 데이터의 오디오 및 시각적 컨텍스트 정보에 기초할 수 있다.
3606에서, 비정상적 거동이 관찰되는 각 차량에 대해 식별자가 생성된다. 식별자는, 특정 차량의 각각의 특성에 대한 값을 획득하고, 값들의 조합에 암호화를 적용해서 식별자를 획득함으로써 생성될 수 있다. 이 값은 자율 차량이 다른 차량을 인식하기 위해 사용하는 딥 러닝 모델로부터 대표 특성을 추출함으로써 획득될 수 있다. 식별자는 다른 방식으로 생성될 수 있다.
3608에서, 3604에서 검출된 비정상적 거동은 각각의 비정상적 거동을 수행한 차량에 대해 3606에서 생성된 식별자와 연관된다.
3610에서, 식별된 차량에 대해 비정상적 거동의 발생 빈도가 추적된다.
3612에서, 관찰되는 비정상적 거동이 특정 차량에 의해 임계 횟수 이상 수행되는 것으로 관찰되었는지 여부가 결정된다. 관찰되었다면, 3614에서 동적인 거동 정책이 시작된다(예를 들어, 차량을 더 피하기 위해). 관찰되지 않았다면, 자율 차량은 디폴트 거동 정책에 따라 계속 동작한다.
도 37은 적어도 하나의 실시예에 따른 컨텍스트 거동 패턴을 식별하는 예시적인 프로세스(3700)의 흐름도이다. 예시적인 프로세스(3700)에서의 동작은 자율 차량의 학습 모듈 또는 클라우드 기반 학습 모듈에 의해 수행될 수 있다. 예시적인 프로세스(3700)는 추가 동작 또는 다른 동작을 포함할 수 있으며, 동작들은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 37에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
3702에서, 비정상적 거동 추적 데이터가 복수의 자율 차량으로부터 수신된다. 비정상적 거동 추적 데이터는, 차량 식별자, 차량 식별자와 연관된 차량에 의해 수행되는 것으로 관찰되는 연관된 비정상적 거동, 및 비정상적 거동이 자율 차량에 의해 검출된 컨텍스트를 나타내는 컨텍스트 데이터를 포함하는 엔트리를 포함할 수 있다. 일부 경우에, 컨텍스트 데이터는 비정상적 거동을 수행하는 차량에 대한 궤적 정보, 비정상적 거동을 수행하는 차량에 대한 차량 속성, 비정상적 거동을 수행하는 차량에 대한 운전자 속성, 비정상적 거동을 수행하는 차량의 지리적 위치, 비정상적 거동을 수행하는 차량 주변의 기상 상태, 비정상적 거동을 수행하는 차량 주변의 교통 상황을 나타내는 교통 정보 중 하나 이상을 포함할 수 있다.
3704에서, 하나 이상의 비정상적 거동의 시퀀스가 식별된다. 이는 LCS(Longest Common Subsequences) 기술을 사용하는 것과 같이, 거동을 클러스터링함으로써 수행할 수 있다.
3706에서, 컨텍스트 그래프는 3704에서 식별된 시퀀스 및 3702에서 수신된 데이터에 기초해서 생성된다. 컨텍스트 그래프는 식별된 시퀀스를 나타내는 제 1 노드 세트 및 컨텍스트 데이터를 나타내는 제 2 노드 세트를 포함할 수 있으며, 여기서 컨텍스트 그래프의 에지는 노드 사이의 연관의 빈도를 나타낸다.
3708에서, 컨텍스트 거동 패턴은 컨텍스트 그래프를 사용해서 식별되고, 3710에서, 식별된 컨텍스트 거동 패턴에 기초해서 하나 이상의 자율 차량에 대한 거동 정책이 수정된다. 예를 들어, 하나 이상의 자율 차량이 식별된 컨텍스트 거동 패턴과 연관된 특정 컨텍스트 내에 있다는 것을 검출하는 것에 기초해서, 하나 이상의 자율 차량에 대한 거동 정책은 수정될 수 있다.
본 명세서에서 논의된 바와 같이, 최근의 컴퓨터 비전(CV) 및 인공 지능(AI)의 원리 및 특징이 차량 내 컴퓨팅 시스템에서 이용되어서, 고도로 자동화된 자율 차량에 사용되는 예시적인 자율 주행 스택을 구현할 수 있다. 그러나 CV 및 AI 모델과 로직은 종종 오분류 및 조작(manipulation)에 취약할 수 있다. 일반적인 IDS(Intrusion Detection System)은 느리고 복잡하며, 상당한 양의 노이즈 및 거짓 양성을 유발할 수 있다. 심층 신경망(DNN) 알고리즘의 단일 비트 플립은 이미지를 완전히 잘못 분류할 수도 있다. 따라서, 고도로 자동화된 자율 차량에 대한 결함과 공격을 보다 정확하게 식별하기 위해 개선된 자율 주행 시스템이 구현될 수 있다.
이하의 개시는 도 38에 도시된 바와 같이 고도로 자동화된 자율 차량을 위한 결함 및 침입 검출 시스템(3800)을 구현하기 위한 다양한 가능한 실시예 또는 예를 제공한다. 하나 이상의 실시예에서, 차량 모션 예측 이벤트 및 제어 명령은 모두 하이 레벨의 추상화로, 모니터된다. 차량 모션 파라미터 및 도로 파라미터의 현재 상태에 기초해서, 차량은 특정 모션 엔벨로프 내에 유지된다. 시간적인 정상 거동 모델(3841)은 모션 엔벨로프에 대한 준수를 유지하도록 구성된다. 적어도 하나의 실시예에서, 시간적 정상 거동 모델을 구축하기 위해 적어도 2개의 알고리즘이 사용된다. 이 알고리즘은 정상적인 차량 거동을 학습하기 위한 차량 거동 모델(3842)(예를 들어, HMM(Hidden Markov Model)에 기초함) 및 차량 거동 모델로부터의 편차를 찾기 위한 회귀 모델(3844)을 포함한다. 특히, 회귀 모델은 차량 거동 모델이, 차량 시스템 에러 또는 차량 시스템에 대한 악의적인 공격일 수 있는, 결함을 올바르게 검출하는지 여부를 결정하는 데 사용된다.
고도로 자동화된 자율 차량을 위한 결함 및 침입 검출 시스템의 여러 실시예를 설명하기 위해, 고도로 자동화된 자율 차량과 관련된 가능한 활동을 먼저 이해하는 것이 중요하다. 따라서 다음과 같은 기초 정보들을 본 개시 내용을 적절하게 설명할 수 있는 근거로 볼 수 있다.
자율 차량에 사용되는 최근 컴퓨터 비전(CV) 및 인공 지능(AI)은 종종 오분류 및 조작(manipulation)에 취약하다. 예를 들어, 공격자는, 표지판이 실제로 다른 것을 의미한다고 믿도록 차량을 속일 수 있는 스티커를 생성할 수 있다. 도 39는 "정지 신호 "STOP" 위에 LOVE"가 인쇄되고, 정지 신호 "STOP" 아래에 "HATE"가 인쇄되는, "love/hate" 그래픽(3900)에서 볼 수 있는 바와 같은, 조작(manipulation)을 나타낸다. 영어를 사용하는 운전자에게 그래피티-표시된 표지판이 정지 신호라는 것이 분명하겠지만, 이러한 그래피티로 인해서 적어도 일부 컴퓨터 비전 알고리즘은 정지 신호가 실제로는 속도 제한 또는 양보 알림이라고 믿게 할 수 있다. 나아가, 이미지를 분류하는 심층 신경망(DNN) 알고리즘에서 단일 비트 플립 오류가 발생하면 이미지를 오분류할 수 있다. 예를 들어, 단 한 번의 비트 플립만으로 분류기는 거대한 트럭 대신에, 작은 동물이나 새를 볼 수 있다.
현재의 (규칙 기반) 침입 검출 시스템(IDS)은 자동차 네트워크의 비-결정론적 특성으로 인해 너무 많은 노이즈 및 너무 많은 거짓 긍정을 생성하고, 이로 인해서 비정상 거동의 전체 범위를 커버하기에는 부적절하게 한다. ECC(Error correction code) 알고리즘은 한계가 있으며 일반적으로 인공 지능에 도움이 되지 않는다. GAN(Generative Adversarial Network)은 값을 갖고 있지만, 트레이닝 세트에서 적대적 데이터를 선택하는 데 크게 의존한다. 현재의 머신 학습 기반 침입 검출 시스템은 높은 복잡성 및 모니터되는 많은 내부 네트워크와 밖의 접속으로 인해서 자동차 시스템에서 사용하기에 적합하지 않다.
도 38에 도시된 바와 같이 결함 및 검출 탐지 시스템(3800)은 전술한 많은 문제(및 그 이상)를 해결한다. 시스템(3800)은 차량의 정상적인 거동을 학습하기 위한 차량 거동 모델(3842) 및 기간 t 동안 차량의 거동의 가능성을 예측하기 위한 회귀 모델(3844)과 같은 2개의 알고리즘을 가진 시간적 정상 거동 모델(3841)을 포함한다. 차량 거동 모델은 정상적인 차량 거동에 대한 확률 모델이 될 수 있다. 차량 거동 모델은 낮은 랭크의(low-rank) 고정 모델을 학습하고, 이후에 고정 모델에 대한 시간 모델의 편차를 모델링한다. 이벤트 세트는 일반적으로 시간이 경과에 대해 정적이기 때문에, 차량 거동 모델은 결함 및 침입 검출 시스템을 통과하고 유지되는 이전의 그리고 새로운, 검증된 트레이닝 샘플이 주어지면, 종종 행해지는 파라미터 재가중(parameter re-weighting)을 통해 업데이트될 수 있다. 회귀 알고리즘은, 차량 동작 모델로부터 계산된 새롭게 수신한 제어 이벤트에 기초한 모션 변경 가능성을, 회귀 알고리즘에 의해 예측된 모델(예를 들어, 모션 엔벨로프)과 비교한다.
결함 및 검출 탐지 시스템(3800)은 몇 가지 잠재적인 이점을 제공한다. 예를 들어, 시스템(3800)은 일반적인 침입 검출 시스템에 의해 모니터링되는 것보다 더 높은 레벨의 추상화인 차량 모션 예측 이벤트 및 제어 명령을 모니터한다. 본 명세서의 실시예는 전형적인 검출 탐지 시스템에 의해서는 포착되지 않을 수 있는 낮은 레벨의 변화보다는, 악의적인 공격 및 의도가 검출될 수 있는 더 높은 레벨에서의 검출을 허용한다. 따라서 시스템(3800)은 정교하고 복잡한 공격 및 시스템 장애를 검출할 수 있다.
도 38을 참조하면, 결함 및 침입 검출 시스템(3800)은 클라우드 처리 시스템(3810), 차량(3850), 다른 에지 장치(3830) 및 차량(3850)과 클라우드 처리 시스템(3810) 사이 및 차량(3850)과 다른 에지 장치(3830) 사이의 통신을 용이하게 하는 하나 이상의 네트워크(예를 들어, 네트워크 3805)를 포함한다. 클라우드 처리 시스템(3810)은 클라우드 차량 데이터 시스템(3820)을 포함한다. 차량(3850)은 CCU(3840) 및 센서(3855A~3855E)와 같은 수많은 센서를 포함한다. 도 38의 요소는 또한 비한정의 예로서 프로세서(예를 들어, 3817, 3857) 및 메모리(예를 들어, 3819, 3859)를 포함하는 적절한 하드웨어 구성 요소를 포함하며, 이는 수많은 상이한 실시예에서 실현될 수 있다.
차량(3850)에서, CCU(3840)는 센서(3855A~3855E)로부터 거의 연속적인 데이터 피드를 수신할 수 있다. 센서는 조향, 스로틀 및 브레이크 센서를 포함한 본 명세서에서 설명되는 임의의 타입의 센서를 포함할 수 있다. 많은 다른 타입의 센서(예를 들어, 이미지 캡처 장치, 타이어 압력 센서, 도로 상태 센서 등)도 CCU(3840)에 데이터를 제공할 수 있다. CCU(3840)는 차량 거동 모델(3842), 회귀 모델(3844) 및 비교기(3846)를 포함하는 시간적 정상 거동 모델(3841)을 포함한다.
차량 거동 모델(3842)은, 로우 레벨에서 차량 거동을 학습하기 위해, 조향 센서 데이터, 스로틀 센서 데이터 및 브레이크 센서 데이터와 같은, 센서의 원시 데이터에 대해 트레이닝할 수 있다. 차량에서 발생하는 이벤트는 일반적으로 시간이 경과에 대해 정적이기 때문에, 차량 거동 모델은 결함 및 침입 검출 시스템을 통과하고 유지되는 이전의 그리고 새로운, 검증된 트레이닝 샘플이 주어지면, 종종 행해지는 파라미터 재가중(parameter re-weighting)을 통해 업데이트될 수 있다.
적어도 하나의 예에서, 차량 거동 모델(3842)은 확률적 모델이다. 확률 모델은 변수 사이의 관계를 정의하는 데 사용되는 통계 모델이다. 적어도 일부 실시예에서, 이러한 변수는 조향 센서 데이터, 스로틀 센서 데이터 및 브레이크 센서 데이터를 포함한다. 확률 모델에서는 다른 변수로부터 한 변수를 예측하는 데 에러가 있을 수 있다. 데이터의 변동성을 다른 인자가 설명할 수 있으며, 확률 모델은 이들 다른 인자를 설명하기 위한 하나 이상의 확률 분포를 포함한다. 적어도 하나의 실시예에서, 확률 모델은 HMM(Hidden Markov Model)일 수 있다. HMM에서 모델링되는 시스템은 관찰되지 않은(예를 들어, 히든) 상태가 있는 마르코프(Markov) 프로세스로 가정된다.
적어도 하나의 실시예에서, 차량 거동 모델은 물리적 차량 가동으로의 파이프라인에 있다. 가동 이벤트(이하 '제어 이벤트'라고도 함)는 이전 소프트웨어 계층에 의해 가동 이벤트로 표시될 수 있다. 벡터 구조는 상이한 타입의 입력 데이터(예를 들어, 날씨에 대한 벡터, 속도에 대한 벡터, 방향에 대한 벡터 등)에 대해 차량 거동 모델(3842)에 의해 사용될 수 있다. 벡터 구조의 각 파라미터에 대해, 차량 거동 모델(3842)은 확률을 할당한다. 차량 거동 모델(3842)은 차량의 액추에이터로 가는 데이터에 대해 지속적으로 실행될 수 있다. 따라서, 모든 커맨드(예를 들어, 차량의 모션을 변경하기 위한)은 차량 거동 모델을 통과할 수 있고, 차량이 수행하는 거동의 상태가 유지될 수 있다.
일반적으로, 제어 이벤트는 운전자 커맨드(예를 들어, 운전대 회전, 브레이크 적용, 스로틀 적용)에 의해 또는 차량의 다음 액션을 나타내는 자율 차량의 센서로부터 시작된다. 제어 이벤트는 센서 및 액추에이터 자체의 피드백 루프로부터 발생할 수도 있다. 일반적으로 제어 이벤트는 차량의 모션 변화를 나타낸다. 차량 거동 모델(3842)은 모션의 변화가 잠재적으로 비정상적인지 또는 예상되는 거동인지를 결정할 수 있다. 특히, 차량 거동 모델의 출력은 모션 변화의 분류일 수 있다. 일례로, 분류는 모션의 변화가 결함(예를 들어, 차량 컴퓨터 시스템의 악의적인 공격 또는 오류)일 가능성을 나타낼 수 있다.
회귀 모델(3844)은 주어진 기간(t)에 발생하는 제어 이벤트에 의해 표시되는 차량의 모션 변화 가능성을 예측한다. 회귀 알고리즘은 둘 이상의 변수 사이의 관계를 조사하기 위한 통계적 방법이다. 일반적으로 회귀 알고리즘은 종속 변수에 대한 하나 이상의 독립 변수의 영향을 조사한다.
회귀 모델(3844)에 대한 입력은 제어 이벤트와 연관된 모션 센서 이외의 모션 센서로부터의 입력과 같은 하이 레벨 이벤트를 포함할 수 있다. 예를 들어, 제어가 제동 센서와 연관되어 있을 때, 회귀 모델에 대한 입력은 스로틀 센서 및 조향 센서의 입력도 포함할 수 있다. 입력은 예를 들어 차량의 관성을 나타내는 자이로스코프와 같은 다른 관련 차량 센서로부터 수신될 수 있다. 회귀 모델(3844)은 또한, 차량과 연관된 이미지 캡처 장치(예를 들어, 카메라)에 의해 캡처된 이미지를 분류할 수 있는, 이미지 분류기와 같은 차량의 다른 모델로부터 입력을 수신할 수 있다. 또한, 회귀 모델(3944)은 비한정의 예로서 셀 타워, 요금소, 인프라 장치, 위성, 기타 차량, 라디오 방송국(예를 들어, 일기 예보, 교통 상황 등) 등과 같은 원격 소스로부터의 입력을 포함할 수 있는 다른 에지 장치를 포함할 수 있다. 기타 에지 장치로부터의 입력은, 추가 정보가 제어 이벤트에 어떻게 영향을 미치는지 결정하기 위해서 회귀 모델에 의해 조사될 수 있는 추가 정보(예를 들어, 환경 조건, 일기 예보, 도로 상태, 시간대, 차량 위치, 교통 상황 등)를 제공하는 환경 데이터를 포함할 수 있다.
적어도 하나의 실시예에서, 회귀 모델(3844)은 백그라운드에서 실행되고, 센서, 다른 모델, 다른 에지 장치와 같은 원격 소스 등으로부터의 입력을 조사하는 것에 기초해서, 차량이 무엇을 했는지에 대한 메모리를 생성하고 차량이 정상의(결함 없음) 조건에서 무엇을 해야 하는지를 예측한다. 차량 동작 모델에 제한을 적용하기 위해 모션 엔벨로프를 생성할 수 있다. 모션 엔벨로프는 잘못된 것이 없다고 가정하고 해당 기간 t 동안의 차량의 경로 및 차량의 목적지의 입력에 기초해서 계산된 예측이다. 회귀 모델(3844)은 제어 이벤트가 모션 엔벨로프의 밖에 있는 차량의 모션 변화를 나타내는지 여부를 결정할 수 있다. 예를 들어, 제어 이벤트가 급제동 이벤트인 경우, 차량 거동 모델은 제동 이벤트가 정상 제동 임계를 벗어난 것으로 결정하고, 차량 시스템의 높은 오류 가능성을 나타낼 수 있다. 그러나 회귀 모델은 심한 교통 체증을 나타내는(예를 들어, 사고로 인한), 도로변 인프라 장치로부터의 입력을 검사할 수 있다. 따라서, 회귀 모델은, 기간 t 동안 특정 교통 상황에 적어도 부분적으로 기초해서 계산되는 예측된 모션 엔벨로프 내에서, 급제동 이벤트가 발생할 가능성이 있다고 결정할 수 있다.
결함 및 침입 검출 시스템(3800)은 사용되는 회귀 알고리즘의 타입에 대해서는 자연스럽지 않다(agonistic). 예를 들어, 히든 변수에 의존하는 HMM과 같은 통계 모델에서는, 파라미터의 최대 가능성을 찾는 반복적인 방법인 EM(expectation maximization) 알고리즘이 사용될 수 있다. 적어도 하나의 실시예에서, 회귀 알고리즘(예를 들어, 선형 또는 래소우(lasso))은 원하는 모션 엔벨로프 크기에 따라 다소의 편차 오차를 허용하도록 선택될 수 있다. 예를 들어, 하나의 모션 엔벨로프는 민간인이 사용하는 차량에 대해서 제한(즉 작게)될 수 있는 반면, 군사용 차량에 대한 다른 모션 엔벨로프는 더 완화될 수 있다.
비교기(3846)는 차량 거동 모델(3842)에 한계를 적용하기 위해 사용될 수 있다. 비교기는 차량 거동 모델(3842)의 출력 분류와 회귀 모델(3844)의 출력 예측을 비교해서, 제어 이벤트에 의해 표시되는 모션의 변화가 오류인지, 혹은 예측된 모션 엔벨로프 내에서 발생할 수 있는 모션의 수용 가능한 변경인지를 결정할 수 있다. 차량 거동 모델의 출력 분류는 제어 이벤트에 의해 표시되는 모션의 변화가 결함(예를 들어, 악의적인 공격 또는 차량 컴퓨터 시스템의 오류)일 가능성의 표시일 수 있다. 회귀 모델(3844)의 출력 예측은 센서, 에지 장치, 차량의 다른 모델 등으로부터 입력 데이터에 기초한, 주어진 기간 t에 모션의 변화가 발생할 가능성이 될 수 있다. 비교기는 회귀 모델을 사용해서, 차량 거동 모델에 의한 제어 이벤트의 출력 분류에 제한을 적용한다.
비교기 기능의 일례로, 차량 거동 모델에서 제동 이벤트가 잠재적으로 비정상이라는 것을 나타내고 있더라고, 회귀 모델은 입력으로서 수신된 특정 환경 조건에서는(예를 들어, 센서로부터의 높은 속도, 로드맵으로부터의 전방의 적색 신호, 일기 예로부터의 비 예보), 예상되는 제동 이벤트가 수용 가능한 임계값 내(예를 들어, 모션 엔벨로프 내)에 있다고 나타낸다. 모션 엔벨로프에 기초해서 제동 이벤트가 수용 가능한 임계값 내에 있기 때문에, 비교기는 제동 이벤트가 잠재적으로 비정상적이라는 차량 동작 모델의 평가를 무시하고 제동 액션을 계속할 수 있도록 제어 신호가 송신될 수 있다고 결정할 수 있다. 다른 예에서, 회귀 모델(3844)는 차량이 도시 거리에서 35mph로 주행하고 있다는 것을 알고 있으며 맵에 액세스할 수 있기 때문에 교차로에서 정지 신호를 예상한다. 회귀 모델은 또한 일기 예보로부터 도로가 얼어 있다는 것을 알고 있다. 대조적으로, 차량 거동 모델(3842)은, 이미지 분류기가 곧 있을 정지 신호는 더 높은 속도를 의미한다고 잘못 판정했거나 해커가 제어 데이터를 조작해서 잘못된 커맨드를 가속기에 전송했기 때문에, 가속하는 제어 이벤트(예를 들어, 액추에이터에 대한 커맨드)를 수신한다. 이 시나리오에서, 차량 거동 모델로부터의 출력 분류가 제어 이벤트가 잠재적으로 비정상이라는 것을 나타내지는 않지만, 비교기는 주어진 기간 t 동안, 모션 엔벨로프에서 차량이 정지 신호에 접근할 때 제동해야 한다는 것을 나타내는 제어 이벤트가 일어날 가능성이 낮다는 회귀 모델 출력 예측에 기초해서 에러 신호 또는 제어 신호를 생성할 수 있다.
다수의 적절한 비교기 중 어느 하나가 시간적 정상 거동 모델(3841)의 가능성 비교 특징을 구현하는데 사용될 수 있다. 적어도 하나의 실시예에서, 비교기는 사용되는 특정 차량 거동 모델 및 회귀 모델에 기초해서 선택될 수 있다.
비교기(3846)는 차량 거동 모델(3842)에 피드백을 송신해서 그 모델을 수정하도록 트리거될 수 있다. 차량 거동 모델에 대한 피드백은 재트레이닝을 가능하게한다. 일례로, 시스템은 피드백에 기초해서 저지른 실수의 메모리를 생성하고, 예를 들어 위치 및 시간에 기초해서 유사한 시나리오를 식별하도록 재트레이닝된다. 재트레이닝에 다른 변수가 사용될 수도 있다.
클라우드 차량 데이터 시스템(3820)은 회귀 모델(예를 들어, 3844)을 다수의 차량에 대해서 트레이닝하고 업데이트할 수 있다. 일 예에서, 클라우드 차량 데이터 시스템(3820)은 운행 차량(예를 들어, 3850)의 회귀 모델(예를 들어, 3844)로부터 피드백(3825)을 수신할 수 있다. 피드백(3825)은 집계 및 재계산을 위해 클라우드 차량 데이터 시스템(3820)으로 송신되어서, 다수의 차량에서 회귀 모델을 업데이트하여 거동을 최적화할 수 있다. 적어도 일부 예에서, 하나 이상의 에지 디바이스(3830)는 집계 및 가능하게는 일부 트레이닝/업데이트 동작을 수행할 수 있다. 이러한 예들에서, 회귀 모델(예를 들어, 3844)로부터 피드백(3835)이 수신되어서 이러한 집계, 트레이닝 및/또는 업데이트 동작을 가능하게 할 수 있다.
도 40을 참조하면, 적어도 하나의 실시예에 따른 차량용 중앙 집중식 차량 제어 아키텍처(4000)의 개략 블록도가 도시되어 있다. 차량 제어 아키텍처에서, 버스(4020)(예를 들어, CAN(controller area network), FlexRay 버스 등)은 타이어(4010A, 4010B, 4010C, 4010D) 및 이들의 각각의 액추에이터(4012A, 4012B, 4012C, 4012D)를 조향 ECU(4056A), 스로틀 ECU(4056B), 브레이크 ECU(4056C)를 포함한 다양한 엔진 제어 유닛(ECU)에 접속한다. 버스는 또한 접속 제어 장치(CCU)(4040)을 ECU들에 접속한다. CCU(4040)는 조향 센서(4055A), 스로틀 센서(4055B) 및 브레이크 센서(4055C)와 같은 센서에 통신 가능하게 접속된다. CCU(4040)는 조향, 스로틀 및 브레이크 센서 및/또는 액추에이터 중 하나 이상으로부터의 피드백에 더해서, 자율 ECU 또는 운전자로부터의 명령을 수신해서 적절한 ECU에 커맨드를 송신할 수 있다. 차량 거동 모델을 생성하기 위한 차량 거동 학습은 종종 위에서 설명한 바와 같이 생성될 수 있는 원시 데이터를 사용한다. 예를 들어, 바퀴가 현재 특정 타입의 각도로 기울어져 있다거나, 브레이크 압력이 특정 비율이라거나, 가속도 등이 있다.
도 41은 자율 검지 및 제어 파이프라인(4100)의 개략 블록도이다. 차량의 제어는 가동을 담당하는 엔진 제어 유닛(ECU)으로 이동한다. 도 41은 센서에서 센서 융합 및 계획 ECU를 통하는, 그리고 차량 제어 ECU를 통한 자율 처리 파이프라인을 보여준다. 도 41은 시선밖(non-line of sight), 시선, 차량 상태 및 포지셔닝을 포함한 다양한 센서 입력을 보여준다. 특히, 이러한 입력은 V2X 4154A, 레이더(4154B), 카메라(4154C), LIDAR(4154D), 초음파 장치(4154E), 차량(4154F)의 모션, 차량(4154G)의 속도, GPS, 관성, 원격 측정(4154H) 및/또는 고화질(HD) 맵(4154I)에 의해 제공될 수 있다. 이들 입력은 센서 모델(4155)를 통해 중앙 장치(예를 들어, 중앙 처리 장치)로 공급된다. 센서 모델(4155)은 확률적 센서 융합 및 모션 계획(4110)을 수행하기 위한 입력을 제공한다. 일반적으로 센서 융합은 차량 상태, 모션 및 환경을 이해하기 위해 모든 입력 데이터를 평가하는 것을 포함한다. 연속 루프는 차량의 다음 동작을 예측하고, 차량의 계기판(4120)에 관련 정보를 표시하며, 적절한 신호를 차량 제어 액추에이터(4130)에 송신하는 데 사용될 수 있다.
도 42는 고도로 자동화된 차량 또는 자율 차량의 예시적인 엑스 바이 와이어(x-by-wire) 아키텍처(4200)를 나타내는 개략 블록도이다. CCU(4240)는 차량의 운전대(4202) 및 페달(4204)로부터 입력(예를 들어, 제어 신호)을 수신할 수 있다. 그러나 자율 차량에 운전대 및/또는 페달이 없을 수도 있다. 대신 자율 주행(AD) ECU가 이러한 메커니즘을 대체하고 모든 주행 결정을 내릴 수 있다.
유선 네트워크(예를 들어, CAN, FlexRay)는 CCU(4240)를 조향 ECU(4256A) 및 그 조향 액추에이터(4258A)에, 브레이크 ECU(4256B) 및 그 브레이크 액추에이터(4258B)에, 그리고 스로틀 ECU(4256C) 및 그 스로틀 액추에이터(4258C)에 접속한다. 유선 네트워크는 스티어 바이 와이어(steer-by-wire)(4210), 브레이크 바이 와이어(brake-by-wire)(4220) 및 스로틀 바이 와이어(throttle-by-wire)(4230)로 지정된다. 자율 차량 또는 고도 자율 차량에서 CCU(4240)와 같은 CCU는, 디지털 서명이 필요한 보안 부팅(secure boot), 증명(attestation) 및 소프트웨어 구성 요소를 가진 폐 시스템이다. 그러나, 공격자는 센서로의 입력(예를 들어, 이미지, 레이더 스푸핑 등)을 제어하거나, CCU까지의 네트워크 트래픽을 조작하거나, 차량의 다른 ECU(CCU 제외)를 손상시킬 수 있다. 허용된 트래픽 및 접속에 대한 추가적인 하드웨어 검사로 인해서, CCU(4240)와 액추에이터(4258A~4258C) 사이의 네트워크는 손상될 수 없다. 특히 CCU(4240) 이외의 ECU는 유선 네트워크에서는 허용되지 않는다. 이들 장치를 바인딩함으로써 트래픽 트랜시버 및 수신기(Tx/Rx)를 사용하는 다른 물리적 강제를 사용함으로써, 시행은 암호화될 수 있다.
도 43은 적어도 하나의 실시예에 따른 고도로 자동화된 차량 또는 자율 차량의 예시적인 안전 리셋 아키텍처(4300)를 나타내는 개략 블록도이다. 아키텍처(4300)는 버스(4320)(예를 들어, CAN, FlexRay) 및 하드웨어/소프트웨어 모니터(4360)에 연결된 CCU(4340)를 포함한다. HW/SW 모니터(4360)는 CCU(4340)에서 에러를 모니터하고, 제어 이벤트에 의해 표시된 모션의 변화가 회귀 모델에 의해 계산된 모션 엔벨로프 밖에 있는 것으로 결정되면 CCU를 리셋한다. 적어도 하나의 실시예에서, HW/SW 모니터(4360)는 비교기로부터 입력을 수신할 수 있으며, 이는 에러 신호를 송신할지 여부를 결정한다. 적어도 일부 실시예에서, 에러 신호가 송신되고 CCU에 대한 자체 리셋이 차량 거동을 예측된 모션 엔벨로프 내로 효과적으로 수정하지 않는 경우에는 CCU(4340)는 차량을 안전하게 정지할 수 있다.
도 44는 적어도 하나의 실시예에 따른 고도로 자동화된 차량 또는 자율 차량의 일반적인 안전 아키텍처(4400)의 예를 나타내는 개략 블록도이다. 안전 아키텍처(4400)는, 버스(4420)(예를 들어, CAN, FlexRay)을 통해 조향 ECU(4456A) 및 그 조향 액추에이터(4458A), 스로틀 ECU(4456B) 및 그 스로틀 액추에이터(4458B), 그리고 브레이크 ECU(4456C) 및 그 브레이크 액추에이터(4458C)에 접속된 CCU(4440)를 포함한다. CCU(4440)는 또한 조향 센서(4455A), 스로틀 센서(4455B) 및 브레이크 센서(4455C)에 통신 가능하게 접속된다. CCU(4440)는 또한 환경 메타 데이터(4415)를 수신하기 위해 다른 엔티티에 통신 가능하게 연결될 수도 있다. 이러한 다른 엔티티는 다른 센서, 에지 장치, 다른 차량 등을 포함할 수 있지만 반드시 이것으로 한정되는 것은 아니다.
안전을 포함한 여러 통신이 발생할 수 있다. 먼저, 스로틀, 조향 및 제동 커맨드 및 센서 피드백이 액추에이터 및/또는 센서로부터 CCU에서 수신된다. 나아가, 환경 메타 데이터(4415)는 ADAS(autonomous driver assistance system) 또는 자율 운전자 ECU(AD ECU)로부터 전달될 수 있다. 이 메타 데이터는 예를 들어 거리 및 도로 타입, 기상 상태 및 교통 정보를 포함할 수 있다. 이는 제한적인 모션 엔벨로프를 생성하고 다음 몇 분 동안의 모션을 예측하는 데 사용될 수 있다. 예를 들어, 자동차가 교외 거리에서 이동하는 경우, 속도 제한은 시속 25마일 또는 35마일로 제한될 수 있다. 속도 제한에 위배되는 커맨드가 AD ECU로부터 수신되면, CCU는 이를 오류로서 식별할 수 있다(예를 들어, 악의적인 공격 또는 비악의적인 에러).
시스템이 복구될 수 있는지 확인하기 위해 다른 리던던시 방식도 사용될 수 있다. 시간적 리던던시(4402)는 커맨드를 수회 판독하고 중간 투표를 사용하는 데 사용될 수 있다. 정보 리던던시(4404)는 값을 수회 처리하고 메모리에 다수의 사본을 저장하는 데 사용될 수 있다. 나아가, 다수결 투표(4406)는 ECU에 대한 제어 커맨드를 스케쥴링하는 데 사용될 수 있다. 리던던시 방식이 시스템을 에러로부터 복구시키지 않으면, CCU는 차량을 안전하게 정지시킬 수 있다. 예를 들어, 4408에서 다른 안전 제어는, 차량 모션 벡터 가설(hypothesis), 가설 엔벨로프 내로 모션 억제 및 제어 값이 엔벨로프를 벗어날 경우 차량을 정지시키는 것을 포함할 수 있다.
도 45는 적어도 하나의 실시예에 따른 고도로 자동화된 자율 차량을 위한 결함 및 침입 검출 시스템의 예시적인 동작 흐름(4500)을 나타내는 개략 블록도이다. 도 45에서, CCU(4540) 내에는 여러 동작이 표시된다. CCU(4540)은 CCU(3840)의 일례를 나타내고, CCU(3840)에서 발생할 수 있는 가능한 동작 및 활동을 보여준다. 동작은 시간적인 정상 거동 모델(예를 들어, 3841)의 알고리즘에 대응한다. HMM 평가(452)는 차량 거동 모델(예를 들어, 3842)에 대응하며, 회귀 평가(4544)는 회귀 모델(예를 들어, 3844)에 대응하고, 가능성 비교(4546)는 비교기(예를 들어, 3846)에 대응한다.
제어 이벤트(4502)는 CCU(4540)에 의해 수신되고, HMM 평가(4544) 및 회귀 평가(4544) 둘 다에서 사용될 수 있다. 제어 이벤트는 운전자의 커맨드로부터, 차량의 다음 액션을 나타내는 자율 자동차의 센서로부터, 또는 센서나 액추에이터의 피드백 루프로부터 시작된다. HMM 평가는 제어 이벤트로 표시되는 모션의 변화가 오류일 가능성을 결정할 수 있다. HMM 평가(4542)는 또한 센서 데이터(4555)(예를 들어, 스로틀 센서 데이터, 조향 센서 데이터, 타이어 압력 센서 데이터 등)를 수신해서, 모션의 변화가 정상 거동인지 또는 오류을 나타내는 지 여부를 판정할 수 있다. 차량 거동 모델은 비교기(예를 들어, 3846)로부터 피드백(4504)을 수신할 수 있으며, 예를 들어 여기서 피드백은 이전에 저지른 실수를 인식하고 유사한 경우(예를 들어, 위치 및/또는 시간에 기초해서)를 식별하도록 차량 거동 모델을 수정한다. 따라서, HMM 평가(4542)는 비교기로부터의 피드백에 기초해서 다르게 수행될 수 있다.
회귀 평가(4544)는 정상 상태에서 주어진 기간 t에 발생하는 제어 이벤트에 의해 표시되는 모션의 변화 가능성을 예측한다. 회귀 평가를 위한 입력은 센서 데이터(4555) 및 원격 데이터 소스(4530)(예를 들어, 다른 에지 장치(3830))로부터의 입력 데이터를 포함할 수 있다. 나아가, 클라우드로부터의 피드백(4504)(예를 들어, 클라우드 차량 데이터 시스템(3820)으로부터)은 회귀 평가(4544)를 수행하는 회귀 모델을 업데이트할 수 있으며, 여기서 회귀 모델은 차량 거동을 최적화하고 다른 차량에서의 학습으로부터 이익을 얻도록 업데이트된다.
일 예에서, 회귀 평가(4544)는 센서, 다른 모델, 다른 에지 장치 등으로부터의 입력을 검사하는 것에 기초해서 정상적인 차량 거동에 대한 하나 이상의 한계 또는 임계값에 의해 정의되는 모션 엔벨로프를 생성한다. 회귀 평가(4544)는 이후 제어 이벤트에 의해 표시되는 모션의 변화가 모션 엔벨로프 한계 또는 임계값 중 하나 이상을 벗어났는지 여부를 결정할 수 있다.
가능성 비교(4546)는 HMM 평가(452)로부터의 모션 변화의 출력 분류 및 회귀 평가(4544)로부터의 출력 예측에 기초해서 수행될 수 있다. HMM 평가로부터의 출력 분류는 모션 변화가 오류(예를 들어, 악의적인 공격 또는 차량 컴퓨터 시스템의 고장)일 가능성의 표시일 수 있다. 회귀 평가(4544)로부터의 출력 예측은 센서, 에지 장치, 차량의 다른 모델 등의 입력 데이터에 기초해서 주어진 기간 t에 모션의 변화가 발생할 가능성일 수 있다. 회귀 평가로부터의 출력 예측이 주어진 기간 t 동안 모션의 변화가 발생할 가능성이 낮다는 것을 나타내며, HMM 평가로부터의 출력 분류가 모션의 변화가 오류일 가능성이 있다는 것을 나타내면, 예측은 모션 엔벨로프 한계 또는 임계값을 벗어날 수 있고, 출력 분류는 4547에 표시된 바와 같이 정상 임계값 밖에 있을 수 있으며, 에러 신호(4506)가 수정 조치를 취하도록 적절한 ECU로 송신되고 및/또는 적절한 기기 디스플레이로 송신될 수 있다. 회귀 평가로부터 출력 예측이 주어진 기간 t 동안 모션의 변화가 발생할 가능성이 있다는 것을 나타내고, HMM 평가에 의한 출력 분류가 모션의 변화가 오류가 아닐 가능성이 있다는 것을 나타내는 경우(예를 들어, 정상일 가능성이 높음), 예측은 모션 엔벨로프 한계 또는 임계값 내에 있을 수 있으며, 출력 분류는 4548에 표시된 바와 같이 정상 임계값 내에 있을 수 있고, 제어 이벤트에 의해 표시된 모션의 변화를 유발하는 액션(4508)이 일어날 수 있다. 적어도 일부 구현예에서, 액션이 일어나도록 신호가 송신될 수 있다. 다른 구현예에서, 액션은 에러 신호가 없을 때 일어날 수 있다.
다른 시나리오에서, 회귀 평가(4544)에 의한 출력 예측과 HMM 평가(452)에 의한 출력 분류가 충돌할 수도 있다. 예를 들어 회귀 평가에 의한 출력 예측이 주어진 기간 t 동안 모션의 변화가 발생할 가능성이 낮다는 것을 나타내고, HMM 평가의 출력 분류가 모션의 변화가 오류가 아닐 가능성이 있다는 것을 나타내는 경우(예를 들어, 정상적인 거동일 가능성이 높음), 에러 신호(4506)가 차량 거동을 제어하도록 적절한 ECU로 송신되고 및/또는 적절한 기기 디스플레이로 송신될 수 있다. 이는, 회귀 평가가 모션 엔벨로프를 제한하는 추가적인 조건 및 요인(예를 들어, 다른 센서 데이터, 환경 데이터 등으로부터)를 고려하기 때문일 수 있으며, 그 결과 모션의 변화는 이 모션 엔벨로프의 한계 또는 임계값 중 하나 이상을 벗어나고 이러한 특정 조건 및 요인에서 발생할 가능성이 낮다. 결과적으로, HMM 평가에 의한 출력 분류가 모션의 변화가 정상이라는 것을 나타내더라도 회귀 평가로 인해 에러 신호가 송신될 수 있다.
또 다른 예에서, 회귀 평가에 의한 출력 예측이 주어진 기간 t 동안에 제어 이벤트에 의해 표시되는 모션의 변화가 발생할 가능성이 있다는 것을 나타내고, HMM 평가에 의한 출력 분류가 모션의 변화가 오류일 가능성이 있다는 것을 나타내는 경우에, 임계값을 평가하여 HMM 평가로부터 출력 분류가 원하는 임계값을 초과하는 오류 가능성을 나타내는지 여부를 결정할 수 있다. 예를 들어, HMM 출력 분류가 모션의 변화가 이상 거동일 확률이 95%라는 것을 나타내지만, 회귀 평가 출력 예측은 모션의 변화가 그 예측되는 모션 엔벨로프의 한계 또는 임계값 내에 있기 때문에 발생할 가능성이 있음을 나타내는 경우에, HMM 출력 분류를 평가해서 이상 거동의 확률이 원하는 임계값을 초과하는지 여부를 결정할 수 있다. 초과한다면, 에러 신호(4506)가 적절한 ECU로 송신되어서 차량 거동 및/또는 적절한 기기 디스플레이를 제어하거나 이에 영향을 미칠 수 있다. 그러나 원하는 임계값을 초과하지 않으면, 모션의 변화를 유발하는 액션이 허용될 수 있는 데, 이는, 회귀 평가가 모션 엔벨로프를 완화하는 추가적인 조건 및 요인(예를 들어, 다른 센서 데이터, 환경 데이터 등으로부터)를 고려하기 때문일 수 있으며, 그 결과 모션의 변화는 이 모션 엔벨로프의 한계 또는 임계값 내에 있고 이들 특정 조건 및 요인에서 예상되는 거동을 나타낸다.
추가적으로, 특정 제어 이벤트(또는 모든 제어 이벤트)에 대한 가능성 비교(4546)의 결과의 샘플 보존(4549)이 저장되어서, 차량 거동 모델 및/또는 회귀 모델을 재트레이닝하는 데 사용될 수 있고 및/또는 평가에 사용하기 위해 저장될 수 있다.
도 46은 시스템(3800)과 같은 오류 및 침입 검출 시스템과 관련된 동작의 하이 레벨 가능한 흐름(4600)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작의 세트는 도 46의 활동에 대응한다. 차량(3850)의 CCU(3840)와 같은 차량의 CCU는 동작 세트의 적어도 일부를 이용할 수 있다. 차량(3850)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 3857)를 포함할 수 있다. 적어도 하나의 실시예에서, 차량 거동 모델(3842)은 하나 이상의 동작을 수행한다.
4602에서, 제어 이벤트가 차량 거동 모델(3842)에 의해 수신된다. 4604에서, 차량의 센서 데이터가 차량 거동 모델에 의해 획득된다. 4606에서 차량 거동 모델은 제어 이벤트에 의해 표시되는 모션(예를 들어, 제동, 가속, 조향)의 변화를 오류 또는 오류가 아닌 것으로 분류하는 데 사용된다. 적어도 하나의 실시예에서, 분류는 모션의 변화가 오류일 가능성(예를 들어, 확률)의 표시일 수 있다. 4608에서 모션의 변화의 출력 분류가 비교기에 제공된다.
도 47은 시스템(3800)과 같은 오류 및 침입 검출 시스템과 관련된 동작의 하이 레벨의 가능한 흐름(4700)을 나타내는 개략 흐름도이다. 적어도 일 실시예에서, 동작 세트는 도 47의 활동에 대응한다. 차량(3850)의 CCU(3840)과 같은 차량의 CCU는 동작 세트의 적어도 일부를 이용할 수 있다. 차량(3850)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 3857)를 포함할 수 있다. 적어도 하나의 실시예에서, 회귀 모델(3844)은 하나 이상의 동작을 수행한다.
4702에서, 회귀 모델(3844)에 의해 제어 이벤트가 수신된다. 제어 이벤트는 제동, 조향 또는 가속과 같은 모션의 변화를 나타낸다. 4704에서 차량의 센서 데이터는 회귀 모델에 의해 획득된다. 4706에서, 다른 소스(예를 들어, 에지 장치(3830)와 같은 원격 소스, 차량에서 다운로드 및 업데이트된 로컬 소스 등)로부터의 관련 데이터가 회귀 모델에 의해 획득된다.
4708에서, 회귀 모델은 주어진 기간 t 동안 발생하는 제어 이벤트에 의해 표시되는 모션의 변화 확률을 예측하는 데 사용된다. 이 예측은 적어도 부분적으로 센서 데이터 및 다른 소스로부터의 데이터에 기초한다. 4710에서, 기간 t 동안 발생하는 모션의 변화 가능성에 대한 출력 예측이 비교기에 제공된다.
도 48a는 시스템(3800)과 같은 오류 및 침입 검출 시스템과 관련된 동작의 하이 레벨의 가능한 흐름(4800)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작 세트는 도 47의 활동에 대응한다. 차량(3850)의 CCU(3840)와 같은 차량의 CCU는 동작 세트의 적어도 일부를 이용할 수 있다. 차량(3850)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 3857)를 포함한다. 적어도 하나의 실시예에서, 비교기(3846)는 하나 이상의 동작을 수행한다.
4802에서, 차량 거동 모델로부터 차량에 대한 모션 변화의 분류가 수신된다. 도 46의 4608에서 비교기에 제공된 출력 분류는 도 48a의 4802에서 차량 거동 모델로부터 분류를 수신하는 것에 대응한다.
4804에서, 기간 t 동안 발생하는 모션의 변화 가능성에 대한 예측이 회귀 모델로부터 수신된다. 도 47의 4710에서, 비교기에 제공된 출력 예측은 도 48a의 4804에서 예측을 수신하는 것에 대응한다.
4806에서, 비교기는 모션 변화의 분류를 기간 t 동안 발생하는 모션 변화의 가능성의 예측과 비교한다. 4808에서, 차량 거동 모델에 의해 분류된 모션의 변화가 회귀 모델에 의해 예측된 예상되는 차량 거동의 임계값(또는 한계) 내에 있는지 여부가 결정된다. 일반적으로, 차량 거동 모델에 의해 분류된 모션의 변화가 회귀 모델에 의해 예측된 예상되는 차량 거동의 임계값 내에 있는 경우, 4810에서 모션의 변화가 진행될 수 있도록 신호가 송신될 수 있다(또는 모션의 변화는 에러 신호가 없을 때 진행될 수 있다). 일반적으로, 차량 거동 모델에 의해 분류되는 모션의 변화가 회귀 모델에 의해 예측된 차량 거동의 임계값(또는 한계) 내에 있지 않으면, 4812에서 에러 신호가 송신되어서 운전자에게 수정 액션을 취하도록 경고하거나 또는 자율 주행 시스템에게 수정 액션을 취하도록 경고한다. 가능한 비교기 동작에 대한 더 자세한 설명은 도 48b에서 제공된다.
도 48b는 도 48a, 보다 구체적으로는 4808에 도시된 바와 같이 비교기 동작과 관련된 추가 동작의 하이 레벨의 가능한 흐름(4850)을 나타내는 개략 흐름도이다.
4852에서, 다음 조건이 참인지 여부에 대한 결정이 내려진다: 차량 거동 모델(예를 들어, HMM)로부터의 출력 분류가 오류를 나타내는 조건 및 회귀 모델에 의한 출력 예측이 동일한 제어 이벤트에 기초해서 오류를 나타내는 조건. 두 조건이 모두 참이면, 4854에서, 에러 신호(또는 제어 신호)가 운전자에게 송신되어서 수정 액션을 취하도록 경고하거나 자율 주행 시스템에게 송신되어서 수정 액션을 취하도록 경고할 수 있다.
4852에서 적어도 하나의 조건이 참이 아닌 경우, 4856에서, 다음 두 조건이 참인지에 대한 결정이 내려진다; 차량 거동 모델로부터 출력 분류는 오류를 나타내는 조건 및 회귀 모델에 의한 출력 예측이 동일한 제어 이벤트에 기초해서 오류를 나타내지 않는 조건. 두 조건이 모두 참이면 4858에서 차량 거동 모델로부터의 출력 분류가 회귀 모델 출력을 무시할 수 있는 원하는 임계값을 초과하는지 여부에 대해 또 다른 결정이 내려진다. 초과한다면, 4854에서 에러 신호(또는 제어 신호)가 운전자에게 송신되어서 수정 액션을 취하도록 경고하거나 자율 주행 시스템에게 송신되어서 수정 액션을 취하도록 경고할 수 있다. 초과하지 않는다면, 4860에서, 제어 이벤트에 의해 표시되는 차량 동작이 진행되도록 신호가 송신될 수 있다(또는 모션의 변화는 에러 신호가 없을 때 진행될 수 있다).
4856에서 적어도 하나의 조건이 참이 아니면, 4862에서, 다음 조건이 참인지에 대한 결정이 내려진다: 차량 거동 모델로부터 출력 분류는 오류를 나타내지 않는 조건 및 회귀 모델에 의한 출력 예측이 동일한 제어 이벤트에 기초해서 오류를 나타내는 조건. 두 조건이 모두 참이면 4864에서 에러 신호(또는 제어 신호)가 운전자에게 송신되어서 수정 액션을 취하도록 경고하거나 자율 주행 시스템에게 송신되어서 수정 액션을 취하도록 경고할 수 있다.
4862에서 적어도 하나의 조건이 참이 아닌 경우, 4866에서 다음 조건이 참이어야 한다: 차량 거동 모델로부터 출력 분류는 오류를 나타내지 않는 조건 및 회귀 모델에 의한 출력 예측이 동일한 제어 이벤트에 기초해서 오류를 나타내지 않는 조건. 두 조건이 모두 참이면, 4868에서 제어 이벤트에 의해 표시되는 차량 거동이 진행될 수 있도록 신호가 송신될 수 있다(또는 모션의 변화는 에러 신호가 없을 때 진행될 수 있다).
자율 차량용 AI 알고리즘을 트레이닝하는 데 도움이 되는 데이터의 지속적인 수집을 포함하는 방식은, 확장성(이 데이터를 얻기 위해서는 요구되는 데이터 및 주행 거리가 많기 때문에) 및 정확한 가용성(자율 차량이 마주칠 수 있는 가능한 모든 도로 시나리오를 커버하는 데 필요한 충분한 수의 데이터 세트를 가질 기회)의 문제가 있을 수 있다. 따라서 자율 차량은, 자율 차량용 AI 시스템을 트레이닝하는데 보다 효율적이고 풍부한 데이터 세트의 이점을 누릴 수 있다. 본 개시의 다양한 실시예에서, 데이터 세트는, 각 카테고리에 대한 수집 프로세스를 가이드하기 위해 데이터 세트를 분류함으로써 개선될 수 있다. 일부 실시예에서, 각각의 데이터 세트는 그 카테고리에 기초하여 스코어링될 수 있고, 데이터 세트의 스코어는 수집된 데이터에 대한 처리 기술을 결정하는 데 사용될 수 있다.
특정 실시예에서, 자율 차량에 의해 수집된 데이터는 카테고리화, 스코어링 및 이 카테고리화 또는 스코어링에 기초한 처리를 포함하는 신규 처리를 거친다. 다양한 실시예에서, 이 신규 처리(또는 그의 하나 이상의 하위 부분)는 자율 차량(예를 들어, 클라우드)에 네트워크로 연결된 컴퓨팅 시스템(예를 들어, 원격 처리 시스템(4904))에 의해 오프라인으로 수행되고 및/또는 자율 차량의 컴퓨팅 시스템(예를 들어, 자율 차량 컴퓨팅 시스템(4902))에 의해 온라인으로 수행된다.
도 49는 특정 실시예에 따른, 데이터 카테고리화, 스코어링 및 처리의 흐름을 도시한다. 도 49는 원격 처리 시스템(4904)에 연결된 자율 차량 컴퓨팅 시스템(4902)을 도시한다. 시스템(4902 및 4904)의 다양한 모듈 각각은 임의의 적절한 컴퓨팅 로직을 사용해서 구현될 수 있다. 자율 차량 컴퓨팅 시스템(4902)은 차량으로부터 원격 처리 시스템(예를 들어, 자동차에서 데이터를 복사한 다음 데이터를 클라우드 클러스터로 다시 복사하는 특수 장치)으로 데이터를 전송하기 위해, 포인트-투-포인트 링크, 네트워크, 패브릭 등을 포함하는 임의의 적절한 상호 연결을 통해, 원격 처리 시스템(4904)에 연결될 수 있다. 다른 실시예에서, 시스템(4902)으로부터의 데이터는 적절한 통신 채널을 통해(예를 들어, 시스템 중 하나에서 이러한 데이터를 포함하는 스토리지를 제거하고 이를 다른 시스템에 연결함으로써) 시스템(4904)에서 이용 가능하게 될 수 있다(또는 그 반대로도 가능하다). 자율 차량 컴퓨팅 시스템(4902)은 본 명세서에 설명된 다른 차량의 임의의 적절한 구성 요소 또는 특성을 가질 수 있는 자율 차량 내에 통합될 수도 있으며, 원격 처리 시스템(4904)은 본 명세서에서 설명된 다른 원격(예를 들어, 클라우드) 처리 시스템의 임의의 적절한 구성 요소 또는 특성을 가질 수 있다. 예를 들어, 원격 처리 시스템(4904)은 시스템(140 또는 150)의 임의의 적절한 특성을 가질 수 있고, 컴퓨팅 시스템(4902)은 차량(105)의 컴퓨팅 시스템의 임의의 적절한 특성을 가질 수 있다.
흐름에서, 다양한 데이터의 스트림(4906)이 차량(4902)에 의해 수집된다. 각각의 데이터의 스트림(4906)은 본 명세서에 설명된 센서 중 하나 이상 또는 다른 적절한 센서와 같은 차량의 센서로부터 수집될 수 있다. 스트림(4906)은 차량의 저장 장치(4908)에 저장될 수 있고 또한 원격 처리 시스템(4904)에 업로드될 수 있다.
데이터 스트림은 인공 지능(AI) 개체 검출기(4910)에 제공될 수 있다. 검출기(4910)는 객체 검출과 관련된 동작을 수행할 수 있다. 특정 실시예에서, 검출기(4910)는 트레이닝 모듈 및 추론 모듈을 포함할 수 있다. 트레이닝 모듈은 추론 모듈을 트레이닝하는 데 사용할 수 있다. 예를 들어, 트레이닝 모듈은 시간이 지남에 따라 업로드된 여러 데이터 세트를 분석하여 추론 모듈에 의해 사용될 파라미터를 결정할 수 있다. 업로드된 데이터 스트림은 추론 모듈로의 입력으로서 공급될 수 있고, 추론 모듈은 하나 이상의 검출된 개체(4912)와 관련된 정보를 출력할 수 있다.
개체 검출기(4910)의 추론 모듈의 출력의 형식은 응용예에 따라 달라질 수 있다. 일례로, 검출된 개체 정보(4912)는, 하나 이상의 검출된 개체를 포함하는 하나 이상의 이미지를 포함할 수 있다. 예를 들어, 검출된 개체 정보(4912)는 더 큰 이미지의 관심 영역을 포함할 수 있으며, 여기서 관심 영역은 하나 이상의 검출된 개체를 포함한다. 일부 실시예에서, 검출된 개체 정보(4912)의 각각의 인스턴스는 관심 개체의 이미지를 포함한다. 일부 인스턴스에서, 관심 개체는 다수의 검출된 개체를 포함할 수 있다. 예를 들어, 검출된 차량은 바퀴, 프레임, 창 등과 같은 다수의 검출된 개체를 포함할 수 있다. 다양한 실시예에서, 검출된 개체 정보(4912)는 또한 검출된 개체(들)와 관련된 메타 데이터를 포함할 수 있다. 예를 들어, 검출된 개체 정보(4912)의 인스턴스에서 각각의 검출된 개체에 대해, 메타 데이터는 개체의 타입(예를 들어, 차량, 나무, 보행자 등), 위치(예를 들어, 좌표), 개체의 깊이, 개체와 관련된 컨텍스트(예를 들어, 시간, 도로의 타입 또는 개체를 검출하는데 사용되는 데이터의 캡쳐와 관련된 지리적 위치와 같은, 본 명세서에 설명되는 컨텍스트 중 하나) 또는 기타 적절한 정보를 묘사하는 하나 이상의 분류기를 포함할 수 있다.
검출된 개체 정보(4912)는 추가 처리를 위해 개체 검사기(4914)에 제공될 수 있다. 개체 검사기(4914)는, 검출된 개체 정보(4912)의 인스턴스에 카테고리를 할당하는 데 사용되는 출력을 제공하는 임의의 적절한 수의 검사기를 포함할 수 있다. 도시된 실시예에서, 개체 검사기(4914)는 BKO(Best-Known Object) 검사기(4916), 개체 다양성 검사기(4918) 및 노이즈 검사기(4920)를 포함하지만, 임의의 적절한 검사기 또는 검사기의 조합이 본 개시에 의해 고려된다. 다양한 실시예에서, 개체 검사기(4914)의 검사기는 서로 병렬로 동작을 수행할 수도 있고 또는 순차적으로 동작을 수행할 수도 있다.
검출된 개체 정보(4912)에 더해서, 개체 검사기(4914)는 또한 업로드된 데이터 스트림을 수신할 수 있다. 다양한 실시예에서, BKO 검사기(4916), 개체 다이버시티 검사기(4918) 및 노이즈 검사기(4920) 중 하나 이상은 원시 데이터 스트림을 이용할 수 있다.
검출된 개체 정보(4912)의 인스턴스를 수신하는 것에 응답하여, BKO 검사기(4916)는 BKO 데이터베이스(DB)(4922)를 참조하여 검출된 개체 정보(4912)의 인스턴스 중 하나 이상의 검출된 개체의 흔함 레벨(level of commonness)을 결정한다. BKO DB(4922)는 가장 잘 알려진(예를 들어, 가장 일반적으로 검출된) 개체의 표시를 저장하는 데이터베이스이다. 일부 실시예에서 BKO DB(4922)는 가장 잘 알려진 개체의 리스트를 포함할 수 있으며, 이 리스트에 없는 개체는 가장 잘 알려진 개체가 아닌 것으로 간주될 수 있으므로, 특정 개체의 흔함 레벨은 이진 값(가장 잘 알려진 혹은 가장 잘 알려진 것이 아님)을 사용해서 표현될 수 있다. 다른 실시예에서, BKO DB(4922)는 복수의 개체 각각에 대한보다 세분화된 흔함 레벨을 포함할 수 있다. 예를 들어, BKO DB(4922)는 각 개체에 대한 범위(예를 들어, 0 내지 10)에서 선택된 스코어를 포함할 수 있다. 특정 실시예에서, 각 개체에 대해 다수의 흔함 레벨이 저장될 수 있으며, 여기서 각 레벨은 특정 컨텍스트에 대한 개체의 흔함 레벨을 나타낸다. 예를 들어, 자전거는 도시 거리에서는 높은 흔함 레벨을 가질 수 있지만, 고속도로에서는 낮은 흔함 레벨을 가질 수 있다. 또 다른 예로, 수레를 끄는 당나귀나 말과 같은 동물은 세계의 일부 상황과 지역을 제외하면 모든 지역에서 낮은 흔함 레벨을 가질 수 있다. 흔함 레벨의 조합이 결정될 수도 있는데, 예를 들어 차선을 따라 이동하는 하나 이상의 모페드(moped)는 서구 국가보다는 동남아시아 국가에서 심지어 고속도로에서 평범한 것이다. 흔함 스코어는 특정 환경에 적용되는 특정 규칙 집합에 따라 정의될 수 있다.
BKO DB(4922)는 데이터가 수집됨에 따라 동적으로 업데이트될 수 있다. 예를 들어, BKO DB(4922)의 로직은 BKO 검사기(4916)로부터 또는 다른 엔티티(예를 들어, 개체 검출기(4910))로부터 검출된 개체를 식별하는 정보(예를 들어, 이러한 정보는 개체의 흔함 레벨에 대한 요청에 포함될 수 있음)를 수신할 수 있다. 다양한 실시예에서, 정보는 또한 검출된 개체와 관련된 컨텍스트를 포함할 수 있다. 로직은 특정 개체에 대한 검출 횟수 및/또는 빈도를 나타내는 BKO DB(4922)의 정보를 업데이트할 수 있다. 일부 실시예에서, 로직은 또한 개체의 흔함 레벨이 변경되었는지 여부를 결정할 수 있다(예를 들어, 개체가 검출된 빈도가 임계값을 초과하면 개체의 흔함 레벨이 상승할 수 있음).
BKO 검사기(4916)의 요청에 응답해서, BKO DB(4922)는 개체의 흔함 레벨을 반환할 수 있다. BKO 검사기(4916)는 이 레벨을 카테고리 할당기(4924)에 제공한다.
개체 다양성 검사기(4918)는 검출된 개체 정보(4912)의 인스턴스를 다양성에 기초해서 스코어링한다(예를 들어, 개체를 포함하는 스트림이 다양한 지 여부는 스트림 당 개체의 수 및 각 개체의 흔함에 기초할 수 있음). 검출된 개체 정보(4912)의 인스턴스의 다양성 스코어는 인스턴스가 다수의 검출된 개체를 포함할 때 더 높을 수 있고, 검출된 개체가 이종일 때 더 높을 수 있다. 예를 들어, 검출된 자동차 또는 자전거는 다수의 검출된 개체(예를 들어, 바퀴, 프레임 등)를 포함할 수 있으며, 비교적 높은 다양성 스코어를 받을 수 있다. 그러나 동질적인 개체는 상대적으로 다양성 스코어가 낮을 수 있다. 그러나, 함께는 거의 보여지지 않는 다수의 개체는 비교적 높은 다양성 스코어를 받을 수 있다. 예를 들어, 레이스의 여러 대의 자전거 또는 도로의 여러 명의 주자(runner)(예를 들어, 마라톤에서)는 한 사람이 달리는 장면에 비해 다양한 것으로 간주될 수 있다. 개체 다양성 검사기(4918)는 원시 센서 데이터, BKO 검사기(4916)로부터의 검출된 개체의 표시 및 BKO 검사기(4916)로부터 검출된 개체의 수와 같은 임의의 적절한 정보에 기초해서 다양성을 결정할 수 있다.
노이즈 검사기(4920)는 검출된 개체 정보(4912)의 인스턴스와 연관된 업로드된 데이터 스트림을 분석하고, 인스턴스와 연관된 노이즈 스코어를 결정한다. 예를 들어, 기본 데이터 스트림의 신호 대 노이즈비가 낮은 경우에, 인스턴스는 더 높은 스코어를 가질 수 있다. 기본 데이터 스트림 중 하나 이상이 손상된 것으로 나타나면, 노이즈 스코어는 낮아진다.
카테고리 할당기(4924)는 개체 검사기(4914)의 다양한 검사기의 출력을 수신하고, 검사기의 출력에 기초해서 검출된 개체 정보(4912)의 인스턴스에 대한 하나 이상의 카테고리를 선택한다. 본 개시는 데이터 핸들링 정책에 영향을 미치는 데 사용될 수 있는 임의의 적절한 카테고리를 고려한다. 일부 예시적인 카테고리는 흔함 데이터(Common Data), 소수 클래스 데이터(Minority Class Data), 다양한 개체가 많은 데이터(Data Rich of Diverse Objects) 및 노이즈 데이터(Noisy Data)이다. 개체 검사기(4914)로부터 수신된 출력에 기초하여 이러한 카테고리 중 하나 이상이 인스턴스에 적용될 수 있다.
흔함 데이터 카테고리는 자주 접하는 개체에 적용될 수 있으며, 따라서 시스템은 이미 이러한 개체에 대한 무결성의 데이터 세트를 가질 수 있다. 소수 클래스 데이터 카테고리는 처음 나오는 개체 또는 상대적으로 드문 개체를 포함하는 인스턴스에 적용될 수 있다. 다양한 실시예에서, 흔함 데이터 카테고리 및 소수 클래스 데이터는 개체 검출의 절대 빈도 및/또는 개체 검출의 컨텍스트 특정 빈도에 기초할 수 있다. 다양한 개체가 많은 데이터 카테고리는 다수의 다양한 개체를 포함하는 인스턴스에 적용될 수 있다. 노이즈 데이터 카테고리는 노이즈가 상대적으로 높은 데이터를 가진 인스턴스에 적용될 수 있다. 다른 실시예에서, 임의의 적절한 카테고리가 사용될 수 있다. 예를 들어, 카테고리에는 "매우 드문", "보통 드문", "보통 흔한", "매우 흔한", "매우 노이즈가 많음", "다소 노이즈가 있음" 및 "노이즈가 없음" 카테고리를 포함할 수 있다.
일부 실시예에서, 검출된 개체 정보(4912)의 인스턴스에 대해 하나 이상의 카테고리가 선택(또는 카테고리가 선택되지 않음)된 후, 카테고리 선택에 기초해서 추가 메타 데이터가 메타 데이터 모듈(4926)에 의해 인스턴스와 연관될 수 있다. 특정 실시예에서, 이러한 메타 데이터는 카테고리 선택에 기초하여 검출된 개체 정보(4912)의 인스턴스에 대한 스코어를 포함할 수 있다. 특정 실시예에서, 스코어는 데이터의 중요성을 나타낼 수 있다. 스코어는 임의의 적절한 방식으로 결정될 수 있다. 예를 들어, 흔함 데이터로 카테고리화된 인스턴스(또는 높은 발생 빈도를 나타내는 카테고리가 할당됨)는 비교적 낮은 스코어를 받을 수 있는데, 이는 이러한 데이터는, 유사한 데이터가 시스템을 트레이닝하는데 이미 사용되었을 가능성이 높기 때문에 시스템의 기능을 개선하지 못할 수 있기 때문이다. 또 다른 예로, 소수 클래스 데이터로 카테고리화된 인스턴스는 상대적으로 높은 스코어를 받을 수 있는데, 이는 이러한 데이터가 시스템을 트레이닝하는데 이미 사용되었을 가능성이 없기 때문이다. 다른 예로, 다양한 개체가 많은 데이터로 카테고리화된 인스턴스는 다양한 개체가 많은 데이터로 카테고리화되지 않은 유사한 인스턴스보다 높은 스코어를 받을 수 있는데, 이는 다양한 개체를 가진 인스턴스는 트레이닝 목적에 덜 유용한 것으로 보이기 때문이다. 또 다른 예로서, 노이즈 데이터로 카테고리화된 인스턴스는 노이즈 데이터로 카테고리화되지 않은 유사한 인스턴스보다 낮은 스코어를 받을 수 있는데, 노이즈가 많은 인스턴스는 트레이닝 목적에 덜 유용한 것으로 보이기 때문이다.
일부 실시예에서, 스코어에 더해서(또는 이와 달리), 임의의 적절한 메타 데이터가 검출된 개체 정보(4912)의 인스턴스와 연관될 수 있다. 예를 들어, 기본 데이터 스트림과 연관된 임의의 컨텍스트가 메타 데이터 내에 포함될 수 있으며, 이 컨텍스트는 스코어에 영향을 미칠 수 있다(예를 들어, 제 1 컨텍스트의 흔함 데이터는 제 2 컨텍스트의 소수 데이터일 수 있음).
데이터의 인스턴스, 카테고리화 결정, 카테고리화에 기초한 스코어 및/또는 추가 메타 데이터가 데이터 핸들러(4930)에 제공될 수 있다. 데이터 핸들러(4930)는 데이터의 인스턴스에 대해 하나 이상의 동작을 수행할 수 있다. 본 개시에서는 임의의 적절한 동작이 고려된다. 예를 들어, 데이터 핸들러(4930)는 더 낮은 스코어를 가진 인스턴스, 또는 특정 카테고리나 카테고리의 조합의 인스턴스를 제거할 수 있다. 다른 예로서, 데이터 핸들러(4930)는 더 높은 스코어를 가진 인스턴스 또는 특정 카테고리나 카테고리의 조합의 인스턴스를 저장할 수 있다. 다른 예로서, 데이터 핸들러(4930)는 인스턴스와 연관된 합성 데이터의 생성 요청을 생성할 수 있다(예를 들어, 데이터 핸들러(4930)는 소수 클래스 데이터로 분류된 개체와 연관된 합성 데이터의 생성을 요청할 수 있음). 다른 예로서, 데이터 핸들러(4930)는 하나 이상의 자율 차량의 센서에 의해 인스턴스의 개체와 관련된 더 많은 데이터의 수집 요청을 생성할 수 있다. 또 다른 예로서, 데이터 핸들러(4930)는 (예를 들어, 개체 검출기(4910)에 의해) 트레이닝에 사용될 수 있는 데이터 세트에 인스턴스(및/또는 기본 데이터 스트림)가 포함되어야 한다고 결정할 수 있다.
데이터의 인스턴스, 카테고리화 결정, 카테고리화에 기초한 스코어, 및/또는 추가 메타 데이터가 또한 데이터 스코어링 트레이너(4928)에 제공될 수 있다. 데이터 스코어링 트레이너(4928)는 카테고리 및/또는 스코어에 대해 모델을 트레이닝한다. 다양한 실시예에서, 검출된 개체 및 이와 관련된 스코어 및/또는 카테고리의 인스턴스는 데이터 스코어링 트레이너(4928)에 의해 실측 자료(ground truth)로서 사용될 수 있다. 트레이너(4928)는 트레이닝 모델(4932)을 출력한다. 트레이닝 모델은 차량 AI 시스템(4934)으로 제공될 수 있고, 이는 차량이 차량 AI 시스템(4934)에 의해 검출된 개체를 카테고리화 및/또는 스코어링하는데 사용될 수 있다. 다양한 실시예에서, 모델을 트레이닝시키는 데 사용되는 데이터의 인스턴스는 카테고리 및/또는 스코어에 기초하여 필터링된다. 예를 들어, 흔하게 마주치는 개체를 포함하는 인스턴스는 트레이닝 세트에서 생략될 수 있다.
차량 AI 시스템(4934)은 자율 차량 스택의 동작 중 하나 이상과 같은, 임의의 적절한 자율 주행 동작을 수행하기 위한 회로 및 다른 로직을 포함할 수 있다. 특정 실시예에서, 차량 AI 시스템(4934)은 데이터 스트림(4906)을 수신하고, 이 데이터 스트림(4906)을 처리해서 개체를 검출할 수 있다.
차량 내 카테고리 할당기(4936)는 카테고리 할당기(4924)의 임의의 하나 이상의 특성을 가질 수 있다. 검출된 개체의 인스턴스(예를 들어, 검출된 개체 및 컨텍스트)에 대한 정보는, 인스턴스에 대한 더 많은 카테고리(위에 설명된 하나 이상의 카테고리 또는 기타 적절한 카테고리)를 선택하는 카테고리 할당기(4936)에 제공될 수 있다. 일부 실시예에서, 카테고리 할당기(4936) 또는 컴퓨팅 시스템(4902)의 다른 로직은 또한 (혹은 다른 방안으로) 검출된 개체(들)의 인스턴스에 스코어를 할당할 수 있다. 일부 실시예에서, 스코어는 검출된 개체의 카테고리 할당기(4936)에 의한 카테고리화에 기초할 수 있다. 다른 실시예에서, 스코어는 자율 차량에 의한 카테고리의 명시적인 결정없이 자율 차량에 의해 결정될 수 있다. 다양한 실시예에서, 검출된 개체에 할당된 카테고리 및/또는 스코어는 데이터 스코어링 트레이너(4928)에 의해 생성된 파라미터를 활용하는 하나 이상의 머신 학습 추론 모듈을 사용해서 결정된다.
카테고리 할당기(4936)의 출력은, 데이터 핸들러(4930)의 임의의 하나 이상의 특성을 가질 수 있는, 차량 내 데이터 핸들러(4938)에 제공될 수 있다. 다양한 실시예에서, 카테고리 할당기(4936)의 출력은 또한 BKO DB(4922)에 제공되어서 온라인 학습 및 스코어링에 기초한 BKO 데이터의 업데이트를 용이할 수 있다.
데이터 핸들러(4938)는 데이터 핸들러(4930)의 임의의 하나 이상의 특성을 가질 수 있다. 데이터 핸들러(4938)는 차량 내 카테고리 할당기(4936)의 출력에 기초해서 차량에 의해 캡처된 데이터 스트림을 처리하는 방법에 관한 결정을 행할 수 있다. 예를 들어, 데이터 핸들러(4938)는 위에서 설명된 동작 중 임의의 동작을 행하거나 카테고리 할당기(4936)의 출력에 기초해서 데이터와 관련된 다른 적절한 액션을 수행할 수 있다. 단지 예로서, 데이터 핸들러(4938)는 데이터 스코어링에 기초해서 검출된 개체와 관련된 데이터가 차량에 저장될지 혹은 제거될지를 결정할 수 있다.
다양한 실시예에서, 데이터를 스코어링하는 데 사용되는 위치 기반 모델은, 데이터의 긴급성 및 중요성을 합성할 뿐만 아니라, 자율 차량에 의한 더 양호한 판정을 위한 유용한 지침을 제공할 수 있다. 캡처된 데이터의 위치는 자율 차량 컴퓨팅 시스템(4902) 또는 원격 컴퓨팅 시스템(4904)에 의해, 날씨, 교통, 보행자 흐름 등과 같은 데이터 캡처와 관련된 다른 컨텍스트 데이터를 획득하는 데 사용될 수 있다(예를 들어, 위치를 입력으로 사용해서 데이터베이스나 또는 기타 서비스로부터). 이러한 캡처된 데이터는 특정 분석 단위(granularity)로 수집되어서 시계열 정보를 형성할 수 있다. 동일한 위치가 위치 반경 내에서 캡처된 각 데이터 스트림과 연관될 수 있으며, 차량이 이 영역 내에서 인식 및 판정 능력을 향상시킬 수 있다. 이 위치는 위에서 설명한 모듈 중 하나에 의해 고려할 수 있다. 단지 예로서, BKO DB(4922)는 위치 특정 데이터(예를 들어, 제 1 위치에 대한 다양한 개체의 일련의 흔함 레벨, 제 2 위치에 대한 다양한 개체의 개개의 흔함 레벨 리스트 등)를 저장할 수 있다.
도 50는 특정 실시예에 따른 카테고리화에 기초해서 데이터를 처리하기 위한 예시적인 흐름을 도시한다. 5002에서, 차량의 하나 이상의 센서에 의해 캡처된 데이터로부터 하나 이상의 개체의 인스턴스가 식별된다. 5004에서, 인스턴스의 카테고리화는, 복수의 카테고리에 대해 인스턴스를 체크하고, 이 복수의 카테고리 중 적어도 하나의 카테고리를 인스턴스에 할당함으로써 수행된다. 5006에서, 스코어는 인스턴스의 카테고리화에 기초해서 결정된다. 5008에서, 스코어에 적어도 부분적으로 기초해서 인스턴스에 대한 데이터 핸들링 정책이 선택된다. 5010에서 인스턴스는 결정된 데이터 핸들링 정책에 따라 처리된다.
우수한 머신 학습 모델을 생성하는 것은, 모델 생성을 위한 트레이닝 동안에 무결성의 데이터 세트를 사용하는 것을 포함한다. 일반적으로, 모델은 트레이닝에 사용하는 데이터 세트만큼만 우수하다. 개체 또는 사람 식별을 위한 이미지 트레이닝과 같은, 많은 응용예에서, 데이터 세트 수집은 매우 간단하다. 그러나 다른 경우에, 덜 흔한 컨텍스트 또는 이들의 조합에 대한 데이터 세트 수집은 매우 어려울 수 있다. 이 경우, 모델이 부적절한 데이터에 기초해서 컨텍스트를 식별하거나 분류하는 태스크를 수행할 수 있기 때문에, 모델 개발에 어려운 과제를 제시한다. 이상적인 상황에서, 개체 검출 모델을 트레이닝하는 데 사용되는 데이터 세트는 각 카테고리에 대해 동일한 혹은 유사한 양의 데이터를 갖는다. 그러나 차량이 부정 데이터보다 긍정 데이터를 더 많이 접하기 때문에, 차량 센서로부터 수집된 데이터 세트는 일반적으로 밸런스가 맞지 않는다.
본 개시 내용의 다양한 실시예에서, 시스템은 하나 이상의 컨텍스트에 대한 실제 데이터가 없는 데이터 세트를 강화(bolster)하기 위해 합성 데이터를 생성할 수 있다. 일부 실시예에서, GAN(generative adversarial network) 이미지 생성기가 합성 데이터를 생성한다. GAN은, GAN에 입력으로 제시된 키워드의 리스트에 기초해서 머신 학습, 특히 딥 러닝을 사용해서 이미지(예를 들어, 스틸 이미지 또는 비디오 클립)를 생성하는 생성 모델 타입이다. GAN은 이미지를 만드는 데 사용되는 이러한 키워드를 사용한다. 다양한 실시예는 또한 어떤 키워드가 이미지 생성을 위해 GAN에 제공되는지를 결정하는데 로직을 사용한다. GAN에 단지 랜덤 데이터를 공급하기만 하면, 불필요한 다수의 데이터를 유발할 것이다. 특정 컨텍스트 조합은 실제 상황과 일치하지 않을 수 있다. 예를 들어, 사우디아라비아의 눈보라 속에서 고속도로 한가운데 있는 광대는 사실상 불가능한 이벤트이다. 또 다른 예로, 눈 덮인 고속도로에서 자전거를 만날 가능성은 거의 없다(위의 시나리오보다는 더 많지만). 따라서, 시스템은 이 시나리오에 대한 이미지를 생성할 수 있지만(예를 들어, "자전거", "눈" 및 "고속도로" 키워드를 사용해서), 위의 시나리오는 생성할 수 없다. 합성 데이터 생성을 지능적으로 제어함으로써, 시스템은 차량이 실제 생활에서 오랜 시간이 걸려야 만날 수 있는 이미지를 생성할 수 있다(트레이닝을 위해).
다양한 실시예는 데이터 가용성 및 모델 생성을 나타내는 데 유용할 수 있다. 예를 들어 서비스로서의 자율 주행과 같은, 공간 내에서의 엔티티의 성공 여부는 엔티티가 액세스할 수 있는 데이터 세트의 양 및 다양성에 크게 좌우될 수 있다. 따라서 시장이 성숙기에 접어드는 수년 동안에는, 데이터 수집을 일찍 시작한 기존 플레이어가 불공정한 이점을 가질 수 있어서, 잠재적으로 신규 진입자의 혁신을 방해할 수 있다. 이러한 데이터의 격차는, 기관이 대규모 데이터 세트를 축적한 다른 엔티티와의 관계를 통해 대량의 데이터에 액세스하지 않는 한, 학계의 연구를 방해할 수도 있다. 다양한 실시예는 모델을 트레이닝하는 데 이용 가능한 데이터의 가용성을 증가시킴으로써 이러한 압박을 개선할 수 있다.
도 51는 특정 실시예에 따른, 합성 데이터를 지능적으로 생성하는 시스템(5100)을 도시한다. 시스템(5100)은 정보를 저장하기 위한 메모리 및 시스템(5100)의 임의의 기능을 수행하기 위한 하나 이상의 프로세서와 같은 임의의 적절한 구성 요소를 포함하는 임의의 적합한 컴퓨팅 시스템을 나타낸다. 도시된 실시예에서, 시스템(5100)은 실제 데이터 소스(5102)에 액세스하고, 실제 데이터 소스를 이미지 데이터 세트(5104) 및 비-이미지 센서 데이터 세트(5106)에 저장한다. 실제 데이터 소스(5102)는 라이브 차량 또는 시뮬레이션된 주행 환경으로부터 수집된 데이터를 나타낼 수 있다. 그러한 실제 데이터는, 하나 이상의 카메라로부터 스트리밍되는 비디오 데이터, 하나 이상의 LIDAR로부터의 포인트 클라우드, 또는 하나 이상의 차량 또는 지원 인프라(예를 들어, 도로변 카메라)로부터 획득된 유사한 이미징 데이터와 같은 이미지 데이터를 포함할 수 있다. 수집된 이미지 데이터는 임의의 적절한 저장 매체를 사용해서 이미지 데이터 세트(5104)에 저장될 수 있다. 실제 데이터 소스는 또한, 차량과 연관될 수 있는 임의의 수많은 센서로부터의 데이터와 같은, 비-이미지 센서 데이터를 포함할 수 있다. 비-이미지 센서 데이터는 시계열 데이터라고도 한다. 이 데이터는 타임스탬프 및 관련 값과 같은 적절한 형식을 취할 수 있다. 비-이미지 센서 데이터는 예를 들어 모션 센서, GPS, 온도 센서 또는 임의의 주어진 속도로 데이터를 생성하는 차량에서 사용되는 임의의 프로세스로부터의 측정값을 포함할 수 있다. 수집된 비-이미지 센서 데이터는 임의의 적절한 저장 매체를 사용해서 비-이미지 데이터 세트(5106)에 저장될 수 있다.
컨텍스트 추출 모듈(5108)은 이미지 데이터 및 비-이미지 센서 데이터의 인스턴스에 액세스할 수 있고, 데이터와 관련된 컨텍스트를 결정할 수 있다. 두 가지 타입의 데이터는 함께 사용되거나 또는 개별적으로 사용되어서, 본 명세서에 설명된 임의의 컨텍스트와 같은 컨텍스트(단일 조건을 나타낼 수도 있고 또는 조건들의 조합을 나타낼 수도 있음)를 생성할 수 있다. 예를 들어, 이미징 데이터만을 사용해서 컨텍스트 "눈(snow)"을 생성할 수 있다. 다른 예로서, 이미징 데이터 및 온도 데이터를 사용해서 "안개 및 습기"라는 컨텍스트를 생성할 수 있다. 또 다른 예에서, 센서 데이터만으로 "속도 제한 초과"의 컨텍스트를 생성할 수도 있다. 결정된 컨텍스트(들)은 종종 원시 데이터와 관련된 메타 데이터로 표현된다.
컨텍스트 추출 모듈(5108)은 임의의 적절한 형태를 취할 수 있다. 특정 실시예에서, 모듈(5108)은 입력으로서 하나 이상의 데이터 스트림을 수신하고, 이로부터 컨텍스트를 생성할 수 있는 분류 알고리즘(예를 들어, 머신 학습 알고리즘)을 구현한다. 결정된 컨텍스트는, 컨텍스트를 다시 원시 데이터 스트림(예를 들어, 이미지 데이터 및/또는 비-이미지 센서 데이터 세트)에 매핑하는 데 사용될 수 있는, 관련 타임 스탬프와 함께 메타 데이터/컨텍스트 데이터 세트(5110)에 저장된다. 이들 저장된 메타 데이터 스트림은 일정 기간 동안 주행 환경 조건을 설명할 수 있다. 모델 개발을 위해, 이미지 데이터와 비-센서 이미지 데이터는 종종 클라우드에서 수집되며, 데이터 과학자(scientist) 및 머신 학습 전문가는 자율 차량의 여러 부분에서 사용될 수 있는 모델을 생성할 수 있도록 액세스가 허용된다.
키워드 스코어링 모듈(5112)은 컨텍스트 데이터의 인스턴스(컨텍스트는 하나 이상의 메타 데이터 조각을 포함할 수 있음)를 조사하고(examine), 각각의 조사된 인스턴스에 대해, 각 컨텍스트 인스턴스의 발생 빈도를 나타내는 흔함 레벨을 식별 할 것이다. 이러한 흔함 레벨은 시스템이 특정 컨텍스트를 얼마나 자주 마주쳤는지를 나타낼 수 있다(실제 데이터 소스에 적용되는 컨텍스트를 통해서나 또는 합성 생성된 이미지에 적용되는 컨텍스트를 통해서). 특정 컨텍스트의 흔함 레벨은 그 특정 컨텍스트의 데이터가 시스템에서 얼마나 사용될 수 있는지를 나타낼 수 있다(예를 들어, 모델 트레이닝에 사용되기 위해). 흔함 레벨은 컨텍스트와 관련하여 저장될 수 있다(예를 들어, 메타 데이터/컨텍스트 데이터 세트(5110) 또는 다른 적절한 저장 위치에).
키워드 스코어링 모듈(5112)은 임의의 적절한 방식으로 흔함 레벨을 결정할 수 있다. 예를 들어, 컨텍스트 인스턴스가 발생할 때마다, 그 컨텍스트에 특정된 카운터는 증가할 수 있다. 다른 예에서, 메타 데이터/컨텍스트 데이터 세트(5110)는 데이터베이스(5110)에 얼마나 많은 컨텍스트의 인스턴스가 저장되는지를 결정하기 위해 검색될 수 있다. 일례로, 컨텍스트가 임계 횟수에 도달하면, 컨텍스트는 "흔히 알려진" 등으로 라벨링되어서 합성 이미지 생성 후보로 선정되지 않게 할 수 있다. 일부 실시예에서, 메타 데이터/컨텍스트 데이터 세트(5110)는 각각의 컨텍스트의 관련된 흔함 레벨과 함께 컨텍스트 테이블을 저장할 수 있다.
키워드/컨텍스트 선택기 모듈(5114)은 메타 데이터/컨텍스트 데이터 세트(또는 다른 스토리지)에 액세스하고, 다양한 컨텍스트 및 이들과 관련된 흔함 레벨을 분석해서 합성 이미지 생성을 위한 후보를 식별할 수 있다. 특정 실시예에서, 모듈(5114)은 덜 흔한 컨텍스트를 검색한다(시스템이 매우 흔한 컨텍스트에 대해서는 이미 충분한 데이터를 가질 수 있으므로). 모듈(5114)은 하나의 세션에서 복수의 컨텍스트를 일괄 방식으로 분석함으로써(예를 들어, 주기적으로 또는 트리거에 따라) 이러한 컨텍스트를 검색할 수도 있고, 흔함 레벨의 변화에 응답해서 컨텍스트를 분석할 수도 있다. 모듈(5114)은 컨텍스트를 설명하는 하나 이상의 키워드를 각각 포함하는 하나 이상의 컨텍스트를 선택할 수 있다. 예를 들어, 위의 예를 참조하면, 선택된 컨텍스트는 "자전거", "눈", "고속도로" 키워드를 포함할 수 있다.
합성 이미지 생성을 위한 후보로서 컨텍스트를 선택한 이후에, 모듈(5114)은 선택된 컨텍스트가 현실 세계에서 발생하는지 여부를 결정하기 위해 컨텍스트 가능성 데이터베이스(5116)를 참조할 수 있다. 컨텍스트 가능성 데이터베이스(5116)는 책, 기사, 인터넷 웹 사이트 또는 다른 적절한 소스로부터 컴파일된 데이터(예를 들어, 텍스트, 그림 및 비디오)를 사용해서 생성될 수 있다. 컨텍스트 가능성 데이터베이스(5116)의 데이터는 더 많은 데이터를 온라인에서 이용 가능하게 될수록 강화될 수 있다. 데이터는 임의의 적절한 방식으로, 예를 들어 웹 사이트를 크롤링하거나(crawling), 이 웹 사이트로부터 데이터를 추출하거나, 데이터 소스의 애플리케이션 프로그래밍 인터페이스를 이용하거나 또는 다른 적절한 방법을 사용해서 온라인 소스로부터 수집될 수 있다. 이미지 데이터(사진 및 비디오를 포함함)는 머신 학습 또는 기타 분류 알고리즘을 사용해서 처리되어 이미지에 존재하는 개체 및 컨텍스트와 관련된 키워드를 결정할 수 있다. 수집된 데이터는 다른 키워드에 대한 키워드의 근접성을 검색할 때 데이터베이스에서 키워드 검색을 용이하게 하기 위해 색인화될 수 있다. 수집된 데이터는 특정 컨텍스트가 실제 세계에서 발생하는지 여부를 추론할 수 있는 컨텍스트 라이브러리를 형성할 수 있다.
합성 이미지 생성을 위한 후보로서의 컨텍스트를 선택한 후, 모듈(5114)은 컨텍스트 가능성 데이터베이스(5116)를 참조해서 컨텍스트의 키워드가 컨텍스트 가능성 데이터베이스(5116) 내의 수집된 데이터 소스에서 함께 얼마나 자주 나타나는지를 결정할 수 있다. 키워드가 함께 나타나지 않는 경우, 모듈(5114)은 컨텍스트가 현실 세계에 발생하지 않는다고 결정할 수 있고, 컨텍스트에 대한 합성 이미지를 생성하지 않는 것으로 결정할 수 있다. 일부 실시예에서, 키워드가 함께 나타나는 경우(또는 임계 횟수를 초과하여 함께 나타나는 경우), 컨텍스트가 현실 세계에서 발생하고 컨텍스트의 키워드가 GAN 이미지 생성기(5118)로 전달된다고 결정된다.
특정 실시예에서, 컨텍스트가 현실 세계에서 발생하는지 여부 및/또는 컨텍스트에 대해 합성 이미지가 생성되었는지 여부에 대한 표시는, 메타 데이터/컨텍스트 데이터 세트(5110)(또는 다른 적절한 스토리지)에 컨텍스트와 관련하여 저장됨으로써, 모듈(5114)가 특정 컨텍스트에 대해 컨텍스트 가능성 데이터베이스(5116)의 불필요한 검색을 수행하는 것을 피할 수 있다. 나아가, 특정 컨텍스트가 현실 세계에서 발생하지 않는 것으로 결정되면, 모듈(5114)은 그 특정 컨텍스트에 대한 자식(child) 컨텍스트가 현실 세계에서도 발생하지 않는다고 결정할 수 있다(자식 컨텍스트는 부모 컨텍스트의 모든 키워드를 상속하고 하나 이상의 추가 키워드를 포함함). 일부 실시예에서, 컨텍스트가 제 1 분석에서 현실 세계에서 발생하지 않는 것으로 결정된 경우에도, 특정 조건 하에서는(예를 들어, 컨텍스트 가능성 데이터베이스(5116)에 대한 주요 업데이트시에) 현실 세계에서 발생하는지에 대해 다시 분석될 수 있다.
컨텍스트 가능성 데이터베이스(5116) 내의 정보에 따라 합성 이미지 생성의 후보로서 선택된 컨텍스트가 현실 세계에서 발생한다고 결정되면, 컨텍스트는 GAN 이미지 생성기(5118)에 제공된다. 이미지 생성기(5118)는 컨텍스트를 나타내는 이미지 데이터(예를 들어, 하나 이상의 사진 또는 비디오 클립)를 생성하기 위한 적절한 로직을 포함할 수 있다. 예를 들어, 위의 예를 계속해서, 컨텍스트에 "자전거", "눈" 및 "고속도로" 키워드가 있는 경우, 이미지 생성기(5118)는 눈이 내린 고속도로의 자전거를 나타내는 이미지 데이터의 하나 이상의 인스턴스를 생성할 수 있다. 다양한 실시예에서, GAN 이미지 생성기(5118)는 모델 트레이닝에 유용한 이미지 데이터를 제공하도록 조정될 수 있다. 예를 들어, 생성기(5118)는 눈이 내린 다양한 타입의 고속도로의 다양한 타입의 자전거(선택적으로는, 이미지 내의 다른 위치에 있는)를 가진 이미지를 생성할 수 있다.
이미지 생성기(5118)에 의해 생성된 이미지 데이터는 이미지 데이터 세트에 배치될 수 있고, 이미지를 생성하는 데 사용되는 컨텍스트와 관련하여 저장될 수 있다. 이러한 이미지는 개체를 검출하기 위해 자율 차량에 의해 사용될 하나 이상의 모델(예를 들어, 머신 학습 모델)을 트레이닝시키는 데 사용될 수 있다. 따라서, 시스템(5100)은 가능성이 없는 컨텍스트를 식별하고, 이러한 컨텍스트가 현실 세계에 존재할 가능성이 있는지 여부를 결정한 다음, 분류 및 개체 식별 성능을 향상시키기 위해 데이터 세트를 강화하기 위해서 이러한 컨텍스트의 합성 이미지를 생성할 수 있다.
다양한 실시예에서, 시스템(5100)은 또한 본 명세서에 설명된 임의의 기능을 가이드하기 위해, 인간 또는 다른 액터(예를 들어, 컴퓨팅 엔티티)로부터 입력을 수신하는 모듈을 포함할 수 있다. 예를 들어, 특정 컨텍스트가 가능한지 여부에 대한 명시적인 입력이 수신될 수 있다. 일부 실시예에서, 컨텍스트가 현실적인지에 대해 인간 조작자에게 질의하는 데 컨텍스트 가능성 데이터베이스(5116)에 대한 질의의 서브 세트가 사용될 수 있다. 예를 들어, 데이터베이스(5116)의 검색이 컨텍스트의 키워드의 매우 적은 인스턴스를 함께 반환하는 경우, 인간 조작자는 컨텍스트를 이미지 생성기(5118)로 전달하기 전에 컨텍스트가 현실적인지 여부에 대해 질의받을 수 있다. 다른 예로서, 인간 조작자 또는 컴퓨팅 엔티티는 원하는 컨텍스트에 대한 이미지 생성을 위해 GAN 이미지 생성기(5118)에 직접 키워드를 주입할 수 있다. 이후 이러한 이미지는 이들의 관련 컨텍스트와 함께 이미지 데이터 세트(5104)에 저장될 수 있다. 일부 실시예에서, 인간의 입력은 자율 차량에 의해 사용될 컴퓨팅 모델의 개발자를 통해 제공될 수도 있고 또는 아마존 메커니컬 터크(Amazon Mechanical Turk)와 같은 크라우드 소싱 플랫폼에 의해 제공될 수도 있다.
일부 실시예에서, 시스템은 특정 컨텍스트 세트 및 관련 키워드쪽으로 바이어스될 수 있다. 예를 들어, 모델 개발자가 안개 또는 야간에는 모델이 덜 정확하다는 것을 알고 있는 경우에, 모델 개발자는 성능 향상을 위해 모델을 트레이닝하기 위해 이들 키워드를 사용해서 추가 합성 이미지 데이터 세트의 생성을 트리거할 수 있다. 다양한 실시예에서, 생성된 합성 이미지 데이터는 모델의 정확도를 결정하기 위해 모델 테스트에 사용될 수도 있다. 일부 실시예에서, 합성 데이터 이미지는 이미지 데이터 세트에 추가되기 전에 모델을 테스트하는 데 사용될 수 있다. 예를 들어, 현재 모델이 합성 이미지를 정확하게 분류하는 데 어려움을 겪는 경우, 이러한 이미지는 모델 성능을 향상시키기 위해 트레이닝하는 데 유용한 것으로 간주될 수 있으며, 이후 이미지 데이터 세트(5104)에 추가될 수 있다.
다양한 실시예에서, 시스템(5100)의 전부 또는 일부는 차량의 온보드 컴퓨팅 시스템과 분리될 수 있다(예를 들어, 시스템(5100) 또는 그 구성 요소는 클라우드 컴퓨팅 환경에 위치될 수 있다). 다른 실시예에서, 시스템(5100)의 전부 또는 일부는 본 명세서에서 설명되는 바와 같은, 차량의 온보드, 차량 내 컴퓨팅 시스템과 통합될 수 있다.
특정 실시예에서, 차량에 의한 데이터 캡처에 응답해서, 차량에 의해 온보드 컨텍스트 검출 알고리즘이 수행될 수 있다. 이 차량은 컨텍스트 가능성 데이터베이스(5116)의 스냅 샷을 저장해서 사용할 수 있다(예를 들어, GAN에 대한 병렬 방법으로서). 드문 이벤트와 관련된 데이터를 업로드할 때, 이미지 생성기(5118)는 이러한 드문 컨텍스트의 더 많은 인스턴스를 생성하기 위해 입력으로서 차량에 의해 수행된 컨텍스트 검출 알고리즘으로부터의 데이터를 사용할 수 있다.
도 52은 특정 실시예에 따른 합성 데이터를 생성하기 위한 흐름을 도시한다. 5202에서, 차량의 하나 이상의 센서로부터 캡처된 센서 데이터와 관련된 컨텍스트가 식별되고, 여기서 컨텍스트는 복수의 텍스트 키워드를 포함한다. 5204에서, 컨텍스트에 대한 추가 이미지 데이터가 필요하다고 결정된다. 5206에서, 컨텍스트의 복수의 텍스트 키워드가 합성 이미지 생성기에 제공되고, 합성 이미지 생성기는 컨텍스트의 복수의 텍스트 키워드에 기초해서 복수의 이미지를 생성한다.
자율 차량을 운행하는 동안, 광범위한 시각 분류 및 오디오 인식 알고리즘이 수행된다. 최신 성능을 통해서, 이러한 응용 프로그램에 딥 러닝 알고리즘이 사용될 수 있다. 그러나 이러한 알고리즘은 매우 효율적인 분류 성능에도 불구하고 공격에 취약할 수 있다. 컴퓨터 비전과 관련해서, 적대적 공격자는 매우 작은 섭동(perturbation)을 통해서 이미지를 조작할 수 있으며, 이는 사람의 눈에는 띄지 않을 수 있지만, 이미지를 과도하게 왜곡해서 딥 러닝 알고리즘이 이미지를 잘못 분류하게 할 수도 있다. 이러한 공격은 타게팅되지 않아서 이미지가 잘못 분류되는 한 공격자는 이미지의 결과적인 분류에 무관심하게 될 수도 있고, 혹은 이러한 공격은 타게팅되어서 이미지가 왜곡되어서 타게팅된 분류기를 이용해서 분류되게 할 수 있다. 유사하게, 오디오 공간에서, 공격자는 실제 문장에 대한 인간의 청각에 영향을 미치지 않는 노이즈을 주입할 수는 있겠지만, 음성-텍스트 알고리즘은 음성을 완전히 잘못 이해하게 된다. 최근 결과는 또한, 적대적 섭동(perturbation)에 대한 취약성이 딥 러닝 알고리즘으로 한정되지 않고 기존 머신 학습 방법에도 영향을 미칠 수 있다는 것을 보여준다.
머신 학습 알고리즘의 보안을 향상시키기 위해서, 본 개시의 다양한 실시예는, 공격자가 생성할 수 있는 공격을 구체적으로 모방하는 합성 데이터를 생성하는 시스템을 포함한다. 이미지에 대한 공격 데이터를 합성하기 위해서 다수의 공격자가 고려되고, 분류기가 이미 알려진 이미지로부터 적대적 이미지가 생성된 다음, 차량의 개체 감지에 사용될 머신 학습 모델을 트레이닝하기 위해 기본의 비나인(benign) 이미지와 함께 트레이닝 세트에서 사용된다(적어도 일부는 기본 이미지로 사용됨).
도 53은 적대적 샘플을 생성하고 적대적 샘플에 기초해서 머신 학습 모델을 트레이닝하는 흐름을 보여준다. 흐름은 적대적 샘플을 생성하기 위해 복수의 상이한 공격 방법(5302)을 사용하는 것을 포함할 수 있다. 트레이닝 데이터 세트를 구축하기 위해 하나 이상의 파라미터(5304)가 결정될 수 있다. 파라미터는 예를 들어 비나인 샘플 대 적대적 샘플의 비율, 사용되는 다양한 공격 강도(및 각 공격 방법에 대한 특정 공격 강도의 비율), 공격 타입의 비율(예를 들어, 얼마나 많은 공격이 제 1 공격 방법을 사용할지, 얼마나 많은 공격이 제 2 공격 방법을 사용할지 등), 적대적 샘플의 오분류(misclassification)에 대한 페널티 용어, 중 하나 이상을 포함한다. 적대적 샘플은 본 명세서에서 설명되는 것과 같은 임의의 적절한 컴퓨팅에 의해 생성될 수 있다.
파라미터에 따라 적대적 샘플이 생성된 후, 적대적 샘플은 5306에서 트레이닝 세트의 양성 샘플에 추가될 수 있다. 이후, 컴퓨팅 시스템에 의해 5308에서 분류 모델을 트레이닝하기 위해 트레이닝 세트가 사용될 수 있다. 트레이닝의 출력은 5310에서 차량에 대한 강력한 AI 분류 시스템을 구축하는 데 사용될 수 있다(예를 들어, 추론 엔진(254)에 의해 실행될 수 있는 ML 모델). 흐름의 다양한 부분은 아래에서 자세하게 설명한다.
합성 이미지를 생성하는데는 임의의 수의 공격 방법이 사용할 수 있다. 예를 들어, 고속 경사 기호 방법, 반복 경사 기호 방법, 딥 풀(deep fool), 유니버설 적대적 섭동(universal adversarial perturbation) 또는 다른 적절한 공격 방법 중 하나 이상이 합성 이미지를 생성하는 데 사용될 수 있다.
고속 경사 기호 방법을 통해 적대적 이미지를 생성하는 것은, 기본 이미지에 따라 신경망의 손실 함수의 경사를 평가하는 것, 경사 기호를 취하는 것, 및 이후 스텝 사이즈(예를 들어, 공격 강도)를 곱하는 것을 포함할 수 있다. 이후, 결과가 원본 이미지에 추가되어 적대적 이미지를 만든다. 반복 고속 경사 기호 방법을 통해 적대적 이미지를 생성하는 것은, 이미지에 각각의 반복이 추가되는 단일 공격(고속 경사 기호 방법의 경우)이 아닌, 다수의 경사 스텝에 대한 스텝 사이즈의 반복 공격을 포함할 수 있다. 딥 풀 방법을 통해 적대적 이미지를 생성하는 것은, 입력 지점에서 손실 함수를 선형화하고, 선형 근사(linear approximation)가 올바른 경우 클래스를 전환하는 데 필요한 최소 섭동을 적용하는 것을 포함할 수 있다. 이는 네트워크에서 선택한 클래스가 전환될 때까지 반복적으로 수행될 수 있다. 유니버설 적대적 섭동 방법을 통해 적대적 이미지를 생성하는 것은 전체 트레이닝 세트에 대한 섭동을 계산한 다음 이를 모든 이미지에 추가하는 것을 포함할 수 있다(다른 공격 방법 중 일부는 이미지를 개별적으로 공격).
일부 실시예에서, 알고 있는 분류기에서 상이한 공격 강도를 사용해서 단일 이미지로부터 다수의 적대적 이미지가 생성될 수 있다. 예를 들어, 특정 공격 방법의 경우, 비나인 이미지로부터 제 1 공격 강도를 사용해서 제 1 적대 이미지를 생성하고, 동일한 양성 이미지로부터 제 2 공격 강도를 사용해서 제 2 적대 이미지를 생성할 수 있다.
일부 실시예에서, 단일 비나인 이미지로부터 다수의 적대적 이미지를 생성하는데 다수의 공격 방법이 적용될 수 있다. 예를 들어, 제 1 공격 방법은 하나 이상의 공격 강도를 이용해서 비나인 이미지로부터 하나 이상의 적대적 이미지를 생성하는데 사용될 수 있고, 제 2 공격 방법은 하나 이상의 공격 강도를 이용해서 동일한 비나인 이미지로부터 하나 이상의 추가 적대적 이미지를 생성하는데 사용될 수 있다.
임의의 적절한 수의 공격 방법 및 임의의 적절한 수의 공격 강도를 사용해서 합성 데이터 세트에 대한 적대적 이미지를 생성할 수 있다. 더욱이, 일부 실시예에서, 공격 방법 및 공격 강도는 비나인 이미지에 걸쳐 분산될 수 있다(예를 들어, 모든 방법 및/또는 강도가 각각의 비나인 이미지에 적용되는 것은 아니다). 예를 들어, 하나 이상의 공격 방법 및/또는 하나 이상의 공격 강도가 제 1 비나인 이미지에 적용되어서 하나 이상의 적대적 이미지를 생성할 수 있으며, 다른 하나 이상의 공격 방법 및/또는 하나 이상의 공격 강도가 제 2 비나인 이미지에 적용되어서 하나 이상의 추가 적대적 이미지를 생성하는 식이다. 일부 실시예에서, 공격 강도는 트레이닝될 각 클래스로부터의 이미지에 대한 공격에 대해 달라질 수 있다.
다양한 실시예에서, 각각의 공격 타입의 비율은 실제 조건의 추정에 기초하여 변경될 수 있다(예를 들어, 예상되는 공격 타입의 비율과 일치시키도록). 예를 들어, 합성 데이터 세트의 적대적 이미지의 50%는 제 2 공격 방법을 사용해서 생성될 수 있고, 적대적 이미지의 30%는 제 2 공격 방법을 사용해서 생성될 수 있으며, 적대적 이미지의 20%는 제 3 공격 방법을 사용해서 생성될 수 있다.
다양한 실시예에서, 적대적 이미지에 대한 비나인 이미지의 비율은 또한 하나의 합성 데이터 세트로부터 다른 합성 데이터 세트로 변경될 수 있다. 예를 들어, 적대적 이미지에 대한 비나인 이미지의 서로 다른 비율을 갖는 다수의 합성 데이터 세트는, 최적의 비율을 결정하기 위해 테스트될 수 있다(예를 들어, 개체 검출 정확도에 기초함).
각각의 적대적 이미지는 올바른 실측 자료(ground truth) 레이블(예를 들어, 기본 비나인 이미지의 클래스)과 관련지어서 저장된다. 일부 실시예에서, 적대적 이미지는 각각 각각의 공격 레이블과 함께 저장될 수 있다(예를 들어, 분류기가 타깃팅된 공격에서 공격자가 원하는 레이블일 수 있는 적대적 데이터에 대해 트레이닝되지 않은 경우에, 적대적 이미지가 일반적으로 수신할 레이블)과 함께 저장될 수 있다). 이러한 적대적 이미지 및 관련 분류기의 집합이 시뮬레이션된 공격 데이터 세트를 형성할 수 있다.
시뮬레이션된 공격 데이터 세트는 비나인 이미지의 세트(및 관련 알려진 분류기)와 믹스되어서, 신경망, 의사 결정 트리, 지원 벡터 머신, 로지스틱 회귀, k-최근접 이웃 알고리즘 또는 기타 적절한 분류 모델과 같은 지도(supervised) 머신 학습 분류 모델을 트레이닝하는 데 사용될 수 있다. 따라서 합성 공격 데이터는 딥 러닝 알고리즘 또는 고전적인 ML 알고리즘에 대한 공격에 대한 복원력을 높이기 위한 보강으로 사용될 수 있다. 트레이닝 중에, 학습 모델을 구체화하기 위해 올바른 레이블을 가진 적대적 이미지가 트레이닝 세트의 일부로서 통합된다. 또한, 일부 실시예에서, 트레이닝 동안에 학습 알고리즘이 공격자의 원하는 레이블로 적대적 이미지를 분류하는 경향이 있는 경우, 학습 모델의 손실 함수는 페널티를 초래할 수 있다. 결과적으로 학습 알고리즘은 이미지에 대한 적대적 공격에 대한 복원력을 개발할 것이다.
위에서 설명한 방식은 오디오 데이터에 대한 유사한 공격에 적용될 수 있다. 오디오 데이터에 대한 적절한 공격 방법을 사용해서 적대적 오디오 샘플을 생성할 수 있다. 예를 들어, 경사 하강법(gradient descent)에 기초해서 입력 샘플을 섭동하는 방법이 사용될 수 있다. 이러한 공격 방법은 일회성 공격일 수도 있고 반복 공격일 수도 있다. 이미지 공격과 마찬가지로 여러 가지 다른 공격 방법이 사용될 수 있으며, 오디오 공격은 공격 강도가 다를 수 있고, 공격 방법으로부터 생성된 적대적 샘플의 비율이 다를 수 있고, 적대적 샘플과 비나인 샘플의 비율도 다를 수 있다. 적대적 오디오 샘플은 적절한 텍스트 음성 변환(예를 들어, WaveNet, DeepVoice, Tacotron 등) 머신 학습 모델 또는 음성 인식(예를 들어, Hidden Markov 모델이 있는 심층 모델, 연속 시간 분류 모델(Connectionist Temporal Classification model), 주의 기반(attention-based) 모델)을 트레이닝하는 데 사용될 수 있는 등) 머신 학습 모델을 트레이닝하는데 사용될 수 있다.
도 54은 특정 실시예에 따른, 시뮬레이션된 공격 데이터 세트를 생성하고 시뮬레이션된 공격 데이터 세트를 사용해서 분류 모델을 트레이닝하는 흐름을 도시한다. 5402에서, 복수의 이미지 샘플 또는 복수의 오디오 샘플을 포함하는 비나인 데이터 세트가 액세스된다. 비나인 데이터 세트의 샘플은 알려진 레이블을 갖는다. 5404에서, 복수의 적대적 샘플을 포함하는 시뮬레이션된 공격 데이터 세트가 생성되고, 여기서 적대적 샘플은 비나인 데이터 세트의 샘플에 대해 복수의 상이한 공격 방법을 수행함으로써 생성된다. 5406에서 머신 학습 분류 모델은 적대적 샘플, 알려진 레이블 및 복수의 비나인 샘플을 사용해서 트레이닝된다.
반-자율 및 자율 차량 시스템은 개체 식별을 위한 머신 학습(ML) 기술에 크게 의존한다. 시간이 지남에 따라 분류에 사용되는 모델을 업데이트(재트레이닝을 포함함)하여, 신규 이벤트(예를 들어, 눈 폭풍의 변화) 및 패턴 변화(예를 들어, 트래픽 밀도 증가) 모두에서, 사용 중에 경험하는 변화하는 환경을 지속적으로 정확하게 반영해야 한다. ML 모델에 대한 업데이트는 주기적으로 수행될 수 있지만, 이러한 업데이트는 유효한 모델이 불필요하게 교체될 때 과도한 리소스 사용을 초래하거나 업데이트가 충분히 빈번하지 않을 때 더 많은 오분류를 초래할 수 있다.
본 개시의 다양한 실시예에서, 각각 상이한 속성을 갖는 다수의 분류기가 개체 검출 동안 사용되고, 하나의 분류기의 동작은 다른 분류기(들)가 업데이트되어야 하는 시기를 결정하는데 사용될 수 있다(예를 들어, 최근에 검출된 개체를 사용해서 재트레이닝됨). 예를 들어, 단순 분류기(예를 들어, 선형 분류기)의 동작은 더 강력한 혹은 복잡한 분류기(예를 들어, 비선형 분류기)가 업데이트될 시기를 결정하는 데 사용될 수 있다. 단순 분류기는 보다 강력한 분류기에 필요한 업데이트를 위한 조기 검출 시스템(예를 들어, "탄광의 카나리아") 역할을 할 수 있다. 단순 분류기는 다른 분류기만큼 강력한 혹은 정확한 개체 검출을 제공하지 않을 수 있지만, 단순 분류기는 환경 변화에 더 민감할 수 있으므로 비선형 분류기에 비해 환경 변화를 더 쉽게 검출할 수 있다. 특정 실시예에서, 변화하는 환경에서 정확도 저하에 상대적으로 더 취약한 분류기가 모니터링되고, 이 분류기의 정확도가 특정 양만큼 저하되면, 분류기의 재트레이닝이 트리거된다.
본 개시는 단순 분류기로서 선형 분류기를 사용하고 보다 강력한 분류기로서 비선형 분류기를 사용하는 실시예에 초점을 맞추고 있지만, 다른 실시예는 단순하고 강력한 분류기로서 임의의 적절한 분류기를 이용할 수 있다. 예를 들어, 특정 실시예에서, 강력한 분류기는 복잡한 비선형 분류기일 수 있고 단순 분류기는 덜 복잡한 비선형 분류기일 수 있다. 단순 분류기(예를 들어, 선형 분류기) 및 강력한 분류기(예를 들어, 비선형 분류기)는 임의의 적절한 컴퓨팅 시스템에 의해 구현될 수 있다.
아래 예에서 선형 및 비선형 분류기의 클래스 경계는 설명을 단순화하기 위해 2 차원(x 및 y 차원)을 따라 샘플을 분류하는 것으로 묘사되어 있지만, 다양한 실시예에서 선형 분류기 또는 비선형 분류기는 임의의 적절한 수의 차원을 따라 샘플을 분류할 수 있다(예를 들어, 분류기에 대한 입력 벡터는 임의의 수의 특징 값을 가질 수 있음). 예를 들어, 선형 분류기의 클래스 경계로 선(line) 대신 초평면(hyperplane)을 사용해서 n 차원 입력 공간을 분할할 수 있으며, 여기서 초평면의 한쪽에 있는 모든 샘플은 하나의 레이블로 분류되고 다른 쪽에 있는 샘플은 초평면의 다른 레이블로 분류된다.
선형 분류기는 입력 샘플의 여러가지 특성(특징 값이라고도 함)의 선형 조합 값에 기초해서 분류 결정을 내릴 수 있다. 본 개시는 임의의 적절한 선형 분류기를 단순 분류기로서 사용하는 것을 고려한다. 예를 들어, 정규화된 최소 제곱, 로지스틱 회귀, 지원 벡터 머신, 나이브 베이즈, 선형 판별 분류기, 퍼셉트론 또는 기타 적절한 선형 분류 기술에 기초한 분류기가 사용될 수 있다.
비선형 분류기는 일반적으로 초평면으로는 잘 근사될 수 없는 클래스 경계를 결정하므로 클래스 경계는 비선형이다. 본 개시는 강력한 분류기로서 임의의 적절한 비선형 분류기를 사용하는 것을 고려한다. 예를 들어, 2차 판별 분류기, 다층 퍼셉트론, 결정 트리, 랜덤 포레스트, K-최근접 이웃, 앙상블 또는 기타 적절한 비선형 분류 기술에 기초한 분류기가 사용될 수 있다.
도 55는 특정 실시예에 따른 비선형 분류기의 동작을 예시한다. 비선형 분류기는 하나 이상의 특성 값을 갖는 임의의 적절한 입력 샘플(예를 들어, 이벤트)을 분류하는 데 사용될 수 있다. 도 55는 제 1 클래스의 복수의 샘플(5504) 및 제 2 클래스의 복수의 샘플(5506)을 갖는 제 1 데이터 세트(5500)를 도시한다. 비선형 분류기는 샘플의 특성 값과 비선형 분류기에 의해 정의된 클래스 경계에 기초해서 샘플이 제 1 클래스인지 제 2 클래스인지 구분하도록 구성된다.
데이터 세트(5500)는 비선형 분류기를 트레이닝하는 데 사용되는 샘플을 나타낼 수 있는 반면, 데이터 세트(5550)는 동일한 샘플뿐만 아니라 제 1 타입의 추가 샘플(5508) 및 제 2 타입의 추가 샘플(5510)을 나타낸다. 클래스 경계(5512)는 신규 샘플(5508 및 5510)을 포함하는 트레이닝 세트에 기초해서 비선형 분류기가 재트레이닝된 이후에 비선형 분류기에 대한 클래스 경계를 나타낸다. 신규 클래스 경계(5512)는 여전히 비선형 분류기가 신규 샘플을 정확하게 레이블할 수 있지만, 클래스 경계(5502 및 5512)가 일반적으로 유사한 특성을 갖기 때문에 데이터 패턴을 시프트하는 것은 용이하게 명확하지 않을 수 있다.
도 56은 특정 실시예에 따른 선형 분류기의 동작을 나타낸다. 도 56은 도 55와 동일한 데이터 세트(5500 및 5550)를 나타낸다. 클래스 경계(5602)는 데이터 세트(5500)에 대한 트레이닝 이후에 선형 분류기의 클래스 경계를 나타내는 반면, 클래스 경계(5604)는 신규 샘플(5508 및 5510)을 포함하는 트레이닝 세트에 기초해서 선형 분류기가 재트레이닝된 후의 선형 분류기의 클래스 경계를 나타낸다. 신규 데이터 패턴(신규 샘플(5508 및 5510)에 의해 예시됨)은, 신규 샘플이 선형 분류기의 재트레이닝없이 잘못 카테고리화될 것이기 때문에 명백할 수 있다.
따라서 선형 분류기는 데이터가 변경되고 있다는 조기 경고를 제공해서, 변경되는 데이터 세트를 모니터하며, 신규 모델을 사전에 트레이닝할 수 있다. 특정 실시예에서, 시스템은 선형 분류기의 정확도를 모니터할 수 있으며, 이 정확도가 임계값 아래로 떨어지면, 선형 및 비선형 분류기 모두의 재트레이닝이 트리거될 수 있다. 재트레이닝은 더 최근의 데이터를 포함하는 트레이닝 세트를 사용해서 수행될 수 있다.
분류기의 조합은 강력한 분류를 유지하면서 조기 변경 검출을 제공하도록 설계되었으므로, 환경의 변화를 검출하는 것 외에도 다양한 실시예를 사용해서 공격을 검출할 수 있다. 공격 데이터는 일반적으로 클린 방식(예를 들어, 하나 이상의 자율 차량의 센서로부터)으로 수집되거나 합성 생성 기술(예를 들어, 본 명세서에서 논의된 기술 또는 기타 적절한 데이터 생성 기술)을 사용해서 수집되는 것으로 가정되는 트레이닝 데이터와는 상이할 것이다. 따라서 선형 분류기의 정확도 손실은 공격의 조기 징후를 제공할 것이다(예를 들어, 선형 분류기의 정확도는 비선형 분류기의 정확도보다 더 빠른 속도로 저하된다). 또한, 분류기가 다르게 기능하기 때문에, 공격자가 동시에 두 시스템을 우회하는 것이 더 어려울 수 있다.
특정 실시예에서, 시간 경과에 따른 선형 분류기의 변화는, 시스템이 어떤 데이터가 신규 것인지 혹은 추가 트레이닝을 위해 유지하는 것에 관심을 갖고 있는지 결정할 수 있게 한다. 예를 들어, 선형 분류기의 정확도 변화가 검출되면, 최근에 획득한 데이터(및/또는 잘못 분류된 데이터)를 분석하여, 관심있는 데이터를 결정할 수 있으며, 이 관심 데이터는 선형 및 비선형 분류기를 트레이닝하는 데 사용될 관련 데이터 세트를 종합적으로 생성하는데 사용될 수 있다(본 명세서에 설명된 기술 또는 다른 적절한 합성 데이터 생성 기술을 사용해서).
트레이닝 데이터와는 상이한 데이터로 인해서 분류기가 변경될 것이므로, 신규 샘플 인스턴스는 추가 학습을 위해 분석되고 유지 관리될 수 있다. 예를 들어, 도 56에서 샘플(5508 및 5510)은 선형 분류기의 클래스 경계를 시프트했다. 이들 신규 샘플의 서브 세트는 향후 트레이닝 세트를 위해 샘플링 및 유지 관리될 수 있다. 특정 실시예에서, 이러한 신규 샘플은 트레이닝 세트에 데이터 바이어스를 도입하는 것을 방지하기 위해 무작위로 샘플링될 수 있다. 다른 실시예에서, 특정 클래스의 불균형한 양이 미래의 트레이닝 세트를 위해 유지될 수 있다(예를 들어, 그 클래스의 샘플의 수가 다른 클래스의 샘플 수보다 현저히 적은 경우).
이 예에서 2-클래스 분류기를 설명하지만, 다양한 실시예는 본 명세서에 설명된 개념에 따라 다중 클래스 분류를 제공할 수도 있다(예를 들어, 단순하고 강력한 분류기를 사용해서). 예를 들어, 일련의 초평면이 사용될 수 있으며, 여기서 각 클래스 i(1-n에 대한)는 전체적으로 다른 클래스와 비교된다(예를 들어, 1 대 전체). 다른 예로서, 일련의 초평면이 사용될 수 있으며, 여기서 각 클래스 i(1-n에 대한)는 다른 클래스 j(1-n에 대한)와 개별적으로 비교된다(예를 들어, 1 대 1).
도 57은 선형 분류기의 정확도에 기초해서 동작을 트리거하는 흐름을 나타낸다. 5702에서 선형 분류기는 차량의 입력 샘플을 분류한다. 5704에서 비선형 분류기가 차량으로부터의 동일한 입력 샘플을 분류한다. 특정 실시예에서, 이러한 분류는 병렬로 수행될 수 있다. 5706에서 선형 분류기의 정확도 변화가 검출된다. 5708에서 선형 분류기의 정확도 변화에 응답해서 적어도 하나의 액션이 트리거된다.
도로 안전 모델은, 모든 도로 에이전트가 모델을 준수하는 경우에는 안전을 보장하고 사고 발생시 정확하게 책임(blame)을 할당하는 수학적 모델로서 구현될 수 있다. 예를 들어, 도로 안전 모델은, 에이전트의 거동을 규정된 제약의 세트로 한정함으로써 모델링된 최악의 시나리오에서의 충돌을 방지하도록 두 도로 에이전트 사이의 수학적으로 계산된 세로 및 가로 최소 안전 거리에 의존할 수 있다.
두 에이전트 사이의 거리가 도로 안전 모델에 규정된 안전 거리 아래로 떨어지는 상황(예를 들어, "위험한 상황")이 발생할 때마다, 두 에이전트 모두 이전에 규정된 범위 내로 가속을 재연(enact)함으로써(예를 들어, "적절한 응답"을 재연함으로써) 반응하면, 도로 안전 모델은 충돌 방지를 수학적으로 보장한다. 반면에, 에이전트 중 하나가 규정을 준수하지 않는 경우에는, 사고가 발생하면 해당 에이전트가 책임을 져야 한다.
도로 안전 모델은 세로 및 가로 치수에 개별적으로 초점을 맞춤으로써 두 에이전트가 관련된 상황의 분석을 간략화한다. 예를 들어 에이전트의 속도 및 가속도, 이러한 속도 및 가속도를 사용해서 계산된 최소 안전 거리, 및 에이전트 사이의 실제 거리는 모두, 차선의 중심이 y축에 있는 것으로 간주되는 좌표계 상의 이들의 세로 및 가로 구성 요소와 관련해서 분석된다(따라서 세로 구성 요소는 y로 표시되고 가로 구성 요소는 x로 표시됨).
도 58은 특정 실시예에 따른 다양한 도로 안전 모델 주행 단계를 나타낸다. 도 58에서 에이전트(5802 및 5804)는 세 단계(5806, 5808, 5810)로 표시된다. 도로 안전 모델을 준수하기 위해서, 에이전트는, 세로 및 가로 최소 안전 거리가 모두 위반될 때 적절한 응답을 재연해야 하고, 적절한 응답 자체는 가장 최근에 어떠한 위반이 발생했는지에 따라 다르다. 제 1 단계(5806)에서, 에이전트(5802 및 5804)는 안전하지 않은 측방향 거리만큼 분리되지만 안전 세로 거리만큼 이격되어 있다. 제 2 단계(5808)은 종방향 거리가 여전히 안전한 마지막 시점을 나타낸다("책임 시간(blame time)"이라고 함). 책임 시간 이후에 다음 시점에, 종 방향 안전 거리도 위반된다. 제 3 단계(5810)에서, 에이전트는 종 방향으로 적절한 대응을 재연한 후 안전한 상황으로 복귀해서 충돌을 방지했다.
RSS는, 그 에이전트의 정책으로부터 완전히 분리되도록 설계된다. RSS를 준수하기 위해서, 자율 주행 스택은, 그 에이전트의 정책에 의해 내려진 판정이 RSS를 준수하는지 확인해서 에이전트의 정책이 RSS를 준수하지 않는 액션을 요청할 때에는 디폴트 RSS 준수 판정을 행하는 추가 구성 요소를 포함할 수 있다.
RSS가 자율 차량을 염두에 두고 설계되긴 했지만, 본 개시의 다양한 실시예는 RSS(또는 다른 유사한 사고 방지 수학적 모델)를 인간 운전자의 판정에 의한 사고를 방지하는 메커니즘으로서 사용하는 제어 시스템을 구비한 차량을 포함한다. 이러한 실시예는 잠재적으로 인간 운전자의 더 높은 전반적인 안전을 가능하게 할 수 있으며, RSS의 책임 할당 메커니즘(예를 들어 모델의 조건을 위반한 에이전트에게 책임이 할당됨)과 유사한 방식으로 현행 법률이 책임을 할당하는 사고에 대해 운전자가 책임지지 않을 것이라는 증거 또는 보증을 제공할 수도 있다. RSS 모델에 따라, 본 명세서에서 설명되는 다양한 실시예는 또 다른 잠재적이고 장기적인 이점을 제시한다: 예를 들어, 점점 더 많은 에이전트(인간 또는 기타)가 RSS 시행기(또는 유사한 모델의 시행기)를 구비하고 있으므로, 도로의 전체 사고의 양이 감소되어서 모든 에이전트에게 이상적인 상황으로 발전할 것이다.
본 개시 내용의 특정 실시예에서, 차량은, RSS 비준수 가속을 초래할 운전자 입력을, RSS-준수 가속의 범위 내에 포함된 가속을 생성하도록 보장된 종합적으로 생성된 입력으로 대체하는 제어 시스템을 포함한다. RSS-준수 운전자 입력은 변경되지 않은 상태로 가동 시스템으로 전달되므로, 잠재적으로 위험한 상황에서만 인수하는 시스템을 구현한다.
도 59는 특정 실시예에 따른 RSS 준수 가속을 보장하도록 운전자 입력을 수정하는 시스템(5900)을 나타내는 도면이다. 다양한 실시예에서, 시스템(5900)은 차량(예를 들어, 105)의 일부일 수 있고, 도시된 임의의 모듈은 차량(예를 들어, 105)의 컴퓨팅 시스템의 임의의 적절한 로직에 의해 구현될 수 있다. 다른 실시예에서, 임의의 모듈은 차량 외부(예를 들어, 140 또는 150)에서 구현되고 결과가 차량에 전달될 수도 있다. 시스템(5900)은 제어(5902)(다양한 실시예에서, 제어(5902)는 주행 제어(220)의 임의의 적절한 특성을 가질 수 있음), 센서 군(5904)(다양한 실시예에서 센서 군(5904)은 센서 225의 임의의 적절한 특성을 가질 수 있음), RSS 모델(5906), RSS 시행기(5908), 제어-가속도 컨버터(5910) 및 가속-제어 컨버터(5912)를 포함한다. 특정 실시예에서, 시스템(5900)의 구성 요소는 모두 차량 내에 통합될 수 있다. 다른 실시예에서, 하나 이상의 구성 요소는 차량으로부터 분리되어서 차량에 통신 가능하게 연결될 수도 있다.
제어(5902)가 제공됨으로써 인간 운전자는 차량의 가동 시스템에 입력을 제공할 수 있다. 예를 들어, 제어는 운전대 또는 기타 조향 메커니즘, 가속 페달 또는 기타 스로틀, 브레이크 페달 또는 기타 제동 메커니즘을 포함할 수 있다. 일 실시예에서, 제어는 기어 시프터, 비상 브레이크, 조이스틱, 터치스크린, 제스처 인식 시스템, 또는 차량의 속도 또는 방향에 영향을 미칠 수 있는 다른 적절한 입력 제어와 같은 다른 구성 요소를 포함할 수 있다.
센서 군(5904)은, 차량과 관련된 세계 상태(world state)에 관한 정보를 수집하기 위해 차량이 사용하는 하나 이상의 센서의 임의의 적절한 조합을 포함할 수 있다. 예를 들어, 센서 군(5904)은 하나 이상의 LIDAR, 레이더, 카메라, 글로벌 포지셔닝 시스템(GPS), 관성 측정 유닛(IMU), 오디오 센서, 적외선 센서, 또는 본 명세서에 설명된 다른 센서를 포함할 수 있다. 세계 상태 정보는, 본 명세서에 설명된 컨텍스트, 센서에 의해 검출된 개체, 개체와 관련된 위치 정보 또는 다른 적절한 정보와 같은 임의의 적절한 정보를 포함할 수 있다.
세계 상태는 RSS 모델(5906), 제어-가속 변환기(5910) 또는 가속-제어 변환기(5912)와 같은 시스템(5900)의 임의의 적절한 구성 요소에 제공될 수 있다. 예를 들어, 세계 상태 정보는 RSS 모델(5906)에 제공될 수 있다. RSS 모델(5906)은 세계 상태 정보를 활용해서 차량에 대한 RSS 준수 가속의 범위를 결정할 수 있다. 이렇게 함으로써, RSS 모델(5906)은 차량과 다른 차량 또는 다른 물체 사이의 종 방향 및 측 방향 거리를 추적할 수 있다. 또한, RSS 모델(5906)은 차량의 종 방향 및 측 방향 속도를 추적할 수도 있다. RSS 모델(5906)은 RSS 준수 가속의 범위를 주기적으로 업데이트하고 RSS 시행기(5908)에 가속 범위를 제공할 수 있다. RSS 준수 가속은 종 방향에서의 RSS 준수 가속의 범위뿐만 아니라 횡 방향에서의 RSS 준수 가속의 범위를 명시할 수 있다. 가속도는 제곱 초당 미터(meters per second squared)와 같은 임의의 적절한 단위로 표현될 수 있으며, 이는 양수를 가질 수도 있고 또는 음수 값을 가질 수도 있다(또는 0 값일 수 있음).
RSS 시행기(5908)는 운전자 입력으로부터 제어 신호를 수신하고 제어-가속 변환기(5910)를 호출하는데, 이는 운전자 입력(이는 일부 실시예에서 횡 방향 및 종 방향 가속 성분을 모두 포함함)이 가동 시스템(5914)으로 전달되는 경우에, 운전자 입력을 예측된 차량 가속을 나타내는 가속 값으로 변환한다. RSS 시행기(5908)는 가속 값이 RSS 모델(5906)로부터 수신한 RSS 준수 가속의 가장 최근 범위 내에 있는지 여부를 결정할 수 있다. 가속 값이 RSS 준수 가속 범위 내에 있으면, RSS 시행기는 제어기(5902)로부터의 운전자 입력이 가동 시스템(5914)으로 전달되는 것을 허용한다. 가속 값이 RSS 준수 가속 범위 내에 있지 않으면, RSS 시행기는 운전자 입력을 차단하고 수신된 범위 내에서 RSS 준수 가속 값을 선택한다. RSS 시행기(5908)는 선택된 가속 값으로 가속도-제어 변환기(5912)를 호출할 수 있고, 그 대가로 하나 이상의 제어 신호를 수신할 수 있다. 특정 실시예에서, 가속-제어 변환기(5912)에 의해 제공되는 제어 신호는, 운전자 입력에 응답해서 가동 시스템(5914)에 제공되는 제어 신호와 동일한 포맷을 가질 수 있다. 예를 들어, 제어 신호는 제동 정도, 가속도 정도 및/또는 조향 정도 및 방향, 또는 다른 적절한 제어 신호를 명시할 수 있다. RSS 시행기(5908)는 이들 새로운 제어 신호를 가동 시스템(5914)에 제공할 수 있으며, 이는 제어 신호를 사용해서 차량이 명시된 대로 가속되게 할 수 있다.
다양한 실시예에서, RSS 시행기(5908)는 RSS 준수 가속의 범위 내에서 임의의 적절한 가속 값을 선택할 수 있다. 특정 실시예에서, RSS 시행기(5908)는 이 범위에서 랜덤하게 가속 값을 선택할 수도 있다. 다른 실시예에서, RSS 시행기(5908)는 이 범위로부터 가장 큰 또는 가장 적은 보수적인 값을 선택할 수 있다. 다른 실시예에서, RSS 시행기(5908)는 이 범위의 중간에 있는 값을 선택할 수 있다. 또 다른 실시예에서, RSS 시행기(5908)는 정책 정보(예를 들어, 운전자의 선호도에 기초하거나 안전 고려 사항에 기초함)를 사용해서 가속 값을 결정할 수도 있다. 예를 들어, RSS 시행기(5808)는 횡 방향 가속도보다 종 방향 가속도를 선호할 수도 있고 혹은 그 반대로할 수도 있다. 다른 예로서, RSS 시행기(5808)는 운전자에게 더 편안한 가속을 선호할 수 있다(예를 들어, 더 느린 제동 또는 더 작은 조향 조정이 급한 제동 또는 방향 전환보다 선호될 수 있음). 다양한 실시예에서, 이러한 결정은 동일한 모션 파라미터의 세트 및 차량 특성으로부터 계산된 관련 메트릭과 함께, 안전 및 편안함 모두에 기초할 수 있다.
위에서 언급한 바와 같이, 제어-가속 변환기(5910)는 운전자 입력(예를 들어, 운전대 회전 및 스로틀/제동 페달 압력)을 가속으로 변환한다. 다양한 실시예들에서, 변환기(5910)는 변환 동안에, 세계 상태(예를 들어, 차량의 속도, 날씨, 도로 상태, 도로 레이아웃 등) 및 호스트 차량의 물리적 특성(예를 들어, 차량의 중량, 차량 형태, 타이어 특성, 브레이크 특성 등)과 같은 임의의 적절한 정보를 고려할 수 있다. 일 실시예에서, 이 변환은 차량 역학의 정교한 수학적 모델(예를 들어, 차량 제조업체에 의해 공급됨)에 기초할 수 있다. 일부 실시예에서, 변환기(5910)는 머신 학습 모델(예를 들어, 임의의 적절한 회귀 모델을 구현)을 구현해서 변환을 수행할 수도 있다. 제어-가속 변환을 위한 예시적인 머신 학습 모델은 도 60 및 도 61과 관련하여 더 자세히 설명한다.
가속-제어 변환기(5912)는 인수 동안 RSS 시행기(5908)에 의해 시행되는 RSS 준수 가속을 가동 시스템(5914)에 적합한 입력으로 변환하는 로직을 포함할 수 있다. 변환기(5912)는 이러한 변환을 임의의 적절한 정보를 이용해서 수행할 수 있다. 예를 들어, 변환기(5912)는 제어-가속 변환기(5910)에 의해 사용되는 정보의 임의의 하나 이상의 조각을 이용할 수 있다. 유사하게, 변환기(5912)는 주어진 가속도의 입력에서 제어 신호를 출력하도록 구성된 머신 학습 모델과 같은, 변환기(5910)와 유사한 방법을 사용할 수 있다. 특정 실시예에서, 가속도-제어 변환기는 가속 값에 기초해서 원하는 제어 신호를 결정하기 위해 PID(proportional integral derivative) 제어기를 포함할 수 있다. PID 제어기는 비례 계수, 적분 계수 및 미분 계수를 이용하는 종래 제어기 알고리즘을 사용해서 구현될 수도 있고 머신 학습 기반일 수도 있으며, 여기서 이들 계수는, 안전과 편안함을 고려하는 최적화 메트릭을 활용하는 ML 알고리즘(예를 들어, 머신 학습 엔진(232)에 의해 구현됨)을 사용해서, 예측된다.
5914는 하나 이상의 제어 신호를 수신하고, 차량이 이 하나 이상의 제어 신호에 응답하게 하는 임의의 적절한 가동 시스템을 나타낼 수 있다. 예를 들어, 가동 시스템은 차량의 엔진이나 모터에 공급되는 가솔린 또는 전력(또는 기타 전원)의 양, 차량의 바퀴에 적용되는 제동 압력의 정도, 차량의 하나 이상의 바퀴에 적용되는 각도의 정도를 조정할 수도 있고 또는 차량의 가속에 영향을 미칠 수 있는 임의의 다른 적절한 조정을 행할 수도 있다.
도 60은 특정 실시예에 따른 제어-가속 변환기(5910)에 대한 트레이닝 단계를 나타낸다. 이 모델에 대한 트레이닝 입력(6002)은 제어 신호에 응답해서 재연된 가속에 영향을 미칠 수 있는 임의의 적절한 정보를 포함할 수 있다. 예를 들어, 트레이닝 입력은 차량의 초기 속도, 도로 상태, 타이어 상태, 기상 상태, 바퀴 회전, 가속 페달 압력 레벨, 브레이크 페달 압력 레벨, 도로 레이아웃, 차량의 물리적 특성 또는 다른 적절한 정보의 임의의 정보를 이러한 정보의 각 세트에서 결과 가속도와 함께 적절한 정보와 함께 포함할 수 있다. 이러한 데이터는, 머신 학습 트레이닝 단계(6004) 동안에, 차량이 제어 신호 및 기타 정보(예를 들어, 세계 상태 정보, 차량의 물리적 특성)를 가속 값으로 변환하는 데 사용할 수 있는 회귀 모델(6006)을 트레이닝시키기 위해 사용될 수 있다. 다양한 실시예에서, 회귀 모델(6006)은, 많은 다양한 날씨, 도로 및 차량 상태 조건에서 차량의 클래스의 하나 이상의 차량을 사용해서 수집된 실측 자료 데이터에 대해 트레이닝된다. 다양한 실시예에서, 트레이닝은 임의의 적합한 컴퓨팅 시스템(차량 내 컴퓨팅 시스템, 클라우드 기반 시스템 또는 기타 데이터 처리 환경)에 의해 수행될 수 있다.
도 61은 특정 실시예에 따른 제어-가속 변환기(5910)의 추론 단계를 나타낸다. 추론 단계 동안, 차량과 관련된 다양한 입력(6102)이 회귀 모델(6006)에 제공되고, 이는 입력에 기초해서 예측된 가속도를 출력한다. 입력은 모델(6006)을 트레이닝하는 데 사용되는 입력 타입을 미러링할 수 있지만, 이러한 입력에 대한 실시간 값을 포함할 수도 있다. 회귀 모델(6006)은 가속 값(6104)을 출력한다.
유사한 회귀 모델이 가속-제어 변환기(5912)에 사용될 수도 있다. 유사한 입력 데이터가 모델을 트레이닝하는데 사용될 수 있지만, 추론 동안, 모델은 입력으로서 원하는 가속을 수신할 수 있고(세계 상태 및/또는 차량 상태의 실시간 값과 함께), 원하는 가속을 유발할 것으로 예측되는 제어 신호를 출력할 수도 있다.
도 62는 특정 실시예에 따른, 수용 가능한 제어 신호를 차량 가동 시스템에 제공하기 위한 흐름을 나타낸다. 6202에서, 차량으로의 사람의 입력에 응답해서 하나 이상의 제어 신호의 제 1 세트가 생성된다. 6204에서, 제어 신호의 제 1 세트가 차량의 수용 가능한 가속을 유발할 것인지에 대한 결정이 내려진다. 제어 신호가 수용 가능한 가속을 유발하는 경우에는, 6206에서 제어 신호는 변경되지 않고 차량 가동 시스템에 제공된다. 제어 신호가 수용 불가능한 가속을 유발하는 경우에는, 6208에서 수용 가능한 가속이 식별된다. 6210에서, 수용 가능한 가속은 하나 이상의 제어 신호의 제 2 세트로 변환된다. 6212에서, 하나 이상의 제어 신호의 제 1 세트 대신에 하나 이상의 제어 신호의 제 2 세트가 차량 가동 시스템에 제공된다.
자율 차량으로부터 인간에게 주행 책임을 안전하게 핸드오버하는 것 혹은 그 반대로 하는 것은 매우 중요한 태스크이다. 위에서 설명한 바와 같이, 인간으로부터 자율 차량으로 핸드오버하는 한 가지 방식은 RSS 모델 등에 기초할 수 있으며, 여기서 자율 차량은 수용 불가능한 인간 입력을 인터셉트해서 더 안전한 입력으로 대체할 수 있다.
본 개시의 다양한 실시예에서, 핸드오프 준비는 차량 센서의 전체 신호 품질의 측정에 기초할 수 있는데, 이는 이러한 측정이 발생하는 컨텍스트에 관한 것이다. 이 컨텍스트는 교통 상황(예를 들어, 고속도로 또는 번화가) 또는 기상 상태(예를 들어, 맑은 하늘, 비가 옴, 웅덩이가 있음, 블랙 아이스가 있음 등)과 같은 본 명세서에서 설명된 임의의 적합한 컨텍스트일 수 있다. 신호 품질 메트릭은 입력으로서 센서 데이터 및 컨텍스트 정보를 수신하고, 신호 품질 메트릭을 출력하는 머신 학습(ML) 알고리즘을 사용해서 결정될 수 있다. 이 신호 품질 메트릭은 차량 충돌 정보를 사용해서 트레이닝된 다른 ML 알고리즘을 사용하여 핸드오프 준비 상태를 결정하는 데 사용된다. 컨텍스트에 비추어서 신호 품질 메트릭이 신호 품질이 좋지 않다는 것을 나타내는 경우, 이러한 핸드오프가 안전하지 않을 수 있으므로 인간 운전자로부터 자율 차량으로의 핸드오프는 허용되지 않을 수 있다.
도 63은 특정 실시예에 따른 컨텍스트 모델(6308)을 구축하기 위한 트레이닝 단계를 나타낸다. 다양한 실시예에서, 컨텍스트 모델(6308)은 센서 데이터(6304) 및 컨텍스트 정보 실측 자료(6306)를 사용하여 구축된 분류 모델일 수 있다. ML 알고리즘(6302)은 센서 데이터(6304) 및 컨텍스트 정보 실측 자료(6306)에 기초해서 컨텍스트 모델(6308)을 트레이닝하기 위한 임의의 적절한 알고리즘을 나타낼 수 있다. 센서 데이터(6304)는 하나 이상의 LIDAR, 레이더, 카메라, GPS(Global Positioning System), IMU(inertial measurement unit), 오디오 센서, 적외선 센서 또는 기타 센서와 같은, 차량의 하나 이상의 센서로부터의 임의의 적절한 센서 데이터를 포함할 수 있다. ML 알고리즘(6302)은 센서 데이터(6304)의 다양한 인스턴스 및 컨텍스트 정보 실측 자료(6306)를 사용하여 컨텍스트 모델(6308)을 트레이닝시킬 수 있으며, 여기서 각 인스턴스는 센서 데이터의 세트 및 관련 컨텍스트를 포함할 수 있다. 다양한 실시예에서, 트레이닝 데이터는 실제 센서 데이터 및 관련 컨텍스트, 시뮬레이션된 데이터 및 관련 컨텍스트, 및/또는 합성 데이터 및 관련 컨텍스트(예를 들어, 본 명세서에서 설명되는 방법을 사용해서 생성된 합성 이미지로부터)를 포함할 수 있다. 특정 실시예에서, 컨텍스트는 "안개" 및 "젖은 도로"와 같이, 컨텍스트를 설명하는 하나 이상의 텍스트 키워드를 포함할 수 있지만, 본 개시에서는 컨텍스트의 임의의 적절한 표현이 고려된다.
도 64는 특정 실시예에 따른 신호 품질 메트릭 모델(6408)을 구축하기 위한 트레이닝 단계를 나타낸다. 다양한 실시예에서, 신호 품질 메트릭 모델(6408)은 센서 데이터 및 컨텍스트 정보 실측 자료를 사용하여 구축된 회귀 모델일 수 있다. 다양한 실시예에서, 센서 데이터(6404)는 센서 데이터(6304)와 동일한 센서 데이터 일 수도 있고, 적어도 부분적으로 상이할 수도 있다. 일부 실시예에서, 컨텍스트 정보 실측 자료(6406)는 컨텍스트 정보 실측 자료(6306)와 동일한 컨텍스트 정보일 수도 있고, 적어도 부분적으로 상이할 수도 있다. ML 알고리즘(6402)은 센서 데이터(6404)의 다양한 인스턴스 및 컨텍스트 정보 실측 자료(6406)를 사용하여 신호 품질 메트릭 모델(6408)을 트레이닝시킬 수 있으며, 여기서 각 인스턴스는 센서 데이터의 세트 및 관련 컨텍스트를 포함할 수 있다. 다양한 실시예에서, 트레이닝 데이터는 실제 센서 데이터 및 관련 컨텍스트, 시뮬레이션 데이터 및 관련 컨텍스트, 및/또는 합성 데이터 및 관련 컨텍스트를 포함할 수 있다. 특정 컨텍스트와 연관된 센서 데이터의 여러 상이한 인스턴스를 분석함으로써, ML 알고리즘(6402)은 특정 컨텍스트에 대한 센서 데이터(6404)의 다양한 인스턴스들의 품질을 구별하도록 신호 품질 메트릭 모델(6408)을 트레이닝시킬 수 있다. 적절한 수의 상이한 컨텍스트에 대해 유사한 트레이닝이 수행될 수 있다.
신호 품질 메트릭 모델이 트레이닝된 이후에, 센서 데이터의 인스턴스(센서 데이터의 인스턴스는 일정 기간 동안 수집된 센서 데이터를 포함함) 및 관련 컨텍스트를 수신하고, 센서 데이터 품질의 하나 이상의 표시를 출력할 수 있다. 예를 들어, 신호 품질 메트릭은 센서 데이터 인스턴스의 품질에 대한 복합 스코어를 포함할 수 있다. 다른 예에서, 신호 품질 메트릭은 복수의 타입의 센서 데이터 각각의 품질에 대한 스코어를 포함할 수 있다. 예를 들어, 신호 품질 메트릭은 카메라 데이터에 대한 스코어 및 LIDAR 데이터에 대한 스코어를 포함할 수 있다. 일부 실시예에서, 스코어는 신호 대 잡음비의 측정, 해상도의 측정, 또는 다른 적절한 타입의 품질 메트릭과 같은 다수 타입의 품질 메트릭 중 임의의 것일 수 있다. 일부 실시예에서, 신호 품질 메트릭은 다수 타입의 품질 메트릭에 대한 스코어를 포함할 수도 있고, 혹은 다수 타입의 품질 메트릭에 기초해서 단일 스코어를 포함할 수도 있다. 일부 실시예에서, 신호 품질 메트릭의 스코어는 정규화된 값(예를 들어, 0 내지 1)일 수 있다.
도 65는 특정 실시예에 따른 핸드오프 준비 모델(6508)을 구축하기 위한 트레이닝 단계를 나타낸다. 다양한 실시예에서, 핸드오프 준비 모델(6508)은 신호 품질 메트릭 정보(6504) 및 충돌 정보 실측 자료(6506)을 사용하여 구축된 분류 모델 일 수 있다.
ML 알고리즘(6502)은 신호 품질 메트릭(6504) 및 충돌 정보 기준 사실(6506)에 기초해서 핸드오프 준비 모델(6508)을 트레이닝하는 임의의 적절한 알고리즘을 나타낼 수 있다. ML 알고리즘(6502)은 신호 품질 메트릭(6504)의 다양한 인스턴스를 사용해서 컨텍스트 모델(6308)을 트레이닝할 수 있다. 트레이닝에 사용되는 인스턴스는 충돌 정보의 세트뿐만 아니라 신호 품질 메트릭을 포함할 수 있다. 충돌 정보의 세트는 신호 품질 메트릭의 특정 인스턴스와 관련된 임의의 적절한 안전 결과(outcome)를 포함할 수 있다. 예를 들어, 충돌 정보의 인스턴스는 신호 품질 메트릭에 따라 자율 차량이 운행될 때 사고가 발생했는지 여부를 나타낼 수 있다. 또 다른 예로, 충돌 정보의 인스턴스는 신호 품질 메트릭에 따라서 자율 차량이 운행될 때 사고가 거의 발생했는지 여부를 나타낼 수 있다. 또 다른 예로, 충돌 정보의 인스턴스는 자율 차량이 신호 품질 메트릭에 따라 운행될 때 사고가 발생했는지 또는 거의 발생했는지를 나타낼 수 있다(예를 들어, 거의 사고는 실제 사고와 동일하게 취급될 수 있음). 다양한 실시예에서, 트레이닝 데이터는 실제 데이터 신호 품질 메트릭 및 충돌 정보, 시뮬레이션된 데이터 신호 품질 메트릭 및 충돌 정보, 합성 데이터 신호 품질 메트릭 및 충돌 정보, 또는 이들의 조합을 포함할 수 있다.
도 66은 특정 실시예에 따른 센서 데이터(6602)에 기초해서 핸드오프 판정(6608)을 결정하기 위한 추론 단계를 나타낸다. 예를 들어, 주행 시간에 차량 내 컴퓨팅 시스템에 의해 구현될 수 있는 추론 단계에서, 센서 데이터(6602)가 수집되어 트레이닝된 컨텍스트 모델(6308)에 제공된다. 컨텍스트 모델은 센서 데이터(6308)를 분석하고 센서 데이터(6602)로부터 컨텍스트(6604)를 결정한다. 결정된 컨텍스트(6604)가 센서 데이터(6602)와 함께 신호 품질 메트릭 모델(6408)에 제공된다. 신호 품질 메트릭 모델(6408)은 센서 데이터(6602) 및 컨텍스트(6604)를 분석하고, 콘텍스트(6604)에 비추어서 센서 데이터(6602)의 품질에 기초해서 신호 품질 메트릭(6606)을 결정한다. 신호 품질 메트릭(6606)은 핸드오프 준비 모델(6508)에 제공되며, 이에 기초해서 핸드오프 판정(6608)을 결정한다. 특정 실시예에서, 핸드오프 판정(6608)은 핸드오프가 안전한지 여부의 이진 표시이다. 다른 실시예에서, 이것은 3개 이상의 가능한 결과(outcome)를 갖는 다중 클래스 판정일 수 있다. 예를 들어, 핸드오프 판정은 각각이 서로 다른 핸드오프 안전 범위를 나타내는 다수의 결과를 포함할 수 있다. 다양한 실시예에서, 차량은 핸드오프 판정(6608) 결과를 활용해서 핸드오프 여부를 결정할 수도 있고 부분 핸드오프를 수행할 수도 있으며, 예를 들어 일부 제어는 핸드오프하고 다른 제어는 핸드오프하지 않을 수 있다(예를 들어, 조향만 핸드오프하고 제동은 핸드오프하지 않거나 혹은 그 반대임).
다양한 실시예에서, 추론 단계는 주기적으로 또는 트리거에 응답해서(또는 둘 다) 수행될 수 있다. 예를 들어, 자율 차량이 주행 제어를 핸들링하는 동안, 자율 차량이 여전히 주행 제어를 안정적으로 핸들링할 수 있는지 여부를 결정하기 위해 추론 단계가 주기적으로 수행될 수 있다. 다른 예로서, 추론 단계는 제어를 차량으로 전송하라는 요청이 인간 운전자로부터 수신될 때 트리거될 수 있다. 또 다른 예로서, 추론 단계는 컨텍스트의 변화 또는 센서 데이터의 품질의 상당한 변화에 의해 트리거될 수 있다.
특정 실시예에서, 차량이 여행하는 도로에 대한 고화질맵의 가용성과 같은, 알려진 레벨의 정적 데이터에 기초한 핸드오프의 선제적 계획이 수행된다. 이러한 타입의 데이터는, 예를 들어 특정 지역에 대한 HD맵 데이터가 아직 수집되지 않았기 때문에, 차량이 주행해야 하는 특정 지역에서는 사용할 수 없다. 이러한 경우에, 시스템은 핸드오프를 선제적으로 계획하고(예를 들어, 여행 시작 이전에), 본 명세서에서 설명되는 핸드오프 기술 중 하나를 사용해서 안전한 핸드오프를 위해 미리 운전자를 준비시킬 수 있다. 특정 예에서, 핸드오프 판정을 내리기 위한 추론 단계는 HD 맵 데이터없이 한 구역으로 차량이 진입할 때(또는 진입 직전) 트리거된다. 일부 실시예에서, HD 맵 데이터의 가용성은 신호 품질 메트릭 모델(6408)에 대한 입력으로서 사용되어서 HD 맵 데이터가 이용 가능하다면 신호 품질 메트릭에 긍정적으로 영향을 미치고, 이용 가능하지 않다면 부정적으로 영향을 미친다. 일부 실시예에서, HD 맵은 기본적으로 추가 센서 입력으로서 취급된다.
다양한 실시예에서, 도 63 내지 도 66을 참조해서 설명된 ML 알고리즘 또는 모델은, 차량 내 컴퓨팅 시스템, 클라우드-기반 컴퓨팅 리소스 및/또는 포그-기반 컴퓨팅 리소스를 사용해서 또는 다른 데이터 처리 환경에서 구현되는 지원 시스템과 같은 임의의 적합한 컴퓨팅 시스템에 의해 트레이닝 혹은 수행될 수 있다.
도 67은 특정 실시예에 따른 차량의 제어를 핸드오프할지 여부를 결정하기 위한 흐름을 나타낸다. 6702에서, 차량의 컴퓨팅 시스템은 센서 데이터 및 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정한다. 6704에서, 차량 제어의 핸드오프와 관련된 안전의 가능성이 신호 품질 메트릭에 기초해서 결정된다. 6706에서 이 안전의 가능성에 따라 핸드오프는 방지되거나 혹은 시작된다.
자율 차량은, 피로, 다양한 레벨의 경고, 무드 변화 또는 다른 요인과 같은, 인간에게 부정적인 영향을 미치는 요인에 대한 이들의 면역력으로 인해서 주행 이벤트에 대해 더 양호하고 일관된 반응을 보인다는 점에서, 인간 운전자에게 보다 가능한 이점을 제공할 것으로 예상된다. 그러나, 자율 차량은 장비 고장이 발생하거나 혹은 자율 차량이 적절하게 운행할 준비가 되어 있지 않은 상황을 경험할 수 있으며(예를 들어, 자율 차량이 차량 알고리즘이 트레이닝되지 않은 새로운 특성을 가진 구역에 진입할 수 있음), 인간 운전자에게 차량을 핸드오프하거나 차량을 풀오버할 필요가 있다.
본 개시의 다양한 실시예에서, 차량을 인간 운전자에게 핸드오프하기 전에, 운전자의 상태(예를 들어, 피로도 레벨, 경보 레벨, 감정 상태 또는 기타 상태)를 분석해서, 핸드오프 프로세스의 안전을 개선할 수 있다. 최근 테스트 차량에서 보고된 다수의 사고에 의해 제안된 바와 같이, 준비되지 않은 사람에게 갑자기 제어를 핸드오프하는 것은 핸드오프하지 않는 것보다 더 위험할 수 있다.
일반적으로, 인지 시스템이 환경을 매핑하는 것에 초점을 맞추고 있고 위치 파악 시스템이 이러한 센서로부터의 데이터 및 맵 데이터에 기초해서 자아 차량의 위치를 찾는 것에 초점을 맞추고 있기 때문에, 자율 차량은 외부를 향하는 센서를 갖고 있다. 본 개시의 다양한 실시예는 운전자 상태를 추적하기 위해 하나 이상의 차량용 카메라 또는 다른 센서를 제공한다.
도 68은 특정 실시예에 따른 운전자 상태 모델(6808)에 대한 트레이닝 단계를 나타낸다. 트레이닝 단계에서, 센서 데이터(6804) 및 운전자 상태 실측 자료 데이터(6806)는 ML 알고리즘(6802)에 제공되고, 여기서 이 데이터에 기초해서 운전자 상태 모델(6808)을 트레이닝한다. 다양한 실시예에서, 운전자 상태 모델(6880)은 운전자의 상태를 묘사하는 클래스를 출력하는 분류 모델일 수 있다. 다른 실시예에서, 운전자 상태 모델(6808)은 운전자의 상태에 대한 스코어를 출력하는 회귀 모델 일 수 있다(스코어가 높을수록 더 바람직한 상태를 묘사함).
다양한 실시예에서, 센서 데이터(6804)는 임의의 적절한 센서 데이터 및/또는 센서 데이터로부터 유도된 정보를 나타낼 수 있다. 예를 들어, 센서 데이터(6804)는 차량 내부의 이미지를 캡처하는 하나 이상의 카메라로부터 수집된 이미지 데이터를 포함하거나 또는 이에 기초할 수 있다. 일부 실시예에서, 하나 이상의 카메라 또는 이 카메라에 연결된 컴퓨팅 시스템은 얼굴, 눈썹 또는 눈 움직임을 검출해서 특성을 추출하고 검출된 특성에 의해 표시되는 피로 및 경보 레벨을 추적하도록 AI 알고리즘을 구현할 수 있다.
다양한 실시예에서, 센서 데이터(6804)는 적외선 카메라로부터 수집된 하나 이상의 온도 맵을 포함하거나 혹은 이에 기초할 수 있다. 일부 실시예에서, 적외선 카메라 또는 적외선 카메라에 연결된 컴퓨팅 시스템은, 이들 온도 맵에 기초해서 운전자의 감정 상태 또는 다른 신체 상태를 추적하도록 AI 알고리즘을 구현할 수도 있다. 단지 일례로서, 인간 운전자의 체온 상승(예를 들어, 온도 맵에서 적색의 영역의 증가로 표시됨)은 불안한 상태를 나타낼 수 있다. 다양한 실시예에서, 센서 데이터(6804)는 운전대, 가속기 또는 운전석 상의 촉각 센서 또는 햅틱 센서로부터 수집된 압력 데이터를 포함하거나 이에 기초할 수 있다. 일부 실시예에서, 이러한 촉각 또는 햅틱 센서에 연결된 컴퓨팅 시스템은 이러한 압력 데이터를 분석해서 경보 레벨 또는 운전자의 다른 신체 상태를 추적하도록 AI 알고리즘을 구현할 수 있다. 다양한 실시예에서, 센서 데이터(6804)는 스마트 워치 또는 핼쓰 트래커 밴드와 같은 웨어러블로부터의 심전도(EKG) 또는 IMU(inertial measurement unit) 데이터를 포함할 수도 있고 이에 기초할 수도 있다. 이러한 웨어러블에 연결된 컴퓨팅 시스템 또는 웨어러블 자체는 AI 알고리즘을 활용해서, EKG 특성을 추출하고 운전자의 건강 상태 또는 다른 신체 상태를 추적하거나, IMU 데이터를 분석하여 경보 레벨 또는 운전자의 다른 신체 상태를 추적할 수 있다.
다양한 실시예에서, 센서 데이터(6804)는 캐빈 내 마이크로부터의 오디오 데이터를 포함하거나 이에 기초할 수 있다. 이러한 데이터는 차량의 승객이 내는 소리를 분리하도록 소음 제거 기술로 전처리될 수 있다. 예를 들어, 오디오가 차량 내 인포테인먼트 시스템에 의해 재생되는 경우, 재생되는 오디오로부터의 신호는 어떤 추가적인 처리 이전에 캐빈 내 마이크에 의해 캡처된 오디오로부터 제외될 수 있다. 원시 오디오 기능은 사용자 응답성 레벨 또는 전체 신체 상태를 측정하는 데 직접 사용될 수 있지만(예를 들어, 불분명한 말은 음주를 나타낼 수 있음), 운전자 상태를 나타내는 추가 기능으로서 사용될 수 있는 오디오 이벤트(예를 들어, 웃음, 울음, 하품, 코골이, 움찔함 또는 기타 이벤트)를 분류하는 데에도 사용될 수 있다. 분석되는 오디오 데이터는 또한, 승객이 서로 또는 차량의 인포테인먼트 시스템과 대화하는 대화로부터 검출된 음성(예를 들어, 음성은 자동 음성 인식 엔진 등에 의해 텍스트로 변환될 수 있음)을 포함할 수 있다. 예를 들어, 차량의 대화 시스템은, 운전자와 핸드오프에 대해 통신하는 것에 더해서, 임박한 핸드오프에 대한 운전자의 확인을 받는 시도를 할 수 있다. 음성은 텍스트로 변환되고 이후에 정교한 자연어 처리 파이프라인(Natural Language Processing pipeline)(또는 이와 유사한 것)에 의해 분석되어서, 화자의 의도(예를 들어, 긍정적인 확인 또는 부정적인 확인)를 분류하고, 인터렉션의 정서(예를 들어, 욕설과 같은 언어 자료에 대한 부정적인 정서)을 분석하며, 또는 논의중인 주제를 모델링한다. 이러한 출력은 이후에, 운전자 상태 추적 알고리즘에 대한 추가 특성으로서 사용될 수 있다.
차량의 상태에 관한 특성들은 또한 운전자의 현재 경보 레벨에 대한 통찰을 제공할 수 있다. 예컨대, 이러한 특성들은, 차량에서 현재 재생되고 있는 하나 이상의 미디어(예를 들어, 영화, 비디오 게임, 음악), 캐빈의 조명 레벨, 대시 보드 제어부와의 운전자 상호 작용의 정도, 창 개구부 레벨, 캐빈 내 온도 제어 시스템의 상태(예를 들어, 에어컨 또는 난방), 차량에 접속된 장치의 상태(예를 들어, Bluetooth를 통해 연결된 휴대폰) 또는 기타 차량 상태 입력 중 하나 이상을 포함할 수 있다. 이러한 특성은 운전자 상태 모델(6807)을 트레이닝시키기 위해 ML 알고리즘(6802)에 대한 입력으로서 센서 데이터(6804) 내에 포함될 수 있다.
특정 실시예에서, 활동 라벨은 활동 분류 모델에 의해 센서 데이터로부터 유도될 수 있다.예를 들어, 모델은, 운전자가 수면 중인지(예를 들어, 이미지 데이터에서 눈이 감겨 있음, 오디오 데이터에서 들리는 코골이, 체온 감소 등), 캐빈 내에서 다른 승객과 타투고 있음(예를 들어, 음성 볼륨 증가, 심장 박동 상승, 모욕이 오감), 매스꺼움(예를 들어, 마이크에 의해서 구역질하는 소리가 캡쳐되고 이미지 데이터에 표시되는 머리를 숙인 상태의 운전자가 표시됨) 또는 기타 적절한 활동을 검출할 수 있다.
다양한 실시예에서, 원시 센서 데이터는 트레이닝 알고리즘(6802)에 제공될 수 있다. 이에 더해서 혹은 이와 달리, 원시 센서 데이터에 기초한 분류가 ML 알고리즘(6802)에 제공되어 운전자 상태 모델(6880)을 트레이닝할 수 있다. 일부 실시예에서, 전술한 활동 라벨은 보다 무결한 운전자 상태 추적 결과를 위해 트레이닝 알고리즘(6802)(선택적으로는 하위 레벨 특징 및/또는 원시 센서 데이터와 함께)에 제공될 수 있다.
운전자 상태 실측 자료(6806)는 센서 데이터(6804)의 인스턴스에 대응하는 알려진 운전자 상태를 포함할 수 있다. 운전자 상태 모델(6880)이 분류 알고리즘을 구현할 때, 운전자 상태 실측 자료(6806)는 다양한 클래스의 운전자 상태를 포함할 수 있다. 운전자 상태 모델(6880)이 회귀 알고리즘을 구현할 때, 운전자 상태 실측 자료(6806)의 각 인스턴스는 운전자 상태를 나타내는 수치 스코어를 포함할 수 있다.
다양한 실시예에서, 운전자 상태 실측 자료(6806) 및 센서 데이터(6804)는 운전자에 특정될 수도 있고 혹은 다수의 상이한 운전자에 대해 집계된 데이터를 포함할 수도 있다.
도 69는 핸드오프 판정 모델(6910)에 대한 트레이닝 단계를 나타낸다. ML 트레이닝 알고리즘(6902)은 운전자 이력 데이터(6904), 운전자 상태(6906) 및 핸드오프 판정 근거(6908)를 사용해서 핸드오프 판정 모델(6910)을 트레이닝한다. 대안의 실시예에서, ML 알고리즘(6902)은 단순히 운전자 상태(6906) 및 핸드오프 판정 실측 자료(6908)을 사용해서 핸드오프 판정 모델(6910)을 트레이닝할 수 있다. 핸드오프 판정 실측 자료(6908)는 실제 이전 핸드오프 판정 및 각각의 결과(예를 들어, 충돌 또는 다른 위험한 이벤트가 발생했는지 여부)를 포함할 수 있다. 특정 실시예에서, 데이터 세트를 향상시키기 위해 핸드오프 판정 실측 자료(6908) 전부 또는 그 서브 세트가 시뮬레이션될 수 있다.
운전자 이력 데이터(6904)는 운전자의 주의 레벨을 알릴 수 있는 임의의 적절한 배경 정보를 포함할 수 있다. 예를 들어, 이력 데이터(6904)는, 음주 운전(DUI), 과거 사고, 운전자가 취한 잠재적으로 위험한 액션의 인스턴스(예를 들어, 다가오는 차량으로 방향 전환, 다른 차량의 추돌을 방지하기 위해 브레이크를 밟는 것, 요철 구간 주행 등), 운전자의 건강 상태 또는 기타 적절한 배경 정보를 포함한 운전자의 이력 데이터를 포함할 수 있다. 일부 실시예에서, 자율 차량은 운전자 ID 슬롯을 가질 수 있으며, 여기서 운전자가 특수 ID를 삽입하고 자율 차량 접속 시스템이 운전자에 대한 관련 이력 데이터를 추출한다. 운전자의 배경 정보는 임의의 다른 적절한 방법으로 획득될 수 있다.
도시된 실시예에서, 트레이닝 단계 동안, 운전자의 이력 데이터(6904)는 운전자 상태 정보(6906)와 함께 ML 알고리즘(6902)에 제공되어서 두 개 이상의 클래스를 출력하는 핸드오프 판정 모델(6910)을 구축한다. 일 실시예에서, 핸드오프 판정 모델(6910)은 핸드오프, 핸드오프 없음, 또는 단기 핸드오프의 세 가지 클래스를 출력한다. 다른 실시예에서, 핸드오프 판정 모델(6910)은 핸드오프 또는 핸드오프 없음의 두 가지 클래스를 출력한다. 또 다른 실시예에서, 클래스 중 하나는 부분 핸드오프일 수도 있다. 다양한 예로서, "핸드오프" 클래스는 핸드오프가 하이 레벨 신뢰도로 수행될 수 있다는 것을 나타낼 수 있고, "핸드오프 없음" 클래스는 낮은 레벨의 신뢰도를 나타낼 수 있으며, 차량에 의한 계속되는 제어가 바람직하지 않은 경우, 운전자가 준비가 되거나 차량이 안전 정지할 때까지 원격 모니터링 시스템으로 핸드오프가 연기되어서 차량의 제어를 인수하고; "단기 핸드오프"의 클래스는 운전자에 대한 중간 신뢰 레벨을 나타낼 수 있으며, 그 결과 일부 실시예에서 제어는 차량이 강제로 정지되는 시간 제한을 두고 운전자에게 핸드오프된다(예를 들어, 차량을 제어하거나 차량의 보관 위치를 제공할 수 있는 통신 시스템과 같은, 대기 유닛에 의해 차량은 안전하게 정지될 수 있다). 다른 실시예에서, "부분 핸드오프"는 운전자에 대한 중간 신뢰 레벨을 나타낼 수 있고, 그 결과 제어의 일부만을 운전자에게 전달할 수 있다(예를 들어, 제동 제어만 또는 조향 제어만). 일 실시예에서, "조건부 핸드오프"는 운전자에 대한 중간 신뢰 레벨을 나타낼 수 있으며, 그 결과 운전자에게 핸드오프를 전달하고, 차량이 안전하게 운행되고 있음을 보장하기 위해 운전자 액션 및/또는 사용자의 상태가 모니터될 수 있다. 이상은 가능한 핸드오프 클래스의 예시일뿐으로, 핸드오프 판정 모델(6910)은 핸드오프 클래스 또는 다른 적절한 핸드오프 클래스의 임의의 조합을 출력할 수 있다.
다양한 실시예에서, 핸드오프를 성공적으로 핸들링하는 운전자의 능력을 평가하기 위해, 차량의 외부 센서를 통해 검출된 컨텍스트가 또한 고려될 수 있다. 예를 들어, 기상 상태, 가시도 상태, 도로 상태, 교통 상황 또는 기타 상태가 핸드오프에서 요구되는 경고 레벨에 영향을 미칠 수 있다. 예를 들어, 상태가 좋지 않은 경우에는 운전자에게 핸드오프하기 전에 다른 레벨의 의식이 요구될 수 있다. 이것은 컨텍스트 정보를 머신 학습 알고리즘(6902)으로 또는 임의의 다른 적절한 방식으로 공급함으로써 구현될 수 있다.
도 70은 특정 실시예에 따른 핸드오프 판정(7008)을 결정하기 위한 추론 단계를 나타낸다. 전술한 바와 같은 센서 데이터(7002)는 운전자 상태(7004)를 출력하는 운전자 상태 모델(6908)에 제공된다. 운전자 상태(7004) 및 이력 데이터(7006)는 전술한 바와 같은 핸드오프 판정(7008) 또는 다른 적절한 핸드오프 판정을 출력하는 핸드오프 판정 모델(6910)에 제공된다. 다른 실시예에서, 핸드오프 판정 모델은 다른 인자(예를 들어, 하나 이상의 외부를 향하는 센서로부터 결정된 주행 상황의 컨텍스트)를 고려하거나 이력 데이터(7006)를 생략할 수 있다.
추론 단계는 임의의 적절한 트리거에 응답해서 수행될 수 있다. 예를 들어, 추론 단계는 차량이 수용 가능한 안전 레벨로 독립적으로 동작할 수 없다는 결정에 응답하여 수행될 수 있다. 다른 예로서, 추론 단계는 인간 운전자가 차량을 운행하는 동안 주기적으로 수행될 수 있으며, 추론 단계의 결과는 운전자가 차량을 운행하기에 적합한지 여부를 결정할 수 있다. 운전자가 운행하기에 적합하지 않으면, 차량은 주행 제어의 일부 또는 전체를 인수하거나, 운전자에게 경고를 보내거나 제공하거나, 운전자의 경고를 높이기 위한 액션을 취할 수 있다(예를 들어, 시끄러운 음악 켜기, 창문을 열고 운전석이나 운전대를 진동하거나 기타 적절한 액션).
시스템이 인간 운전자에게 핸드오프하기로 결정하면, 운전자는 임박한 핸드오프를 통지받는다. 이렇게 하기 위해서, 시스템은 여러 가능한 방식 중 하나 이상으로 운전자와 계약(engage with)될 수 있다. 예를 들어, 시스템은 운전자와 구두로 계약될 수 있다. 예를 들어, 올바른 시멘틱 및 문법을 가진 텍스트가 자연어 생성 엔진에 의해 구성된 다음 텍스트-음성 변환 엔진에 의해 합성 음성 오디오로 변환되어 핸드오프를 설명하는 구두 메시지를 생성할 수 있다. 다른 예로서, 시스템은 운전자와 물리적으로 계약될 수도 있다. 예를 들어, 운전석이나 운전대에 설치된 모터가 운전석이나 운전대를 강하게 진동시킬 수 있는데, 이 때 운전자를 놀라게 해서 사고로 이어지는 일이 없도록 운전자의 안전을 고려한다. 다른 실시예에서, 시스템은 임의의 적절한 방식으로 핸드오프를 통신해서 운전자와 계약될 수도 있다.
도 71은 특정 실시예에 따른 핸드오프 판정을 생성하기 위한 흐름을 나타낸다. 7102에서, 차량 내부에 위치된 적어도 하나의 센서로부터 센서 데이터가 수집된다. 7104에서, 센서 데이터가 분석되어서 차량 내부의 사람의 신체 상태를 결정한다. 7106에서, 사람의 신체 상태에 적어도 부분적으로 기초해서 핸드오프 판정이 생성되며, 핸드오프 판정은 사람이 차량을 안전하게 운전할 수 있을 것으로 예상되는지 여부를 나타낸다.
본 명세서에서 논의된 바와 같이, 일부 자율 주행 시스템은 자율 차량으로부터 차량의 인간 사용자에게 또는 원격 위치(예를 들어, 원격 발렛 애플리케이션에서)로 제어를 전송하는 것을 지원하는 기능이 구비될 수 있다. 일부 구현예에서, 자율 주행 시스템은, 승객 및 도로 안전을 모두 향상시킬 목적으로, 다양한 상태 및 상황에서 승객(EGO)으로부터 자율(에이전트) 자동차로 또는 그 반대로 제어를 원활하게 전달하기 위한 논리-기반 프레임워크를 채택할 수 있다. 이 프레임워크의 적어도 일부 측면은, 자율 주행 시스템의 하드웨어에 병렬 구현될 수 있다(예를 들어, FPGA, Hadoop 클러스터 등을 통해).
예를 들어, 예시적인 프레임워크는 자율 차량 또는 인간 운전자가 차량을 제어하는 것이 더 안전한 여러 상황을 고려하고 두 당사자 사이에서 이들 제어 요청을 구현하는 메커니즘을 제안할 수 있다. 예를 들어 자율 차량이 보다 안전한 주행을 위해 차량의 제어권을 되찾고자 하는 상황이 있을 수도 있다. 자율 차량에는 운전자의 의식 상태를 검지하는 데 사용될 수 있는 카메라 또는 기타 내부 센서(예를 들어, 마이크)가 장착되어서(예를 들어, 운전자가 전화 통화로 인해 산만해졌는지 또는 졸음/나른함을 느끼는지 판단), 운전자의 의식에 기초해서 제어를 인수할지 여부를 결정할 수 있다. 자율 차량은 센서 데이터(예를 들어, 카메라에서 수행되는 분석 및 차량 내부로부터의 마이크 데이터)를 분석하고, 운전자의 의식 레벨이 낮거나 또는 운전자가 안전하지 않은 것으로 간주되는 경우(예를 들어, 음주 운전, 핸즈프리 운전, 졸음 운전, 문자 메시지하면서 운전, 난폭 운전 등) 또는 자율 차량이 차량 내에서 비정상적인 활동을 검지하는 경우(예를 들어, 싸움, 비명, 또는 운전자 또는 승객의 기타 안전하지 않은 운전 거동)에, 운전자에게 제어를 요청해서 제어를 인수하는 메커니즘을 포함할 수 있다. 이러한 방식으로 자율 차량 안팎의 사람들의 안전을 높일 수 있다.
일부 구현예에서, 자율 자동차의 무단 사용을 방지하기 위해서 인증 기반(예를 들어, 생체 인식을 사용하는) 커맨드 제어가 활용될 수도 있다. 예를 들어, 일부 실시예에서, 자율 차량이 도난 당하거나 나쁜 세력의 손에 넘어갈 때, 자율 차량은 이 시나리오를 검출하고 자신이 제어되는 것을 잠글(lock) 수 있다. 예를 들어, 생체 인식(예를 들어, 지문, 음성 및 안면 인식, 운전 면허증 등)을 사용해서 자율 차량의 제어를 요청하는 사용자를 인증하는 인증 메커니즘이 자율 차량에 포함될 수도 있다. 이들 메커니즘은 자율 차량의 인증되지 않은 사용을 방지할 수 있다. 일부 경우에, 자율 차량의 사용 또는 그 측면들은 서로 다른 허가 레벨에 기초해서 제공될 수 있다. 예를 들어, 한 사용자는 어디서나 수동으로 자동차를 완전히 제어할 수 있는 반면, 다른 사용자는 특정한 지오-펜스(geo-fenced) 위치에서만 자동차를 제어할 수 있다. 다른 예로서, 일부 실시예에서, 승객은 매우 혼잡한 도로, 악천후, 파손된 센서(예를 들어, 카메라, LIDAR, 레이더 등) 등과 같은 특정 상황이 발생할 때 자율 차량의 제어를 요청할 수 있다. 요청에 응답해서, 자율 차량은 사용자의 생체 중 하나 이상에 기초해서 사용자를 인증할 수 있고, 인증된 경우, 자율 차량의 제어를 사용자에게 전달할 수 있다. 다른 예로서, 일부 실시예에서, 엔티티/사용자(예를 들어, 법 집행 기관, 응급 의료 요원, 공무원 등)가 자율 차량을 원격으로 제어하고자 할 때, 자율 차량은 제어를 엔티티/사용자로 이전하기 전에 사용자를 검증할 수 있다.
일부 실시예에서, 자율 차량의 제어는 예를 들어, 주변 자율 차량이 자율 차량이 위험하게 주행하고 있다고 생각하는 경우 또는 다른 자동차의 거동 모델의 수용 가능 범위 내에 있지 않은 경우에, 여러 주변 차량(법 집행 차량을 포함) 또는 인프라-기반 센서/제어기로 크라우드 소싱될 수 있다. 이 경우에, 제어를 요청하는 엔티티/엔티티들은 예를 들어 제어를 요청하는 사람의 생체를 통해 또는 자율 차량/인프라 센서에 대한 디지털 보안 정보(예를 들어, 디지털 인증서)에 의해 인증될 수 있다.
도 72는 적어도 하나의 실시예에 따른 상기 프레임워크의 고레벨 블록도를 나타낸다. 예를 들어, 시나리오 7202에서, 자율 차량이 안전하지 않은 주행 상태(예를 들어, 도 72에 나열된 상태 또는 기타 안전하지 않은 상태)을 검출하면(예를 들어, 자율 차량 내부의 카메라 또는 마이크 데이터를 통해), 인간 주행 모드/수동 운행 모드에서 자율 차량이 운행되고, 따라서 자율 주행 모드로 진행하기 위해 제어를 자율 차량으로 되돌린다. 이 시나리오에서, 자율 차량이 제어를 회복하기 전에 차량의 제어를 회복하도록 운전자에게 요청을 제시할 수 있다.
시나리오 7204에서, 인간 운전자가 자율 운행 모드에서 진행하는 것이 불편하다고 느끼는 상황(예를 들어, 도 72 등에 나열된 것)을 식별하는 것에 응답하는 등의 경우에, 인간 운전자는 자율 차량의 제어를 요청한다. 7205에서 자율 차량은 인증 요청을 시작하여 예를 들어, 생체 인식 또는 다른 인증 방법을 사용하여 인간 운전자를 인증할 수 있으며, 이에 응답해서, 인증이 유효한 경우, 자율 차량으로부터 인간 운전자에게 제어를 전달할 수 있다(그렇지 않으면, 자율 차량은 통제권을 유지할 것이다).
시나리오 7206에서, 법 집행관 또는 이웃 자율 차량(들)는 예를 들어, 자율 차량에 의한 안전하지 않은 주행이 관찰되었거나, 자율 차량이 도난된 것을 보고되었거나, 군중/도로 통제 목적 등을 위해 자율 차량을 이동시켜야하는 등의 이유로, 자율 차량의 제어를 요청할 수 있다. 이에 응답해서 7207에서, 자율 차량은 인증 요청을 시작하여 요청한 사람/엔티티를 인증할 수 있으며, 인증이 유효한 경우, 자율 차량으로부터 법 집행관/이웃 자율 차량(들) 제어를 전달할 수 있다(유효하지 않은 경우, 자율 차량이 제어권을 유지한다).
도 73은 적어도 하나의 실시예에 따른 자율 차량의 인수를 제어하는 예시적인 프로세스의 도면이다. 예시적인 프로세스에서의 동작은 자율 차량의 측면 또는 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스(7300)는 추가 동작 또는 상이한 동작을 포함할 수 있고, 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 73에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
7302에서, 자율 차량이 자율 모드에서 운행되고, 따라서 자율 차량이 자율 차량의 운행의 많은 측면 또는 모든 측면을 제어한다.
7304에서, 자율 차량은, 자율 차량의 제어를 인수하는 요청을 다른 엔티티로부터 수신한다. 엔티티는 자율 차량의 인간 승객/운전자, 자율 차량으로부터 이격된 사람(예를 들어, 법 집행 기관 또는 공무원), 또는 다른 자율 차량 또는 자율 차량 부근에 있는 여러 자율 차량(예를 들어, 크라우드 소싱된 제어)를 포함할 수 있다.
7306에서, 자율 차량은 제어를 요청하는 엔티티를 인증하기 위해 엔티티에 크리덴셜을 프롬프트한다. 프롬프트는 지문, 음성 인식을 위한 음성 샘플, 얼굴 인식을 위한 얼굴 샘플, 또는 다른 타입의 생체 인식과 같은 생체 인식의 프롬프트를 포함할 수 있다. 프롬프트는 사용자 이름, 암호 등과 같은 다른 타입의 크리덴셜에 대한 프롬프트를 포함할 수 있다.
7308에서, 자율 차량은 요청 엔티티로부터 입력을 수신하고, 7310에서 수신된 입력에 기초해서 엔티티가 인증되는지 여부를 결정한다. 엔티티가 인증되면 자율 차량은 인수를 허용하고, 7312에서 요청하는 엔티티에 제어를 전달한다. 엔티티가 입력에 기초해서 인증되지 않으면 자율 차량은 인수 요청을 거부하고 자율 모드 운행을 계속한다.
도 74는 적어도 하나의 실시예에 따른 자율 차량의 인수를 제어하는 다른 예시적인 프로세스의 도면이다. 예시적인 프로세스에서의 동작은 자율 차량의 측면 또는 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스(7400)는 추가 동작 또는 상이한 동작을 포함할 수 있고, 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 74에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
7402에서, 자율 차량이 수동 운행 모드/인간 주행 운행 모드로 운행되고, 이로써 사람(자율 차량 내부에 있거나 또는 자율 차량으로부터 이격된)이 자율 차량의 작동의 하나 이상의 측면을 제어한다.
7404에서, 자율 차량은 자율 차량 내부에 위치된 하나 이상의 센서로부터 센서 데이터를 수신하고, 7406에서 센서 데이터를 분석해서 인간 조작자의 입력이 안전한 것인지 여부를 결정한다. 입력이 안전하다고 결정되면, 자율 차량은 계속해서 수동 작동 모드로 운행한다. 입력이 안전하지 않은 것으로 결정되면, 7408에서 자율 차량은 인간 조작자에게 제어 인수를 요청하고, 7410에서 자율 주행 모드로 자율 차량을 운행한다.
레벨 2("L2" 또는 "L2+") 자율 차량으로부터 완전 자율성을 가진 레벨 5("L5") 자율 차량으로 이동하는 데는 수년이 걸릴 수 있으며, 자율 차량 산업은 언제 어디서나 완전한 자율성(운전자 없는) 상태에 도달할 때까지는, 책임이 인간 운전사 역할로부터 점진적으로 전환되어 가는 것을 관찰할 수 있다. 이러한 전환 단계에서 머신 제어(자율 모드)로부터 인간 제어(인간 주도 모드)로의 안전한 인수(takeover)를 구현하는 것은 중요하지만, 몇 가지 문제가 있다. 예를 들어, 잠재적인 문제 중 하나는, 자율 시스템의 요청없이 발생하는 운전자의 랜덤 개입을 제어하는 것이다. 또 다른 문제는 이벤트-주행 개입으로부터 발생한다. 자율 차량에서 발생할 수 있는 인수의 세 가지 타입은 다음과 같다.
차량의 인수 요청 : 차량이 운전자에게 인수를 요청하고, 자율 모드로부터 인간 주행 모드로 넘어가는 경우. 이는, 경우에 따라서, 자율 차량이 그 인식 시스템에 대한 새로운 상황에 직면할 때(예를 들어, 최선의 결정이 불확실할 때나 혹은 차량이 지오 펜스 지역으로부터 나올 때), 이러한 상황이 발생할 수 있다. 인간 인수를 요청하는 일반적인 방식은 하나 이상의 방식(예를 들어, 대시 보드에 메시지 팝업, 경고음 또는 운전대의 진동)을 통해서 운전자에게 경고하는 것이다. 인간 운전자가 인수를 수용하는 동안에, 예상보다 오래 걸린 인간의 반응 시간, 인간의 집중력 부족 또는 다른 이유로 인해서, 인수에 일부 미스가 발생할 수 있다.
인간 운전자에 의한 랜덤 인수 : 가능한 인수는 인간-운전자에 의해 랜덤으로(예를 들어, 차량으로부터의 요청 없이) 예측할 수 없는 이유로 발생할 수 있다. 예를 들어, 인간 운전자가 주의가 산만할 수도 있고 혹은 의도하지 않은 수면으로부터 깨어나서 부적절하게 반응할 수도 있다(정신이 온전하지 않은 상태에서 바퀴를 빠르게 제어). 다른 예로, 인간 운전자는, (예를 들어, 비행이나 혹은 중요한 이벤트를 따라잡기 위해서) 자율 모드에서 차량 속도에 만족하지 못해서 속도를 높이기 위해 황급하게 제어권을 인수할 수 있다. 이러한 타입의 랜덤 인수는, 이러한 예상치 못한 인수에 대해 주행 규칙/정책을 마련해 두는 것이 불가능하고 랜덤 인수 자체가 사고/충돌로 이어질 수 있으므로, 바람직하지 않을 수 있다.
인간에 의한 이벤트-중심의(Event-driven) 인수 : 예상치 못한 이벤트로 인해서 인간에 의해 또 다른 가능한 인수가 발생할 수 있다. 예를 들어, 운전자는 갑작스럽게 차에서 내려야 할 필요성을 느낄 수 있다(예를 들어, 밀실 공포증, 매스꺼움 등). 또 다른 예로, 인간-운전자와 함께 타고 있는 승객이 갑작스럽게 고위험 시나리오에 빠져서, 인간-운전자가 차를 인수해서 차를 정지시킬 수도 있다. 다른 예로, 인간 운전자는 주행중인 도로에서 불편함을 느껴서(예를 들어, 어둡고 낯선 도로), 더 편안하게 느끼기 위해 제어를 인수할 필요를 트리거할 수 있다. 이러한 타입의 인수는 자율 주행 모드를 예측할 수 없는 방식으로 방해할 수 있으며, 인수 자체가 사고/충돌로 이어질 수 있으므로 바람직하지 않을 수 있다. 이전 사례와 유사하게, 이러한 타입의 인수는, 이러한 예측되지 않은 인수에 대한 주행 규칙/정책을 적용하는 것이 실행 가능하지 않고, 예측되지 않은 이벤트로 인한 인수가 안전할 가능성이 없기 때문에, 바람직하지 않다.
이들 타입 중에서, 랜덤 인수 및 이벤트-중심 인수는 안전하지 않은 것으로 간주되어서, 자율 주행 시스템은 이러한 타입의 인수를 검출하고 제어하도록 특별히 구성될 수 있으며, 이는 자율 주행 모드 동안에 예측할 수 없는 거동을 방지할 수 있게 하고 더 안전한 주행을 가능하게 한다. 특정 실시예에서, 이러한 잠재적으로 안전하지 않은 인수 상황을 줄이기 위해서:
·자율 주행 인식 단계(예를 들어, 차량 내 인식 소프트웨어 스택에서 구현 됨)가, 안전하지 않은 인수를 실시간으로 검출하기 위한 소프트웨어 모듈을 포함하도록 확장될 수 있다.
·자율 주행 작동 단계(예를 들어, 차량 내 시스템에 구현된 차량 제어 소프트웨어 및 하드웨어)가, 실시간으로 검출되는 안전하지 않은 인수를 감소시키기 위한 소프트웨어 모듈을 포함하도록 확장될 수 있다.
·자율 주행 계획 단계(예를 들어, 경로 계획 서브시스템)가, 감소될 실행하기 위한 수단으로서, 승객이나 운전자가 불편하게 되는 것을 방지하기 위해서, 자율 주행 모드에 대한 잠재적인 경로 변경 또는 기타 조정을 고려하는 것을 포함하도록 확장될 수 있다.
도 75는 적어도 하나의 실시예에 따른 자율 차량에 대한 예시적인 인식, 계획 및 액션 자율 주행 파이프라인(7600)을 나타내는 도면이다. 특히, 도 75는 잠재적으로 안전하지 않은 인수를 실시간으로 검지하고 감소시키기 위한 자율 차량 인식 및 제어의 특정 고려 사항에 대한 개요를 제공한다. 인식, 계획 및 액션 파이프라인의 동작은, 자율 차량의 차량 내 제어 시스템에 의해 수행될 수 있다. 도시된 바와 같이, 예시적인 인식, 계획 및 액션 파이프라인은 검지/인식 단계, 계획 단계 및 액션/제어 단계를 포함한다.
도시된 예에서, 제어 시스템은 차량 인식 센서(예를 들어, 카메라(들), LIDAR 등) 및 차량 제어 요소(예를 들어, 운전대 센서, 브레이크/가속 페달 센서, 내부 카메라, 내부 마이크 등)을 포함한, 자율 차량에 연결된 복수의 센서로부터 센서 데이터를 수신한다. 제어 시스템은 검지/인식 단계에서 센서 데이터를 사용하여 자율 차량의 인간 운전자에 의한 안전하지 않은 인수 요청을 검출한다. 안전하지 않은 인수를 검출하는 것은, 수신한 센서 데이터의 적어도 일부에 기초할 수 있다. 예를 들어, 안전하지 않은 인수는 가속 페달, 브레이크 페달 및/또는 운전대에 연결된 센서에 기초해서 검출되어서, 인수 액션을 검지할 수 있다. 경우에 따라, 운전자의 액션(들)이 자율 차량의 제어를 인수하는 것을 검출하기 위해서 차량 내부의 카메라 및/또는 마이크가 사용될 수 있다(예를 들어, 인공 지능과 함께). 일부 실시예에서, 페달/운전대 센서로부터 및 차량 내 카메라로부터의 데이터를 서로 연관시켜서, 인간에 의한 잠재적인 인수 요청을 검출하고, 액션이 실제로 요청된 인수인지 여부를 결정할 수 있다. 예를 들어, 갑자기 깨어났거나 주의가 분산된 운전자는 제어의 랜덤 인수를 시작하지 않고, 브레이크, 가속기 또는 운전대 중 하나 이상을 가동할 수 있다.
요청된 인수가 안전하지 않다는 것을 검출한 후에, 제어 시스템은 안전하지 않은 인수 요청을 감소시킨다. 이는 예를 들어, 인간 운전자가 자율 차량을 제어할 수 없도록 인수 요청을 차단하는 것을 포함할 수 있다. 예를 들어, 운전대, 브레이크 액추에이터/페달 및 액셀러레이터 액추에이터/페달은 자율 주행 모드 동안에 잠길 수 있으며, 자율 차량이 인간에 의한 인수를 요청하는 경우에만 잠금 해제될 수 있다(이는 이하 설명되는 바와 같이 랜덤 인수 요청이 안전하다는 검출에 응답해서 행해질 수 있다). 또한, 안전하지 않은 인수 요청에 응답해서 도어는 잠긴 상태로 유지될 수 있는데, 일부 경우에 도어 잠금 해제는 차량이 정지 상태(움직이지 않음)에 있을 때만 활성화될 수 있기 때문이다.
일부 경우에, 안전하지 않은 인수 요청을 감소시키는 것은 운전자/승객의 욕구와 일치하도록 자율 주행 모드를 수정하는 것을 포함할 수 있다. 예를 들어, 제어 시스템은 운전자/승객의 편안함을 보장하고 인수 요청이 도입시킨 승객/운전자의 위험을 최소화하기 위해서, 자율 차량의 경로(예를 들어, 방향, 속도 등)의 계획을 변경할 수 있다. 일부 경우에, 제어 시스템은 인수 요청에 응답해서 인간 운전자 및/또는 승객에게 입력을 프롬프트할 수도 있고(예를 들어, 음성 프롬프트(음성 인식이 가능한 자율 차량의 경우) 및/또는 텍스트 프롬프트 사용), 또는 운전자/승객으로부터 수신한 입력에 기초한 자율 모드의 더 많은 측면을 수정할 수도 있다.
도 76은 적어도 하나의 실시예에 따른 자율 차량의 인간 운전자에 의한 인수 요청을 제어하는 예시적인 프로세스의 도면이다. 특히, 도 76은 안전하지 않은 인수 검출 및 감소 방식을 나타낸다. 예시적인 프로세스에서의 동작은 자율 차량의 구성 요소(예를 들어, 자율 차량의 제어 시스템)에 의해 수행될 수 있다. 예시적인 프로세스(7600)는 추가 동작 또는 다른 동작을 포함할 수 있으며, 동작들은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 76에 도시된 하나 이상의 동작들은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
7602에서, 자율 차량은 자율 주행 모드에서 운행되고 있다. 예를 들어, 자율 차량의 제어 시스템은 예를 들어 인식, 계획 및 거동 파이프라인을 통해 자율 차량의 작동의 하나 이상의 측면을 제어할 수 있다. 7604에서 자율 차량은 (예를 들어, 제어 시스템에 전달된 센서 데이터에 기초해서) 비정상적이거나 알지 못하는 상황이 발생할지 여부를 결정한다. 발생한다고 결정되면, 7606에서 자율 차량은 인간 운전자가 자율 차량의 제어를 인수할 것을 요청하고, 7608에서 자율 차량은 인간 운전 모드(인간 운전자가 자율 차량을 제어함)로 들어가서 운행된다. 이후, 자율 차량은 인간 주행 모드로 운행되는 동안에, 7610에, 정상적인/알려진 상태가 발생할지 여부를 결정할 수 있다. 발생한다고 결정되면, 7612에서 자율 차량은 자율 차량의 제어의 인수를 요청하거나 회복할 수 있으며, 자율 운행 모드로 다시 들어갈 수 있다. 7604에서 비정상적/알지 못하는 상황이 발생하지 않으면, 자율 차량은 자율 주행 모드에서 운행을 계속하며, 이로써 비정상적/알지 못하는 상황이 발생할지를 지속적으로 판단할 수 있다.
7614에서, 자율 차량은 인간 운전자에 의한 인수 요청을 검출한다. 인수 요청은 자율 차량에 연결된 하나 이상의 센서로부터의 센서 데이터에 기초할 수 있으며, 이는 자율 차량 내부에 위치된 센서(예를 들어, 운전대, 브레이크 액추에이터, 가속기 액추에이터 또는 내부 카메라에 연결된 센서, 또는 마이크)를 포함할 수 있다.
7616에서, 자율 차량은 인수 요청이 안전하지 않은지 여부를 결정한다. 안전하지 않다면, 자율 차량은 이에 대한 응답으로 안전하지 않은 인수 요청을 감소시킬 수 있다. 예를 들어, 7618에서, 자율 차량은 인수 요청을 차단할 수 있다. 또한, 7618에서 자율 차량은 운전자에게 입력을 프롬프트(예를 들어, 음성 인식 소프트웨어를 사용해서 운전자와 대화 가능)하고, 인수 요청의 원인 또는 비정상적인 상황에 대해 더 많이 이해할 수 있다.
7620에서, 운전자로부터 수신된 입력에 기초해서, 자율 차량은 운전자의 상황이 무엇인지 또는 운전자가 인수 요청을 시작하는 이유를 결정한다. 예를 들어 상황이 운전자나 승객에게 위험하다고 판단되는 경우(예를 들어, 비명을 지르거나, 안전하지 않은 거동 등), 경로에 대한 계획 변경이 고려되어야 할 수 있으므로, 7622에서 자율 주행 모드는 주차되도록 수정될 수 있다. 예를 들어, 운전자 및/또는 승객의 자율 주행 모드에 불편함이 있는 상황이 식별되면(예를 들어, 알 수 없는 경로/도로, 매우 어두운 환경 등), 자율 주행 모드는 운전자/승객에게 더 많은 시각적인 정보를 제공하도록 수정될 수 있고(예를 들어, (추가적인) 경로 세부 사항을 디스플레이); 자율 차량은 또한 운전자가 추가 정보를 볼 수 있도록 차량 내 조명을 조정할 수 있고, 추가 정보는 표시되어 운전자 및/또는 승객이 자율 주행 모드로 더 많은 편안함을 얻을 수 있도록 도울 수 있다(7624). 예를 들어, 상황이 속도에 대한 불만인 것으로 식별되는 경우(예를 들어, 운전자가 자율 차량의 속도를 낮추거나 높이기를 원함), 계획 단계에서 다른 속도 및/또는 경로를 고려해서 자율 차량은 속도(또는 경로)를 변경하도록 자율 주행 모드를 수정할 수 있다. 수신한 운전자 입력에 응답해서, 다른 감소 전술이 사용될 수도 있다.
자율 차량의 잠재적인 이점 중 하나는 훨씬 더 안전한 주행 환경의 가능성이다. 그러나, 자동화를 위한 에러 없는 시스템을 만들기 위한 최선의 노력에도 불구하고, 차량의 마모로 인한 기계적인, 물리적인 및/또는 전자적인 손상은 불가피한다. 이러한 손상은 자율 차량의 오작동을 유발할 수 있다.
불가피하게, 자율 차량에, 특히 센서에 손상이 발생하면, 차량의 기능이 저하될 수 있다. 자율 차량의 자동화 레벨은 도 77에 도시된 바와 같이, 인간 운전자로부터 요구되는 참여의 정도에 따라 정의된다. 자율 차량에 문제가 발생하면, 인간 승객(또는 원격 모니터링 엔티티)주행 제어를 인수해야 할 필요가 있거나 혹은 차량이 운행을 중단할 수 있다.
더욱이, 차량에 문제가 있는 경우, 이 문제가 센서의 문제인지, 프로세서 또는 메모리 오작동인지 또는 기타 하드웨어/소프트웨어 문제인지 여부에 관계없이, 사고 발생 가능성이 높아진다. 이는 인간 운전자가 차량에 대한 제어를 강제로 인수해야 하는 경우, 특히 그 운전자가 인수할 준비가 되어 있지 않은 경우에도 마찬가지이다. 차량에서 일어나는 일을 추적할 수 있는 능력은 많은 당사자에게 매우 중요할 수 있다. 예를 들어, 보험 회사, 운전자 또는 차량의 제조업체는 다양한 책임 문제와 관련해서 이익을 취할 수 있다. 또한, 차량의 설계자는 중요한 상황에서 일어나는 일을 이해함으로써 이익을 취할 수 있다.
포괄적인 인식 지도 시스템(7800)이 도 78에 도시되어 있다. 시스템(7800)은, 자율 차량의 주행 조건 및 정확도, 특히 자율 차량의 검지, 계획 및 액션 계층에 대한 지속적인 분석에 기초해서, 차량의 자율성 레벨을 지도하고 조정하기 위한 로직으로 구성된 컴퓨팅 시스템(예를 들어, 본 명세서에서 설명된 컴퓨팅 시스템의 구현 또는 서브시스템)이다. 시스템(7800)은 운전자를 모니터, 경고 및 재연계시키고(re-engaging), 인간 운전자에게 운전 제어를 안전하게 핸드오프함으로써, 자율 차량에서 발생할 수 있는 문제를 핸들링하는 멀티-레벨 스마트 메커니즘을 포함할 수 있다. 시스템(7800)은 자율 차량의 원격 지도 및/또는 제어를 허용하도록 구성될 수도 있다. 시스템(7800)은 또한 자율 차량의 자율성 레벨을 낮추는 시스템으로 간주되고, 따라서 차량의 센서 또는 부품 고장 또는 차량이 핸들링할 수 없는 다른 상황에서 사람 운전자에게 더 많이 의존할 수 있다.
시스템(7800)은 자율 차량의 자율성 레벨을 모니터할 수 있다. 또한 시스템은 자율성 레벨이 올바른지 여부를 판단할 수 있으며, 그렇지 않은 경우에는 차량의 자율성 레벨을 변경할 수 있다. 또한 변경이 필요한 경우 시스템(7800)은 운전자에게 변경을 알릴 수 있다. 시스템은 또한 변경을 원격 감시 시스템(7810)에 알릴 수 있다.
포괄적 인지 지도 시스템(C2S2)(7805)은 자율 차량의 정규 자동화 시스템의 상단에 위치할 수 있다(예를 들어, 지도할 수 있음). 일례로, 시스템(7805)은 차량의 센서(7820), 계획(7830) 및 실행(7840) 시스템의 상단에 위치한다. 일부 구현예에서, C2S2는 자율 차량의 차량 내 컴퓨팅 시스템의 상단에 배치되어서 이와 함께 기능을 수행할 수 있다. 특히, C2S2는 차량의 자율성 레벨에 영향을 미칠 수 있는 모든 시스템의 상단에 배치될 수 있다. 시스템(7805)은 또한 자율 주행 레벨 및 센서 상태(health) 모니터링의 이력을 기록할 수 있다. 수집된 데이터는 매우 간결하고 오프라인으로 액세스할 수 있으므로, 오작동이나 사고 발생시에 참조할 수 있다.
일부 예에서, C2S2(7805)는 차량의 자율성 레벨을 모니터하기 위해 실행 가능한 로직을 포함하고, 기능 보증, 품질 보증 및 안전 보증이라는 3가지 주요 모듈을 포함한다. 이러한 주요 모듈 각각은 차량에 설정된 현재 자율성 상태를 수용하거나 거부하기 위해 사전 정의된 KPI(Key Performance Indicators) 세트가 있을 수 있다. C2S2에서, 모듈 중 하나가 모니터되고 있기 때문에 자율성 레벨이 수용되지 않는다고 판단하면, C2S2는 차량의 자율성 레벨을 변경할 수 있다. 또한, 시스템은 운전자에게 변경을 통지할 것이다. 자율성 레벨을 변경하는 기능은 매우 유용할 수 있다. 예를 들어 어떤 종류의 센서 고장이 발생하면 차량의 자율성을 완전히 끄는 대신, C2S2는 자율을 완전히 제거하지 않고 자율성 레벨이 저하될 수 있다고 결정할 수 있다. 이것은 차량이 L4 레벨에서 L3 레벨로 이동한다는 것을 의미할 수 있다(예를 들어, 도 79에 도시된 바와 같이). 이러한 변경은 인간 운전자가 차량의 제어를 계약(engage)할 것을 요구하지 않을 수 있지만, 일부 실시예에서 자율성의 변화는, 운전자가 필요한 경우에 더 주의를 기울일 수 있도록, 운전자에게 전달될 수 있다.
도 78의 예를 계속해서, C2S2(7805)는 3개 시스템(센서(7820), 계획(7830) 및 실행(7840))의 3개의 주요 블록(기능 보증, 품질 보증 및 안전 보증) 각각의 KPI를 평가할 것이다. C2S2(7805)가 시스템 문제를 검출하면 자율성 레벨이 변경되어야 하는지 여부를 평가할 수 있다. 모든 문제가 자율성 레벨의 변경을 요구하는 것은 아니다. 예를 들어, 차량의 센서 중 하나에 문제가 있을 수 있다. 그러나 이 센서가 다른 센서에 대해 반복 데이터를 생성하는 경우, 차량은 현재 레벨의 자율성을 유지하는 능력을 잃지 않을 수 있다.
그러나, 다른 예에서, 센서의 문제는 문제를 일으킬 수 있다. 제조업체가 L4 레벨의 자율성을 지원하는 특정 차량을 도입했더라도, 이러한 지정은 실제로는 조건부로, 차량의 자율 기능은 시간이 지남에 따라 달라질 수 있다. 예를 들어, 센서가 고장 나거나 센서/부품 고장과 같은 시나리오에서 승객의 안전이 위협받으면, 자율성 레벨이 변경되어야 할 수 있다. C2S2(7805)는 자율성 레벨을 변경하고, 운전자와 원격 감시 시스템(7810) 모두에게 알릴 수 있다.
자율 레벨의 모니터링 및 변경 이외에도, C2S2(7805)는 원격 감시 시스템(7810)에 액션을 다시 보고할 수 있다. C2S2(7805)는 자율 레벨 변경을 보고할 수 있을 뿐만 아니라, C2S2(7805)는 모든 중요한 데이터를 원격 감시 시스템(7810)에 보고할 수 있다. 예를 들어, 자율성 레벨의 변경이 필요한 상황이나 또는 자율 차량과 관련된 사고가 발생한 상황에서도, 레벨 변경에 대한 완전한 기록 및 차량 이동, 계획, 자율 레벨 등과 관련된 데이터가 감시 시스템(7810)으로 송신되어서 저장될 수 있다. 이러한 데이터는 사고의 오류, 개선을 위한 데이터 등을 결정하는 데 유용할 수 있다. 캡처될 수 있는 모든 데이터는 원하는 경우 원격 감시 시스템(7810)으로 전송될 수 있다.
도 78에 설명된 시스템은 특정 실시예에서 발생할 수 있는 모듈을 나타낼 뿐이다. 다른 실시예는 본 명세서에서 구체적으로 언급되지 않은 추가 모듈을 포함할 수 있다. 나아가, 다른 실시예에서는 모든 모듈이 필요하지 않을 수도 있고 모듈들이 결합될 수도 있다.
자율 차량의 자율성 레벨에 따라서, 자율 차량에서 완전히 사람이 없는 주행 경험을 제공하는 것이 이상적일 수는 있지만, 차량이 운행되고 있는 동안 일부 인간 운전자와의 상호 작용이 필요할 수 있다. 이것은 특히 긴급 상황에서 인간 운전자가 제어를 인수해야 하는 경우가 될 수 있다. 이러한 상황에서, 인간 운전자에게 일반적인 핸드오프는, 성공한다면, 평균 약 3초가 소요될 수 있다. 그러나 인간은 종종 부주의하고, 쉽게 산만하며, 특정 상황에 대한 반응이 느리다. 따라서 빠르고 안전한 핸드오프를 달성하기 위해서, 차량은 자율 모드에서 운행되는 동안에 운전자의 계약을 유지하는 것이 어려울 수 있다.
따라서, 적어도 일부 상황에서, 사람은 자율 차량의 핸드오프의 정황에서 백업으로서 신뢰할 수 없을 수 있다. 사람이 신속하게 반응할 수 없는 경우, 제때에 반응할 수 없는 부주의한 운전자로 인해, 잠재적으로 위험한 상황이 더욱 악화될 수 있다. 상기 시스템의 다양한 구현예는, 자율 차량과 인간 운전자 사이의 핸드오프를 수행하는 보다 안전한 방법을 제공할 수 있다.
도 80은 L4 자율 레벨로 운행되는 자율 차량의 데이터의 아키텍처 흐름의 예를 나타낸다. 도 80의 예시적인 흐름은 검지 모듈(8010), 계획 모듈(8020), 액션 모듈(8030) 및 DBW(driver by wire) 모듈(8040)을 포함한다. 예를 들어, 검지 모듈(8010)은 다양한 인식 센서(예를 들어, 카메라, 레이더, LIDAR, GPS 등)로부터의 데이터의 처리를 담당할 수 있다. 검지 모듈(8010)은 센서(225)의 임의의 적절한 특성을 가질 수 있다. 검지 모듈에 의해 출력된 데이터는, 차량 주변의 물체를 나타내는 데이터와 함께, 차량의 모션 파라미터(예를 들어, 속도, 위치, 방향 등)를 나타낼 수 있으며, 이는 계획 모듈(8020)에 전달될 수 있다(이는 본 명세서의 다른 곳에서 논의된 것과 같은 경로 플래너 모듈(예를 들어, 242)의 임의의 적절한 특성을 가질 수 있음). 계획 모듈(8020)은 현재 상황에 기초해서 주행 중 도로에서 취해야 할 액션에 대한 관련 판정을 내릴 수 있다. 계획 모듈에 의해 내려진 판정은, DBW 모듈(8040)에 제공될 특정 차량 커맨드를 생성하기 위해, 컨트롤러를 포함할 수 있는 액션 모듈(8030)에 통신될 수 있다. 이러한 커맨드는 예를 들어 특정 조향 각도 및/또는 가속 커맨드를 포함할 수 있다. 이러한 커맨드는 DBW 모듈에 의해 실행된다. 이 흐름은 단지 예시일 뿐, 다른 흐름이 존재할 수도 있다는 점에 주의해야 한다. 나아가 차량마다 다른 레벨의 지능이 존재할 수 있다. 예를 들어, L2 등급 차량은 L4 등급 차량과는 다른 레벨의 지능을 갖는다.
현재, 도 80의 예시적인 모듈 레벨 중 하나에서 고장이 발생하거나 혹은 차량의 계획 알고리즘이 특정 주행 시나리오에서 액션을 취할 수 없는 경우, 차량은 자동으로 운전자에게 운전자가 인수해야 한다는 것을 나타내는 신호를 보낸다. 이 신호는 시각적인 것일 수도 있고, 청각적인 것일 수도 있고 또는 이들의 조합일 수도 있다. 도 81은 운전자에 대한 비디오 신호의 예를 나타낸다.
도 82는 예시적인 자율 차량 핸드오프 상황의 흐름을 나타낸다. 도시된 바와 같이, 이 흐름이 시작될 때, 8210에서 이 차량은 자율 모드에 있을 수 있다. 문제가 발견되고 자율 레벨을 변경해야 하는 경우 인수 신호가 송신된다(8220). 마지막으로, 8230에서, 자율 모드는 비활성화된다.
갑작스럽지 않은 핸드오프 프로세스는 운전자가 필요할 때 차량과 계약되는 것을 도울 것이다. 나아가, 센서가 고장난 경우, 차량이 완전히 비자율화될 필요는 없다. 단순히 자율성 레벨을 낮추는 것이 안전할 수도 있다. 예를 들어, L4 모드로 운행되는 자율 차량의 경우, 차량이 사람 운전자에게 직접 핸드오프해서 그 자율성을 차단할 필요는 없을 수 있다. 계획 알고리즘(예를 들어, 계획 모듈(8020)에 의해 수행됨)은 다수의 센서 입력에 의존한다. 자율 시스템의 신뢰성은 계획 알고리즘이 이러한 센서 입력에 기초해서 판정할 때의 정밀도로 정의된다. 모든 시스템은, 계획 모듈에서 내리는 판정의 신뢰 레벨을 정의하는 중요한 센서 입력과 중요하지 않은 센서 입력의 세트를 갖고 있다. L4 레벨 차량은 자신의 센서들(주로 중복 센서) 중 일부가 동작을 멈추면 더 이상 동일한 신뢰 레벨에서 운행될 수 없다. 예시적인 상황에서, 차량은 L4 레벨로부터 L3 레벨로 신뢰도를 간단히 다운그레이드되어 운전자로부터 더 높은 레벨의 주의를 요한다. 그러나, 운전자가 완전히 인수해서 차량이 자율 시스템을 차단할 필요는 없다.
도 83은 자율 차량의 제어를 인간 운전자에게 핸드오프하기 위한 흐름의 예를 나타낸다. 나아가, 도 83은 인간의 반응과 자율 차량의 액션 사이의 조정을 나타낸다. 이 조정은 점선으로 표시된다. 도 83의 예시적인 흐름은 자율 차량의 계획 모듈(8020)에서 발생할 수 있다. 그러나, 도 83의 흐름은 본 명세서에서 언급되지 않은 것을 포함하여 컴퓨팅 시스템의 임의의 모듈 또는 조합에 의해 수행될 수 있다는 점에 주의해야 한다.
도 83의 예는 처음에(8310) 자율 차량이 자율 모드로(이 예의 경우 L4 레벨로) 정상적으로 운행되고 있다는 것을 나타낸다. 결과적으로, 인간 운전자는 비활성 상태이다(8315). 이는 자율 차량의 높은 자율성 레벨에서 특히 그러하다.
문제가 발생하면, 차량은 시스템 오작동 경고를 보낼 수 있다(8320). 따라서 운전자는 경고를 받게 된다(8325). 이 경고는 시각적, 청각적, 전술(tactic) 또는 다른 타입의 경고일 수 있다.
운전자의 즉각적인 상호 작용이 필요할 만큼 오작동이 심각하지 않다고 판단되면, 차량은 낮은 자율 모드로 전환될 수 있다(8330). 이 예에서 차량은 L4에서 L3으로 전환되었다. 따라서 인간 운전자는 이러한 전환을 인식해서(예를 들어, 8325에 수신한 경보에 기초해서) 주행 조건에 주의를 기울일 수 있으며, 필요한 경우, 일정 시간 내에 차량의 제어를 획득할 수 있다(8335). 일부 예에서, 차량은 특정 센서 및 모니터링을 사용해서 운전자 계약을 확인할 수 있다. 예를 들어, 차량은 시선 모니터링, 햅틱 피드백, 오디오 피드백 등을 사용할 수 있다.
또 다른 에러가 있는 경우에, 차량은 다시 한 번 시스템 오작동 경고를 송신할 수 있다(8340). 다시, 운전자는 경고가 송신된 이후에 해당 경고를 받게 된다(8345).
다음으로, 자율성의 레벨이 다시 감소될 수 있다고 다시 한번 결정되면(이 예에서는 L3에서 L2로), 차량은 자율성 레벨을 다시 낮출 것이다(8350). 여기서, 대응하는 이동시에 운전자는 더욱 세심한 주의를 기울이기 시작한다(8355). 이 예에서는, 자동차가 L2 모드에 있기 때문에 인간 운전자는 지속적으로 주의를 기울인다.
만약 자동차가 다시 한번 자율성 레벨을 낮춰야 한다면, 이번에는 L1까지 운전자가 인수해야 할 것이다. 따라서, 차량은 인수 신호를 보낼 수 있다(8360). 대응하는 움직임에서, 운전자는 인수 신호를 수신할 수 있다(8370).
이제, 차량은 운전자가 차량을 제어할 수 있는지 여부를 확인할 것이다. 따라서 차량은 운전자가 제어할 때까지 대기한다(8362). 앞서 언급한 바와 같이, 차량은 모니터링 및 센서를 사용하여 운전자가 실제로 제어하고 있는지 여부를 모니터하는 것 외에도 운전자의 준비 상태를 확인할 수 있다.
일정 시간이 지난 후, 차량이 운전자가 제어를 취하지 않았다고(혹은 안전하게 제어를 취할 수 없다고) 결정하면 비상 시스템이 활성화된다(8364). 여기에는 상황에 따라 상이한 액션의 수행이 포함될 수 있다. 예를 들어, 차량을 세울 필요가 있을 수 있다. 어떤 상황에서는 차를 세워서 정차하는 것은 안전하지 않을 수 있으며, 따라서 차량이 일정 시간 동안 계속될 수 있다. 따라서 차량은 정지하기에 안전할 때까지 속도를 줄이거나 도로의 한쪽에 세울 수 있다. 비상 시스템이 활성화되면, 이에 대응해서 비상 조치 상태가 완료된다(8374).
그러나, 운전자가 인수할 수 있고 핸드오프가 성공한다면, 자율 모드는 비활성화될 수 있다(8366). 대응하는 액션에서, 운전자는 완전히 계약되어서 차량을 주행한다(8376). 조기 경보(핸드오프가 필요하기 이전에 여러 번)는 운전자로 하여금 시스템 장애가 발생하기 전에 핸드오프를 준비하도록 할 수 있으며 운전자는 인수를 피할 수 없게 된다.
자율 차량에는 비교적 짧은 시간(예를 들어, 밀리 초)에도 많은 양의 데이터를 생성하는 여러 센서가 장착될 수 있다. 이러한 시스템에 필수적인 실시간 데이터 처리 방식이라는 가정하에, 시간 T에 수집된 데이터는, 생성된 다음 데이터가 시간 T+1에 기록되기 이전에 처리되어야 한다(여기서 단위 1은 특정 센서의 최대 해상도이다). 카메라(일반적으로 초당 30 프레임으로 작동) 및 LIDAR(일반적으로 초당 20 스위프(sweep)로 작동)의 경우, 각각 33ms 해상도와 50ms가 수용 가능한 해상도로 간주될 수 있다. 따라서 빠른 결정이 바람직하다. 이벤트 또는 상황은 일정 기간 동안 일련의 기록에 의해 형성되므로, 현재 데이터 포인트와 이전 데이터 포인트에 기초한 시계열 문제에 기초해서 다양한 결정이 내려질 수 있다. 실제로, 기록된 모든 데이터를 처리하는 것이 가능하지 않을 수도 있고, 시간이 지남에 따라 기록된 데이터의 효과가 감소하는 경향이 있기 때문에, 사전 정의된 처리 기간이 고려된다.
센서 데이터의 예상되는 동작과 일치하지 않는 패턴을 검출하는 프로세스를 이상 검출(anomaly detection)이라고 한다. 이상 현상의 원인을 파악하는 것을 이상 인식(anomaly recognition)이라고 한다. 이상 인식은 여러 가지 이유에서 머신 학습 알고리즘에서 어려운 작업이다. 먼저, 머신 학습 알고리즘은 눈에 보이는 데이터(seen data)(트레이닝 단계)에 의존해서, 개체를 검출하고 인식하기 위한 예측 모델의 파라미터를 추정한다. 그러나, 이는 사전 정의된 특성이없는 드문 이벤트인 이상 현상의 특성과는 반대이다(따라서 기존 학습 데이터에 포함될 가능성이 거의 없음). 두번째로, 이상 현상의 개념은 반드시 일정하지 않으므로, 전통적인 분류 문제에서 단일 클래스로 간주되지 않을 수 있다. 세번째로, 기존 머신 학습 알고리즘의 클래스의 수는 사전 정의되어 있으며, 관련없는 입력 데이터가 수신되면, ML 알고리즘은 가장 가능성이 높은 클래스를 찾아서 그에 따라 데이터를 레이블링하고 이상이 검출되지 않을 수 있다.
본 개시의 다양한 실시예에서, 이상 검출 및 인식을 위한 머신 학습 아키텍처가 제공된다. 특정 실시예에서, 신규 클래스(예를 들어, "알 수 없음")가 리커런트 신경망(Recurrent Neural Network)에 추가되어서, 시간 기반 이상 검출이 가능하도록 모델을 향상하고, 부정확한 양성 케이스를 제거하여 이상 검출 비율을 증가시킨다. 다양한 실시예는 자율 차량에 대한 개체 검출를 포함한 다양한 애플리케이션에 적합할 수 있다. 따라서, 일 실시예에서, 아키텍처의 적어도 일부는 인식 엔진(238)에 의해 구현될 수 있다.
특정 실시예에서, 아키텍처는 GRU(Gated Recurrent Unit) 또는 LSTM(Long Short Term Memory Network) 신경망을 포함하거나 이에 기초한 하나 이상의 ML 모델을 포함할 수 있다. 도 84는 GRU 및 LSTM 아키텍처의 예를 나타낸다. 이러한 네트워크는 자연어 처리(NLP)에 널리 사용된다. GRU는 2014에서 도입되었으며, GRU는 LSTM보다 아키텍처가 더 단순하며, 최근 몇 년 동안 점점 더 많은 애플리케이션에서 사용되었다. GRU 아키텍처에서는 망각(forget) 게이트와 입력 게이트가 모두 병합되어서 "업데이트 게이트"를 형성한다. 또한 셀 상태와 은닉 상태가 결합된다.
도 85은 특정 실시예에 따른 이상 검출을 위한 시스템(8500)을 도시한다. 이상 검출기를 추가하면 시스템의 지능을 향상시켜서, 이전에 검출되지 않았던 알 수없는 상황(예를 들어, 시간 기반 이벤트)을 보고할 수 있다. LSTM 또는 GRU 아키텍처에 기초한 신규 ML 모델(여기서는 SRU(Smart Recurrent Unit) 모델(8502)이라고 함)이 제공되고 표준 LSTM 또는 GRU 모델("베이스라인 모델"(8504))과 함께 사용될 수 있다. 다양한 실시예에서, SRU 모델(8502)의 아키텍처는 베이스라인 예측기의 아키텍처와 유사할 수 있지만, 이상을 검출하도록 특별히 조정될 수 있다. 다양한 실시예에서, 시스템(8500)은 새롭게 도달하는 이상 데이터의 시퀀스를 인코딩할 수 있을뿐만 아니라(예를 들어, 시퀀스를 알려지지 않은 클래스로 인코딩), 주어진 데이터 표현을 이상 태그로 디코딩할 수 있다(예를 들어, 시간이 지남에 따라 신규 이상 클래스를 식별하고, 그에 따른 레이블을 적용). 임의의 적절한 데이터 시퀀스는 시스템(8500)에 의해 이상으로 인식될 수 있다. 예를 들어, 이상은 미지의 검출된 개체 또는 미지의 검출된 이벤트 시퀀스 일 수 있다. 다양한 실시예에서, SRU 모델을 추가하는 것은, 시스템의 지능을 향상시켜서, 이전에 시스템이 볼 수 없었던 알려지지 않은 상황(시간 기반 이벤트)을 보고할 수 있다(트레이닝 또는 테스트 단계에서). 시스템은 신규 이상 데이터 시퀀스를 인코딩하고, 레이블을 할당하여 신규 클래스를 만들 수 있다. 레이블이 생성되면 이러한 타입의 이상에 대한 주어진 데이터 표현이 디코딩될 수 있다.
시스템(8500)은 트레이닝 및 추론 단계에서 이상 이벤트를 추출하는 방식을 나타낸다. 이상 임계값(8506)은 트레이닝 단계 동안 계산되며, 여기서 네트워크는 학습, 비학습 및 이상 이벤트 사이의 경계선을 계산한다. 특정 실시예에서, 이상 임계값(8506)은 베이스라인 모델(8504) 및 SRU 모델(8502) 중 하나 또는 둘 모두에 의해 사용되는 시그모이드 전달(sigmoid transfer) 함수에 기초한다. 이상 임계값(8506)은 트레이닝 동안 SRU 모델(8502)의 파라미터를 조정하는데 사용될 수 있다.
예상되는 정상 케이스를 포함하도록 트레이닝 데이터 세트(8508)를 강화함으로써, 전체 네트워크는 알 수 없는 상황만을 이상으로 간주하는 상태로 수렴될 수 있다(따라서 이상 샘플은 트레이닝 데이터 세트에 포함될 필요가 없다). 이것은, 이상 검출기(8510)가 학습된 데이터로 상황을 정확하게 핸들링될 수 없다는 것을 인식할 때의 검출 지점이다. 트레이닝 데이터 세트(8508)는 카메라로부터의 이미지, LIDAR로부터의 포인트 클라우드, 이미지 또는 포인트 클라우드로부터 추출된 특징, 또는 다른 적절한 입력 데이터와 같은 임의의 적절한 정보를 포함할 수도 있고, 이에 기초할 수도 있다.
트레이닝 동안, 트레이닝 데이터세트(8508)는 베이스라인 모델(8504) 및 SRU 모델(8502) 모두에 제공된다. 각 모델은 예를 들어 예측된 클래스 및 예측 신뢰도(예를 들어, 분류가 정확하다고 평가된 확률을 나타냄)를 출력할 수 있다. 일부 실시예에서, 출력은, 각각이 연관된 예측 신뢰를 갖는 다수의 클래스를 포함할 수 있다. 일부 실시예에서, 예를 들어 GRU 모델에 기초해서, 출력은, 입력에 기초해서 출력이 어떻게 변화하는지를 나타내는 시계열일 수 있다. SRU 모델(8502)은 베이스라인 모델(예를 들어, 8504)보다 알려지지 않은 클래스에 더 민감할 수 있다. 에러 계산기(8512)는 베이스라인 모델(8504)의 출력과 SRU 모델(8502)의 출력 사이의 차이에 기초해서 에러를 결정할 수 있다.
추론 동안, 테스트 데이터(8514)(일부 실시예에서 자율 차량의 하나 이상의 센서로부터 수집 혹은 유도된 정보를 포함할 수 있음)가 베이스라인 모델(8504) 및 SRU 모델(8502)에 제공된다. 모델의 출력 사이의 차이가 나타내는 에러가 에러 계산기(8512)에 의해 계산된 바와 같이 상대적으로 높으면, 시스템(8500)은 그 개체에 대한 클래스가 트레이닝 데이터에 포함되지 않으며 이상이 검출되었다고 결정한다. 예를 들어, 추론 동안, 시스템은 이상 검출기(8510)를 사용해서 테스트 데이터에 대한 에러가 이상 임계값(8506) 이상인지 여부를 결정할 수 있다. 일례로, 에러가 이상 임계값(8506) 이상인 경우 이상 클래스는 개체에 할당될 수 있다.
다양한 실시예에서, 이상 검출기(8510)는 알지 못하는 클래스의 캐치올(catchall) 레이블을 개체에 할당할 수 있다. 다른 실시예에서, 이상 검출기(8510)는 개체에 특정 이상 클래스를 할당할 수 있다. 다양한 실시예에서, 이상 검출기는 다양한 개체에 다양한 이상 클래스를 할당할 수 있다. 예를 들어, 유사한 특성을 가진 제 1 복수의 개체 각각에 대해 제 1 이상 클래스가 할당되고, 유사한 특성을 갖는 복수의 제 2 개체 각각에 대해 제 2 이상 클래스가 할당될 수 있는 등이다. 일부 실시예에서, 개체 세트는 캐치올(예를 들어, 디폴트) 이상 클래스로 분류될 수 있지만, 시스템(8500)이 유사한 개체를 유사한 특성을 갖는 것으로 인식하면, 이 개체에 대해 신규 이상 클래스가 생성될 수 있다.
레이블링된 출력(8514)은 예측된 클래스(트레이닝 데이터 세트의 클래스나 이상 클래스 중 하나 일 수 있음)를 나타낸다. 다양한 실시예에서, 레이블링된 출력은 또한 예측된 클래스에 대한 예측 신뢰도를 포함할 수 있다(일부 경우에는, 이상 클래스에 대한 예측 신뢰일 수 있음).
도 86는 특정 실시예에 따른 이상을 검출하는 흐름을 도시한다. 8602에서, 이미지 데이터로부터 추출된 특징이 제 1 클래스 예측 모델 및 제 2 클래스 예측 모델에 제공된다. 8604에서, 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 출력 사이의 차이가 결정된다. 8606에서, 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 출력 사이의 차이에 기초해서 추출된 특징에 이상 클래스가 할당된다.
자율 차량들은 그 특성들이 크게 상이하다. 예를 들어 차량의 자율성 레벨은 L1에서 L5까지 다양하다. 다른 예로서 차량에는 다양한 센서가 있을 수 있다. 이러한 센서의 예에는 LIDAR, 카메라, GPS, 초음파, 레이더, 초분광(hyperspectral) 센서, 관성 측정 장치 및 본 명세서에 설명되는 기타 센서가 포함된다. 또한 차량은 장착되는 각 타입의 센서 수에 따라 다를 수 있다. 예를 들어, 어떤 차량에는 2대의 카메라가 있고, 다른 차량에는 12대의 카메라가 있을 수 있다.
나아가, 차량의 물리적 역학은 서로 상이하며, 서로 다른 제어 시스템이 장착되어 있다. 한 제조업체는 다른 제조업체와는 상이한 제어 체계를 가진 다른 차량 내 처리 시스템을 가질 수 있다. 마찬가지로, 동일한 제조업체의 다른 모델 또는 심지어 동일한 모델 차량의 다른 트림 레벨(trim level)이, 상이한 차량 내 처리 및 제어 시스템을 가질 수도 있다. 더욱이, 각각의 타입의 차량은 서로 다른 컴퓨터 비전 또는 다른 컴퓨팅 알고리즘을 구현할 수 있으며, 따라서 차량은 유사한 상황에서 서로 다르게 반응할 수 있다.
자율 차량들 사이의 간에 가능한 차이를 고려할 때(예를 들어, 자율도 레벨, 센서, 알고리즘, 처리 시스템 등), 각각의 차량의 상대적인 안전 레벨 사이에 차이가 있을 것이다. 이러한 차이는 각 차량이 주행하는 도로 부분에 따라 달라질 수 있다. 나아가, 어떤 차량은 예를 들어, 악천후와 같은 특정한 상황을 다른 차량보다 더 잘 처리할 수 있다.
현재의 자율 차량은 마주칠 수 있는 모든 상황, 특히 마주칠 수 있는 모든 타입의 상태를 핸들링할 수 있는 것은 아니기 때문에, 자율 차량이 현재 상태의 도로의 일부를 핸들링할 수 있는지 여부를 결정하는 것이 중요할 수 있다.
도 87은 일 실시예에 따른, 도로의 일부에서 차량의 자율 레벨을 제한하는 방법 8700의 예를 도시한다. 방법 8700은 자율 주행 안전 스코어를 사용하는 동적 지오 펜싱 방법으로 간주될 수 있다.
방법 8700은, 도로의 일부에 대한 도로 안전 스코어를 결정하는 단계(8710)를 포함한다. 이것은 도로의 일부에 대한 자율 주행 안전 스코어 한계를 결정하는 것을 포함할 수 있다. 이 도로 안전 스코어는 자율 차량의 안전에 중요한 주행 파라미터에 가중치를 부여하고 스코어링함으로써 계산된 단일 스코어일 수 있다. 이 스코어는 도로 영역의 현재 안전 레벨을 나타낼 수 있다. 이 스코어는 표준화된 값이 될 수 있는데, 즉 이 값은 도로의 모든 개별 자율 차량에 대해 동일하다. 일부 실시예에서, 이 안전 스코어는 동적인 것일 수 있으며, 즉 도로의 특정 영역의 현재 상태에 따라 지속적으로 변경될 수 있다. 스코어 계산에 사용할 수 있는 기준의 예에는, 기상 조건, 시간, 주행 표면 상태, 도로 상의 다른 차량 수, 도로의 자율 차량의 비율, 이 지역의 보행자 수 및 공사가 있는지 여부가 포함될 수 있지만, 이것으로 한정되지 않는다. 도로 스코어를 결정할 때, 도로의 해당 부분에서 자율 주행 차량의 안전에 영향을 미칠 수 있는 이러한 조건 또는 기타 조건 중 하나 이상이 고려될 수 있다. 일부 예에서, 스코어 기준은 전문가 그룹 및/또는 규제 기관에 의해 결정될 수 있다. 어떤 상태가 다른 상태보다 안전 스코어에 더 많이 영향을 미치도록, 기준에 가중치가 부여될 수 있다. 일례로, 안전 스코어는 0에서 100까지의 범위일 수 있지만, 임의의 숫자 세트가 사용될 수도 있고, 혹은 안전 스코어가 임의의 다른 적절한 방식으로 표현될 수도 있다.
도 88은 리스트에 있는 차도(8810)의 각 영역이 도로의 해당 부분에 대한 도로 안전 스코어(8820)를 나타내는 맵(8800)의 예를 나타낸다. 이 맵은 현재의 GPS 맵과 유사한 방식으로 차량에 의해 표시될 수 있으며, 맵에는 교통량 및 제한 속도가 표시된다. 일부 예에서, 매핑 시스템(예를 들어, 경로 플래너 모듈(242))은 센서로부터의 입력 또는 도로의 지리적 영역에 있는 다른 데이터에 기초하여 안전 스코어를 계산할 수 있다. 다른 예에서, 스코어는 차량 외부에서(예를 들어, 140 또는 150에 의해) 계산될 수 있고 스코어가 차량으로 전송된다.
방법 8700은 차량에 대한 안전 스코어를 결정하는 단계(8720)를 더 포함한다. 이 안전 스코어는 자율 차량 안전 스코어로 간주될 수 있다. 안전 스코어는 자율 차량의 상대적인 안전을 나타내는 데 사용될 수 있으며, 자동차가 자율적으로 주행할 수 있는 도로의 스코어 한계를 결정하는 데 사용될 수 있다. 도로 안전 스코어와 마찬가지로, 차량 안전 스코어는 차량의 중요한 안전 요소에 가중치를 부여함으로써 계산된 단일 스코어일 수 있다. 차량 안전 스코어에 대해 고려될 기준의 예는, 차량의 센서의 타입(예를 들어, LIDAR, 카메라, GPS, 초음파, 레이더, 초분광(hyperspectral) 센서 및 관성 측정 장치), 각 센서의 수, 센서의 품질, 차량에 의해 구현되는 주행 알고리즘의 품질, 사용 가능한 도로 매핑 데이터의 양 등을 포함할 수 있다. 각 타입의 차량에 대한 테스트는 전문가/규제 기관에 의해 수행되어서, 각 차량의 안전 스코어(또는 그 일부)를 결정할 수 있다. 일례로, 향상된 알고리즘 및 매우 다양한 센서 세트를 가진 차량은 100점 만점에 80점과 같이, 높은 스코어를 가질 수 있다. 덜 향상된 알고리즘을 갖고 있고, 더 적은 수 및 타입의 센서를 갖고 있는 다른 차량은 100점 만점에 40점과 같이 더 낮은 스코어를 가질 수 있다.
다음으로, 방법 8700은 차량 안전 스코어를 도로 안전 스코어와 비교하는 단계(8730)를 포함한다. 이 비교는 자율 차량이 도로의 주어진 부분에서 자율적으로 주행할 수 있기에 충분히 안전한지의 결정하는 것을 포함할 수 있다. 예를 들어, 도로의 안전 스코어가 95점이고 자동차의 스코어가 50점이면 도로의 해당 코스에서 자율 주행할 수 있을만큼 충분히 안전하지 않은 것으로 간주된다. 그러나, 도로의 안전 스코어가 50점 이하로 떨어지면 다시 자율 주행이 가능하게 된다. 자동차가 자율 주행하기에 충분할만큼 안전하지 않은 경우, 운전자는 운전 의무를 준수해야 하므로, 따라서 차량은 운전자에게 핸드오프를 경고할 수 있다. 일부 예에서, 자동차가 자율 주행하기에 충분할만큼 안전한지 여부를 결정하는 계층화된 방식이 있을 수 있다. 예를 들어 도로는 L5 스코어, L4 스코어 및 L3 스코어 등 여러 스코어를 가질 수 있다. 이러한 예에서 자동차 안전 스코어는 개개의 차량이 도로의 특정 부분에 대해 사용될 수 있는 자율성 레벨을 결정하는 데 사용될 수 있다. 자동차의 스코어가 50점이고 그 스코어가 L4 작동에 적합한 스코어 범위 내에 있으면, 차량은 L4 자율성 레벨로 주행될 수 있다.
마지막으로, 방법 8700은 도로의 안전하지 않은 부분으로부터 자율 차량을 방지하는 단계(8740)로 종료된다. 이것은 차량이 도로의 특정 코스에서는 자율 주행할 수 없다는 것을 차량에 경고하는 것을 포함할 수 있다. 이에 더해서 또는 이와 달리, 이것은, 운전자에게 운전 의무를 준수해야 한다는 것을 운전자에게 경고하고 운전자가 계약되면 운전 의무를 운전자에게 넘겨주는 것을 포함할 수 있다. 위에서 언급한 바와 같이, 도로가 단계별 스코어 레벨을 갖고 있는 경우, 차량의 적절한 자율도 레벨이 결정될 수 있으며, 도로의 특정 부분에서 해당 차량에 허용되는 자율성 레벨에 따라서 자율도 레벨이 저하될 것이며, 운전자가 계약해야 하거나 계약할 준비가 되어있어야 한다는 경고가 제공될 수 있다.
이미지 및 비디오 데이터는 이동 차량(예를 들어, 자동차, 버스, 기차, 드론, 지하철 등) 및 기타 운송 차량, 도로변 센서, 보행자 및 기타 소스에 의한 것과 같은, 운전 환경 내의 다양한 액터에 의해 수집될 수 있다. 이러한 이미지 및 비디오 데이터에는 종종 사람의 이미지가 포함될 수 있다. 이러한 이미지는 예를 들어 차량에 장착된 외향 이미지 캡처 장치 또는 내향 이미지 캡처 장치에 의해, 또는 다른 전자 장치 또는 네트워크로부터 차량에 일체화된 컴퓨팅 시스템으로 이미지 데이터를 전송함으로써 획득될 수 있다. 이 데이터는 특정 시점에 사람 및 그 위치를 식별하는 데 사용될 수 있으므로, 안전 문제 및 프라이버시 문제를 모두 유발할 수 있다. 이것은 이미지가 어린이 또는 기타 취약한 사람들을 묘사할 때 특히 문제가 된다.
일부 구현예에서, 예시적인 자율 주행 시스템(차량 내 자율 주행 시스템 및 클라우드 또는 포그에서 구현된 지원 시스템을 포함)은, 머신 학습 모델을 사용해서 카메라 또는 차량에 일체화되거나 혹은 차량에 부착된 기타 이미지 캡처링 장치에 의해 캡처된 이미지에 묘사된 얼굴을 위장(disguise)할 수 있다. 예시적인 실시예에서, 트레이닝된 GAN(Generative Adversarial Network)를 사용해서 단일 모델을 사용해서 다수의 도메인(예를 들어, 얼굴 속성)에 대한 이미지-이미지 변환을 수행할 수 있다. 트레이닝된 GAN 모델은, 이미지에 묘사된 알려진 얼굴로 전송되어서 알려진 얼굴을 수정(또는 위장)할 때 수정된(또는 위장된) 얼굴에서 알려진 얼굴을 식별하지 못하게 하는 얼굴 속성 또는 얼굴 속성의 조합을 선택하도록 테스트될 수 있다. 트레이닝된 GAN 모델은 선택된 얼굴 속성 또는 얼굴 속성의 조합으로 구성될 수 있다. 구성된 GAN 모델은, 차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지 또는 다른 전자 장치 또는 네트워크로부터 차량의 컴퓨팅 시스템에 의해 수신된 다른 이미지를 수신하도록 차량에 제공될 수 있다. 구성된 GAN 모델이 얼굴을 묘사하는 캡처된 또는 수신된 이미지에 적용되어서, 얼굴과 관련된 사람에 관한 정보를 드러내는 특정 속성(또는 특징)을 유지하면서도 얼굴을 위장할 수 있다. 이러한 정보는 예를 들어 이미지가 캡처되었을 때 사람의 시선 및/또는 감정을 포함할 수 있다.
모바일 차량에 구현되는 스마트 주행 시스템이 더 복잡해지고, 심지어 부분적으로 또는 완전히 자율화됨에 따라서, 이들 모바일 차량에서 수집되는 이미지 및 비디오 데이터의 양과 품질은 크게 증가되었다. 이미지 및 비디오 데이터는, 자동차, 버스, 기차, 드론, 보트, 지하철, 비행기 및 기타 운송 차량을 포함하되 이것으로 한정되는 것은 아닌 모든 타입의 모바일 차량에서 수집될 수 있다. 이동 차량에 탑재된 이미지 캡처 장치를 통해 획득된 이미지 및 비디오 데이터의 품질과 양이 증가함에 따라서, 이미지 및 비디오 데이터에 캡처되는 사람을 식별할 수 있으며, 특정 시점에서 이러한 사람의 위치와 관련된 정보를 공개할 수 있다. 이러한 정보는 안전 및 프라이버시 문제를 모두 야기하며, 캡처된 데이터에 어린이 또는 기타 취약한 개인이 포함된 경우 특히 문제가 될 수 있다.
자율 차량의 경우, 차량에 의해 수집된 이미지 및 비디오 데이터(예를 들어, 시간당 최대 5TB)를 사용해서 자율 주행 머신 학습(ML) 모델을 트레이닝할 수 있다. 이 모델은 차량 주변의 장면을 이해하고, 개체 및 보행자를 검출하며, 궤적을 예측하는 것을 목표로 한다.
일부 지역(예를 들어, 유럽 연합, 미국 내 일부 주 등)에서는 식별 정보가 보호되고, 보호되는 정보를 보유하는 모든 엔티티에 엄격한 재정적 벌금이 부과될 수도 있다. 또한, 운송 차량이 이 데이터를 지속적으로 수집하고 있다는 사실을 알면, 대중의 트러스트 및 자율 차량의 채택에 영향을 미칠 수 있으며, 서비스 차량에 대한 대중의 정서에도 부정적인 영향을 미칠 수 있다. 결과적으로, 문제가 해결되지 않으면, 이러한 사용자 프라이버시 문제는 최소한 일부 자율 차량 기술의 채택을 방해할 수 있다.
이미지 및 비디오 데이터의 프라이버시를 보호하는 한 가지 방법은 데이터의 얼굴을 블러링하거나 픽셀화하는 것이다. 블러링 및 픽셀화는 사람을 전체적으로 검출하기 위한 목적으로 기본 컴퓨터 비전 알고리즘이 사용되는 경우에 작동할 수 있지만, 이러한 방식은 사람의 시선 및 의도를 이해하는 것을 목표로 하는 최신 알고리즘에 대해서는 작동하지 않는다. 이러한 정보는, 예를 들어, 자율 차량이 보행자를 만나고 보행자가 무엇을 하게 될지(예를 들어, 횡단 보도에 들어감, 신호가 바뀔 때까지 대기 등)를 예측해서 반응(예를 들어, 감속, 정지, 경적 울리기, 정상적으로 계속 등)을 결정할 때 특히 유용하고, 심지어 필요할 수 있다. 보행자의 시선 및 의도는 차량에 내장된 "지능"을 높이기 위해 점점 더 연구되고 있다. 지능 알고리즘은 보행자의 얼굴에서 시선 및 의도를 검출해서, 보행자 궤적을 예측하여 사고를 방지하는 것을 목표로 한다. 예를 들어, 휴대 전화를 바라보는 보행자는 차량을 직접 바라보는 다른 보행자보다 지나가는 차량을 놓칠 가능성이 높다. 머신 학습 알고리즘은 시선을 예측하기 위해 얼굴에서 일부 랜드 마크를 추출해야 한다. 얼굴을 블러링하거나 픽셀화하면 이 작업은 실용적이지 않게 된다.
도 89에 도시된 바와 같이 통신 시스템(8900)은 전술한 많은 문제(및 그 이상)를 해결한다. 적어도 하나의 실시예에서, 프라이버시 컴퓨터 비전 시스템은 GAN(Generative Adversarial Network)을 사용해서 데이터의 유용성을 유지하고 컴퓨터 비전 능력에 최소한의 영향을 미치면서 컴퓨터 비전 애플리케이션에서 프라이버시를 유지한다. GAN은 일반적으로 본 명세서에서 "생성기"(또는 "생성 모델") 및 "판별기"(또는 "판별 모델")로 지칭될 수 있는 2개의 신경망으로 구성된다. 생성기는 하나의 (실제) 데이터 세트로부터 학습하고, 트레이닝 데이터 세트와 유사한 신규 데이터를 생성하는 시도를 한다. 판별기는 신규 데이터(생성기에 의해 생성된)와 실제 데이터를 구별하는 시도를 한다. 이 생성기의 목표는 실제 데이터 분포로부터 나온 것처럼 보이는 신규 합성 인스턴스를 생성하여 판별 네트워크의 에러율을 높이는 것이다(예를 들어, 판별 네트워크를 "기만(fool)").
적어도 하나의 실시예는 얼굴 속성 전달을 전문으로 하는 사전 트레이닝된 GAN 모델을 사용할 수 있다. 통신 시스템(8900)에서, 사전 트레이닝된 GAN 모델은, 차량의 컴퓨터 비전 성능의 일부일 수 있는 다른 머신 학습 성능이 요구하는 얼굴 속성은 유지하면서, 실제 사람 이미지의 얼굴 속성을 이 얼굴 속성의 변형(variation)으로 대체하는 데 사용할 수 있다. 일반적으로 GAN 모델은 얼굴을 묘사하는 입력 이미지(예를 들어, 실제 사람 얼굴의 디지털 이미지)를 처리해서, 속성의 수정 또는 변형이 있는 얼굴을 묘사하는 신규 이미지를 생성하도록, 사전 트레이닝된다. 본 명세서에서는 이 신규 이미지를 '위장된(disguised)' 얼굴 또는 '페이크' 얼굴이라고 한다. 통신 시스템(8900)은, 입력 이미지를 수정하는 데 사용되는 속성 또는 특징을 제어하도록, 하나 이상의 선택된 도메인 속성(예를 들어, 연령, 성별)으로 사전 트레이닝된 GAN 모델을 구성할 수 있다.
구성된 GAN 모델은, 보행자, 다른 차량 운영자, 승객 또는 차량의 특정 범위 내에 있는 다른 개인의 이미지를 캡처하기 위한 하나 이상의 이미지 캡처 장치를 구비한 차량에 프로비저닝될 수 있다. 차량의 이미지 캡처 장치 중 하나에 의해 사람의 이미지가 캡처되면, 이 이미지는 구성된 GAN 모델에 의해 처리하기 위해 준비될 수 있다. 처리는 예를 들어 이미지 크기 조정, 이미지에 묘사된 얼굴 검출 및 얼굴 정렬을 포함할 수 있다. 처리된 이미지는, 사전 구성된 도메인 속성(예를 들어, 나이, 성별)에 기초해서 이미지에 묘사된 얼굴을 수정하는, 미리 구성된 GAN 모델에 제공될 수 있다. GAN 모델의 생성기는 수정 혹은 위장된 얼굴을 묘사하는 신규 이미지를 생성하고, 얼굴이 위장된 사람의 식별 정보는 공개하지 않으면서 정보 수집 또는 기타 목적을 위해, 다른 차량 컴퓨터 비전 애플리케이션 및/또는 데이터 수집 저장소(예를 들어, 클라우드)에 제공한다. 본 명세서에서 GAN 모델에 의해 생성되는 신규 이미지를 '위장 이미지' 및 '페이크 이미지'라고 한다.
통신 시스템(8900)은 몇 가지 예시적인 잠재적 이점을 제공할 수 있다. 자율 차량 기술에 대해 예상되는 지속적인 성장은, 일상적인 사용에서 엄청난 양의 식별 가능 이미지를 생성할 가능성이 높다. 본 명세서에 설명되는 실시예는 데이터의 이용 가능성은 유지하고 컴퓨터 비전 능력에 최소한의 영향을 미치면서 개인을 촬영하는 프라이버시 문제를 해결한다. 특히, 본 명세서의 실시예는 차량에 구현된 다른 컴퓨터 비전 성능에 필요한 얼굴 속성은 보존하면서도 사람의 얼굴 이미지는 인식할 수 없게 할 수 있다. 사용자 프라이버시는 사회적 및 법적 영향을 모두 가질 수 있다. 예를 들어, 실시간으로 캡처된 이미지에 내재된 사용자 프라이버시 문제를 해결하지 않으면 컴퓨터 비전 기능의 채택이 방해받을 수 있다. 본 명세서의 실시예는 자율 차량(및 이미지 캡처 장치가 있는 기타 차량)의 사용자 프라이버시 문제를 완화시키기 때문에, 실시예는 자율 차량에 대한 트러스트를 높이고 기술 채택을 촉진할 뿐만 아니라 차량 제조 업체, 차량 소유자 및 무선 서비스 제공 업체가 많은 수의 연방 프라이버시 규정, 주 프라이버시 규정 및/또는 지역 프라이버시 규정을 준수하게 할 수 있다.
도 89을 참조하면, 도 89은 본 명세서에서 설명되는 적어도 하나의 실시예에 따른 차량의 컴퓨터 비전 시스템에서 프라이버시를 보호하기 위한 통신 시스템(8900)을 예시한다. 통신 시스템(8900)은 GAN(Generative Adversarial Network) 구성 시스템(8910), 데이터 수집 시스템(8940) 및 차량(8950)을 포함한다. 네트워크(8905)와 같은 하나 이상의 네트워크는 차량(8950)과 GAN 구성 시스템(8910) 사이 및 차량(8950)과 데이터 수집 시스템(8940) 사이의 통신을 용이하게 할 수 있다.
GAN 구성 시스템(8910)은 생성기(8922) 및 판별기(8924)를 가진 GAN 모델(8920)을 포함한다. GAN 모델(8920)은 선택된 타깃 도메인으로 구성될 수 있으며, 결과적으로 생성기(8932), 판별기(8934) 및 타깃 도메인(8936)으로 구성된 GAN 모델(8930)이 생성된다. GAN 모델(8920)은 또한 프로세서(8937) 및 메모리(8939)를 포함하지만 반드시 이것으로 한정되는 것은 아닌 적절한 하드웨어 구성 요소를 포함하며, 이는 수많은 상이한 실시예에서 실현될 수 있다.
구성된 GAN 모델은 차량(8950)과 같은 차량에 프로비저닝될 수 있다. 적어도 일 실시예에서, 구성된 GAN 모델은 차량의 프라이버시-보호 컴퓨터 비전 시스템(8955)의 일부로서 프로비저닝될 수 있다. 차량(8950)은 또한 보행자(8902), 다른 운전자, 승객 및 차량에 근접한 다른 사람과 같은 보행자의 이미지(예를 들어, 디지털 사진)를 캡처하기 위한 이미지 캡처 장치(8954)와 같은 하나 이상의 이미지 캡처 장치를 포함할 수 있다. 컴퓨터 비전 시스템(8955)은 또한 구성된 GAN 모델(8930)로부터 위장 이미지를 처리하기 위한 애플리케이션(8956)을 포함하여, 이미지의 평가를 수행하고 특정 구현에 기초해서 적절한 조치(예를 들어, 자율 차량에 대한 운전 반응, 운전자에게 경고 송신 등)를 수행할 수 있다. 비한정의 예로서 프로세서(8957) 및 메모리(8959)를 포함하는 적절한 하드웨어 구성 요소가 차량(8950)에 제공되며, 이는 다수의 상이한 실시예에서 실현될 수 있다.
도 90a 및 도 90b는 디지털 이미지에 묘사된 얼굴에 대한 얼굴 속성 전달에 영향을 미치기 위해 본 명세서에 설명된 실시예에서 사용될 수 있는 GAN 모델(예를 들어, 9020)을 생성하기 위한 GAN(Generative Adversarial Network)에 대한 예시적인 머신 학습 단계를 예시한다.
도 90a에는, 판별기(8924)에 대한 초기 트레이닝 단계가 도시되어 있다. 일례로, 판별기(8924)는, 이미지를 처리하고 그 이미지를 실제로 또는 페이크로 분류하는 것을 학습하는 표준 컨볼루션 CNN(standard convolutional neural network)일 수 있다. 트레이닝 데이터(9010)는 실제 이미지(9012) 및 페이크 이미지(9014)를 포함할 수 있다. 실제 이미지(9012)는 인간의 얼굴을 묘사하고, 페이크 이미지(9014)는 인간의 얼굴 이외의 것을 묘사한다. 트레이닝 데이터는 판별기(8924)에 공급되어서 딥 러닝을 적용해서 이미지를 실제 얼굴 또는 페이크 얼굴로 분류하는 것을 학습한다(예를 들어, 컨볼루션 신경망을 통해).
판별기가 인간 얼굴의 이미지를 실제로 또는 페이크로 분류하도록 트레이닝되면, GAN은 도 90b와 같이 트레이닝될 수 있다. 일 예에서, 생성기(8922)는 디컨볼루션(또는 역 컨볼루션) 신경망일 수 있다. 생성기(8922)는 입력 이미지(9022)로부터 입력 이미지를 취해서, 타깃 도메인(9024)에 기초하여 얼굴 속성 전송을 수행함으로써 위장된(또는 페이크) 이미지로 변환한다. 적어도 하나의 실시예에서, 도메인 속성은 공간적으로 복제되고 입력 이미지와 연결된다. 생성기(8922)는 판별기에 의해 실제 이미지와 구별될 수 없는 페이크 이미지(9026)를 생성하려고 시도한다.
판별기(8924)는 도 90a에 도시된 바와 같이 실제 또는 페이크 인간 얼굴을 인식하도록 트레이닝되고, 페이크 이미지(9026)를 수신하고 이를 "실제" 또는 "페이크"로 분류하기 위해 컨볼루션 연산을 페이크 이미지에 적용한다. 처음에는, 생성기는 고손실의 페이크 이미지를 생성할 수 있다. 생성기 손실의 역 전파(backpropagation)가 사용되어서, 생성기의 가중치 및 바이어스를 업데이트해서 트레이닝이 계속됨에 따라 보다 사실적인 이미지를 생성할 수 있다. 페이크 이미지가 판별기를 "실제"인 것처럼 분류하도록 "기만(trick)"하면, 역전파가 사용되어서 판별기의 가중치와 바이어스를 업데이트해서, "실제" 사람의 얼굴을 "페이크"(예를 들어, 생성기에 의해 생성됨) 인간의 얼굴과 더 정확하게 구분한다. 페이크 이미지의 임계값 비율이 판별기에 의해 실제로 분류될 때까지, 도 90b에 도시된 바와 같이 계속 트레이닝될 수 있다.
도 29는 적어도 하나의 실시예에 따른 GAN 구성 시스템(8910)의 추가적인 가능한 구성 요소 및 동작 세부 사항을 나타낸다. GAN 구성 시스템(8910)에서, 타깃 도메인은 GAN 모델(8920)을 구성하기 위해 식별되고 사용될 수 있다. 타깃 도메인은 입력 이미지에 묘사된 얼굴을 수정하기 위해 GAN 모델에 의해 사용될 하나 이상의 속성을 나타낸다. 타깃 도메인에 없는 특정한 다른 속성은 수정되지 않으므로, GAN 모델의 생성기(8922)에 의해 생성된 위장 이미지에 보존된다. 예를 들어, 차량 기술에서는, 보존할 필요가 있는 속성으로는, 얼굴이 나타내는 사람의 의도를 나타낼 수 있는 시선 속성을 포함한다. 사람의 시선과 추론된 의도에 따라 사람의 궤적을 결정할 수 있다. 차량 기술에 유용할 수 있는 또 다른 속성은 감정이다. 캡처된 이미지에서 얼굴이 나타내는 감정은 얼굴이 나타내는 사람이 특정 시간에 어떤 감정을 경험하고 있는지 여부를 나타낼 수 있다(예를 들어, 차량 공유(ride-sharing) 서비스의 승객이 만족하는지 여부, 다른 차량의 운전자가 운전자 폭행의 징후를 보이는지, 보행자가 두려워하거나 동요하는지 등). 어떤 얼굴 속성도 보존될 수 있지만, 설명의 편의를 위해, 도 91에 도시된 GAN 구성 시스템(8910)은, 얼굴의 다른 식별 특성을 유지할 필요없이 얼굴의 시선 및 감정 속성을 변경하지 않고 남겨두는 최적의 타깃 도메인으로 GAN 모델(8920)을 구성하는 것과 관련하여 설명될 것이다.
적어도 하나의 실시예에서, 이미지 변환에 사용되는 타깃 도메인은 얼굴의 시선 및/또는 감정을 유지하면서 최대 신원 위장을 달성하는 것으로 선택될 수 있다. 예를 들어, 최적의 타깃 도메인은 원본 이미지와 같은 또는 원본 이미지와 실질적으로 유사한 시선 및 감정 표현은 유지하면서 사람을 인식할 확률은 최소화시키는 하나 이상의 속성을 나타낼 수 있다. 도 91는 최적의 타깃 도메인을 결정하기 위한 하나의 가능한 실시예를 나타낸다.
GAN 구성 시스템(8910)은 GAN 모델(8920), 속성 검출 엔진(8917)(예를 들어, 감정 검출 모듈 및/또는 시선 검출 모듈) 및 얼굴 인식 엔진(8918)을 포함한다. GAN 모델(8920)은 이미지에 묘사된 얼굴을 수정해서, 하나 이상의 얼굴 속성을 얼굴에 전달함으로써 신규 위장 이미지(예를 들어, 위장 이미지(9116))를 생성하도록 사전 트레이닝된다. 전송된 특정한 얼굴 속성은 GAN 모델의 생성기에 제공되는 선택된 타깃 도메인(9114)에 기초한다. 예를 들어 StarGAN, IcGAN, DIAT 또는 CycleGAN을 포함한, 임의의 수의 적합한 GAN 모델이 사용될 수 있다.
원하는 얼굴 속성(예를 들어, 시선 및 의도, 감정)은 동시에 보존하면서 얼굴을 익명화(anonymiz)하도록 최적의 타깃 도메인으로 GAN 모델(8920)을 구성하기 위해, 선택된 타깃 도메인(9114)과 함께 테스트 이미지(9112)가 GAN 모델(8920)의 생성기(8922)에 공급될 수 있다. 주어진 테스트 이미지에 대해, 생성기(8922)는 위장 이미지(예를 들어, 위장 이미지(9116))를 생성할 수 있으며, 여기서 선택된 타깃 도메인(9114)에 대응하는 테스트 이미지의 속성이 수정된다. 예를 들어 선택된 타깃 도메인이 "고령" 및 "성별"에 대한 속성 식별자를 포함하는 경우, 위장 이미지에 묘사된 얼굴은 더 연로하며 반대 성별로 보이도록 테스트 이미지로부터 수정된다. 그러나, 시선 및 감정과 같은 얼굴의 다른 속성은 변경되지 않거나 최소한 최소한으로 변경된다.
적어도 하나의 실시예에서, 위장 이미지(9116)에서 원하는 속성이 여전히 검출 가능한지를 평가하기 위해 속성 검출 엔진(8917)이 제공될 수 있다. 예를 들어, 감정 검출기 모듈은 위장 이미지를 평가해서 위장 이미지에 묘사된 수정된 얼굴에서 검출된 감정이 테스트 이미지(예를 들어, 9112)에 묘사된 해당 실제 얼굴에서 검출된 감정과 동일한지(또는 실질적으로 동일한지) 여부를 결정할 수 있다. 또 다른 예에서, 시선 검출기 모듈은 위장 이미지를 평가해서, 위장 이미지에 묘사된 수정된 얼굴에서 검출된 시선이 테스트 이미지에 묘사된 해당 실제 이미지에서 검출된 시선과 동일한 지(또는 실질적으로 동일한 지) 여부를 결정할 수 있다. 따라서, 적어도 일부 실시예에서, 테스트 이미지(9112) 또는 테스트 이미지에 표시된 속성(예를 들어, 행복, 화남, 산만함, 시선 방향 등)을 명시하는 레이블이 속성 검출 엔진(8917)에 제공되어서 비교를 행할 수 있다. 다른 원하는 속성은 또한 위장 이미지에서 검출 가능한지 여부를 결정하기 위해 평가될 수 있다. 원하는 하나 이상의 속성(예를 들어, 감정, 시선)이 검출되지 않으면, 생성기(8922)에 대한 입력을 위해 신규 속성 또는 신규 속성 세트를 나타내는 신규 타깃 도메인이 선택될 수 있다. 그러나, 위장 이미지는 위장 얼굴이 인식 가능한지 여부를 결정하기 위해 얼굴 인식 엔진(8918)에 공급될 수 있다.
얼굴 인식 엔진(8918)은, 선택된 사람들 그룹(예를 들어, 유명인 그룹)을 인식하도록 구성 혹은 트레이닝된 임의의 적절한 얼굴 인식 소프트웨어일 수 있다. 예를 들어, Celebrity Endpoint는 1만명 이상의 유명인을 검출할 수 있는 얼굴 인식 엔진로, 본 명세서에 설명된 하나 이상의 테스트 시나리오에서 사용될 수 있으며, 여기서 테스트 이미지(9112)는 Celebrity Endpoint에 의해 인식될 수 있는 유명인의 이미지이다. 적어도 하나의 시나리오에서, GAN 모델(8920)이 테스트 이미지(9112)를 처리하기 전에, 이들 테스트 이미지는 얼굴 인식 엔진(8918)에 의해 처리되어 얼굴 인식 엔진에 의해 인식될 수 있다는 것을 보장할 수 있다. 다른 시나리오에서, 얼굴 인식 엔진(8918)에 의해 인식될 수 있는 특정 이미지는 테스트 이미지(9112)로서 사용하기 위해 GAN 구성 시스템(8910)에 액세스할 수 있다.
위장 이미지가 생성되면(그리고 원하는 속성이 위장 이미지에서 여전히 검출 가능), 위장 이미지는 얼굴 인식 엔진(8918)에 공급되어 위장 이미지로부터 사람을 식별할 수 있는지 여부를 결정할 수 있다. 얼굴 인식 엔진이 위장 이미지에서 사람을 인식하면, 생성기는 얼굴을 충분히 익명화하지 않은 것이다. 따라서, 생성기(8922)로의 입력을 위해 신규 속성 또는 신규 속성 세트를 나타내는 신규 타깃 도메인이 선택될 수 있다. 그러나, 얼굴 인식 엔진이 위장 이미지로부터 사람을 인식하지 못하는 경우, 위장 이미지를 생성하는데 사용된 선택된 타깃 도메인은 원하는 속성은 유지하면서 얼굴을 성공적으로 익명화한 것으로 결정된다. 적어도 하나의 실시예에서, 이미지의 임계 수(또는 백분율)가 원하는 속성이 보존되고 성공적으로 익명화되면, 이미지를 성공적으로 익명화한 선택된 타깃 도메인이 GAN 모델(8920)을 구성하는 데 사용될 수 있다. 일례로, 선택된 타깃 도메인은 자율 차량의 실시간 운용에 사용하기 위해 GAN 모델(8920)의 타깃 도메인으로 설정될 수 있다.
GAN 구성 시스템(8910)의 활동 중 일부는 사용자 동작에 의해 수행되거나 자동화될 수 있다는 것이 자명하다. 예를 들어, 최적의 타깃 도메인으로 GAN 모델을 구성하는 태스크를 행하는 사용자에 의해, GAN 모델(8920)로의 입력을 위해 신규 타깃 도메인이 선택될 수 있다. 다른 시나리오에서는, 타깃 도메인은 자동으로 선택될 수 있다. 또한, 위장 이미지와 테스트 이미지를 시각적으로 비교할 수 있지만, 이러한 수작업은, 위장 이미지가 컴퓨터 비전 애플리케이션에서 유용하도록 이미지에 묘사된 인물의 신원이 충분히 위장되었는지 여부와 원하는 속성이 충분히 보존되었는지 여부를 결정하는 효율성과 정확도를 크게 떨어뜨릴 수 있다.
도 92은 StarGAN 기반 모델을 사용해서 입력 이미지(9202)의 다른 얼굴 속성을 수정함으로써 생성된 예시적인 위장된 이미지(9204)를 나타낸다. 입력 이미지(3002)를 수정하는 데 사용되는 속성은 머리 색(예를 들어, 검은 머리, 금발, 갈색 머리) 및 성별(예를 들어, 남성, 여성)을 포함한다. StarGAN 기반 모델은 나이(예를 들어, 연로해 보임) 및 피부색(예를 들어, 창백, 갈색, 올리브 등)과 같은 다른 수정된 속성으로 이미지를 생성하는 데 사용할 수도 있다. 나아가, 이러한 속성의 조합은 H+G(예를 들어, 머리색 및 성별), H+A(예를 들어, 머리색 및 연령), G+A(예를 들어, 성별 및 연령), H+G+A(예를 들어, 머리색, 성별, 나이)를 포함해서, 이미지를 수정하는데도 사용될 수 있다. 다른 기존 GAN 모델은 재구성(예를 들어, 얼굴 구조의 변경), 대머리, 앞머리, 안경, 짙은 화장 및 미소와 같은 속성의 수정을 제공할 수 있다. 이들 속성 변환 중 하나 이상이 테스트 이미지에 적용될 수 있으며, 변환된(또는 위장된 이미지)는 평가되어서, 본 명세서에서 이전에 설명된 바와 같이 차량에서 사용하기 위한 GAN 모델을 구성하는 데 사용될 최적의 타깃 도메인을 결정할 수 있다.
도 93은 실제 얼굴의 입력 이미지(9302)로부터 StarGAN 기반 모델에 의해 생성된 예시적인 위장 이미지(9304), 및 실제 이미지와 위장 이미지를 평가하는 얼굴 인식 엔진(예를 들어, 8918)의 결과를 나타낸다. 위장 이미지(9304)는 입력 이미지(9302)의 상이한 얼굴 속성을 변경함으로써 생성된다. 이 예에서 입력 이미지(9302)를 수정하는데 사용되는 속성은 검은 머리, 금발, 갈색 머리 및 성별(예를 들어, 남성)을 포함한다. 얼굴 인식 엔진의 사용은 GAN 모델로부터 생성된 이미지가 얼굴을 익명화하는 방법을 나타낸다. 예를 들어, 얼굴 인식 엔진은, 유명인을 인식한다. 따라서 얼굴 인식 엔진에서 비유명인 입력 이미지가 처리되는 경우, 입력 이미지는 인식되지 않거나 비유명인 입력 이미지를 잘못 식별할 가능성이 있다. 도 93에 도시된 얼굴 인식 엔진의 결과(9306)는 입력 이미지(9302)로 표현된 사람이, 얼굴 인식 엔진이 인식하도록 트레이닝된 유명인이 아니라는 것을 나타낸다. 그러나, 얼굴 인식 엔진은 위장 이미지(9304) 중 일부를 잘못 식별한다. 예를 들어, 결과(9306)는 검은 머리의 위장 이미지는 여성 유명인 1로 인식되고, 성별 플립이 있는 위장 이미지는 남성 유명인 2로 인식된다는 것을 나타낸다. 또한, 성별이 변경되면, 얼굴 인식 엔진은 사람을 다른 성별로 묘사하도록 위장 이미지를 인식해서, 실제 인물의 프라이버시를 강화한다는 점에 주목한다.
다른 테스트 시나리오에서, 입력 이미지는 얼굴 인식 엔진이 인식할 수 있는 유명인을 포함할 수 있다. 이러한 유명인의 입력 이미지는 GAN 모델을 통해 공급되고 선택된 타깃 도메인에 기초해서 위장될 수 있다. 최적의 타깃 도메인은, 본 명세서에서 전술한 바와 같이, 얼굴 인식 엔진이 임계 수의 위장 이미지를 인식하지 못하는 것 및/또는 임계 수의 위장 이미지를 잘못 인식하는 것에 기초해서 식별될 수 있다.
도 94a는 StarGAN 기반 모델에 의해 실제 얼굴의 입력 이미지(9402)로부터 생성된 예시적인 위장된 이미지(9404) 및 실제 이미지와 위장 이미지를 평가하는 감정 검출 엔진의 결과를 도시한다. 위장 이미지(9404)는 입력 이미지(9402)의 상이한 얼굴 속성을 변경함으로써 생성된다. 입력 이미지(9402)를 수정하는 데 사용되는 속성은 검은 머리, 금발, 갈색 머리 및 성별(예를 들어, 남성)을 포함한다. 도 94a는 또한 감정 검출 엔진의 예시적인 결과(9408A~9408E)를 나타낸다. 한가지 예시적인 감정 검출 엔진은 이미지의 얼굴 표정을 입력으로서 취하고 얼굴 표정에서 감정을 검출할 수 있다. 결과(9408A~9408E)에서 볼 수 있듯이, 검은 머리의 위장 이미지에 대한 결과(9408B)에서 최소 분노가 검출되는 것, 및 성별이 반대인 위장 이미지에 대한 결과(9408E)에서 최소 분노 및 놀라움이 검출되는 것을 제외하면, 분노, 경멸, 혐오, 공포, 무표정, 슬픔 및 놀라움의 감정은 감정 검출 엔진에 의해 검출되지 않는다. 대신, 엔진은, 입력 이미지 및 모든 위장된 이미지에서 행복을 강력하게 검출한다. 도 94a는, 사람을 인식하는 데 실패 했음에도 불구하고 GAN 모델의 위장 방식은 각각의 위장 이미지(9404)의 입력 이미지(9402)로부터 감정은 보존했다는 것을 나타낸다.
도 94b는, 도 94a에 도시된 입력 이미지(9402) 및 위장 이미지(9404)에 대한 감정 검출 엔진의 예시적인 처리에 대응하는 입력 파라미터 및 출력 결과의 리스트(9450)이다.
도 95은 IcGAN 기반 모델에 의해 수행되는, 실제 얼굴의 입력 이미지(9510)의 위장 이미지(9520)로의 예시적인 변환을 나타낸다. 도 95에서, 입력 이미지에서 프레임(9512)에 의해 강조된 사람의 시선은 위장 이미지에서 프레임(9522)에 의해 강조된 것과 동일하거나 혹은 실질적으로 동일하다. 특정한 식별 특성이 수정되어서 얼굴이 동일한 사람으로 인식되지 않을 수 있지만, 시선과 같은 그 얼굴의 다른 특성은 보존된다. 자율 차량 시나리오에서, 얼굴의 이미지에서의 시선을 보존하면, 차량의 온보드 지능(intelligence)이 이들 시선에 기초해서 보행자의 궤적을 예측 및 투사할 수 있으며, 개인의 프라이버시를 희생하는 일 없이 보존된 특성으로부터 잠재적으로 다른 중요한 정보를 수집할 수 있다.
도 96는 차량(예를 들어, 8950)에 구현된 구성된 GAN 모델(예를 들어, 8930)의 추가 가능한 동작 세부 사항을 나타낸다. 구성된 GAN 모델(8930)은 캡처된 이미지에 적용될 하나 이상의 속성을 나타내는, 타깃 도메인(8936)으로 구성된다. 적어도 하나의 실시예에서, 타깃 도메인(8932)은 성별, 머리색, 나이, 피부색 등과 같은 속성을 나타내는 하나 이상의 속성 식별자를 포함할 수 있다. 일례로, 생성기(8932)는 타깃 도메인(8932)에 의해 표시된 속성을 묘사된 얼굴로 전송할 수 있다. 이 속성 전송의 결과는 생성기(8932)에 의해 생성된 위장 이미지(9616)이다. 하나의 비한정의 예에서, 타깃 도메인(8936)은 성별 및 연령 속성 식별자를 포함한다.
캡처된 이미지(9612)는 카메라 또는 차량에 장착된 다른 이미지 캡처 장치에 의해 획득될 수 있다. 캡처된 이미지의 가능한 타입의 예는 보행자, 자전거 타는 사람, 조깅하는 사람, 다른 차량의 운전자 및 차량 내 승객을 포함하지만 반드시 이것으로 한정되는 것은 아니다. 이러한 타입의 캡처된 이미지 각각은 차량의 컴퓨터 비전 시스템에 대한 관련 정보를 제공하여, 차량에 가까운 사람 및 다른 차량과 관련된 실시간 이벤트에 대한 지능적인 예측을 행할 수 있다.
위장 이미지(9616)는 데이터 수신이 승인된 임의의 적절한 시스템, 애플리케이션, 클라우드 등에 제공될 수 있다. 예를 들어, 위장 이미지(9616)는 차량 또는 클라우드의 컴퓨터 비전 시스템(예를 들어, 8955)의 애플리케이션(예를 들어, 8956) 및/또는 데이터 수집 시스템(예를 들어, 8940)에 제공될 수 있다.
적어도 일부 실시예에서, 구성된 GAN 모델(8930)은 실시간으로 계속 트레이닝될 수 있다. 이러한 실시예에서, 구성된 GAN 모델(8930)은 생성기에 의해 생성된 위장 이미지(9616)와 같은, 위장 이미지를 수신하는 판별기(8934)를 실행한다. 판별기는 위장 이미지가 실제인지 페이크인지를 결정한다. 판별기가 위장 이미지를 실제 이미지로 분류하면, 판별기 손실 값이 판별기로 역전파되어 이미지가 실제인지 페이크인지를 더 잘 예측하는 방법을 학습할 수 있다. 판별기가 위장 이미지를 페이크로 분류하면, 생성기 손실 값이 생성기로 역전파되어, 판별기를 기만해서 실제 이미지로 분류하게 할 가능성이 더 큰 위장 이미지를 생성하도록, 생성기를 계속 트레이닝할 수 있다. 그러나, 지속적인 실시간 트레이닝은 적어도 일부 실시예에서는 구현되지 않을 수도 있다는 것이 자명하다. 대신, 구성된 GAN 모델(8930)의 생성기(8932)는 대응하는 판별기(8934) 없이, 또는 판별기(8934)를 비활성화하거나 선택적으로 활성화해서 구현될 수 있다.
도 97은 적어도 하나의 실시예에 따른, 위장 이미지(9716)를 생성하는 차량(8950)의 구성된 GAN 모델(8930)의 예시적인 동작 및 머신 학습 작업에서 위장 이미지의 사용을 나타낸다. 9712에서 사람 얼굴이 포함된 차량 데이터가 차량에 장착된 하나 이상의 이미지 캡처 장치에 의해 수집된다. 도 97에 도시된 동작을 시각적으로 나타내기 위해, 실제 얼굴을 묘사하는 예시적인 입력 이미지(9702) 및 수정된 얼굴을 묘사하는 예시적인 위장 이미지(9708)가 도시된다. 이들 예시적인 이미지는 이전에 도 95을 참조해서 도시되고 설명되었다. 이미지(9702)는 예시의 목적으로 제공되며, 얼굴은 일반적으로 차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지의 작은 부분일 수 있다는 점에 주의한다. 나아가, 일부 시나리오에서, 사람 얼굴을 포함하는 차량 데이터(9712)는 차량과 관련된 이미지 캡처 장치로부터 수신된 캡처된 이미지 및/또는 차량과는 이격된 이미지 캡처 장치(예를 들어, 다른 차량, 드론, 신호등 등)로부터 수신된 캡처된 이미지를 포함할 수 있다.
얼굴 검출 및 정렬 모델(9720)은 차량 데이터로부터의 이미지에서 얼굴을 검출하고 정렬할 수 있다. 적어도 하나의 실시예에서, MTCNN(multi-task cascaded convolutional network)과 같은 지도 학습 모델이 검출 및 정렬 모두에 사용될 수 있다. 얼굴 정렬은 얼굴의 특정한 요소(예를 들어, 눈, 코, 입)의 위치를 추정하는 컴퓨터 비전 기술이다. 도 97에서, 얼굴 검출은 예시적인 이미지(9704)에 도시되고, 눈의 정렬은 예시적인 이미지(9706)에 도시된다.
검출된 얼굴은 구성된 GAN 모델(8930)에 타깃 도메인(8936)과 함께 공급된다. 일례로, 검출된 얼굴에 대한 성별 및 연령 변환(transformation)의 조합은, 감정 및 시선 정보와 같은 얼굴의 소망의 특성은 유지하면서 얼굴 인식 확률을 낮출 수 있다. 구성된 GAN 모델(8930)의 생성기는, 얼굴 검출 및 정렬 모델(9720)로부터의 입력 이미지 및 타깃 도메인(8936)에 기초해서, 이미지(9708)에 도시된 바와 같은, 위장 이미지(9716)를 생성한다.
이 예에서 얼굴 인식(9718)이 실패해도(예를 들어, 위장 이미지(9708)의 얼굴이 원본 이미지(9702)에 표시된 동일한 사람으로 인식될 수 없음), 시선과 같은 얼굴의 특정한 특성은 보존된다는 점에 주의한다. 자율 차량 시나리오에서, 차량의 온보드 지능(예를 들어, 컴퓨터 비전 시스템(8955))은 이 시선에 기초해서 이동하는 사람(예를 들어, 걷기, 달리기, 자전거 타기, 자동차 운전 등)의 궤적을 예측하고 투사할 수 있다. 이미지 데이터에 있는 사람의 식별 특성 중 일부는 이미지가 처리될 때 폐기(예를 들어, 변형 또는 수정)되기 때문에, 위장 이미지로부터 중요한 정보를 얻는 컴퓨터 비전 애플리케이션의 기능은 손상시키지 않으면서도, 데이터에서 사람들의 신원을 복구해내려는 악의적인 행위자(예를 들어, 해커 또는 감시 엔티티)의 시도는 실패할 것이다.
위장 이미지는 특정한 구현예 및 요건에 따라 임의의 시스템, 애플리케이션 또는 클라우드에 제공될 수 있다. 이 예에서, 위장 이미지(9716)는 얼굴로 표현되는 사람의 행동을 예측하는 것을 돕기 위해, 차량의 컴퓨터 비전 애플리케이션(9740)에 제공된다. 예를 들어, 시선 검출(9742)은 사람(예를 들어, 보행자, 다른 운전자 등)이 어디를 보고 있는지 결정할 수 있고, 궤적 예측(9744)은 사람이 택할 궤적 또는 경로를 예측할 수 있다. 예를 들어, 보행자가 휴대 전화를 쳐다보고 있거나 혹은 주의가 산만하다는 다른 신호를 보이는 경우, 및 예측된 궤적이 그 사람이 차량 경로에 진입할 가능성이 있다는 것을 나타내는 경우, 적절한 명령을 내려서, 운전자에게 경고, 경적 울리기, 속도 감소, 정지나 기타 적절한 동작과 같은 하나 이상의 동작 또는 동작들의 조합를 취할 수 있다.
다른 예에서, 위장 이미지(9716)는 얼굴로 표현되는 사람의 감정을 결정하는 데 사용될 수 있다. 이는 예를 들어, 운송 서비스 제공 업체와 같은 서비스 제공 업체가, 승객이 서비스에 만족하는지 또는 불만족하는지 여부를 결정하는 데 유용할 수 있다. 적어도 일부 시나리오에서, 이러한 평가는 예를 들어 서비스 제공자의 클라우드 처리 시스템(9750)에 의해 차량으로부터 원격으로 수행될 수도 있다. 따라서, 차량의 이미지 캡처 장치에 의해 캡처된 개인(예를 들어, 택시 승객)의 사진이 다른 시스템, 애플리케이션, 장치 등과 공유될 수 있다. 예를 들어, 감정 검출(9752)은 위장 이미지에 묘사된 사람의 특정한 감정을 검출할 수 있다. 동작 예측/평가(9754)는 위장 이미지에 묘사된 사람이 취할 가능성이 있는 특정 동작을 예측할 수 있다. 예를 들어, 극심한 분노나 고통은 운전자에게 경고를 보내는 데 사용될 수 있다. 본 명세서의 실시예는 성공적인 시선 및 감정 검출을 가능하게 하는 특정한 속성은 보존하면서도, 얼굴은 위장해서 얼굴 인식을 방지함으로써 사용자 프라이버시를 보호한다.
도 98로 돌아가면, 도 98은 얼굴 이미지에 대한 속성 전송을 수행하도록 트레이닝된 GAN(Generative Adversarial Network)를 구성하는 것과 관련된 동작의 하이 레벨의 가능한 흐름(9800)을 나타내는 개략 순서도이다. 적어도 하나의 실시예에서, 동작의 세트는 도 98의 액티비티에 대응한다. GAN 구성 시스템(8910)은 동작 세트의 적어도 일부를 이용할 수 있다. GAN 구성 시스템(8910)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(8937)를 포함할 수 있다. 적어도 하나의 실시예에서, GAN 모델(8920)의 생성기(8922), 속성 검출 엔진(8917) 및 얼굴 인식 엔진(8918)은 각각 하나 이상의 동작을 수행할 수 있다. 일부 실시예에서, 흐름(9800)의 동작 중 적어도 일부는 사용자 인터렉션으로 수행될 수 있다. 예를 들어, 일부 시나리오에서, 사용자는 테스트될 신규 타깃 도메인의 속성을 선택할 수 있다. 다른 실시예에서, 신규 타깃 도메인에 대한 속성은 예를 들어 랜덤하게 또는 알고리즘에 기초하여 자동으로 선택될 수 있다.
9802에서, GAN 모델의 생성기는 얼굴의 테스트 이미지를 수신한다. 적어도 하나의 실시예에서, 흐름(9800)에서 처리된 테스트 이미지는 얼굴 인식 엔진(8918)에 의해 선험적으로 평가되어 엔진에 의해 인식될 수 있다는 것을 보장할 수 있다. 9804에서, 생성기는 테스트 이미지에서 얼굴을 위장하는 데 사용될 하나 이상의 속성을 나타내는 타깃 도메인을 획득한다.
9806에서, 생성기가 테스트 이미지에 적용되어서, 선택된 타깃 도메인(예를 들어, 성별, 나이, 머리색 등)에 기초해서 위장 이미지를 생성한다. 위장 이미지는 하나 이상의 속성에 기초해서 수정된 테스트 이미지로부터 얼굴을 묘사한다.
9808에서, 위장 이미지는 속성 검출 엔진에 제공되어서, 위장 이미지에서 원하는 속성이 검출 가능한지 여부를 결정한다. 예를 들어, 컴퓨터 비전 시스템 애플리케이션이 시선을 검출하고 시선과 관련된 사람의 의도 및/또는 궤적을 예측할 수 있도록, 시선 속성을 유지하는 것이 바람직할 수 있다. 다른 예에서, 제3자가 고객인 사람의 감정을 평가하고, 고객이 어떤 타입의 경험을 갖고 있는지(예를 들어, 만족함, 짜증남 등) 결정할 수 있도록 감정이 유지되는 것이 바람직한 속성일 수 있다. 임의의 다른 바람직한 속성은 특정한 구현예와 요건 및/또는 위장 이미지를 소비하는 머신 학습 시스템의 타입에 기초해서 평가될 수 있다.
9810에서, 원하는 속성이 검출 가능한지에 대한 판정이 행해진다. 원하는 속성 중 하나 이상을 검출할 수 없는 경우에, 9816에서 테스트를 위해 신규 타깃 도메인이 선택될 수 있다. 신규 타깃 도메인은 단일 속성 또는 속성의 조합을 나타낼 수 있으며, 사용자에 의해 수동으로 선택될 수도 있고, 자동으로 선택될 수도 있다. 흐름은 9804로 돌아가서, 새롭게 선택된 타깃 도메인이 생성기에서 수신되고 새롭게 선택된 타깃 도메인을 사용해서 다른 테스트가 수행된다.
9810에서, 위장 이미지에서 원하는 속성이 검출될 수 있다고 결정되면, 9812에서, 위장 이미지는 얼굴 인식 엔진에 제공되어서, 위장 이미지가 인식 가능한지 여부를 결정한다. 9814에서, 위장 이미지가 얼굴 검출 엔진에 의해 인식되는지 여부가 결정된다. 위장 이미지가 인식되면, 9816에서 테스트를 위해 신규 타깃 도메인이 선택될 수 있다. 신규 타깃 도메인은 단일 속성 또는 속성의 조합을 나타낼 수 있으며, 사용자에 의해 수동으로 선택될 수도 있고, 자동으로 선택될 수도 있다. 흐름은 9804로 넘어가서, 새롭게 선택된 타깃 도메인이 생성기에서 수신되고 새롭게 선택된 타깃 도메인을 사용해서 다른 테스트가 수행된다.
9814에서, 위장 이미지가 얼굴 검출 엔진에 의해 인식되지 않는 것으로 결정되면, 9818에서, GAN 모델은, 생성기가 위장 이미지를 생성하기 위해 사용한 타깃 도메인으로서 그 타깃 도메인을 설정함으로써 구성될 수 있다. 적어도 하나의 실시예에서, 생성기에 의해 사용되는 선택된 타깃 도메인은, 동일한 선택된 타깃 도메인에 기초해서 위장된 위장 이미지가 특정한 임계 수만큼 얼굴 검출 엔진에 의해 인식되지 않을 때까지, 생성기를 구성하는 데 사용되지 않을 수 있다.
도 99은, 구성된 GAN 모델(예를 들어, 8930)이 시스템에서 구현될 때, 차량(예를 들어, 8950)의 프라이버시-보호 컴퓨터 비전 시스템(예를 들어, 8955)의 동작과 관련된 동작의 가능한 하이 레벨의 흐름(9900)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작 세트는 도 99의 액티비티에 대응한다. 구성된 GAN 모델(8930)과 얼굴 검출 및 정렬 모델(3520)은 각각 동작 세트의 적어도 일부를 이용할 수 있다. 구성된 GAN 모델(8930)과 얼굴 검출 및 정렬 모델(3520)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(8957)를 포함할 수 있다.
9902에서, 프라이버시-보호 컴퓨터 비전 시스템은 차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지를 수신한다. 다른 시나리오에서, 컴퓨터 비전 시스템은 차량에 근접한 다른 장치로부터 이미지를 수신할 수 있다. 예를 들어, 이미지를 수신하는 차량을 지나가는 다른 차량에 의해 이미지가 획득될 수도 있다.
9904에서, 캡처된 이미지가 얼굴을 묘사하는지 결정된다. 캡처된 이미지가 얼굴을 묘사하지 않는고 결정되면, 흐름(9900)은 종료될 수 있고 구성된 GAN 모델은 캡처된 이미지를 처리하지 않는다.
9904에서 캡처된 이미지가 얼굴을 묘사한다고 결정되면, 9906에서 캡처된 이미지에서 얼굴이 검출된다. 예를 들어, 캡처된 이미지에서 얼굴에 대응하는 픽셀 세트가 검출될 수 있다. 9908에서 검출된 얼굴은 얼굴 요소들(예를 들어, 눈 주변, 입 주변, 코 주변 등)의 위치를 추정하도록 정렬된다. 9910에서, 생성기에 대한 입력 이미지는 검출된 얼굴 및 얼굴 요소의 추정된 위치에 기초해서 생성될 수 있다. 적어도 하나의 예에서, MTCNN(multi-task cascaded convolutional network)과 같은 지도 학습 모델이 검출 및 정렬 모두에 사용될 수 있다.
9912에서, 구성된 GAN 모델의 생성기가 입력 이미지에 적용되어서, 생성기에서 설정된 타깃 도메인에 기초해서 위장 이미지를 생성한다. 타깃 도메인에 의해 표시되는 속성은 적어도 일 실시예에서 연령 및/또는 성별을 포함할 수 있다. 다른 실시예에서, 다른 속성 조합(예를 들어, 머리색, 눈색, 피부색, 메이크업 등) 또는 단일 속성이, 이러한 속성(들)을 통해서 위장 이미지가 인식 가능하지만 소망의 속성을 유지하게 되는 경우에, 타깃 도메인에 의해 표시될 수 있다.
9914에서, 위장 이미지는 적절한 데이터 수신기로 전송되며, 이 수신기는 비한정의 예로서 클라우드 데이터 수집 시스템, 컴퓨터 비전 시스템의 애플리케이션 및 정부 기관(예를 들어, 교통부 등과 같은 규제 기관) 중 하나 이상을 포함한다.
도 100은 구성된 GAN 모델(예를 들어, 8930)이 입력 이미지에 적용될 때 일어날 수 있는 동작과 관련된, 하이 레벨의 가능한 동작 흐름(10000)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작 세트는 도 100의 액티비티에 대응한다. 생성기(8932) 및 판별기(8934)를 포함하는 구성된 GAN 모델(8930)은 각각 동작 세트의 적어도 일부를 이용할 수 있다. 구성된 GAN 모델(8930)은 동작을 수행하기 위해 하나 이상의 데이터 프로세서(8957)를 포함할 수 있다. 적어도 하나의 실시예에서, 흐름(10000)의 동작은 9912에 표시된 동작에 대응할 수 있다.
10002에서, 차량의 구성된 GAN 모델 생성기는 입력 이미지를 수신한다. 예를 들어, 입력 이미지는 차량에 의해 캡처된 이미지에 묘사된 얼굴을 검출하고 정렬함으로써 생성될 수 있다. 10004에서 생성기는 생성기의 사전 구성된 타깃 도메인(예를 들어, 성별 및 연령)에 기초해서 입력 이미지에서 위장 이미지를 생성한다.
10006에서, 구성된 GAN 모델의 판별기는 생성기로부터 위장 이미지를 수신한다. 10008에서, 판별기는 위장 이미지에 대해 컨벌루션 신경망 연산을 수행해서 위장 이미지를 실제로 또는 페이크로 분류한다.
10010에서, 위장 이미지의 분류에 대한 결정이 내려진다. 판별기가 위장 이미지를 페이크로 분류하면, 10012에서, 생성기 손실이 생성기로 역전파되어 판별기에 의해 "실제"로 분류된 위장 이미지를 생성하도록 계속 트레이닝한다(예를 들어, 판별기를 기만하는 위장 이미지). 10014에서, 생성기는 타깃 도메인 및 생성기 손실에 기초해서 입력 이미지로부터 다른 위장 이미지를 생성할 수 있다. 이후, 흐름은 10010으로 넘어가서 판별기가 신규 위장 이미지를 분류하는 방법을 결정한다.
10010에서 판별기가 위장 이미지를 실물로 분류하면, 10016에서 판별기 손실이 판별기로 역전파되어, 페이크 이미지를 더 정확하게 인식하도록 판별기를 계속 트레이닝할 수 있다.
흐름(10000)은, 구성된 GAN 모델이 차량에 구현될 때 실시간으로 그 생성기 및 판별기를 계속 트레이닝하는 예시적인 흐름을 나타낸다. 일부 시나리오에서, 트레이닝은 예를 들어 구성된 GAN 모델을 업데이트하기 위해 추가 트레이닝이 요구될 때까지, 선택된 기간 동안 일시 중지될 수 있다. 이러한 시나리오에서 적어도 일정 기간 동안, 생성기만 캡처된 이미지가 처리될 때 신경망 동작을 수행할 수 있다. 판별기는 추가 트레이닝이 시작될 때까지 실행할 수 없다.
일부 구현예에서는 자율 주행 시스템과 관련하여 수집된 이미지 데이터와 관련된 프라이버시 보호를 제공하기 위한 추가 (또는 대안의) 기능이 제공될 수 있다. 예를 들어, 자율 차량에 주문형 프라이버시 준수 시스템이 제공될 수 있다. 일 실시예에서, 수집된 차량 데이터에 대한 프라이버시 조치의 적용을 프라이버시 조치가 요구될 때까지 지연시키기 위해, 설명 태그가 "지연" 주문형 방식과 함께 사용된다. 설명 태그는 데이터의 다른 속성을 명시하는 데 사용된다. 도 101 내지 도 111을 참조하면, 사용되는 "속성"이라는 용어는 데이터의 특징, 특성 또는 트레이트(trait)를 의미한다. 속성은, 프라이버시 규정 및 요건을 준수하기 위한 프라이버시 조항을 주관적으로 정의하는데 사용될 수 있다. 특정 차량으로부터의 데이터 세트에 적용된 태그는 클라우드 또는 차량에서 평가되어서, "지연" 정책이 데이터 세트에 적용될지 여부를 결정한다. 지연 정책이 적용되면, 데이터 세트의 특정 측면을 사유화(privatize) 또는 익명화하는 처리는, 데이터 세트가 잠재적으로 프라이버시를 침해할 수 있는 방식으로 사용될 때까지, 지연된다.
자율 차량과 같은 신규 기술이, (i) 많은 양의 센서 데이터 수집에 의해, 및 (ii) 수집된 데이터의 사용 및 핸들링을 규제하는 현장(in-Place), 제조중(in-the-making) 및 빈번한 변경의 엄격한 법률 및 규정에 의해 특징지어진다. L4/L5 자율 차량과 같은 일부 에지 장치에서는, 카메라 및 비디오 데이터가 5TB/시간의 속도로 생성될 수 있다. 이 데이터는 프라이버시 및 안전 문제를 일으킬 수 있는 개인 식별 정보를 포함할 수 있으며, 다양한 정부 규제가 적용될 수 있다. 이 개인 식별 정보는, 비한정의 예로서 어린이를 포함한 사람의 이미지, 사유 재산의 주소 또는 이미지, 차량 위치의 정확한 좌표 및/또는 차량 번호판 이미지를 포함할 수 다. 일부 지역(예를 들어, 유럽 연합)에서는, 개인 식별 정보가 법적으로 보호되며 보호된 정보를 소유한 모든 주체에는 엄격한 재정 벌금이 부과될 수 있다.
종래 데이터 센터에서, 데이터 관리 기술은 일반적으로, 신규 또는 수정된 정부 법률의 결과로 갑자기 쓸모없게 될 수 있는 하나의 규정 준수 정책을 사용해서, 일반적으로 단 한 번, 전체 데이터 세트에 대해 구현된다. 또한, 일부 에지 장치(예를 들어, 시간당 5TB)에서 생성되는 데이터의 양으로 인해, 효율적인 규정 준수 정책을 확장시키는 것이 불가능할 수 있다.
일반적으로, 데이터 프라이버시와 같은 현재 준수 정책은, 준수를 보장하도록 모든 데이터 파일을 처리함으로써, 적용된다. 이들 정책은 일반적으로 사전 정의된 검색 기준의 세트를 사용해서, 잠재적인 프라이버시 침해를 검출한다. 이 방식은 자율 차량과 같은 데이터가 풍부한 환경에서는 비효율적이며 확장이 불가능하다. 현재, 자율 차량은 센서 어레이에서 시간당 5TB의 데이터를 수집할 수 있다. 다른 모바일 에지 장치와 결합될 때, 센서 데이터가 생성되는 속도는 잠재적으로 표준 처리 채널 및 규정 준수를 강화하는 추가 데이터 관리 분석에 전송될 수 있다.
나아가, 현재의 준수 솔루션은 프라이버시 규정의 지속적인 변화 및 진화뿐 아니라 현장, 컨텍스트 및 산업과 관련한 이러한 규정의 분산 성향에 빠르게 적응할 수 없는 엄격한 일회성 구현이다. 예를 들어, 미국의 자율 앰뷸런스는 교통부 규정과 HIPAA(Health Insurance Portability and Accountability Act) 모두에 적용되는 데이터를 수집할 수 있다. 또한, 프라이버시 규정은 주 및 국가별로 다를 수 있다. 주 경계선이나 국경을 넘는 자율 차량은 신규 지역의 규정을 준수하기 위해 실시간으로 처리를 조정해야 한다. 엄격한 일회성 구현은 잠재적으로 이들 시나리오 및 기타 시나리오에서 준수 책임 노출을 유발할 수 있다.
최신 데이터 규정 준수 기술은 애플리케이션 개발을 방해하고 배포 문제를 일으킬 수도 있다. 일반적으로 이러한 기술은 데이터를 격리하거나 처리되지 않은 데이터를 모두 삭제한다. 이러한 동작은 데이터 처리에 기초하는 회사의 역량 개발 파이프 라인에 상당한 부담이 될 수 있다.
자율 차량을 위한 주문형 프라이버시 준수 시스템(10100)은 도 101에 도시된 바와 같이, 전술한 (많은) 문제를 해결한다. 본 명세서의 실시예는 설명 태그를 데이터에 부착함으로써 차량에 의해 캡처되거나 획득되는 데이터를 풍부하게 한다. 태그는 준수해야 할 프라이버시 조항을 주관적으로 정의하는 데 사용될 수 있는 다양한 속성을 지정한다. 적어도 하나의 실시예에서, 태그는 평평하고, 인간이 할당하고 이해하기 쉽게 되어 있다. 이는, 예를 들어 위치, 품질, 시간 및/또는 용례를 포함한 데이터의 다양한 측면을 설명하는 데 사용할 수 있다. 본 명세서에 설명된 적어도 일부 실시예는 또한 사진의 개체, 현재 위치 및/또는 시간과 같은 데이터의 실제 콘텐츠에 기초한 머신 학습을 사용하는 자동 태그 할당을 포함한다.
실시예는 또한 프라이버시 준수 문제를 해결하기 위해 '지연' 주문형 방식을 적용한다. 지연 주문형 방식에서는, 프라이버시 정책을 적용하기 위한 데이터 처리가 프라이버시를 손상시킬 수 있는 상황에서 실제로 사용될 때까지 가능한 한 연기된다. 자율 차량으로부터 수집된 데이터는 머신 학습(ML)에 종종 사용된다. 머신 학습은 전형적으로 데이터에 샘플링을 적용해서, 트레이닝 및 테스팅 데이터세트를 생성한다. 단 하나의 자율 차량에 의해 수집되는 대량의 데이터를 고려할 때, 이들 샘플 데이터 세트를 처리해서 프라이버시 정책을 주문형으로 적용해서 컴퓨팅 리소스를 더 잘 사용할 수 있다. 또한, 인덱싱 및/또는 저장을 위해 태그에 기초해서 데이터가 선택될 수 있으므로, 리소스 사용도 최적화된다.
주문형 프라이버시 준수 시스템(10100)은 몇 가지 장점을 제공한다. 이 시스템은 차량(모바일 에지 장치) 또는 데이터 센터/클라우드 인프라에서 실행될 수 있는, 컴퓨팅 효율적이고 상황에 맞는 준수 정책 엔진을 포함한다. 차량 데이터 수집의 유용성은, 구조화된 메타데이터와는 달리, 평평하고, 기술적으로든 비기술적으로든 사람이 쉽게 할당하고 이해할 수 있는 태그를 사용해서 강화된다. 본 명세서의 실시예에서 태그를 사용하면, 데이터 세트의 모든 프레임 또는 파일을 검사할 필요없이, 올바른 프라이버시 준수 처리가 정확한 데이터 세트에서 실행된다. 따라서, 상당한 데이터 센터 리소스를 절약할 수 있다. 이들 태그를 통해서 차량 데이터는 규제 프라이버시 침해가 없다는 것이 보장된다. 따라서 차량 데이터를 사용, 저장 또는 처리하는 엔티티(예를 들어, 기업, 서비스 제공 업체, 차량 제조업체 등)는 관련 규정 준수 및 규제 법령에 부합한다. 이로써, 이러한 엔티티가 상당한 벌금을 부과하는 것을 방지할 수 있다. 나아가, 규정이 변경됨에 따라서, 본 명세서의 실시예는 시스템의 중대한 코드 변경이나 재구현없이 이러한 변경을 수용할 수 있다. 예를 들어, 규제 기관이 프라이버시 규정을 추가 혹은 업데이트할 때, 차량이 한 규제 기관이 적용되는 지역을 벗어나서 다른 규제 기관이 적용되는 지역에 진입하는 경우(예를 들어, 주 경계를 넘어가는 운전, 국경을 넘어가는 운전 등) 규제가 변경될 수 있다. 또한, 규정 준수를 해결함으로써, 본 명세서에서 설명되는 실시예는 차량(및 기타 에지 장치)에 의해 수집된 데이터 및 그 관리 수명의 트러스트를 높일 수 있다. 데이터 프라이버시 보장에 더해서, 실시예는 감사 및 보고 목적으로 추적성(traceability)을 가능하게 한다. 더욱이, 본 명세서에서 설명되는 모듈식 확장 가능 프레임워크는 새롭고 혁신적인 프로세스를 포함할 수 있다.
도 101를 참조하면, 주문형 프라이버시 준수 시스템(10100)은 클라우드 처리 시스템(10110), 차량(10150), 및 차량(10150)과 클라우드 처리 시스템(10110) 사이의 통신을 용이하게 하는 네트워크(10105)를 포함한다. 클라우드 처리 시스템(10110)은 클라우드 차량 데이터 시스템(10120), 차량 데이터를 수신하기 위한 데이터 수집 구성 요소(10112), 클라우드 정책(10114) 및 태그된 인덱스 데이터(10116)를 포함한다. 차량(10150)은 에지 차량 데이터 시스템(10140), 에지 정책(10154), 데이터 수집기(10152) 및 수많은 센서(10155A-10155F)를 포함한다. 도 101의 구성 요소는 또한 비한정의 예로서 프로세서(예를 들어, 10117, 10157) 및 메모리(예를 들어, 10119, 10159)를 포함한 적절한 하드웨어 구성 요소를 포함하며, 이는 다수의 상이한 실시예에서 구현될 수 있다.
차량(10150)에서, 데이터 수집기(10152)는 센서(10155A-10155F)로부터 거의 연속적인 데이터 피드를 수신할 수 있다. 센서는 정지 이미지(예를 들어, 사진) 및 동영상(예를 들어, 비디오)을 캡처하기 위한 이미지 캡처 장치를 포함한, 본 명세서에 설명된 임의의 타입의 센서를 포함할 수 있다. 수집된 데이터는 데이터 수집기(10152)에 적어도 일시적으로 저장되고, 에지 차량 데이터 시스템(10140)에 제공되어서 수집된 데이터로부터 형성된 데이터 세트에 태그 및 에지 정책(10154)을 적용할 수 있다. 태그는 웹 콘텐츠를 구성하고, 사람이 쉽게 이해할 수 있는 방식으로 레이블을 지정하며, 검색을 위해 색인화하는 데 도움이 되는 사용자 생성 단어일 수 있다. 태그에 기초해서 데이터 세트에 에지 정책(10154)이 적용될 수 있다. 정책은 데이터 세트와 연관된 하나 이상의 태그를 하나 이상의 프로세스에 연관시킨다. 프로세스는 개인 식별 정보에 대한 액세스를 방지하기 위해 데이터 세트에 대해 일종의 수정을 행하는 시스템 설계에서 제 1 클래스 엔티티로서 정의된다.
적어도 일부 시나리오에서, 차량에 의해 수집된 차량 데이터의 데이터 세트는 클라우드 처리 시스템(10110)의 클라우드 차량 데이터 시스템(10120)에 제공되어, 태그에 기초해서 클라우드 정책(10114)을 데이터 세트에 적용된다. 이 시나리오에서, 차량으로부터 수집된 데이터는 데이터 세트로 형성되고, 태그되며, 데이터 수집 구성 요소(10112)에 제공될 수 있고, 이 데이터 수집 구성 요소(10112)는 데이터 세트를 클라우드 차량 데이터 시스템(10120)에 제공해서 클라우드 정책(10114)이 태그에 기초해서 데이터 세트에 적용될 수 있게 한다. 적어도 하나의 실시예에서, 특정 차량(예를 들어, 10150)으로부터의 데이터 세트에 적용된 클라우드 정책(10114)은, 데이터 세트가 차량에 머물렀을 때, 에지 차량 데이터 시스템(10140)에 의해 데이터 세트에 적용될 동일한 정책일 수 있다. 적어도 일부 시나리오에서, 클라우드 차량 데이터 시스템(10120)은 또한 태그를 데이터(또는 에지 차량 데이터 시스템(10140)에 의해 이미 적용된 태그를 보충하기 위한 추가 태그)에 적용할 수 있다. 적어도 일부 실시예에서, 가장 효율적으로 달성될 수 있는 곳 어디서든 태깅이 수행될 수 있다. 예를 들어, 클라우드에서 지리(geo) 태깅을 가능하게 하는 기술이 존재하지만, 이 기술은, 이미지 캡처 장치가 글로벌 포지셔닝 시스템을 포함할 수 있고, 개체의 위치와 관련된 실시간 정보를 제공할 수 있기 때문에, 종종 차량에서 수행된다.
도 102으로 돌아가면, 도 102은 차량에 의해 수집된 데이터(10210) 및 데이터에 대한 프라이버시 준수를 보장하기 위해 정의된 개체의 표현을 나타낸다. 개체는 하나 이상의 태그(10220), 하나 이상의 정책(10230) 및 하나 이상의 프로세스(10240)를 포함한다. 적어도 하나의 실시예에서, 데이터(10210)는 하나 이상의 파일, 이미지, 비디오 프레임, 기록 또는 전자 형식의 정보를 포함하는 임의의 개체를 포함하는 데이터 세트일 수 있다. 일반적으로 데이터 세트는 별도의 요소(예를 들어, 파일, 이미지, 비디오 프레임 등)로부터 형성된 관련 정보 세트의 집합이다.
태그(10220)와 같은 태그는, 데이터에 대한 특성화 메타 데이터일 수 있다. 태그는 데이터 형식(예를 들어, 비디오 등), 품질(예를 들어, 저해상도 등), 현장(locale)(예를 들어, 미국, 유럽 연합 등), 지역(예를 들어, 고속도로, 시골, 교외, 도시 등), 교통량(예를 들어, 대, 중, 소 등), 사람의 존재(예를 들어, 보행자, 자전거 타는 사람, 운전자 등) 및 데이터와 관련된 기타 정보를 지정할 수 있다. 태그는, 웹 콘텐츠를 구성하고, 사람이 쉽게 이해할 수 있는 방식으로 레이블링하며, 검색을 위해 색인화하는 데 도움이 되는 사용자-생성 단어일 수 있다. 일부 실시예에서, 하나 이상의 태그는 수동으로 할당될 수 있다. 적어도 일부 태그는 머신 학습을 사용해서 자동으로 할당될 수도 있다. 예를 들어, 신경망은 수집된 데이터의 다양한 특성을 식별하고 그에 따라 각 데이터 세트를 분류하도록 트레이닝될 수 있다. 예를 들어, 컨볼루션 신경망(CNN) 또는 서포트 벡터 머신(SVM) 알고리즘을 사용해서, 고속도로에서 취해진 데이터 세트와 교외 지역에서 취해진 데이터 세트의 사진 또는 비디오 프레임을 식별할 수 있다. 후자는 보행자와 사유 재산의 사진을 포함할 가능성이 더 높아서 잠재적으로 프라이버시 규정의 적용을 받는다. 데이터 세트는 '교외 지역'으로 분류될 수 있으며, 적절한 태그가 데이터 세트에 첨부되거나 연관될 수 있다.
프로세스(10240)와 같은 프로세스는, 데이터 세트를 입력으로 취하고 데이터 세트에 일부 처리를 적용해서 신규 데이터 세트를 생성하는 REST API(Application Programming Interface)로서 정의된 가동 동작일 수 있다. 프로세스의 예는, 비한정의 예로서, 데이터 익명화 스크립트를 개인 식별 정보(예를 들어, GPS 위치 등)에 적용하는 것, 개인 식별 정보 또는 이미지(예를 들어, 얼굴, 번호판, 개인 주소나 민감한 자산 주소 등)를 블러링하는 것, 민감한 데이터를 픽셀화하는 것, 민감한 데이터를 수정하는 것을 포함한다.
프로세스는 시스템 설계에서 제 1 클래스 엔티티로서 정의된다. 적어도 하나의 실시예에서, 프로세스는 전형적인 익명화, 변경, 정류, 압축, 저장 등일 수 있다. 이로써, 프로세스가 쉽게 플러그 가능하고, 교체 가능하며, 추적 가능한 모듈식 파이프 라인 설계를 사용할 수 있게 한다. 따라서, 데이터 변경이 추적될 수 있고, 준수 요건이 감사될 수 있다. 나아가, 모듈식 파이프 라인 설계는 신규 규정이 제정되거나 기존 규정이 업데이트될 때 신규 프라이버시 프로세스가 쉽게 도입될 수 있게 한다.
정책(10230)과 같은 정책은 하나 이상의 태그를 하나 이상의 프로세스에 연관시킨다. 예를 들어, 전술한 '교외 지역'으로 태그된 데이터 세트는 '교외 지역' 태그를 프라이버시 프로세스와 연관시켜서, 사람의 얼굴 및 사유 재산 정보를 익명화(예를 들어, 블러링, 삭제(redact), 픽셀화 등)하는 정책에 적용될 수 있다. 이 경우 태그를 사용하면, 해당 데이터 세트의 성질 및 이것이 포함하는 잠재적인 프라이버시 영향에 기초해서, 정확한 프로세스가 정확한 데이터 세트와 일치되게 할 수 있다.
도 103은 적어도 하나의 실시예에 따른 주문형 프라이버시 준수 시스템(3900)에 대한 예시적인 정책 템플릿(10310)을 도시한다. 정책 템플릿(10310)은 '지연' 속성(10312)을 포함하는데, 이는 정책을 주문형 정책으로 정의하며, 그 적용은 지연되고 후속해서 요청에 따라 적용된다. 보다 구체적으로, 잠재적으로 프라이버시를 침해할 수 있는 상황에서 데이터 세트가 사용될 때까지 정책은 적용되지 않는다. 정책이 지연 정책으로 지정되었다고 결정되면, 데이터 세트는 이후에 처리될 수 있도록 표시된다. 예를 들어, 표시된 데이터 세트(예를 들어, 이미지)가 머신 학습을 위해 샘플링되기 전에, 정책은 데이터 세트의 이미지에서 얼굴을 블러링하는 데 적용될 수 있다.
정책 템플릿(10310)은 태그의 접속 또는 분리로 표시되는 조건(10314)도 포함한다. 따라서, 하나 이상의 태그는 원하는 접속 및/또는 분리와 함께 조건(10314)에서 사용될 수 있다. 태그의 예는, 보행자, 밤, 낮, 고속도로, 시골, 교외, 도시, 미국, EU, 아시아, 저해상도, 고해상도, 지리적(geo) 위치 및 날짜와 시간을 포함할 수 있지만, 반드시 이것으로 한정되는 것은 아니다.
정책 템플릿(10310)은 동작(10316)을 더 포함하는데, 이는 데이터 세트의 태그로부터 조건이 만족되는 경우에 데이터 세트에 대해 수행될 단일 프로세스 또는 프로세스들의 연결을 나타낸다. 도 103에 도시된 바와 같이, 예시적인 조건은 High-Res AND Pedestrian AND(미국 또는 유럽)일 수도 있고, 예시적인 프로세스들의 연결은 얼굴을 블러링하고 데이터를 압축하는 것이다.따라서, 이 예시적인 정책은 태그에 따라서 고해상도 데이터 및 보행자를 포함하고, 미국 또는 유럽에서 수집되는 데이터 세트에 적용된다. 데이터 세트가 이 태그의 조합을 만족하면, 이미지에서 보행자 얼굴을 블러링하고 데이터를 압축하기 위해 하나 이상의 프로세스가 적용된다.
도 104는 차량 데이터 시스템(10400)의 동작의 가능한 구성 요소 및 일반적인 흐름을 나타내는 개략 블록도이다. 차량 데이터 시스템(10400)은 클라우드 차량 데이터 시스템(예를 들어, 3920) 및/또는 에지 차량 데이터 시스템(예를 들어, 3940)을 나타낼 수 있다. 차량 데이터 시스템(10400)은 세분화 엔진(10410), 태깅 엔진(10420) 및 정책 시행 엔진(10430)을 포함한다. 차량 데이터 시스템(10400)은, 차량으로부터의 데이터 세트에 태그되고, 데이터 세트에 부착된 태그에 기초해서 데이터 세트에 정책을 적용함으로써, 자율 차량(예를 들어, 3950)에 부착된 센서(예를 들어, 3955A-3955F)로부터 수집된 데이터에 대한 프라이버시 준수를 보장한다.
분할 엔진(10410)은 차량(예를 들어, 3950)의 데이터 수집기(예를 들어, 3952)에 의해 수집된 데이터인, 신규 데이터(10402)를 수신할 수 있다. 분할 엔진(10410)은 신규 데이터(10402)에 대해 분할 프로세스를 수행해서 신규 데이터로부터 데이터 세트를 형성할 수 있다. 예를 들어, 신규 데이터는 각각 관련 정보의 집합을 포함하는 데이터 집합으로 분할될 수 있다. 예를 들어, 데이터 세트는 특정 날짜, 지리적 위치 등과 관련된 데이터를 포함할 수 있다. 또한 분할은 응용예마다 다를 수 있다. 적어도 하나의 실시예에서, 태그는 데이터 세트마다 적용될 수 있다.
태깅 엔진(10420)은 데이터 세트에 대한 태그(10424)를 출력하는 머신 학습 모델(10422)을 포함할 수 있다. 머신 학습 모델(10422)은 주어진 데이터 입력에 기초해서 적절한 태그를 식별하도록 트레이닝될 수 있다. 예를 들어, 고속도로, 교외 거리, 도시 거리 또는 농촌 도로의 이미지나 비디오 프레임이 주어지면, 모델(10422)은 '고속도로', '교외', '도시' 또는 '농촌'과 같은 적절한 태그를 식별할 수 있다. 사용될 수 있는 적합한 머신 학습 기술은, 비한정의 예로서 컨볼루션 신경망(CNN) 또는 지원 벡터 머신(SVM) 알고리즘을 포함한다. 일부 예에서, 단일 머신 학습 모델(10422)은 각 데이터 세트에 대해 하나 이상의 태그를 생성할 수 있다. 다른 실시예에서, 하나 이상의 머신 학습 모델이 태깅 엔진에서 사용되어서, 데이터 세트에 적용될 수 있는 다양한 태그를 식별할 수 있다.
정책 시행 엔진(10430)은 정책 선택기(10432), 정책(10434) 및 처리 큐(queue)(10439)를 포함할 수 있다. 정책 선택기(10423)는 태깅 엔진(10420)으로부터 태그된 데이터 세트를 수신할 수 있다. 정책(10434)은, 차량 데이터 시스템(10400)이 에지 장치(예를 들어, 차량(10150))에 구현되는 경우에는 에지 정책(예를 들어, 10154)을 나타내고, 또는 차량 데이터 시스템(10400)이 클라우드 처리 시스템(예를 들어, 10110)에 구현되는 경우에는 클라우드 정책(예를 들어, 10113)을 나타낸다. 정책 선택기(10432)는 데이터 세트에서 하나 이상의 태그를 검출하고, 10433에서, 검출된 태그에 기초해서 하나 이상의 정책을 식별한다. 정책은 어떤 경우에 어떤 처리가 적용될 수 있는지를 정의한다. 예를 들어 정책은 USA로 태그된 모든 이미지에 대해 번호판을 블러링할 수 있다.
10435에 표시된 바와 같이, 정책 선택기(10423)는 식별된 하나 이상의 정책이 지연 정책으로 지정된 것인지 여부를 결정한다. 데이터 세트의 태그에 기초해서 데이터 세트에 대해 식별된 정책이 지연으로 지정되면, 데이터 세트는 10436에 표시된 바와 같이, 주문형 처리로 표시된다. 따라서, 지연 정책은 데이터 세트에 즉시 적용되지 않는다. 오히려, 데이터 세트는, 데이터 세트 컨텐츠의 프라이버시를 손상시킬 수 있는 다른 방법으로 데이터 세트가 질의, 읽기, 복사 또는 액세스될 때까지, 정책과 함께 저장된다. 예를 들어, 식별된 정책이 이미지에서 얼굴을 블러링하는 처리를 나타내고 지연 정책으로 지정되어 있는 경우에, 데이터 세트의 모든 이미지는 얼굴을 블러링하도록 즉시 처리되지 않고, 주문형 처리를 위해 표시되고 저장된다. 이후 데이터 세트에 액세스되면, 데이터 세트는 처리 큐(10439)에 추가되어서 데이터 세트의 이미지에서 얼굴을 블러링하도록 식별된 정책을 적용할 수 있다. 정책이 적용되면, 데이터 세트에 대한 액세스 요청이 만족할 수 있다.
데이터 세트의 태그에 기초해서 데이터 세트에 대해 식별된 정책이 지연으로 지정되지 않은 경우에는, 데이터 세트는 10438에 표시된 바와 같이, 처리 큐(10439)에 추가된다. 이후, 식별된 정책이 데이터 세트에 적용된다. 예를 들어, 데이터 세트에 대해 식별된 정책이 파일의 데이터를 암호화하는 프로세스를 나타내는데 지연 정책으로 지정되지 않은 경우에는, 데이터 세트는 처리 큐(10439)에 추가되어서 데이터 세트를 암호화한다. 데이터 세트와 연관된 정책이 없고 지연으로 지정된 경우에는, 모든 정책이 데이터 세트에 적용되면(예를 들어, 암호화됨), 정책이 정책-준수-데이터(10406)에 추가되어서, 추가 프라이버시 정책 처리없이 액세스될 수 있다.
차량 데이터 시스템(10400)의 기능 중 일부는 데이터 흐름을 최적화하도록 에지 장치(예를 들어, 차량(10150))에서 구현될 수 있다. 예를 들어 에지에서 프라이버시 필터가 적용되어서 민감한 데이터가 클라우드(예를 들어, 10110)에 저장되는 것을 방지하고, 유럽 연합 GDPR(EU General Data Protection Regulation)과 같은 최근 규정에 따라 데이터 최소화 규칙을 준수할 수 있다. 예를 들어, GPS 좌표를, 도시와 같이 정확도가 갖은 위치 데이터로 대체함으로써 위치 데이터를 익명화하도록 프라이버시 정책이 정의될 수 있다. 이 정책은 정확한 위치가 클라우드로 전송되는 것을 방지하기 위해, 차량(에지)의 모든 위치 데이터에 적용되는 비지연 정책으로 정의될 수 있다.
적어도 하나의 실시예에서, 컨텍스트 맞춤 정책은 태그된 데이터 세트에 추가 컨텍스트를 추가하는 실시간 이벤트 또는 기타 정보에 기초해서 차량 내 처리에 영향을 미치는데 위해 사용될 수 있다. 제한이 아닌 예시로서, 이제 두 가지 예를 설명한다. 제 1 예로, 많은 국가에서 어린이가 위험에 처했을 때 경보(예를 들어, 미국의 AMBER 경보)가 트리거되는 시스템을 사용한다. 이러한 어린이-안전 컨텍스트 맞춤 정책은, 사고 지역 주변의 유동적인 검색 반경과 같은, 마이크로 타깃팅된 지역으로 통신되어서, 소유자가 해당 AMBER 경보 타입 시스템을 선택한 차량으로 전달될 수 있다. '고속도로'로 태그된 데이터의 경우, AMBER 경보 타입 조건에서, 지연 정책은 '아니요'로 설정되고, 데이터는 OCR(optical character recognition), 차량 색상(주어진 경우) 및 차량 설명(주어진 경우)이 있는 번호판의 실시간 처리를 위해 차량 머신 학습 엔진으로 전송된다. 이 시나리오에서, '무리 차량'의 프라이버시를 유지하기 위해, '시작 히트와 종료 히트' 내에서 획득된 GPS 정보만이, AMBER 경보의 대상인 액터-차량 주변의 '차량 무리'로부터 핑 또는 히트를 삼각 측량할 수 있는 법 집행 기관으로 송신된다.
컨텍스트 맞춤 정책을 적용하는 비한정의 제 2 예에서, 컨텍스트 맞춤 정책을 위해 마이크로 타깃팅된 지리 영역이 선택될 수 있다. 예를 들어, 일부 도시에서는, 대규모 노숙자들이 공원 주변과 사이드 구조물 또는 하부 구조물 또는 고속도로 램프 구조물에 밀집되는 경향이 있으며, 이는 고유한 마이크로 타깃팅된 지역을 만들어 낸다. 이러한 국부적인 마이크로 지역의 경우, 컨텍스트 맞춤 정책 또는 기능은 '인간 가능성이 높음'일 수 있다. 데이터 세트가 '고속도로' 또는 '고속도로 램프'로 태그되고, 이들 태그에 대한 관련 정책이 지연 정책으로 지정될 수는 있지만, 컨텍스트 맞춤 정책은 지연 처리를 오버라이드(override)하고 인간/보행자의 처리를 위해서 데이터를 차량 내 차량 데이터 시스템(예를 들어, 10400)으로 보낼 수 있다. 사람/보행자가 도로 자체에 있는 것으로 검출되지 않을 수는 있지만, 고속도로 주변의 사람 무리가 거의 경고없이 도로를 가로지르는 더 많은 개별 사례가 있을 수 있다. 사람/보행자를 식별하면, 차량의 의사 결정 처리 엔진에 느린 속도로 가동되도록 신호를 보내서, 보장되어 있는 것보다 차량이 반응할 시간을 줄 수 있다.
차량 데이터 시스템(10400)은 차량으로부터 대량의 데이터를 수집해서 머신 학습 모델을 구축하는 연구 및 설계 시스템에서 사용될 수도 있고, 또한 고화질 맵을 지속적으로 업데이트하거나, 교통 정체를 추적하거나, 신규 케이스가 나타날 때 모델을 재트레이닝하는 운영 시스템에서 사용될 수도 있다. 연구 및 설계 시스템에서는, 머신 학습 모델(10414)은 적절한 태그로 데이터 세트를 분류하는 방법을 학습하도록 테스트 데이터로 지속적으로 트레이닝될 수 있다. 테스트 데이터는 테스트 차량의 실제 데이터를 포함할 수 있다.
차량 데이터 시스템(10400)의 태깅, 정책 및 처리는 차량의 컴퓨팅 리소스 활용 프레임워크에 용이하게 통합되는 매우 효율적인 시행 워크플로우를 생성하는 데 사용된다. 150개 이상의 전자 제어 장치, 1~2개의 ADAS/AV 엔진 및 중앙 서버 컨트롤러가 있는 차량에서는, 계산 가용성 및 정책에 기초해서 처리를 다른 계산 유닛으로 라우팅할 수 있다.
도 105을 참조하면, 도 105은 다양한 가능한 인간 액터 및 하드웨어 및/또는 소프트웨어 액터의 관점에서, 에지 또는 클라우드 차량 데이터 시스템(4200)의 특징 및 액티비티(10500)를 나타낸다. 적어도 하나의 예에서, 태깅(10550)은 적절한 태그(예를 들어, 보행자, 고속도로, 시골, 교외, 도시, GPS 위치 등)를 데이터 세트에 적용하는 것을 의미한다. 적어도 하나의 실시예에서, 자동화된 데이터 세트 태깅(4212)은 태깅 엔진(4220)에 의해 수행될 수 있다. 전술한 바와 같이, 태깅 엔진(4220)의 머신 학습 모델(예를 들어, CNN, SVM)은 차량으로부터 수집된 데이터에서 이미지 및 기타 정보를 인식하고, 입력 데이터에 적용되는 태그를 출력하도록 트레이닝될 수 있다. 이에 더해서(또는 이와 달리) 차량 데이터 시스템에서 수동 태깅이 사용될 수도 있다. 예를 들어, 데이터 제공자(10538)는 태그를 정의하고(10515), 태그를 업데이트하며(10517), 수동 데이터 세트 태깅(10519)을 수행할 수 있다.
데이터 과학자(10536)는 태그를 정의하고(10515), 태그를 업데이트(10517)할 수 있으며, 나아가 모델을 정의하고(10512) 모델을 업데이트(10513)할 수 있다. CNN 또는 SVM과 같은 머신 학습 모델은, 데이터 세트의 컨텐츠들을 구별해서 적절한 태그를 선택하도록 트레이닝될 수 있다. 예를 들어 고속도로로부터의 이미지와 지방 도로로부터의 이미지를 구분하고, 교외 도로로부터의 이미지와 도시 거리로부터의 이미지를 구분하도록 모델을 트레이닝시킬 수 있다. 예를 들어 교외 도로 및 도시 거리로부터의 이미지에는 얼굴을 블러링하는 프라이버시 정책을 적용해야 하는 보행자가 더 많을 수 있다. 따라서, 일례로, 태그 지정 엔진(10420)이 이미지의 데이터 세트를 '고속도로', '농촌', '도시' 또는 '교외'로 분류하는데 트레이닝된 CNN 또는 SVM 모델이 사용된다. 태깅 엔진(10420)은 데이터 세트에 태그를 자동으로 부착할 수 있다.
정책 시행(10560)의 경우, 데이터 엔지니어(10534)는 프로세스(10525) 및 업데이트 프로세스(10527)을 정의할 수 있다. 예를 들어, 제 1 프로세스는 이미지의 얼굴을 블러링하는 것으로 정의될 수 있고, 제 2 프로세스는 자동차의 번호판을 블러링하는 것으로 정의될 수 있으며, 제 3 프로세스는 GPS 좌표를 정확도가 낮은 위치 정보로 대체하는 것으로 정의될 수 있고, 제 4 프로세스는 데이터를 암호화하는 것으로 정의될 수 있다. 데이터 소유자(10532)는 정책을 정의하고(10521), 정책을 업데이트(10523)할 수 있다. 예를 들어, 정책은 특정 조건(예를 들어, 태그의 연결 또는 분리)을 선택하고, 그 조건에 액션(예를 들어, 프로세스의 연결)을 할당함으로써 정의될 수 있다. 정책은 조건을 만족하는 데이터 세트와 연관될 수 있다. 정책에 의해 정의된 액션은, 태그된 데이터 세트에 대해 즉시 수행되거나, 본 명세서에 상세하게 설명된 바와 같이 정책이 '지연' 정책으로 지정된 경우에는 주문시시에 수행된다.
정책 시행 엔진(10430)은 정책이 지연으로 지정되어 있지 않은 경우에 실시간으로 정책을 시행할 수 있고(10504), 정책이 지연으로 지정되어 있으면 주문시에 정책(10502)을 시행할 수 있다. 데이터 세트를 소비하는(예를 들어, 데이터 세트에 대한 액세스를 요청하는) 데이터 소비자(10540)는 정책 시행 엔진(10530)을 트리거해서 데이터 세트와 연관된 정책을 시행할 수 있다. 이는, 정책이 지연 정책으로 지정된 데이터 세트와 연관되어 있어서, 데이터 세트가 주문형 처리로 표시되어 있을 때 일어날 수 있다.
도 106는 자율 차량에 의해 수집된 데이터에 대한 정책을 생성하는, 주문형 프라이버시 준수 시스템의 예시적인 포털 화면 디스플레이(10600)이다. 포털 화면 디스플레이(10600)를 통해서 정책이 생성되고, 선택적으로 '지연'으로 지정될 수 있다. 설명 필드(10602)를 통해 사용자는 'Blur License Plates'와 같은, 정책에 대한 설명을 제공할 수 있다. 태그 선택 박스(10604)를 통해서 사용자는 정책에 대한 조건으로 사용될 태그를 선택할 수 있다. 사용자는 정책을 '지연'으로 지정하기 위해 주문형 박스(10606)를 선택할 수 있다. 박스가 선택되지 않으면, 정책은 '지연'으로 지정되지 않는다. 정책 설명 테이블(10608)은 어떤 정책이 '지연'으로 지정되었는지 및 어떤 정책이 '지연'으로 지정되지 않았는지에 대한 보기를 제공한다. 예를 들어, 도 106의 예에서, 얼굴을 블러링하는 정책은 지연으로 지정되어 있고, 따라서 주문형 데이터 세트에 적용된다. 또 다른 예로, 번호판 블러링 정책은 '지연'으로 지정되지 않았으므로 데이터 세트의 이미지에서 번호판을 블러링하기 위해 데이터 세트에 즉시 적용된다.
도 107은 번호판 블러링 정책을 이미지에 적용하기 전과 후에 차량으로부터 수집된 예시적인 이미지를 나타낸다. 이미지(10700A)는 가려지지 않아서 해독 가능한 번호판(10704A)이 있는 이미지이다. 10710에서 번호판을 블러링하는 정책이 적용되어서, 블러링 기술이 이미지의 번호판을 나타내는 픽셀에 적용됨으로써, 가려져서 해독 불가능한 번호판(10704B)을 가진 이미지(10700B)가 생성된다.
도 108은 얼굴 블러링 정책을 이미지에 적용하기 전후에 차량으로부터 수집한 예시적인 이미지를 나타낸다. 이미지(10800A)는 일부 가려지지 않아서 인식할 수 있는 사람의 얼굴이 있는 이미지이다(흰색 프레임으로 강조 표시됨). 10810에서, 얼굴을 블러링하는 정책이 적용되어서, 블러링 기술이 이미지의 얼굴을 나타내는 픽셀에 적용됨으로써 가려져서 인식될 수 없는 얼굴(흰색 프레임으로 강조 표시됨)이 있는 이미지(10800B)가 생성된다.
도 109을 참조하면, 도 109은 시스템(10100)과 같은, 주문형 프라이버시 준수 시스템에서 차량으로부터 수집된 태깅 데이터와 관련된 동작의 하이 레벨의 가능한 흐름(10900)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작 세트는 도 109의 액티비티에 대응한다. 차량 데이터 시스템(10400)은 동작 세트의 적어도 일부를 이용할 수 있다. 차량 데이터 시스템(10400)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 클라우드 차량 데이터 시스템의 경우 10127, 에지 차량 데이터 시스템의 경우 10157)를 포함할 수 있다. 적어도 하나의 실시예에서, 분할 엔진(10410) 및 태깅 엔진(10420)은 각각 하나 이상의 동작을 수행한다. 설명의 편의를 위해, 흐름(10900)은 차량(10150)의 에지 차량 데이터 시스템(10140)을 참조해서 설명될 것이다.
10902에서, 차량(10150)에 의해 수집된 데이터는 에지 차량 데이터 시스템(10140)에 의해 수신된다. 이 데이터는 차량의 데이터 수집기(10152)에 의해, 이미지 캡처 장치를 포함한 다수의 센서로부터 수집될 수 있다.
10904에서, 차량의 지리적 위치가 결정되고, 10906에서 날짜 및 시간이 결정될 수 있다. 일부 구현예에서, 수집된 데이터가 추가 태깅 및 정책 시행을 위해서 대응하는 클라우드 차량 데이터 시스템으로 이후에 송신되는 경우에도, 실시간 정보를 쉽게 이용할 수 있는 에지에서 지리적 태깅 및/또는 날짜와 시간 태깅이 수행되는 것이 바람직할 수 있다. 따라서, 10908에서, 데이터는 데이터 세트로 분할될 수 있다.
10910에서, 차량의 위치 및/또는 데이터의 수집과 관련된 날짜와 시간을 나타내는 하나 이상의 태그가 데이터에 부착된다. 이 시나리오에서는, 태그가 적용되기 전에 분할이 수행되고 지리적 위치 태그 및/또는 날짜 및 시간 태그가 데이터 세트에 적용될 수 있다. 다른 시나리오에서, 지리적 위치 태그 및/또는 날짜와 시간 태그가 데이터의 개별 인스턴스에 적용될 수 있으며, 데이터는 이후에 데이터 세트로 분할되고 적절한 지리적 위치 태그 및/또는 날짜와 시간 태그가 부착된다.
10912에서 데이터 세트에 머신 학습 모델(예를 들어, CNN, SVM)이 적용되어서 데이터 세트와 연관된 하나 이상의 태그를 식별한다. 10914에서, 식별된 하나 이상의 태그가 데이터 세트와 연관된다. 정책은 데이터 세트와 함께 저장되거나, 이에 첨부되거나, 이에 매핑되거나, 혹은 이에 링크된 혹은 연관됨으로써 데이터 세트에 '부착'될 수 있다.
적어도 일부 시나리오에서, 사용자(예를 들어, 차량 소유자, 데이터 공급자)는 데이터 세트에 태그를 수동으로 부착할 수 있다. 예를 들어, 운전자가 도로에서 장애물이나 사고를 발견하면 해당 운전자는 수동으로 정보를 차량 데이터 시스템에 입력할 수도 있다. 태깅 엔진은 이 정보를 사용해서 하나 이상의 관련 데이터 세트에 대한 신규 태그를 생성할 수 있다. 따라서 추가 상황 정보가 실시간으로 데이터에 수동으로 추가될 수도 있다.
도 110은 시스템(10100)과 같은 주문형 프라이버시 준수 시스템에서의 정책 시행과 관련된 동작의 하이 레벨의 가능한 흐름(11000)을 나타내는 개략 흐름도이다. 적어도 하나의 실시예에서, 동작 세트는 도 110의 액티비티에 대응한다. 차량 데이터 시스템(10200)과 같은 차량 데이터 시스템은 동작 세트의 적어도 일부를 이용할 수 있다. 차량 데이터 시스템(10200)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 클라우드 차량 데이터 시스템의 경우 10127, 에지 차량 데이터 시스템의 경우 10157)를 포함할 수 있다. 적어도 하나의 실시예에서, 정책 시행 엔진(10430)은 하나 이상의 동작을 수행한다. 설명의 편의를 위해, 흐름(11000)은 차량(10150)의 에지 차량 데이터 시스템(10140)을 참조하여 설명될 것이다.
11002에서, 차량(10150)의 에지 차량 데이터 시스템(10140)의 정책 시행 엔진은 차량에 의해 수집된 데이터를 포함하는 태그된 데이터 세트를 수신한다. 데이터 세트는 도 109을 참조하여 설명된 액티비티 이후에 수신될 수 있다. 예를 들어, 차량으로부터 수집된 데이터는 데이터 세트로 분할되고 태깅 엔진에 의해 태깅되면, 태그된 데이터 세트는 정책 시행 엔진에 의해 수신된다.
11004에서, 데이터와 연관된 하나 이상의 태그가 식별된다. 11006에서 데이터 세트에 어느 정책이 적용될지 결정된다. 예를 들어 데이터 세트와 연결된 태그가 특정 정책의 조건을 만족하면 해당 정책이 데이터 세트에 적용된다. 11008에서 결정된 정책이 데이터 세트와 연관된다. 정책은 데이터 세트와 함께 저장되거나, 이에 첨부되거나, 이에 매핑되거나, 혹은 이에 링크된 혹은 연관됨으로써 데이터 세트에 '부착'될 수 있다.
11010에서, 컨텍스트 맞춤 정책이 데이터 세트와 연관되어 있는지 여부가 결정된다. 컨텍스트 맞춤 정책은 지연 정책 및/또는 비지연 정책을 중단시킬 수 있다. 예를 들어 차량이 AMBER-타입-어린이 경보를 수신하는 경우, '고속도로' 태그가 부착된 데이터 세트에서 번호판을 블러링하는 지연 정책이 '아니요'로 설정될 수 있다. 그러나 데이터 세트의 번호판을 즉시 블러링하는 대신, OCR을 사용해서 데이터 세트의 번호판 정보를 얻을 수도 있다. 따라서, 컨텍스트 맞춤 정책을 적용 가능한 경우, 11012에서, 데이터 세트에 적용할 컨텍스트 맞춤 정책에 대한 처리 큐에 데이터 세트가 추가된다. 이후, 흐름은 11024로 넘어가서, 데이터 세트는 정책 준수로 표시되고 후속 사용을 위해 저장된다(예를 들어, 법 집행 기관에 송신 등). 경우에 따라, 컨텍스트 맞춤 정책이 더 이상 유효하지 않을 때까지 일시적으로 사용될 수도 있다(예를 들어, AMBER 타입 어린이 경보가 취소됨). 이 시나리오에서, 정책 시행 엔진은 데이터 세트를 다시 처리해서 임의의 비지연은 정책을 적용하고, 지연 정책이 데이터 세트와 연관되어 있고 아직 데이터 세트에 적용되지 않은 경우에는, 주문형 처리를 위해 데이터 세트를 표시할 수 있다.
11010에서, 컨텍스트 맞춤 정책이 데이터 세트와 연관되지 않은 것으로 결정되면, 11014에서, 임의의 비지연 정책이 데이터 세트와 연관되는지 여부가 결정될 수 있다. 비지연 정책이 데이터 세트와 연결되지 않은 경우, 이는, 11016에 표시된 바와 같이, 하나 이상의 지연 정책이 데이터 세트와 연관되어 있다는 것을 의미한다. 즉, 11008에서, 하나 이상의 정책이 데이터 세트와 연관되어 있고, 하나 이상의 정책이 컨텍스트에 맞지 않고(11010에서 결정됨) 비지연이 아닌 경우(11014에서 결정됨), 정책은 지연된다. 따라서 11018에서, 데이터 세트는 주문형 지연 정책 처리로 표시되고 저장된다.
11014에서 하나 이상의 비지연 정책이 데이터 세트와 연관되어 있다고 결정되면, 11020에서 데이터 세트에 비지연 정책(들)을 적용하기 위해 데이터 세트가 처리 큐에 추가된다. 11022에서 지연 정책이 데이터 세트와 연관되어 있는지 여부가 결정된다. 하나 이상의 지연 정책이 데이터 세트와 연관되어 있는 경우, 11018에서, 데이터 세트는 주문형 지연 정책 처리로 표시되고 저장된다. 하나 이상의 지연 정책이 데이터 세트와 연관되어 있지 않은 경우, 11024에서, 데이터 세트는 정책을 준수하는 것으로 표시되고 후속 액세스 및/또는 사용을 위해 저장된다.
도 111은 주문형 프라이버시 준수 시스템에서 정책 시행과 관련된 하이 레벨의 가능한 동작 흐름을 나타내는 개략 순서도이다. 적어도 하나의 실시예에서, 동작 세트는 도 111의 액티비티에 대응한다. 차량 데이터 시스템(11000)과 같은 차량 데이터 시스템은 동작 세트의 적어도 일부를 이용할 수 있다. 차량 데이터 시스템(11000)은 동작을 수행하기 위한 하나 이상의 데이터 프로세서(예를 들어, 클라우드 차량 데이터 시스템의 경우 10127, 에지 차량 데이터 시스템의 경우 10157)를 포함할 수 있다. 적어도 하나의 실시예에서, 정책 시행 엔진(10430)은 하나 이상의 동작을 수행한다. 전반적으로, 흐름(11100)은 주문형 처리를 위해 표시된 데이터 세트에 적용될 수 있다.
적어도 하나의 실시예에서, 데이터 세트에 대한 액세스 요청이 수신될 때, 데이터 세트가 주문형 처리를 위해 표시될지 여부가 결정될 수 있다는 점에 주의해야 한다. 데이터 세트가 주문형 처리라고 표시되면, 11102에서, 액세스가 요청된 데이터 세트가 주문형 처리라고 표시되는 것으로 결정된다. 데이터 세트가 주문형 처리로 표시되었기 때문에, 데이터 세트와 연관된 하나 이상의 정책이 지연 정책으로 지정된다. 데이터 세트에 대한 액세스 요청은 예를 들어 다른 적절한 방식으로 데이터 세트를 읽거나, 공유하거나, 수신하거나, 샘플링하거나 액세스하기 위한 임의의 장치 또는 애플리케이션으로부터의 요청일 수 있다.
11104에서, 데이터 세트와 연관된 정책이 식별된다. 11104에서, 식별된 정책이 지연으로 지정되었는지 여부가 결정된다. 식별된 정책이 지연으로 지정되면, 11106에서, 식별된 정책이 데이터 세트에 적용된다. 식별된 정책이 지연으로 지정되지 않았거나 식별된 정책이 데이터 세트에 적용되면, 11108에서, 다른 정책이 데이터 세트와 연관되어 있는지 여부가 결정된다. 다른 정책이 데이터 세트와 연관된 경우, 흐름은 11104로 돌아가서, 데이터 세트와 연관된 다른 정책을 식별하고 이전에 설명한 바와 같이 처리를 계속한다. 흐름은, 데이터 세트와 연관되고 지연으로 지정된 모든 정책이 데이터 세트에 적용될 때까지 계속 반복될 수 있다.
11108에서, 다른 정책이 데이터 세트와 연관되어 있지 않은 것으로 결정되면, 11110에서 적용 가능한 규제 위치가 변경되었는지 여부가 결정된다. 예를 들어, 차량이 적어도 하나의 정책이 지연으로 지정된 데이터 세트를 로컬하게 (예를 들어, 차량에) 저장하고, 차량이 다른 규제 영역으로 이동하면 신규 규제 영역이 추가 프라이버시 준수 조치를 요구하는지 여부를 결정하기 위해 평가가 수행될 수 있다. 따라서, 적용 가능한 규제 위치가 변경되지 않은 경우 흐름은 11118로 돌아가서, 정책 준수 데이터 세트에 대한 액세스를 허용할 수 있다.
적용 가능한 규제 위치가 변경된 경우, 11112에서, 업데이트된 지리적 위치 태그가 데이터 세트에 연관된다. 11114에서 신규한 하나 이상의 정책이 데이터 세트에 적용되는지 여부가 결정된다. 데이터 세트에 신규 정책이 적용되지 않는 경우(적어도 부분적으로 신규 지리적 위치 태그에 기초함), 흐름은 11118로 넘어가서 정책 준수 데이터 세트에 대한 액세스를 허용할 수 있다.
적어도 하나의 신규 정책이 데이터 세트에 적용되는 경우, 11116에서, 신규 정책(또는 다수의 신규 정책)이 데이터 세트에 적용된다. 이후 11118에서, 정책 준수 데이터 세트에 대한 액세스가 허용될 수 있다.
데이터 세트가 주문형 처리로 표시되지 않고, 데이터 세트에 대한 액세스 요청이 수신되면, 적어도 하나의 실시예에서, 11110에서, 데이터 세트가 정책을 준수하고 흐름이 다음 단계로 넘어간다고 결정된다. 따라서, 데이터 세트에 적용될 정책에 차량의 신규 규제 위치가 영향을 미치는지 여부를 결정하기 위해, 정책 준수 데이터 세트가 평가될 수 있다.
도 112은 적어도 하나의 실시예에 따른 자율 차량(11210)의 자동화를 위한 제어 루프의 개략도이다. 도 112에 도시된 바와 같이, 자율 주행은 로직 엔진(11202)(지각, 융합 계획, 운전자 정책 및 의사 결정 측면을 포함함)를 사용한 고속 피드백 루프 및 이러한 엔진의 출력에 기초해서 AV(11204)의 분산 동작(Distributed Actuation)에 의존할 수 있다. 이들 메타-모듈 각각은 트러스트할 수 있다고 가정된 입력 또는 처리에 의존할 수 있다.
도 113은 적어도 하나의 실시예에 따른 자율 차량의 자동화를 위한 GDI(Generalized Data Input)의 개략도이다. 스마트 시티 및 스마트 인프라에서의 자율 주행 및 운송과 관련해서, 입력은 원시 데이터(11302)(예를 들어, 숫자, 기호, 팩트(fact)), 정보(11304)(예를 들어, 처리되어서 모델로 구성된 데이터), 지식(11308)(예를 들어, 수집된 구조 관련 및 컨텍스트 관련일 수 있는 정보), 경험(11310)(예를 들어, 과거 액션을 통해 얻은 지식), 이론 프레임워크(11306)(예를 들어, 행동을 설명하기 위한) 또는 이해(11312)(예를 들어, 의미 할당, 거동이 발생한 이유의 설명, 또는 분석의 적용)의 형태를 취할 수 있다. 이들 상이한 타입의 입력 각각을 GDI(Generalized Data Input)라고 할 수 있다. 도 113에 도시된 바와 같이, GDI는 지혜(wisdom)(예를 들어, 판단, 평가된 이해, 적절한/좋은/정확한/올바른 액션)를 제공하는 데 사용될 수 있다. 표시된 데이터는 임의의 적절한 타입의 메모리에 의해 저장될 수 있고 및/또는 자율 차량의 차량 내 컴퓨팅 시스템의 하나 이상의 프로세서에 의해 처리될 수 있다.
도 114는 적어도 하나의 실시예에 따른 예시적인 GDI 공유 환경(11400)을 나타내는 도면이다. 도시된 예에서, 다른 차량 액터(11404)로 둘러싸인 자아 차량(ego vehicle)(예를 들어, 주체 자율 차량)(11402) 및 자아 차량(11402) 주변의 이웃(11412)에 있는 무리(fleet) 차량 액터(11406)가 있다. 나아가, 자아 차량(11402) 주변에는, 신호등 센서(11408) 및 가로등 센서(11410)를 포함한 인프라 센서가 있다.
도시된 바와 같이, 자아 차량(11402)은 환경(11400) 내의 다른 액터 또는 센서 중 하나 이상과 통신할 수 있다. GDI는 도시된 액터들 사이에 공유될 수 있다. 자아 차량(11402)과 다른 액터 사이의 통신은 다음 시나리오 중 하나 이상으로 구현될 수 있다: (1) 셀프-투-셀프(self-to-self), (2) 다른 자율 차량으로의 브로드캐스트(1:1 또는 1:다), (3) 다른 타입의 액터/센서로의 브로드캐스트(1:1 또는 1:다), (4) 다른 자율 차량으로부터 수신(1:1 또는 1:다), 또는 (5) 다른 타입의 액터/센서로부터 수신(1:1 또는 1:다).
일부 실시예에서, 자아 차량(11402)은 자신의 센서에 의해 생성된 GDI를 처리 할 수 있으며, 일부 경우에는, 이웃(11400)의 다른 차량과 GDI를 공유해서 다른 차량이 GDI를 사용해서(예를 들어, 계획 및 의사 결정을 위한 이들의 각각의 로직 엔진을 사용해서) 결정을 내릴 수 있다. GDI(트러스트될 수 있다고 간주될 수 있음)는 에고 자율 차량 자체의 이종 센서들(자동 감응식 크루즈 제어, 전자 브레이크 시스템, 센서 클러스터, 게이트웨이 데이터 송신기, 포스 피드백 가속 페달(force feedback accelerator pedal), 도어 제어 장치, 선루프 제어 장치, 안전 벨트 프리텐셔너, 시트 제어 장치, 브레이크 액추에이터, 클로싱 속도 센서, 사이드 위성, 전방 센서, 에어백 제어 장치 또는 기타 적절한 컨트롤러 또는 제어 장치와 같은 전자 제어 장치 중 하나로부터의 정보를 포함할 수 있음)로부터, 혹은 기타 GDI 액터 차량(예를 들어, 인근 차량, 버스와 같은 무리 액터 차량 또는 다른 타입의 차량), 스마트 시티 인프라 요소(예를 들어, 오버헤드 라이트 포스트 또는 신호등의 센서/컴퓨터와 같은 인프라 센서), 맵 서비스 또는 소프트웨어-업데이트 제공자와 같은 제3자 앱, 차량의 OEM, 정부 기관 등으로부터 올 수 있다. 또한, 일부 실시예에서, 자아 차량(11402)은 이웃에 있는 다른 차량 및/또는 인프라 센서 중 하나 이상으로부터 GDI를 수신할 수 있다. 이들 GDI 소스 중 하나에 대한 악의적인 공격으로 인해서 하나 이상의 개인이 부상을 입거나 사망할 수 있다. 무리, 도시 또는 인프라의 차량에 대해 악의적인 공격이 가해지면, 차량은 끔찍한 결과를 일으키면서 잘못된 행동을 대규모로 전파하여, 혼란을 일으키고 기술에 대한 대중의 트러스트를 약화시킬 수 있다.
경우에 따라, 잠재적으로 트러스트될 수 없는 소스와 데이터를 공유하는 것은, 블록 체인 기술을 통해 수행될 수 있다. GDI를 공유하는 것은, 차량과 관련된 하나 이상의 컴퓨팅 시스템에 의해 구현되는 다음 요소 중 하나 이상을 포함할 수 있다.
·GDI를 패키징하기 위한 구조.
·GDI가 다른 GDI와 관련되는 방식을 설명하는 토폴로지.
·허가 정책(예를 들어, Linux/Unix 시스템의 chmod와 유사).
·GDI를 판독할 수 있는 사람을 결정하는 판독-액세스 정책
·GDI를 작성할 수 있는 사람을 결정하는 쓰기-제어 정책
·실행 가능한 GDI 구성 요소(예를 들어, 모델 실행, 소프트웨어 업데이트 등)를 실제로 실행할 수 있는 사람을 결정하는 실행-제어 정책.
·토폴로지의 유효한 상태를 결정하는 상태 정책
·GDI에 적용된 소유권 정책(Linux/Unix 시스템의 chgrp/chown과 유사). 예를 들어, Self, Group, All이다.
도 115는 적어도 하나의 실시예에 따른 예시적인 블록체인 토폴로지(11500)의 도면이다. 도시된 바와 같이, GDI의 구조는 머리글, 본문(GDI 세부 사항을 포함하는) 및 바닥글을 포함하는 "블록"(11502)을 포함할 수 있다. 토폴로지는 암호화-기반 머리글 및 바닥글을 가진 링크된 블록의 리스트(또는 선형 네트워크)를 포함한다(예를 들어, 도 115 참조). 체인의 블록의 머리글(n)은, 링크된 리스트에서 프리커서(precursor) 블록(n-1)의 후속 블록으로 설정하는 정보가 포함되어 있다. 일부 경우에, 블록 체인을 구현하는 컴퓨팅 시스템(들)(예를 들어, 블록을 저장하고 신규 블록을 확인함으로써)은 다음 요소 중 하나 이상을 시행할 수 있다.
·예를 들어 다음을 포함하는 허가 정책.
1. 블록 정보를 판독할 수 있는 사람을 나타내는 판독-액세스 정책은 타원 곡선 디지털 서명 알고리즘(Elliptic Curve Digital Signal Algorithm)과 같은 암호화 해시로부터 생성된 공개-개인 키 쌍의 일치에 기초한다.
2. 블록을 첨부할 수 있는 사람을 나타내고, 따라서 머리말 정보를 첨부 블록에 '쓰기'할 수 있는 사람을 나타내는 쓰기-제어 정책은, 검증 시간이 중요한 제약인 이전 블록을 검증하는 능력에 기초한다.
3. 스마트 계약으로 블록 정보에 포함된 실행 제어 정책.
·상충되는 상태 정보가 제공될 때, 블록 체인의 어떤 상태가 유효한지 결정하기 위한 분산 합의에 기반한 상태 정책. '유효한 상태'를 설정하는 것에 대한 보상은 쓰기-제어 허가이다. 본 예는 작업 증명(Proof of Work)(목표한 경과 시간 내에 암호화 퍼즐을 해결하고, 중앙 플랫폼에 의해 난이도가 동적으로 조절되는 제 1 채굴자(miner)가 '유효한 상태'를 설정한 것으로 간주되고, 따라서 이 특정 시간에 쓰기-제어 허가를 부여받는다), 지분 증명(Proof of Stake)(지분/부(wealth)/이자가 가장 높은 채굴자에게 암호화 퍼즐을 할당하고, 퍼즐이 해결되면 그 채굴 자에게 쓰기-제어 허가를 부여), 소각 증명(Proof of Burn)(자신이 소유한 통화를 소각하는 대가로 쓰기-제어 허가를 부여) 등을 포함한다.
·메시지 세부 사항 내에서 캡처될 수 있는 소유권 정보.
도 116는 적어도 하나의 실시예에 따른 DAG(directed acyclic graph) 토폴로지(11600)를 사용하는 예시적인 "체인없는" 블록의 도면이다. 경우에 따라 확장성을 해결하기 위해, IOTA 플랫폼과 같은 DAG를 사용하는 신규 플랫폼이 개발되었다. DAG에서, 상태 정책(및 쓰기-제어 허가)은 작업 증명에 기초할 수 있으며, 이는 현재 확인되지 않은 블록에 대한 이전 블록을 확인하는 데 사용될 수 있다.
그러나, 어떤 경우에는, 이들과 같은 블록형 기술은 하나 이상의 허가 정책, 상태 정책 또는 주어진 플랫폼의 확장성에서 문제를 제기할 수 있다. 예를 들어, 허가 및 상태 정책에 내재된 것은, 지금까지 충분했던 ECC(Elliptic Curve cryptography)의 활용일 수 있지만, 이들 암호화 기술은 앞으로는 충분하지 않을 수 있다. 예를 들어, ECC 기반 서명(타원 곡선 이산 로그 문제에 기초함)은, 효율적인 양자화 알고리즘이 적용될 때 기술의 가장 위험한 구성 요소 중 하나일 수 있으며 가장 안전하지 않은 구성 요소는, (1) 공개 키와 관련된 고정 주소 및 (2) 처리되지 않은 블록(블록 체인 또는 Block-DAG에 아직 첨부되지 않은 블록)이다. 또한, 이러한 기술은 악의적인 액터(예를 들어, 무리 차량의 액터의 경우)에 의한 공급망 차단에 취약할 수 있다.
이러한 블록-유사 기술 및 시스템의 예시적인 문제는, 허가 정책과 관련된 문제이다. 고정 주소가 도난 당하면, 관련 데이터와 거래, 및 금전적 가치가 해커 절도범의 재산이 될 수 있다. 해커 절도범이 전체 소유권을 통해 읽기, 쓰기 및/또는 실행 허가를 얻을 수 있기 때문이다. 다른 문제는 주(state) 정책과 관련될 수 있다. 예를 들어, 미처리 블록의 경우, 2028년까지 양자 알고리즘이 공개 키로부터 개인 키를 추출할 수 있을 것으로 예상된다. 특히 Schor의 알고리즘은 양자 컴퓨터를 사용해서 소인수를 결정할 수 있다. 그리고 Grover의 알고리즘은 키 검색을 수행할 수 있다. 알아낸 개인 키 및 주소를 이용해서, 그 주소에서 신규 블록(유해한 데이터 또는 유해한 계약 포함)을 도입할 수 있다. 판독-액세스 및 합의(Read-Access and Consensus)(및 쓰기 제어(Write-Control))는 타원 곡선 암호화에 기초했다. 그러나, 암호 화폐 구현을 위반하면 상당한 금전적 손실이 발생한다. 자율 차량에 대해 제안된 현재 블록 체인 기술을 통해, 주소 도난 또는 메시지 도난(스마트 계약 도난 포함)은 인명 손실 및/또는 인프라에 대한 치명적인 손상까지 차량의 피드백 루프에 부정적인 영향을 미칠 수 있다. 다른 문제는 확장성에 대응할 수 있다. 현대의 분산 블록 체인 기술은 현재 초당 20개 미만의 트랜잭션을 실행하는 반면(분산형 P2P 푸시 모델 사용), VisaNet은 초당 최대 56K 트랜잭션 메시지를 실행할 수 있다(중앙 집중식 풀 모델 사용(centralized pull model)). 자율 주행 및 스마트 시티의 경우, 거래는 최소한 VisaNet와 같이 실행되어야 한다.
따라서, 본 개시의 측면들은 다음의 요소들 중 하나 이상을 포함할 수 있고, 이러한 문제들을 해결하는 것을 돕기 위해 자율 주행 컴퓨팅 시스템에서 구현될 수 있다:
· 자율 차량 내에서 하나 이상의 보안 개인 키(예를 들어, Intel SGX(Software Guard Extension) 활용)가 생성될 수 있다. 개인 키는 각각의 해당 공개 키를 생성하는 데 사용될 수 있다.
· 개인 키에 기초해서 모든 데이터에 대해 디지털 서명이 사용될 수 있다. 디지털 서명은 센서 데이터의 해시일 수도 있으며, 이는 개인 키를 사용해서 암호화된다.
·무허가 블록 체인은 자율 차량 내부에서 사용될 수 있다(예를 들어, 블록 체인에 추가하는 사람을 확인할 필요가 없을 수 있음). 모든 통신 버스는 블록을 판독할 수 있으며, 자율 차량의 내부 네트워크는 누가 블록 체인에 기입할 수 있는지 결정할 수 있다.
·자율 차량은 허가된 블록 체인에 인터페이스할 수 있고(예를 들어, 차량 타입(예를 들어, 버스) 대 소유 승용차 대 임시/렌트 승용차(예를 들어, 택시)와 같은 차량 타입에 기초할 수 있는 액세스 정책으로; 판독 액세스는 키 계약에 기초해서할 수 있음) 또는 외부 데이터를 예상할 때 동적 DAG 시스템에 액세스할 수 있다. 판독 액세스는 구독 기반일 수 있으며, 예를 들어 소프트웨어 업데이트는 유료 업그레이드 정책에 따라 부여될 수 있다.
·데이터 공유를 위해 데이터를 브로드캐스팅할 때, (임시(ephemeral) 타원 곡선 Diffie Hellman 교환 또는 다른 타입의 일회성 서명 체계에 기초한) 임시 공개 키를 사용해서 공유될 데이터를 잠금 해제하기 위한 비밀 키를 생성할 수 있다.
디지털 서명을 사용하면, 다운스트림에서 나중에 사용할 수 있도록 타임 스탬프 및 진실 서명(truth signature)이 모든 데이터와 연관될 수 있다. 고정 개인 키는 보안 영역에서 유지될 수 있다. 또한 합의 프로토콜에 대한 시간 제한을 가동 시간 조정(예를 들어, 밀리 초)과 유사하게 설정함으로써, 하나 이상의 센서에 대한 스푸핑(spoofing) 또는 해킹 시도가 억제될 수 있다. 또한 자율 차량의 내부 네트워크 내 네트워크/게이트웨이 프로토콜(버스 인터페이스 또는 게이트웨이 프로토콜 레벨)은 검증된 블록 체인만 중계할 수 있다. 나아가 차량 내 데이터베이스를 (블록 체인을 통해) 생성함으로써 자율 차량을 위한 "블랙 박스"(감사 가능한 데이터 기록기)가 생성될 수 있다.
도 117은 적어도 하나의 실시예에 따른 자율 차량의 예시적인 보안 차량 내 통신 프로토콜(11700)의 개략 블록도이다. 예를 들어, 프로토콜(11700)은 도 114의 자아 차량(11402)이 악의적인 액터로부터 데이터를 보호하기 위해 사용할 수 있다. 예시적인 프로토콜은 자율 차량에 연결된 센서(예를 들어, LIDAR, 카메라, 레이더, 초음파 등)로부터 자율 차량의 로직 유닛(예를 들어, 도 114과 관련하여 위에서 설명된 것과 유사한 로직 유닛)으로 데이터를 통신하기 위해 사용될 수 있다. 도시된 예에서는, 디지털 서명이 센서 데이터(예를 들어, 개체 리스트)에 첨부된다. 디지털 서명은 센서의 보안 개인 키에 기초할 수 있다. 개인 키는 예를 들어 secp256k1과 같은 ECC 기반 프로토콜에 기초해서 생성될 수 있다. 경우에 따라, 센서 데이터를 해싱하고, 해시를 개인 키를 사용해서 암호화함으로써 디지털 서명을 생성할 수 있다.
센서 데이터(11702)(디지털 서명 포함)는, 특정 네트워크 프로토콜(11706)을 통해서 인식, 융합, 의사 결정 로직 유닛(11708)(예를 들어, 차량 내 컴퓨팅 시스템)에 통신되기 전에, 블록 기반 토폴로지(예를 들어, 도시된 바와 같은 무허가 블록 체인)(11704)에 블록으로서 추가된다. 특정 실시예에서, 블록 체인 상의 데이터 만이 자율 차량 내부의 네트워크/통신 프로토콜에 의해 포워딩될 수 있다. 네트워크 프로토콜은 블록/센서 데이터를 로직 유닛에 통신하기 전에, 블록의 데이터를 확인할 수 있다(예를 들어, 센서 데이터의 타임 스탬프를 블록 체인의 합의 프로토콜의 시간 제약과 비교). 또한, 특정 실시예에서, 네트워크 프로토콜은 블록을 로직 유닛으로 포워딩하기 전에 블록에서 센서 데이터의 디지털 서명을 확인할 수 있다. 예를 들어, 네트워크 프로토콜은 센서 데이터의 디지털 서명을 생성하는 데 사용되는 개인 키와 관련된 공개 키에 액세스할 수 있으며, 공개 키를 사용해서 디지털 서명을 확인할 수 있다(예를 들어, 공개 키를 사용해서 해시를 암호 해제하고, 해시 일치를 확인). 블록 체인(11704)는 블록 체인에 추가하기 전에 확인이 필요하지 않기 때문에 무허가로 간주될 수 있다. 어떤 경우에는, 자율 차량의 하나 이상의 측면을 통해서, 블록 체인에 기입할 수 있는 사람을 결정할 수 있다. 예를 들어, 불쾌한 이웃을 주행하는 동안에, '불쾌한(unsavory)' 이웃의 카메라 검출이나 또는 내비게이션 맵 경고에 의해 트리거됨으로써, 자율 차량이 안전하게 이 이웃으로부터 떠날 때까지, 자율 차량의 내부 네트워크는 모든 것을 확인하도록 리버트(revert)될 수 있다.
도 118은 적어도 하나의 실시예에 따른 자율 차량의 예시적인 보안 차량-간 통신 프로토콜(11800)의 개략 블록도이다. 예를 들어, 프로토콜(11800)은, 도 52의 자아 차량(5202)이 다른 차량, 백엔드(예를 들어, 클라우드 기반) 지원 시스템 또는 인프라 센서 중 하나 이상으로부터의 데이터를 검증하는데 사용될 수 있다. 예시적인 프로토콜은 자율 차량(소유 차량, 임시/렌트 차량 또는 무리 차량을 포함할 수 있음)으로부터 다른 자율 차량의 로직 유닛(예를 들어, 도 50과 관련하여 위에서 설명된 것과 유사한 로직 유닛)으로 센서 데이터를 통신하는데 사용될 수 있다. 도시된 예에서, 제 1 자율 차량으로부터의 센서 데이터(위에 설명된 디지털 서명을 포함할 수 있음)가 블록 기반 토폴로지(예를 들어, 허가된 블록 체인 또는 동적 DAG의 노드)(11802)에서 블록으로서 추가되고, 제 2 자율 차량으로 송신되며, 여기서, 하나 이상의 스마트 계약(11804)이 추출된다. 스마트 계약은 인식, 융합, 의사 결정 로직 유닛(11808)에서 데이터가 처리되는 방식을 오버라이드할 수 있는 신규 규제 준수 처리 정책 또는 실행 코드와 같은 정보를 포함할 수 있다. 예를 들어, 신규 정책은 인식 흐름을 중요시하여, 보행자/사람 및 얼굴을 검출하는 카메라 인식 엔진 구성 요소가 얼굴 랜드마크, 포즈, 동작만 추출할 수 있고 전체 특성 맵은 추출할 수 없게 된다. 유사하게, 제 1 자율 차량이 정부 경찰차인 경우, 스마트 계약은 임시 인식 처리 오버라이드 및 번호판 검색을 포함해서, 현재 자율 차량의 카메라가 주변에서 관심있는 번호판을 식별했는지 검출할 수 있다.
특정 실시예에서, 차량에 대한 외부 데이터 및 소프트웨어 업데이트는 스마트 계약으로서 도달할 수 있다. 스마트 계약 및/또는 센서 데이터가 네트워크 프로토콜(11806)에 의해 검증되면, 센서 데이터는 제 2 자율 차량의 인식, 융합, 의사 결정 로직 유닛(11808)으로 전달된다. 일부 경우에, 네트워크 프로토콜은 임시 공개 키(예를 들어, 타원 곡선 Diffie-Hellman에 기초함)를 사용할 수 있다. 동적 환경에서 임시 공개 키를 사용하면, 공개 키가 즉시 생성되어서 공유될 수 있으며, 자동차는 순간적으로 주행을 따라 전달되는 액터 차량 또는 인프라에 접속된다. 이러한 타입의 임시 키 교환은, 에고 카가 접속되어 있는 짧은 시간 동안만 보안 데이터 교환을 허용한다.
도 119은 적어도 하나의 실시예에 따른, 자율 차량의 예시적인 보안 차량 내 통신 프로토콜의 개략 블록도이다. 도시된 예에서, 보안 차량 내 통신 프로토콜은 서로 인터렉트하는 2개의 블록 체인(A 및 B)을 사용한다. 나아가, 차량 내 통신 프로토콜은 차량 내 "블랙 박스" 데이터베이스(11920)를 사용한다. 예시적인 센서 데이터(11902 및 11912), 블록 체인(11904 및 11914), 네트워크 프로토콜(11906) 및 로직 유닛(11908)은 도 55에 도시되고 위에서 설명한 유사한 구성 요소와 유사하게 구현될 수 있으며, 스마트 계약(11916)은 도 118에 도시되고 위에서 설명된 스마트 계약(11804)과 유사하게 구현될 수 있다.
도시된 예에서, 로직 유닛(11908)에 의해 생성된 정보는 자율 차량의 가동 유닛(11910)에 제공되어 자율 차량의 동작을 가동하고 제어하며(예를 들어, 도 50과 관련해서 위에서 설명됨), 가동 유닛은 로직 유닛에 피드백을 제공할 수 있다. 가동에 사용된 이후, 센서 데이터(11902), 로직 유닛(11910)에 의해 생성된 정보 또는 가동 유닛(11910)에 의해 생성된 정보는, 차량 내 데이터베이스(11920)에 저장될 수 있으며, 이는 이후 자율 차량의 "블랙 박스" 역할을 할 수 있다.
"블랙 박스"는 특정한 측면의 로깅(logging)에 사용되는 블랙 박스 및 항공 운송을 제공하는데 사용되는 통신 및 데이터와 유사하게 작동할 수 있다. 예를 들어, 블록 체인으로 기록된 GDI는 불변이기 때문에, 자율 차량 내부의 스토리지 시스템에 저장되면, 사고 시나리오에서 정부 기관에 의해 복구되거나 소프트웨어 업데이트 동안 소프트웨어 시스템 공급 업체에 의해 복구될 수 있다. 이후, 이 GDI는 잠재적인 다운스트림 가동의 대규모 세트를 시뮬레이션하는데 사용될 수 있다. 나아가, 가동 로거(actuation logger)가 스토리지 시스템에도 기록하는 경우, 엔드포인트 가동 로거 데이터가 업스트림 GDI와 함께 사용되어서, 잘못된 중간 스테이지를 걸러낼 수 있다. 이것은 자율 차량 내의 결함을 식별할 가능성이 높이고, 액터 차량, 무리, 인프라 또는 다른 제3자로부터의 에러 데이터에 대해서 결함을 자아 차량의 내부로 귀속시킨다.
자율 차량은, 하나 이상의 LIDAR, 레이더, 카메라, GPS(Global Positioning System), IMU(inertial measurement unit), 오디오 센서, 열 센서 또는 기타 센서(예를 들어, 본 명세서에서 설명된 것이나 또는 다른 적절한 센서)를 구비할 수 있다. 센서는 초 단위로 대량의 데이터(예를 들어, 테라바이트)를 종합적으로 생성할 수 있다. 이러한 데이터는 자율 차량 스택의 인식 및 센서 융합 시스템에 의해 소비될 수 있다. 많은 상황에서, 서로 다른 센서가 동일한 정보를 캡처하거나 또는 특정 센서가 변경되지 않았거나 혹은 약간만 변경된 정보를 캡처할 수 있기 때문에, 센서 데이터는 다양한 중복을 포함할 수 있다(예를 들어, 조용한 고속도로에서 운전 중이나, 교통량이 적을 때나 또는 신호등에서 멈춰있을 때). 이러한 중복은, 하드웨어, 특수 데이터 핸들링 빅 데이터 생태계, 센서 융합 알고리즘 및 처리 파이프 라인의 여러 단계에서 거의 실시간으로 데이터를 처리하는 데 사용되는 기타 알고리즘 최적화와 같은, 리소스 요건을 크게 증가시킬 수 있다. 일부 시스템에서, 센서 시스템의 신호 대 노이즈비(SNR)를 개선하기 위해, 센서 융합 알고리즘(예를 들어, 칼만(Kalman) 필터에 기초한 알고리즘)은 동일한 가중치를 사용해서 다수 센서로부터의 데이터를 결합할 수 있다. 이로 인해 전체 변형예에서 개선시킴으로 인해서, 단일 센서로부터의 데이터에 비해 SNR를 향상시킬 수 있다.
본 개시 내용의 특정 실시예에서, 개선된 센서 융합 시스템은, 전체 시스템의 SNR 요건은 계속 충족시키면서, 비용 효율적 및/또는 전력 효율적인 센서로부터의 낮은 품질의 신호를 이용할 수 있으며, 이로써 전체 시스템의 비용을 감소시킨다. 다양한 실시예는 1) 컨텍스트에 기초한 불균일 데이터 샘플링 및 2) 컨텍스트에 기초한 적응형 센서 융합 중 하나 또는 모두를 통해, 센서 데이터 중복과 관련된 단점을 감소시킬 수 있다.
특정 실시예에서, 자율 차량의 샘플링 시스템은 자율 차량과 연관된 컨텍스트에 기초해서 데이터를 샘플링함으로써, 불균일 데이터 샘플링을 수행할 수 있다. 이 샘플링은 장면 변화의 빈도, 기상 상태, 교통 상황, 또는 기타 컨텍스트 정보(본 명세서에 설명된 임의의 컨텍스트와 같은)와 같은, 임의의 적절한 컨텍스트에 기초할 수 있다. 이러한 불균일 데이터 샘플링은 리소스 요건과 전체 처리 파이프라인 비용을 크게 감소시킬 수 있다. 설정된 간격(예를 들어, 초 단위)으로 모든 센서로부터 데이터를 샘플링하는 대신, 컨텍스트에 기초해서 하나 이상의 센서 샘플링을 커스토마이즈할 수 있다.
일 실시예에서, 센서의 샘플링 레이트는 주어진 기상 조건에 대한 센서의 감도로 조정될 수 있다. 예를 들어, 특정 기상 조건이 있을 때 유용한 데이터를 생성하는 것으로 확인된 센서의 샘플링 레이트는, 그 기상 조건 동안 사용할 수 없는 데이터를 생성하는 센서보다 더 자주, 샘플링될 수 있다. 일부 실시예에서, 다양한 센서의 각각의 샘플링 레이트는 교통 밀도 또는 장면 변화의 레이트와 상관된다. 예를 들어, 교통이 적은 샘플에 비해 교통이 밀집된 하나 이상의 센서에서 더 높은 샘플링 레이트가 사용될 수 있다. 다른 예로서, 장면이 정적인 경우 캡처되는 샘플의 수에 비해서, 장면이 빠르게 변경되는 경우에 단위 시간당 더 많은 샘플이 캡처될 수 있다. 다양한 실시예에서, 높은 비용, 소비되는 전력 단위당 낮은 처리량 및/또는 높은 전력 요건을 가진 센서는, 낮은 비용, 소비된 전력 단위당 높은 처리량을 갖는 센서에 비해 드물게 사용되며, 및/또는 전력 요건을 저하시켜서 안전 요건을 저해하지 않으면서도 비용 및 에너지를 절감한다.
도 120a는 특정 실시예에 따른, 복수의 센서의 샘플링 레이트를 결정하는 시스템을 도시한다. 이 시스템은 실측 자료 데이터(12002), 머신 학습 알고리즘(12004) 및 출력 모델(12006)을 포함한다. 실측 자료 데이터(12002)는 머신 학습 알고리즘(12004)에 제공되고, 여기서 데이터를 처리해서 출력 모델(12006)에 제공한다. 특정 실시예에서, 머신 학습 알고리즘(12004) 및/또는 출력 모델(12006)은 머신 학습 엔진(232) 또는 다른 컴퓨팅 시스템(예를 들어, 140, 150)의 머신 학습 엔진에 의해 구현될 수 있다.
본 예에서, 실측 자료 데이터(12002)는 센서 제품군 구성 데이터, 센서당 샘플링 레이트, 컨텍스트 및 안전 결과 데이터를 포함할 수 있다. 실측 자료 데이터(12002)는 다수의 데이터 세트를 포함할 수 있는데, 이는 샘플링 기간에 각각 대응하고, 센서 제품군 구성, 센서당 사용되는 샘플링 레이트, 샘플링 기간에 대한 컨텍스트 및 샘플링 기간 동안의 안전 결과를 나타낸다. 데이터 세트는 실제 자율 차량에 의해 수행되는 샘플링에 대응하거나, 또는 시뮬레이터에 의해 생성된 데이터에 대응할 수 있다. 센서 제품군 구성 데이터는, 센서의 타입(예를 들어, LIDAR, 2D 카메라, 3D 카메라 등), 각 타입의 센서 수, 센서의 해상도, 센서의 자율 차량에서의 위치 또는 기타 적절한 센서 정보와 같은, 자율 차량의 센서 구성과 관련된 정보를 포함할 수 있다. 센서 당 샘플링 레이트는, 샘플링 기간 동안 대응하는 제품군 구성에서 각 센서에 사용되는 샘플링 레이트를 포함할 수 있다. 컨텍스트 데이터는 샘플링 기간 동안 존재하는 임의의 적절한 컨텍스트 데이터(예를 들어, 날씨, 교통, 장면 변경 등)를 포함할 수 있다. 안전 결과 데이터는 샘플링 기간 동안의 안전 데이터를 포함할 수 있다. 예를 들어, 안전 결과 데이터는 샘플링 기간 동안 사고가 발생했는지 여부, 샘플링 기간 동안 자율 차량이 사고에 얼마나 근접했는지, 또는 샘플링 기간 동안의 기타 안전 표현을 포함할 수 있다.
머신 학습 알고리즘(12004)은, 실측 자료 데이터를 분석하고, 이를 특정 컨텍스트에 기초해서 주어진 센서 제품군의 복수의 센서 각각에 대한 샘플링 레이트를 제공하도록 조정된 모델(12006)에 출력하기 위한 임의의 적합한 머신 학습 알고리즘 일 수 있다. 각 센서의 샘플링 레이트는 트레이닝 기간 동안 머신 학습 알고리즘(12004)을 통해 학습된다. 임의의 적합한 머신 학습 알고리즘을 사용해서, 출력 모델(12006)을 제공할 수 있다. 한정이 아닌 예시로서, 머신 학습 알고리즘은 랜덤 포레스트, 지원 벡터 머신, 임의의 적합한 신경망 또는 강화 알고리즘(예를 들어 아래에 설명되는 것이나 또는 기타 강화 알고리즘과 같은)을 포함할 수 있다. 특정 실시예에서, 모델(12006)은 머신 학습 모델(256)과 함께 저장될 수 있다.
출력 모델(12006)은 추론 단계 동안에, 특정 컨텍스트가 주어지면 샘플링 레이트의 벡터(예를 들어, 사용되는 센서 제품군의 각 센서에 대해 하나씩)를 출력하는데 사용될 수 있다. 다양한 실시예에서, 출력 모델(12006)은, 수용 가능한 안전 레벨(예를 들어, 사고 없음, 교통법 준수율 등)은 여전히 유지하면서, 샘플링 레이트 또는 샘플링 동안 사용되는 전력을 가능한 한 많이 감소시키도록 조정될 수 있다. 다른 실시예에서, 모델(12006)은 안전, 사용되는 전력, 센서 처리량, 또는 다른 적절한 특성과 같은, 임의의 적절한 동작 특성을 선호하도록 조정될 수 있다. 특정 실시예에서, 모델(12006)은 안전과 전력 소비 사이의 공동 최적화에 기초한다(예를 들어, 모델은 임계 안전 레벨을 유지하면서 전력 소비를 최소화하려고할 수 있다).
나아가, 또는 센서의 샘플링 레이트를 변경하는 것에 대한 대안으로서, 일부 실시예에서, 컨텍스트에 기초해서 각 센서에 대한 가중치를 조정함으로써 센서 융합이 개선된다. SNR(결과적으로는 전체 분산)은 컨텍스트에 기초해서 다르게 센서로부터의 데이터에 적응적으로 가중치를 부여함으로써 개선될 수 있다.
특정 실시예에서, 개체 추적을 돕기 위해서, 이러한 상이한 컨텍스트 하에서 실측 자료 데이터가 다양한 시점에 다양한 컨텍스트 및 개체 위치에서 이용 가능하다면, 융합 가중치는, 컨텍스트를 예측하는 머신 학습 알고리즘과 개체 위치 예측을 용이하게 하는 추적 융합 알고리즘의 조합을 사용해서, 트레이닝 데이터로부터 결정될 수 있다.
도 120b는 특정 실시예에 따른 컨텍스트 모델(12058)을 생성하기 위한 머신 학습 알고리즘(12052)을 도시한다. 특정 실시예에서, 머신 학습 알고리즘(12052) 및 컨텍스트 모델(12058)은 머신 학습 엔진(232) 또는 다른 컴퓨팅 시스템(예를 들어, 140, 150)의 머신 학습 엔진에 의해 실행될 수 있다. 도 120b는 컨텍스트 확인을 위한 ML 모델을 구축하는 트레이닝 단계를 나타낸다. 머신 학습 알고리즘(12052)은 센서 데이터(12056) 및 대응하는 컨텍스트 정보(12054)를 (실측 자료로서) 분석하기 위한 임의의 적합한 머신 학습 알고리즘일 수 있다. 센서 데이터(12056)는 하나 이상의 자율 차량의 센서로부터 캡처되거나 시뮬레이션된 데이터일 수 있다. 머신 학습 알고리즘(12052)은 작동중인 자율 차량으로부터 입력된 센서 데이터에 기초해서 컨텍스트를 제공하도록 조정된 모델(12058)에 출력한다. 임의의 적절한 타입의 머신 학습 알고리즘이 출력 모델(12058)을 트레이닝하고 출력하는 데 사용될 수 있다. 한정이 아닌 예시로서, 컨텍스트를 예측하기 위한 머신 학습 알고리즘은 지원 벡터 머신 또는 심층 신경망과 같은 분류 알고리즘을 포함할 수 있다.
도 121는 특정 실시예에 따른, 융합-컨텍스트 사전(12110)을 생성하는 융합 알고리즘(12102)을 도시한다. 도 121는 센서 융합 가중치를 확인하기 위한 ML 모델을 구축하는 트레이닝 단계를 나타낸다. 융합 알고리즘(12102)은 센서 데이터(12104), 대응 컨텍스트 정보(12106)(실측 자료로서) 및 대응하는 개체 위치(12108)(실측 자료 로서)를 분석하기 위한 임의의 적절한 머신 학습 알고리즘일 수 있다. 센서 데이터(12104)는 하나 이상의 자율 차량의 센서로부터 캡처될 수도 있고 시뮬레이션 데이터일 수도 있다(예를 들어, 본 명세서에 설명된 시뮬레이션 기술 또는 다른 적절한 시뮬레이션 기술을 사용해서). 일부 실시예에서, 센서 데이터(12104)는 ML 모델을 트레이닝하는 데 사용되는 동일한 센서 데이터(12056)일 수도 있고, 적어도 부분적으로 상이한 데이터일 수도 있다. 유사하게, 컨텍스트 정보(12106)는 컨텍스트 정보(12045)와 동일할 수도 있거나, 적어도 부분적으로 상이한 정보일 수도 있다. 융합 알고리즘(12102)은 작동 중인 자율 차량으로부터 입력된 센서 데이터에 기초하여 가중치를 제공하도록 조정된 융합 컨텍스트 사전(12110)을 출력한다.
융합 컨텍스트 사전을 트레이닝하고 구현하기 위해 임의의 적절한 머신 학습 알고리즘이 사용될 수 있다. 한정이 아닌 예시로서, 머신 학습 알고리즘은 센서 융합 가중치를 예측하기 위한 회귀 모델을 포함할 수 있다.
다양한 실시예에서, 융합 알고리즘(12102)은 신경망 기반이다. 트레이닝 중에, 융합 알고리즘(12102)은 다양한 센서 및 실측 자료 컨텍스트 정보(12106)로부터 데이터(예를 들어, 센서 데이터(12104))를 입력으로서 취하고, 서로 다른 가중치를 사용해서 데이터를 융합하며, 융합된 데이터를 사용해서 개체 위치를 예측하고, 예측된 위치와 실측 위치(예를 들어, 개체 위치의 대응 위치(12108)) 사이의 오차를 최소화하는 비용 함수(예를 들어, RMSE(root-mean squared error) 등)를 사용할 수 있다. 다양한 실시예에서, 융합 알고리즘은 개체 추적 성능을 최대화하기 위해 주어진 컨텍스트에 대한 융합 가중치를 선택할 수 있다. 따라서, 융합 알고리즘(12102)은 특정한 특성(예를 들어, 개체 추적 성능)을 최대화 혹은 최소화하려고 시도하는 최적화 알고리즘을 사용해서 트레이닝될 수 있으며, 그 결과 융합 컨텍스트 사전(12110)의 결과 가중치는 예측된 조건의 결과를 고려해서 센서로부터의 신규 데이터의 세트를 보다 효과적으로 융합하는 데 사용될 수 있다.
도 122은 특정 실시예에 따른 선택적 샘플링 및 융합된 센서 가중치를 결정하기 위한 추론 단계를 도시한다. 특정 실시예에서, 추론 단계는 머신 학습 엔진(232) 및/또는 센서 융합 모듈(236)에 의해 수행될 수 있다. 추론 단계 동안, 자율 차량에 의해 캡처된 센서 데이터(12202)는 컨텍스트 모델(12058)에 제공된다. 컨텍스트 모델(12058)의 출력은 컨텍스트(12206)이다. 12212에서, 컨텍스트(12206)는 선택적 샘플링을 트리거하는 데 사용될 수 있다. 예를 들어, 컨텍스트는 출력 모델(12006)에 제공될 수 있으며, 여기서 자율 차량의 복수 센서의 각 센서에 대한 샘플링 레이트를 제공할 수 있다. 자율 차량은 지정된 샘플링 레이트를 사용해서 센서를 이용해서 데이터를 샘플링할 수 있다.
12214에서, 내삽이 수행될 수 있다. 예를 들어, 제 1 센서가 제 2 센서보다 2배 더 자주 샘플링되고, 제 1 센서 및 제 2 센서의 샘플이 서로 융합되는 경우, 제 2 센서의 샘플은 각 센서에 대한 샘플 사이의 시간이 동일하게 되도록 내삽될 수 있다. 임의의 적절한 내삽 알고리즘이 사용될 수 있다. 예를 들어, 내삽된 샘플은 이전에 (시간상) 실제 샘플의 값을 취할 수 있다. 다른 예로서, 내삽된 샘플은 이전 실제 샘플과 다음 실제 샘플의 평균일 수 있다. 이 예는 센서 데이터 레벨의 융합에 초점을 맞추고 있지만, 이에 더해서 혹은 다른 방안으로, 이 융합은 출력에서 수행될 수도 있다. 예를 들어, 개체 추적 문제를 해결하기 위해 서로 다른 센서를 사용해서 서로 다른 방식이 취해질 수 있다. 마지막으로 분석 이후 단계에서는, 개별 출력의 보완적인 측면이 결합되어서 융합된 출력을 생성한다. 따라서, 일부 실시예에서, 다른 방안으로 내삽은 센서 데이터가 함께 융합된 이후에 수행될 수 있다.
컨텍스트(12206)는 또한 융합 컨텍스트 사전(12110)에 제공될 수 있고, 일련의 융합 가중치(12210)가 융합 컨텍스트 사전(12110)으로부터 출력되며, 여기서 각각의 융합 가중치는 대응하는 센서에 대한 가중치를 명시한다. 센서 데이터에 적응적으로 가중치를 부여하고 융합 센서 데이터(12218)를 출력하기 위해 융합 정책 모듈(12216)에서 융합 가중치가 사용된다. 2개 이상의 센서로부터의 데이터를 결합하는 데 임의의 적절한 융합 정책이 사용될 수 있다. 일 실시예에서, 융합 정책은 2개 이상의 센서로부터의 데이터의 단순 가중 평균을 명시한다. 다른 실시예에서, 보다 정교한 융합 정책(본 명세서에 설명된 임의의 융합 정책과 같은)이 사용될 수 있다. 예를 들어, Dempster-Shafer 기반 알고리즘이 다중 센서 융합에 사용될 수 있다. 융합된 센서 데이터(12218)는 개체 위치를 검출하는 것과 같은 임의의 적절한 목적으로 사용될 수 있다.
다양한 실시예에서, 강화 학습과 같은 시뮬레이션 및 기술이 또한 컨텍스트 기반 샘플링 정책(예를 들어, 레이트) 및 센서 융합 가중치를 자동으로 학습하는 데 사용될 수 있다. 다양한 센서를 샘플링하는 빈도 및 많은 수의 주행 시나리오로 인해서, 어떤 가중치를 어떤 센서에 할당할지를 결정하는 것이 어렵다. 컨텍스트 기반 샘플링의 복잡성은 안전성을 손상시키지 않으면서 높은 개체 추적 정확도 및 낮은 전력 소비와 같은, 다양한 목표를 달성하려는 욕구로 인해서 증가된다. 실제 세계에서 수집된 센서 데이터를 재생하거나 가상 도로 네트워크 및 교통 상황을 시뮬레이션하는 시뮬레이션 프레임 워크는, 컨텍스트 기반 모델을 트레이닝하고 적응형 정책의 영향을 탐색할 수 있는 안전한 환경을 제공한다.
위에서 설명된 지도 학습 기술에 더해서, 다양한 실시예에서, 학습 컨텍스트-기반 샘플링 및 융합 정책은, 다수의 목표(예를 들어, 안전 및 전력 소비 모두)를 지원하는 강화 학습 모델을 트레이닝함으로써 결정될 수 있다. 다양한 실시예에서, 개체 검출 정확도, 개체 추적 정확도, 전력 소비 또는 안전 중 하나 이상이 최적화된 목적일 수 있다. 일부 실시예에서, 이러한 학습은, 사용 가능한 실제 데이터가 충분하지 않은 경우, 시뮬레이션된 환경에서 수행될 수 있다. 특정 실시예에서, 강화 학습은, 차량 경로에 있는 개체(예를 들어, 자동차 및 보행자)를 정확하게 식별함으로써, 안전을 유지하면서 전력 소비를 감소시키는 센서 융합 가중치 및 샘플링 정책을 찾는 목적을 가진 에이전트를 트레이닝하는 데 사용된다. 트레이닝 동안에, 안전은 임계 안전 레벨이 달성되는 어려운 제약이 될 수 있으며, 전력 소비를 감소시키는 것은, 바람직하지만 필수적이지 않은 소프트 제약조건이다.
도 123은 다양한 컨텍스트에 대한 센서의 차등 가중치를 나타낸다. 표에서 H는 특정 센서로부터의 측정치에 더 높은 등급을 부여하는 시나리오를 나타낸다. 다양한 예로서, LIDAR 센서는 밤에는 카메라 센서, 레이더 센서 또는 음향 센서보다 상대적으로 더 큰 가중치를 받지만, 낮에는 카메라 센서에 상대적으로 더 큰 가중치를 부여할 수 있다.
도 123은 융합-컨텍스트 사전(12110)에 의해 또는 본 명세서에 설명된 강화 학습 모델에 의해 제공될 수 있는 출력의 예를 나타낸다(예를 들어, 이 예는 서로 다른 컨텍스트 하에서 다양한 센서의 상대적 가중치를 나타냄). 다른 실시예에서, 센서 가중치 출력은 도 123에 도시된 카테고리 높은 등급 대 낮은 등급이 아닌, 숫자 값일 수 있다.
도 124a는 특정 실시예에 따른, 상이한 컨텍스트 하에서 센서에 대한 가중치를 학습하는 접근법을 나타낸다. 먼저, 카메라, LIDAR 또는 레이더와 같은 개개의 센서에 대해 가능한 한 정확하게 개체를 검출하는 모델을 학습할 수 있다. 임의의 적절한 머신 학습 모델이 개체 검출 모델에 사용될 수 있지만, 일부 실시예에서 개체 검출 모델은 카메라 데이터를 위한 심층 신경망과 같은 지도 머신 학습 모델 또는 LIDAR 포인트 클라우드용의 DBSCAN(Density-based spatial clustering of applications with noise)와 같은 비지도 모델이다.
다음으로, 모델은 강화 학습을 사용해서 컨텍스트-기반 센서 융합 정책을 자동으로 학습하도록 학습될 수 있다. 강화 학습 모델은 각 센서에 의해 검출된 현재 개체 세트 및 컨텍스트를 사용해서 센서 융합 정책을 학습한다. 정책은 다수의 목표를 포함하는 보상을 최대화하는 각 시간 단계에 적용할 센서 가중치를 예측한다(예를 들어, 개체 추적 정확도를 최대화하고 전력 소비를 최소화함).
따라서, 도 124a에 도시된 바와 같이, 강화 학습 알고리즘 에이전트(예를 들어, 컴퓨팅 시스템의 머신 학습 엔진에 의해 구현됨)는 센서 데이터 및 컨텍스트를 포함하는 환경에 기초해서 센서 융합 정책을 관리하고, 추적 정확도 및 전력 소비와 같은 결과에 기초해서 보상을 관리하며, 센서 융합 동안에 사용할 센서 가중치의 형태로 액션을 생성한다. Q-학습 기반 알고리즘과 같은, 임의의 적절한 강화 학습 알고리즘이 에이전트를 구현하는 데 사용될 수 있다.
이 프레임 워크에서, 특정 센서에 대한 가중치는 특정 컨텍스트에 대해 0으로 평가될 수 있다. 값이 0인 가중치 또는 주어진 임계값 미만의 가중치는, 센서 융합 동안에 출력이 사용되지 않기 때문에, 그 특정 컨텍스트에 대해 센서가 샘플링될 필요가 없다는 것을 나타낸다. 각 시간 단계에서 모델은 주어진 컨텍스트에 대해 센서 당 하나의 가중치가 있는 벡터를 생성한다.
이 방식의 대체 구현예에서는, 다수의-에이전트(센서 당 하나의 에이전트) 강화 학습 모델을 사용할 수 있으며, 여기서는 각각의 에이전트가 가중치 및 샘플링 레이트에 대해서는 로컬한 결정을 내리지만, 모델은 증가된 개체 추적 정확도 및 낮은 전력 소비와 같은 글로벌한 목표(또는 목표의 조합)를 달성하려고 시도한다. 이러한 실시예에서, 특정 에이전트는 글로벌 목표를 달성하지 않는 결정을 내리면 불이익을 받을 수 있다.
도 124b는 특정 실시예에 따른, 상이한 컨텍스트 하에서 센서에 대한 가중치를 학습하기 위한 보다 상세한 방식을 나타낸다. 이 방식에서, 개체 검출 모델(12452)은 LIDAR에 대해 트레이닝되고 개체 검출 모델(12454)은 카메라에 대해 트레이닝된다. 특정 실시예에서, 개체 검출 모델(12454)은, 심층 신경망과 같은 지도 머신 학습 모델이고, 개체 검출 모델은 LIDAR 포인트 클라우드용 DBSCAN과 같은, 비지도 모델이다.
도 124b에 도시된 바와 같이, 강화 학습 알고리즘 에이전트는 예를 들어, 컨텍스트, 검출된 개체, 실측 자료 개체, 센서 전력 소비 및 안전을 포함하는 환경(12458)에 기초해서 센서 융합 정책(12456)을 관리하고, 검출 정확도, 전력 소비 및 안전과 같은 결과에 기초해서 보상(12460)을 관리할 수 있다. 동작(12462)은 센서 융합 동안 사용하기 위한 센서 가중치(12464)의 형태로 생성될 수 있다. Q-학습 기반 알고리즘과 같은 임의의 적절한 강화 학습 알고리즘이 에이전트를 구현하는 데 사용될 수 있다.
도 125은 특정 실시예에 따른 샘플링 정책을 결정하기 위한 흐름을 도시한다. 12502에서, 차량의 복수의 센서에 의해 샘플링된 센서 데이터가 획득된다. 12504에서, 샘플링된 센서 데이터와 관련된 컨텍스트가 획득된다. 12506에서, 차량의 센서에 대한 샘플링 레이트 그룹 또는 센서 데이터의 융합을 수행하는 데 사용될 센서에 대한 가중치 그룹 중 하나 또는 모두가 컨텍스트에 기초해서 결정된다.
다양한 실시예에서, 위에서 설명된 임의의 추론 모듈은 자율 차량의 컴퓨팅 시스템 또는 자율 차량에 연결된 다른 컴퓨팅 시스템에 의해 구현될 수 있는 반면, 위에서 설명된 임의의 트레이닝 모듈은 하나 이상의 자율 차량에 연결된 컴퓨팅 시스템에 의해(예를 들어, 복수의 자율 차량에 연결된 중앙 집중식 컴퓨팅 시스템에 의해) 구현될 수도 있고, 또는 자율 차량의 컴퓨팅 시스템에 의해 구현될 수 있다.
위의 예는 개체 검출와 관련해서 설명되었지만, 이 개념은 시멘틱 분할 및 개체 추적과 같은 다른 자율 주행 작업에도 적용될 수 있다.
레벨 5("L5", 완전 자율) 자율 차량은 LIDAR 센서를 기본 전송 소스로서 사용할 수 있으며, 이는 광범위한 최종 소비자에게 경제적 확장성을 지원하는 것을 돕지 않는다. 반면에 레벨 2("L2") 또는 기타 하위 레벨 자율 차량(낮은 레벨의 자동화)은 일반적으로 카메라를 기본 검출 소스로서 사용할 수 있으며, 정보 중복 및 카메라 센서와의 상관 관계로 인해서 점진(progressive) 모드(일반적으로 LIDAR 센서의 저렴한 버전)로 LIDAR를 도입할 수 있다. LIDAR가 카메라를 통해 제공하는 정보 중 하나는 차량과 주변의 차량/개체 사이의 거리 및 주변 차량 및 개체의 높이 정보이다. 그러나, LIDAR는 자율 차량에 포함할 수 있는 가장 고가의 센서 기술 중 하나일 수 있다.
따라서, 일부 실시예에서, 저비용의 광 기반 통신 기술이 LIDAR 센서의 대체물로서 사용되어서, 정보를 대체해서 센서 비용을 절감하면서도 LIDAR가 제공하는 깊이 및 높이 정보를 제공한다. 이러한 통신 모듈은 자율 차량, 도로변 장치 및 운전 환경 내에서 교통 및 이벤트를 모니터링하는 기타 시스템에 배치될 수 있다. 일부 구현예에서는 Li-Fi(Light Fidelity) 기술을 활용해서, 각 차량의 정확한 위치, 차량의 높이 및 주변 차량에 대해서 안전 거리를 유지할 수 있는 차량의 크기/높이와 관련된 임의의 기타 정보를 (실시간으로) 전달할 수 있다. 조명 기반 통신 기술(예를 들어, Li-Fi)은 자동차, 오토바이, 자전거 등을 포함한 다양한 타입의 차량에 광원(예를 들어, LED) 및 광 검출기를 장착함으로써, 적용될 수 있다. Li-Fi는 다양한 타입의 차량 사이에 적용할 수 있다(예를 들어, 자전거는 LiFi를 사용해서 안전 거리를 유지하는 데 도움이 되는 기타 유용한 정보를 그 위치 주변의 차량에 전달한다).
Li-Fi는 광을 사용해서 광파를 통해 데이터(예를 들어, 위치 정보)를 전송하는 장치간 무선 통신을 위한 신규한 기술이다. Li-Fi는 무선 통신 측면에서 Wi-Fi와 유사한 것으로 간주될 수 있지만(예를 들어, IEEE 802.11 프로토콜과 같은 유사한 프로토콜을 사용할 수 있음), Li-Fi가 무선 대신 광통신을 사용해서 훨씬 더 큰 대역폭을 허용할 수 있다는 점에서 Wi-Fi와는 상이하다. Li-Fi는 VLC(Visible Light Communication)를 통해 고속 데이터를 전송할 수 있으며, 여기서 Gbps(Gigabit per second) 대역폭이 도달될 수 있다. Li-Fi는 통신을 위해 400THz(780nm)와 800THz(375nm) 사이의 가시광선을 사용할 수 있지만, 경우에 따라 통신을 위해 자외선(UV) 또는 적외선(IR)을 사용할 수도 있다.
도 126는 적어도 하나의 실시예에 따른 자율 차량(12610, 12620) 사이의 예시적인 VLC 또는 Li-Fi 통신의 개략도이다. 도시된 예에서, 차량의 송신 광원(예를 들어, 12612, 12622)(예를 들어, 발광 다이오드(LED)가 장착된 차량의 램프)은 변조된 광선(예를 들어, 12631, 12632)을 다른 차량의 광 검출기(예를 들어, 광 다이오드)로 전송한다. 차량에는 신호 처리 모듈(예를 들어, 12616, 12626)이 장착될 수 있으며, 이는 방출된 광선을 변조해서 빔이 내장된 데이터(예를 들어, 위에서 설명하고 추가로 설명하는 송신 차량에 대한 위치 또는 높이 정보)를 포함하게 하고 수신한 광신호를 복조하게 한다. 수신 차량의 광 검출기(예를 들어, 12614, 12624)는 송신 차량으로부터 광 신호를 수신하고, 진폭의 변화를 전기 신호로 변환한다(이는 복조를 통해 데이터 스트림으로 다시 변환됨). 일부 실시예에서, 다수의 광원으로부터 Li-Fi 장치에 대한 동시 수신은 광 검출기(예를 들어, 광 다이오드)의 어레이를 포함하는 광 센서를 구비함으로써 가능하다.
이는 또한 예컨대, 처리량 증가를 위해 하나의 광원으로부터 또는 다수의 광원으로부터, 다수의 채널로부터의 다중 수신을 가능하게 할 수 있다. 다수의 채널은 광(가시광선, 적외선 및/또는 자외선) 스펙트럼에서 다양한 채널(파장)로 구현될 수 있다.
광파 변조를 통해, 위치 또는 다른 차량 데이터(예를 들어, 차량 높이, 차량 크기 또는 다른 주변 차량이 전송 차량의 구조를 생성하는 데 도움이 될 수 있는 기타 정보)가 전송될 수 있다. 전송되는 데이터의 크기는 수 바이트 정도일 수 있다. 예를 들어, 차량의 위치 정보는 DMS(Degree Minute and Second) 형식을 따르는 경우 약 12자리 및 2글자를 사용할 수 있으며(예를 들어, 자유의 여신상에 가장 가까운 위치의 경우 40° 41' 21.4" N 74° 02' 40.2"), 이는 약 7~8 바이트(예를 들어, 각 숫자에 대해 4비트, "ASCII 코드"의 각 문자에 대해 4비트)를 사용할 수 있다. 다른 예로서, 차량의 높이 정보(예를 들어, 하나의 십진수 자리를 이용한 미터 단위)는 대략 4비트의 데이터를 사용할 수 있다. 또 다른 예로서, 차량에 대한 크기 정보(미터 단위의 차량의 길이 및 폭을 포함할 수 있음)는 그 길이에 대해 대략 1바이트의 데이터를 사용하고, 폭에 대해 4비트의 데이터를 사용할 수 있다(예를 들어, '버스를 상정한' 경우 길이에 십진수 1~2 자리를 사용하고 폭에 10진수 1자리를 사용).
차량 간의 통신에 임의의 적절한 변조 방식이 사용될 수 있다. 본 개시의 실시예에서 사용될 수 있는 변조 방식의 예는 다음을 포함한다:
·ASK(Amplitude Shift Keying)의 한 형태인 OOK(On-Off Keying):LED가 온 오프되어서 이진수의 디지털 문자열을 모델링함,
·VPPM(Variable pulse position modulation): M 비트는 2M개의 가능한 요구 시간 시프트 중 하나에서 단일 펄스를 전송함으로써 인코딩된다. 이는 비트 레이트(M/T bps)을 갖도록 T초 마다(즉, 가변적으로) 반복된다.
·CSK(Color-Shift Keying):이는 적색, 녹색 및 청색(LED)의 혼합을 사용해서 데이터를 전송하기 위한 각각의 LED의 플리커링 레이트를 변경함으로써 광의 데이터를 정의하고 인코딩하는 IEEE 802.15.7 표준에 도입되었다.
차량이 전송하는 위치, 높이, 크기 또는 기타 정보의 샘플링 레이트는 적어도 2가지 형태를 취할 수 있다. 일례로, 샘플링은 능동적(proactive)일 수 있으며, 여기서 각 차량은 주어진 주파수로 자신의 위치(또는 기타) 정보를 지속적으로 송신한다. 예를 들어, 매우 혼잡한 지역, 충돌 위험이 높은 지역 또는 야간에 능동적 샘플링이 선택될 수 있다. 이 경우 광 검출기는 수신된 데이터로부터 "깊이" 정보를 검지하는 물리적 센서로 간주될 수 있으며, 센서 융합은 광 검출기로부터의 입력을 지속적으로 고려한다. 다른 예로서, 샘플링은 이벤트 기반일 수 있으며, 여기서 각 차량은 주변에서 다른 차량(들)을 검출하면 위치 정보를 전송한다. 이 경우 광 검출기는 주변에서 교통 차량이 검출될 때마다 주문형으로 수신된 데이터로부터 "깊이" 정보를 검지하는 물리적 센서로 간주할 수 있으며, 센서 융합은 이벤트 기반 방식으로 광 검출기로부터의 입력을 고려할 수 있다.
경우에 따라, 각 차량은 기존 광원(전방 조명, 후방 조명, 측면 조명 또는 지붕에 설치된 LED)을 활용하고, 이들 광원으로부터 나오는 광파를 변조해서 필요한 데이터를 특정 주파수로 또는 이벤트 기반 형식으로(예를 들어, 차량 카메라가 주변 차량을 검출할 때나 또는 차량이 신호등 또는 정지신호에서 정차할 때) 전송한다.
도 127a 및 도 127b는 적어도 하나의 실시예에 따른 자율 차량(12700) 상의 예시적인 VLC 또는 Li-Fi 센서 위치의 개략도이다. 도 127a는 자율 차량(12700)의 조감도를 나타내고, 도 127b는 자율 차량(12700)의 측면도를 나타낸다. 자율 차량(12700)은 센서(12702, 12703, 12704, 12705, 12706, 12707, 12708)를 포함한다. 각각의 센서는 광원(또는 다수의 광원, 예를 들어 LED의 어레이) 및 광 검출기(또는 다수의 광 검출기, 예를 들어, 광 검출기의 어레이)를 모두 포함할 수 있다. 일부 실시예에서, 차량의 기존 광원(예를 들어, 전방 조명(센서(12702, 12703) 용), 후방 조명(센서(12707, 12708) 용) 및 측방 조명(센서(12704, 12705)용))이 각 차량의 위치 정보를 차량 주변의 모든 시야각으로 실시간으로 통신하는데 활용될 수 있다. 이로써, 각 차량은 모든 주변 차량으로부터의 거리를 계산할 수 있다(현재 LIDAR가 제공하는 깊이 정보를 대체). 높이 정보가 제공될 수 있다(안전 거리를 유지하고 실시간으로 주변을 발견하는 데 도움이 되는 크기 또는 관련 정보). 센서는 또한 센서(12706)에 대해 도시된 바와 같이 차량의 상부와 같이, 전류 광원이 없는 차량의 다른 위치에 배치될 수 있다. 센서는 또한 도 127에 도시된 것 이외의 자율 차량(12700) 상의 다른 위치에 배치될 수도 있다.
도 128은 적어도 하나의 실시예에 따른 주체 차량(12810)과 교통 차량(12820) 사이의 예시적인 VLC 또는 Li-Fi 통신의 개략도이다. 특히, 도 128은 주체 자율 차량이 센서 융합 프로세스에서, 교통 차량에 의한 Li-Fi 데이터 전송으로부터 오는 주변 교통 차량(들) 위치 정보를 어떻게 고려하는지(및 교통 차량이 유사한 방식으로 주변에서 주체 차량의 위치 정보를 어떻게 획득하지)를 나타낸다. 주체 자율 차량은 동일한 프로세스를 사용해서 다른 교통 차량(도시되지 않음)으로부터의 다른 Li-Fi 데이터 전송도 처리할 수 있다.
표시된 예에서, 각각의 차량에는 비전 시스템(여러 다른 센서 중에서) 및 Li-Fi 송신기(예를 들어, LED 및 신호 처리 회로/소프트웨어) 및 Li-Fi 수신기(예를 들어, 광 검출기(PD) 및 신호 처리 회로/소프트웨어)가 장착된다. 도시된 바와 같이, 각 차량의 센서 융합 모듈/스택은 카메라 기반 비전 시스템의 일반적인 입력 및 광 검출기의 추가 입력을 취한다.
도 129은 적어도 하나의 실시예에 따른 자율 차량의 센서 융합 프로세스에서 VLC 또는 Li-Fi 정보를 사용하는 예시적인 프로세스의 개략도이다. 예시적인 프로세스(12900)에서의 동작은 자율 차량의 구성 요소(예를 들어, 도 66의 자율 차량 중 하나 또는 둘 모두)에 의해 수행될 수 있다. 예시적인 프로세스(12900)는 추가 동작 또는 상이한 동작을 포함할 수 있고, 이 동작은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 어떤 경우에는 도 129에 도시된 하나 이상의 동작은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 어떤 경우에는, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
12902에서, 자율 차량은 다른 차량("교통 차량")으로부터 변조된 광 신호를 수신한다. 일부 경우에, 자율 차량은 다수의 교통 차량으로부터 변조된 광 신호를 수신할 수 있다.
12904에서 변조된 광 신호가 샘플링된다. 샘플링은 특정 주파수로(예를 들어, 몇 밀리 초마다) 수행될 수도 있고 또는 검출된 이벤트에 응답해서 수행될 수도 있다(예를 들어, 자율 차량의 주변 영역에서 교통 차량의 존재를 검출).
12906에서, 샘플링된 신호는 복조되어서 교통 차량에 대한 위치 및 크기 정보를 획득한다. 위치 정보는 교통 차량의 정확한 위치를 나타내는 정보를 포함할 수 있다. 예를 들어, 위치 정보는 DMS 형식으로 또는 다른 형식으로 교통 차량의 지리 좌표를 포함할 수 있다. 크기 정보는 교통 차량의 크기를 나타내는 정보를 포함할 수 있으며, 교통 차량의 길이, 폭 및/또는 높이(예를 들어, 미터 단위)를 포함할 수 있다.
12908에서, 12906에서 획득한 위치 정보는 자율 차량의 센서 융합 프로세스에 사용된다. 예를 들어, 자율 차량은 자율 주행 파이프 라인의 인지 단계에서 위치 정보를 사용할 수 있다.
대중 소비 시장에서 자율 주행을 경제적으로 실현하고 도로에서의 채택을 가속화하는 데, 자율 주행 기능을 구현하는 데 사용되는 기본 기술 및 구성 요소의 비용을 감소시키는 것이 핵심 요소로 간주될 수 있다. 자율 차량의 높은 비용의 일부는, LIDAR 센서, 레이더 센서, 카메라, IMU(관성 측정 장치), GNSS(Global Navigation Satellite System) 수신기 등과 같은 고성능 센서를 사용하는 것과 연관된다. 높은 비용의 일부는 고성능 데이터 처리, 고 대역폭 데이터 통신 및 대용량 스토리지가 필요한 것과 연관된다. 센서와 컴퓨팅 기능은 모두 자동차 등급 구성 요소를 사용하고 기능 안전 표준을 만족시키면서 매우 강력한 방식으로 매우 많은 양의 데이터를 실시간으로 처리해야 한다. 높은 비용의 일부는 자율 차량의 개발 프로세스와 연관된다.
자율 차량 및 관련 센서의 개발 프로세스는, 일반적으로 다양한 시뮬레이션 및 현장 테스트 방법을 통한, 인식, 계획 및 제어 소프트웨어 알고리즘 및 하드웨어 구성 요소의 개발, 트레이닝 및 테스트를 포함한다. 특히, 자율 차량을 위한 최신의 인식 시스템은, 인식(예를 들어, 컴퓨터 비전) 알고리즘의 트레이닝을 필요로 하는 머신 학습 방법을 활용해서, 태스크 및 센서에 특정한 트레이닝된 모델을 바로 생성할 수 있다. 최근의 머신 학습 기반 방법은 매우 큰 데이터 세트를 수집할 뿐만 아니라 비용이 많이 드는 실측 자료 알고리즘 출력(예를 들어, "데이터 라벨링")을 획득하기 위해 많은 노력을 기울여야 한다. 이들 데이터 세트는 일반적으로 사용되는 특정 센서 및 데이터의 특성에 따라 달라진다. 알고리즘이 원래 개발된 영역 이외의 영역에서 인식 알고리즘의 재사용을 용이하게 하는 노력은, 전이 학습(transfer learning) 및 영역 적응의 개념을 포함한다. 상당한 노력에도 불구하고, 이러한 알고리즘을 다시 사용하는 것은 여전히 어렵고 해결되지 않은 문제이다.
비용을 절감하는 한 가지 방식은 다양한 검지 및 계획 데이터 처리 서브시스템을 더 적은 컴퓨팅 구성 요소로 통합하고, 처리 파이프 라인의 설치 공간 및 전력 요건을 점진적으로 감소시켜서, 규모의 경제에 도달하는 것을 포함할 수 있다. 비용을 절감하는 또 다른 방식은 더 적은 수의 데이터 처리 구성 요소의 재사용을 최대화하고, 단일 자율 차량에서 수행되어야 하고 여러 타입의 자율 차량에서 수행되어야 하는 다수의 태스크에 공통 구성 요소를 사용하는 것이다. 이는 공통 인식 알고리즘, 공통 알고리즘 트레이닝 데이터 세트 및 공통 머신 학습 모델의 사용을 포함할 수 있다.
일부 실시예에 따르면, 데이터 처리 파이프 라인은 카메라(시각적) 데이터 및 LIDAR(깊이/거리/범위) 데이터 모두에 대해 공통 구성 요소를 사용하며, 이는 카메라 데이터 및 LIDAR 데이터 모두에 대해 공통 처리 구성 요소를 사용할 수 있게 한다. 이는 자율 차량 개발 비용을 감소시키고 부품 자체의 비용을 감소시킬 수 있다.
일부 실시예에서, 센서 데이터는, 카메라 데이터와 LIDAR 데이터 모두가 보유하는 원시 물리적 특성으로부터, 더 균일한 방식으로 데이터를 처리할 수 있는 더 정규화된 포맷으로, 추상화될 수 있다. 이러한 기술은, 데이터의 충실도 및 그 안에 포함된 중요한 장면 정보를 보존하면서도 노이즈를 감소시키거나 데이터의 센서 별 특성을 감소시킬 수 있는, 일종의 전처리로 간주될 수 있다. 예를 들어, 자율 주행에 필요한, 개체 검출, 도로 표지판 검출, 교통 표지 검출, 신호등, 차량 검출 또는 보행자 검출과 같은, 결과적으로 추상화되고 정규화된 데이터는 표준 인식 구성 요소/알고리즘(예를 들어, 자율 차량 제어 프로세스의 인식 단계/서브시스템에 있는 것들)에 제공될 수 있다. 결과적으로 추상화되고 정규화된 데이터는, 데이터로부터 자율 차량 주변의 세계 상태를 인식해야 하는 인식 알고리즘 및 기타 처리 구성 요소에 대한 보다 용이한 전이 학습 및 도메인 적응을 가능하게 한다. 검출에 더해서, 인식 단계/서브시스템은 보다 일반적으로는, 예를 들어 특정 교통 표지판을 검출하고 및/또는 교통 표지의 정확한 타입을 분류하거나 혹은 차량을 승용차, 밴, 트럭, 긴급 차량 등과 같은 특정 타입으로 분류하는 것과 같은, 분류 기능을 포함할 수 있다. 더욱이, 인지 단계/서브시스템은 노상 강도의 위치와 속도 및 그 상태의 다른 차원을 추상화하는 것을 포함할 수 있다. 또한, 자율 차량 인식 단계/서브시스템은 노상 강도의 액션 또는 행동을 분류 혹은 인식할 수 있다. 인식 단계/시스템의 이러한 모든 기능은 센서(들)의 특성에 따라 달라질 수 있으며, 센서 데이터 추상화를 활용할 수 있다.
일부 사례에서, 센서 데이터 추상화 및 정규화는 단일 차량에 사용되는 동일한 타입의 서로 다른 센서 간의 공통 처리를 가능하게 할 수 있다. 예를 들어, 단일 차량에서 여러 타입의 카메라가 사용될 수 있다(예를 들어, 원근 카메라, 어안 카메라, 파노라마 카메라 중 하나 이상의 조합). 서로 다른 타입의 카메라는 이미지 평면에 대한 매우 상이한 시야 또는 상이한 투사를 가질 수 있다. 각 타입의 카메라는 차량의 특정 구성에서도 사용될 수 있다. 가시 광선, 적외선, 열 화상 및 기타 파장의 이미징과 같은 양식들(Modalities)은 각각 고유한 특성을 갖고 있다. 마찬가지로, 특성이 다른 여러 타입의 LIDAR가 차량에서 사용될 수 있다. 따라서, 본 개시의 특정한 측면에서, 상이한 타입의 카메라로부터의 센서 데이터는 공통 포맷으로 추상화될 수 있고, 유사하게 상이한 타입의 LIDAR로부터의 센서 데이터도 공통 포맷으로 추상화될 수 있다.
본 개시 내용의 측면들은 양식들 및 센서 타입 내에서 및 이들을 가로질러서 센서 데이터의 로우 레벨 융합을 가능하게 할 수 있다. 개략적으로 설명해 보면, 자율 주행 및 모바일 로봇 공학을 위한 로우 레벨 센서 융합은, 중첩 시야를 가진 여러 양식들으로부터의 센서 데이터를 결합하는 것을 포함한다. 예를 들어 일부 경우 센서 융합은 다음 중 하나 이상을 포함할 수 있다.
·중첩되는 시야 내에서는 데이터를 엄격하게 결합하지만, 일부 중첩되는 (예를 들어, 이미지 모자이크, 파노라마 이미지 생성) 서로 다른 시야로부터의 데이터를 함께 결합하는 것도 포함할 수 있다.
·주어진 해상도에서 캡처된 다수 카메라 이미지를 결합해서 초고해상도를 달성한다(예를 들어, 카메라 해상도보다 높은 해상도의 이미지를 생성). 이로써, 저가의 카메라를 사용해서 고가 카메라의 해상도를 얻을 수 있다.
·다수의 LIDAR 데이터 스캔을 결합해서하여 해상도를 높이다. 우리가 아는 한, LIDAR 데이터로 초 고해상도를 달성하는 것은 완전히 새로운 분야이다.
·주어진 한정된 다이나믹 레인지에서 캡처한 다수의 카메라 이미지를 결합해서 더 높은 다이나믹 레인지를 달성한다.
·다수의 카메라 이미지 또는 다수의 LIDAR 스캔을 결합해서 노이즈 감소를 달성한다(예를 들어, 각 개별 카메라 이미지 또는 LIDAR 스캔에 존재하는 노이즈 억제).
·카메라와 LIDAR 이미지를 결합해서, 두 양식 모두에 존재하기는 하지만 독립적인 "노이즈" 소스를 가진 개체의 더 높은 검출 레이트를 달성한다.
일 실시예는 도 130a에 도시되어 있으며, 여기에는 단일 센서로부터 오는 단일 센서 데이터(13002) 스트림에 대한 처리 파이프 라인(13000)을 나타낸다. 여러 센서 추상화 동작(13004, 13006, 13008)에 의해, 원본 센서 데이터가 "장면 데이터" 형식(13010)으로 변환되고 정규화된다. 장면 데이터는 이후에 검출 스테이지/알고리즘(13012)에 제공되는데, 이는 차량 검출, 보행자 검출 또는 자율 주행에 중요한 기타 검출 구성 요소를 포함할 수 있다. 검출 스테이지는, 장면 데이터(13010)가 원래 센서 데이터(13002)로부터 추상화되었기 때문에, 다수 타입의 센서로부터 발생되는 장면 데이터와 결합해서 사용될 수 있는, 공통 개체 모델을 사용한다. 심층 신경망, 컨볼루션 신경망, 완전 접속된 신경망, 재귀 신경망 등과 같은 머신 학습 모델의 경우, 추상화 액션(13004, 13006, 13008)이 트레이닝 및 추론 중에 모두 적용된다. 간결하게 하기 위해서, 도 130a는 추론 단계만 나타낸다.
일례로, 예시적인 센서 추상화 프로세스는 센서 응답 값을 정규화하기 위한 액션(예를 들어, 13004)을 포함할 수 있다. 예를 들어 카메라 이미지의 경우, 픽셀 값(예를 들어, 그레이 스케일 또는 컬러 값)을 정규화하는 것을 포함할 수 있다. 예를 들어, 자율 차량의 각각의 카메라는 픽셀 당 8 비트, 픽셀 당 10 비트 또는 12 비트, 또는 상이한 색 공간(종종 RGB 또는 YUV(휘도, 색차) 또는 다른 색 공간으로 표시됨)과 같은, 서로 다른 비트 심도를 가질 수 있다. 응답 정규화 액션은 센서 응답의 모델(예를 들어, 카메라 응답 함수)을 사용해서 응답 값을 정규화된 범위 및 표현으로 변환할 수 있다. 이것은 또한 일부 실시예에서 서로 다른 노출로 캡쳐된 카메라 이미지를 높은 다이나믹 레인지 이미지로 결합할 수 있게 한다. 센서 응답 모델의 파라미터는 알려질 수도 있고(예를 들어, 노출 및 기타 센서 설정으로부터), 데이터 자체에서 추정될 수도 있다.
LIDAR의 경우, 원시 센서 데이터는 깊이 또는 거리 값의 형태일 수 있다. 수평각(방위각) 및 수직각(고각)에 기초해서, 깊이 값이 X, Y, Z 포인트 위치 값으로 변환될 수 있다. 예를 들어, X 축은 차량 종축의 수직에 가까울 수 있고, Y 축은 차량 종축의 평행에 가까울 수 있으며, Z 축은 지면으로부터 멀어지면서 위쪽을 향하는 것에 가까울 수 있다. 개체 인식을 위해서, 원시 깊이 값 또는 X, Y, Z 값 중 하나 또는 두 개가 가장 유용할 수 있다. 따라서 LIDAR 값은 단일 스칼라로, 쌍으로 또는 삼중 값으로 표현될 수 있다. 값 자체는 일부 실시예에서 정규화된 범위로 변환될 수 있다. 일부 예에서, LIDAR 센서는 수평 및 수직 시야에 걸쳐 깊이 또는 거리 값의 2 차원(2-D) 어레이를 제공할 수 있으며, 어레이는 2-D 이미지와 동일한 형태일 수 있다. LIDAR 데이터로부터 직접 획득한 이러한 이미지의 예가 도 130b에 도시되어 있다. 본 개시의 특정한 측면에서, LIDAR 센서 데이터는 포인트 클라우드로 표현되기보다는 이 2-D 어레이 형태로 유지될 수 있다. 2D 어레이로 데이터를 유지함으로써 얻어지는 중요한 결과는, 카메라와 LIDAR 데이터가 모두 2D 어레이 또는 이미지로 표현된다는 것이다.
이 예를 계속 사용해서, 센서 데이터를 워프(warp)(예를 들어, 6806)해서 센서 추상화 프로세스를 계속할 수 있다. 일부 실시예에서, 워프 스테이지는 공간의 업스케일링 또는 다운스케일링 동작을 포함할 수 있다. 카메라 이미지 또는 LIDAR 어레이의 공간 해상도를 변경하기 위해 간단한 업스케일링 또는 다운스케일링이 사용될 수 있다. 도 130b의 예에 도시된 바와 같이, LIDAR 센서 데이터(13050)의 해상도는 수평 차원에서는 높지만 수직 차원에서는 낮을 수 있다. 일반적인 검출 모델을 사용해서, 센서 추상화, 센서 융합 및 개체 검출을 용이하게 하기 위해서는, LIDAR 어레이의 수직 해상도를 높이는 것이 바람직할 수 있다. 이를 수행하는 한 가지 방법은 이미지 처리에서 전개된 것과 동일 혹은 유사한 기술을 사용해서 업스케일링 동작을 적용하는 것이다.
일부 실시예에서, 워프는 또한, 검지 프로세스마다 고유한 기하학적 효과를 보정하는 것을 포함한다. 예를 들어, 워프는 원근 카메라와 어안 카메라 사이의 차이를 보정할 수 있다. 워프 동작은 어안 이미지를 원근 이미지 또는 파노라마 이미지로 변환할 수 있다. 다시 말하자면, 이것은 이후 스테이지에서 공통 검출 모델을 가능하게 할 수 있다. 워프 액션은 또한 카메라 또는 LIDAR 센서의 구성 및 시야를 고려할 수 있으며, 이는 다수 센서로부터의 이미지 또는 LIDAR 스캔을 모자이크 또는 파노라마 이미지로 결합하는 것을 가능하게 할 수 있다(이른바, 이미지 스티칭).
일부 실시예에서, 워프 액션은 또한 자동차 모션으로 인한 모션 및 진동으로 인한 의도하지 않은 모션을 모두 포함하는, 카메라 모션에 대한 보정을 포함할 수 있다. 이를 통해 약간 상이한 시간에 캡처된 다수의 이미지 또는 LIDAR 스캔을 결합해서, 두 캡처 시간 사이의 센서 모션을 설명할 수 있다. 동일한 장면의 다수의 이미지를 이렇게 결합하면, 해상도(초 해상도) 개선, 노이즈 감소 및 다른 형태의 센서 융합이 가능하다. 센서 모션의 파라미터 및 다른 필요한 파라미터는 측정될 수도 있고(예를 들어, 다른 센서를 사용), 데이터 자체로부터 추정될 수도 있다. 요약하면, 워프 액션은 센서 데이터 스트림 사이의 여러 타입의 기하학적 차이를 설명할 수 있으며, 데이터를 정규화된 구성으로 공간적으로 및 시간적으로 정렬(또는 등록)할 수 있다.
일부 구현예에서, 센서 추상화는 데이터에 필터링(예를 들어, 13008)을 계속 적용할 수 있다. 이 필터링은 단일 시점의 데이터를 사용할 수도 있고, 혹은 현재 시점의 데이터를 사용하는 필터링을 포함할 수도 있다. 예를 들어, 단일 카메라 이미지 또는 여러 카메라 이미지(또는 이미지 프레임)가 사용될 수 있다.
일부 실시예에서, 시간 재귀(time-recursive) 필터링 방법이 사용될 수 있다. 시간 재귀 이미지 필터는 이전 시점에 이전에 필터링된 이미지를 사용하고, 현재 시간에 검지된 이미지 데이터와 결합할 수 있다. 구체적인 예로서 Kalman 필터(또는 Kalman 필터의 변형예)가 사용될 수 있다. 이 필터(예를 들어, Kalman 필터 또는 그 변형예)는 이전 시점의 데이터에 기초한 예측 액션 및 현재 시간의 데이터에 기초한 업데이트 액션을 포함할 수 있다. 입자 필터, 히스토그램 필터, 정보 필터, 베이즈 필터, 가우시안 필터와 같은 당업계에 알려진 다른 필터가 사용될 수도 있다.
경우에 따라, 필터링 액션은 센서 노이즈 모델을 사용해서 다양한 타입의 센서, 카메라 및/또는 LIDAR로부터의 노이즈를 적절하게 설명하고 억제할 수 있다. 노이즈 모델은 원본 센서 데이터의 노이즈 성질과 강도를 설명하는 동시에, 필터링(예를 들어, 응답 정규화 및 워프) 이전의 파이프 라인 동작 및 데이터의 노이즈에 미치는 영향을 추적한다. 예를 들어, 원래 데이터의 노이즈 강도는 응답 정규화 액션 동안에 변조된다. 또한 워프 액션 동안에 노이즈의 공간적 특성이 영향을 받을 수 있다. 센서 노이즈 모델의 파라미터는 측정에 기초할 수도 있고 데이터 자체로부터 추정될 수도 있다. 필터링 액션은 또한, 이전 데이터로부터 현재 데이터를 예측하는 불확실성 또는 노이즈를 캡처할 수 있는, 장면 모델을 사용할 수 있다. 예를 들어, 현시간의 액션의 데이터와 이전 시간의 액션의 데이터 사이의 관계는 자율 차량과 센서의 모션에 따라 달라진다. 이 모션은 일부 남아 있는 불확실성 또는 노이즈 내에서 측정될 수도 있고 추정될 수도 있다. 장면 모델은 이러한 불확실성을 설명한다. 장면 모델은 장면 자체(노이즈 없음)로 인한 참(true) 신호의 중요한 변화 크기를 설명할 수도 있다. 이 정보는 필터링 액션에 의해 데이터에서 관찰된 변화의 중요성을 가중하는 데 사용할 수 있다. 필터링 액션은 또한 카메라의 경우 렌즈, 이미징 및 솔리드 스테이트 센서 특성과 같은 추가 특성을 포함하는 센서 모델을 사용할 수 있으며, 공간 블러링 또는 기타 효과를 초래할 수 있다. 필터링 액션은 이러한 특성의 영향을 감소시키거나 데이터를 공통 레벨(예를 들어, 공통의 블러링 레벨)로 정규화할 수 있다. 따라서, 이미지(예를 들어)의 경우, 잘 알려진 컨볼루션 또는 디컨볼루션 기법을 사용해서, 상황에 따라 블러링 레벨을 낮추거나 높이기 위해 필터링 액션이 동작될 수 있다. 센서 모델은 데이터 전체의 블러링 레벨에 대한 이전 데이터 추상화 액션의 효과를 추적한다. 마지막으로 필터링 액션은 출력 데이터 전체에서 출력의 노이즈 및 블러링 레벨을 추적한다. 이 정보는 필터링 동작이 시간 재귀 프로세스인 경우, 예를 들어 Kalman 필터링의 한 타입인 경우, 다음 시점에 사용될 수 있다. 이 정보는 추출된 센서 데이터의 센서 융합과 같은 후속 프로세스에 의해서도 사용될 수 있고 또는 검출 단계에 의해서도 사용될 수 있다.
필터 액션은 또한 개별 샘플의 유효성을 고려할 수 있으며, 유효성 또는 점유 맵을 사용해서 유효한 샘플을 나타낼 수 있다. 예를 들어, LIDAR 데이터에서, LIDAR 리턴이 수신되지 않았거나 충분한 신호 강도로 수신되지 않은 경우, 개별 샘플은 유효하지 않을 수 있다. 또한, 상이한 시야각 및 시야로 캡처된 여러 센서 이미지 또는 어레이가 주어지면, 예를 들어, 이미지를 중첩된 (그러나 동일하지는 않음) 시야각과 결합할 때, 이미지 또는 센서 어레이의 일부 부분이 유용하지 않은 것으로 간주될 수도 있다.
도 131, 도 132 및 도 133은 다수의 센서로부터 오는 다수의 센서 데이터 스트림에 대한 처리 파이프 라인의 실시예를 나타낸다.
도 131는 센서 데이터(13102)의 다중 스트림을 처리하기 위한 예시적인 병렬 처리 파이프 라인(13100)을 도시한다. 파이프 라인(13100)의 각각의 측면들은 도 130a에 도시되고 위에서 설명된 파이프 라인(13000)의 대응하는 측면들과 동일하며, 각 파이프 라인은 다른 센서(센서 A 및 B)로부터의 센서 데이터를 핸들링한다. 도시된 예에서, 공통 검출/지각 알고리즘(또는 트레이닝된 머신 학습 모델)(예를 들어, 13112)이 하나 이상의 센서 데이터 스트림(13102)에 적용되지만 융합은 없다. 예를 들어, 도시된 예에서, 공통 개체 모델은 2개의 파이프 라인(13100)의 두 검출 블록(13112)에 공급된다. 데이터 추상화 아이디어의 한 가지 이점은, 검출/지각 알고리즘이 트레이닝되고어서 다양한 센서로부터의 "추상화된" 데이터에 적용될 수 있고, 따라서 각 센서에 대한 검출 알고리즘을 개발하는 데 필요한 비용/노력이 감소될 수 있다는 것이다.
도 132은 다수의 센서로부터의 데이터가 필터링 액션에 의해 결합되는 처리 파이프 라인(13200)을 도시한다. 도시된 예에서, 센서 추상화 프로세스는, 13204에서 센서 데이터(13202)의 각각의 스트림을 정규화하고, 필터링 액션(13208)에서 스트림을 결합하기 전에, 13206에서 센서 데이터(13202)의 각각의 스트림을 워프하는 것을 포함한다. 센서 추상화 프로세스의 각각의 동작은 위의 도 130a와 관련하여 설명된 대응하는 센서 추상화 프로세스 액션과 유사한 방식으로 수행될 수 있다. 필터링 액션(13208)은, 추상화된 장면 데이터(13210)를 생성하기 위한 장면 모델과 함께, 각각의 센서 데이터 스트림에 대한 센서 노이즈 모델을 이용할 수 있다. 추상화된 장면 데이터는 개체 검출을 위해 검출 프로세스/알고리즘(13212)으로 전달될 수 있다. 검출 프로세스/알고리즘은 도 130a와 관련하여 전술한 검출 단계/알고리즘과 유사하게 수행될 수 있다. 예를 들어, 파이프 라인(13200)은 이미지 모자이크화, 초 해상도 또는 높은 다이나믹 레인지 이미징의 경우에 사용될 수 있으며, 이로써 필터링 액션에 의해 다수의 이미지가 결합될 수 있다.
도 133은 위에서 설명된 센서 추상화의 모든 액션 이후에, 다수의 센서로부터의 데이터가 융합 동작에 의해 결합되는 처리 파이프 라인(13300)을 나타낸다. 도시된 예에서, 센서 추상화 프로세스는, 13304에서 센서 데이터(13302)의 각각의 스트림을 정규화하고, 13306에서 센서 데이터(13302)의 각각의 스트림을 워프하며, 13208에서 센서 데이터(13303)의 각각의 스트림에 필터링을 적용하는 것을 포함한다. 센서 추상화 프로세스의 각각의 액션은 위의 도 130a와 관련하여 설명된 대응하는 센서 추상화 프로세스 동작과 유사한 방식으로 수행될 수 있다. 각각의 데이터 스트림에 대한 각각의 필터링 액션(13208)은, 각각의 센서 데이터에 대한 추상화된 장면 데이터(13210)를 생성하는 장면 모델과 함께, 대응하는 센서 데이터 스트림에 대한 센서 노이즈 모델을 이용할 수 있다. 추상화된 장면 데이터는 융합 스테이지(13312)로 전달되어서, 융합된 데이터를 개체 검출을 위해 검출 프로세스/알고리즘(13214)에 제공하기 전에 추상화된 장면 데이터가 융합된다. 검출 프로세스/알고리즘은 도 130a와 관련해서 전술한 검출 스테이지/알고리즘과 유사하게 수행될 수 있다. 예를 들어, 파이프 라인(13300)은 LIDAR와 카메라 데이터가 융합된 경우에 사용될 수 있으며, 이로써 LIDAR 센서로부터의 데이터와 카메라로부터의 데이터가 검출 스테이지 이전에 결합된다.
도 130, 132, 133에 도시된 예시적인 프로세스의 동작은, 자율 차량의 다양한 측면 또는 구성 요소에 의해 수행될 수 있다. 예시적인 프로세스는 추가 동작 또는 상이한 동작을 포함할 수 있고, 이 동작은 도시된 순서로 수행될 수도 있고 또는 다른 순서로 수행될 수도 있다. 일부 경우에, 도 130, 132, 133에 도시된 하나 이상의 동작은 여러 동작, 하위 프로세스 또는 다른 타입의 루틴을 포함하는 프로세스로 구현된다. 일부 경우에, 동작들은 결합될 수도 있고, 다른 순서로 수행될 수도 있으며, 동시에 수행될 수도 있고, 반복해서 수행될 수도 있으며, 다른 방식으로 수행될 수도 있다.
자율 차량은, 하나 이상의 LIDAR, 레이더, 카메라, GPS(Global Positioning System), IMU(inertial measurement unit), 오디오 센서, 열 센서 또는 기타 센서(예를 들어, 본 명세서에서 설명된 것이나 또는 다른 적절한 센서)를 구비할 수 있다. 이들 센서는 차량이 수행하는 인식을 돕는데 사용될 수 있다. 일반적으로 자율 차량 스택에서 수행되는 첫번째 기능이 인식이므로, 인식에 에러가 있으면, 센서 융합, 위치 파악, 경로 계획 또는 기타 단계와 같은 후속 기능에 악영향을 미친다. 이러한 에러는 사고로 이어지고, 결과적으로 자율 차량에 대한 트러스트와 수용(acceptance)을 손상시킬 수 있다. 인식 에러를 감소시키기 위해서, 많은 시스템은 고품질, 고해상도 카메라 및 기타 센서를 사용한다. 그러나, 이들 고품질 구성 요소는 자율 차량의 비용을 증가시키고, 소비 전력을 증가시켜서, 자율 차량의 수용을 늦출 수 있다.
본 개시의 다양한 실시예는, 초 고해상도 업스케일링 방법에 기초한 스케일 러블 센서 방식을 제공함으로써 이 문제를 해결할 수 있다. 예를 들어 상대적으로 해상도가 낮은 센서가 배치될 수 있다. 이러한 센서로부터 획득된 저해상도 데이터는 초 고해상도 처리 방법을 사용해서 고해상도 데이터로 업스케일링될 수 있다. 임의의 적절한 초 고해상도 업스케일링 방법이 사용될 수 있다. 예를 들어, 업스케일링은 딥 제네러티브 모델(Deep Generative Model)과 같은 다양한 심층 신경망에 의해 수행될 수 있다. 다른 예로서, 업스케일링은 지식 증류(knowledge distillation) 기술을 사용해서 트레이닝된 모델을 사용해서 수행될 수 있다. 다양한 실시예에서, 이러한 네트워크는 실제 데이터에 대해 트레이닝되어서 저해상도 데이터로부터 고해상도 데이터를 유도할 수 있다.
도 134는 특정 실시예에 따른 고해상도 및 대응하는 저해상도 이미지를 포함하는 트레이닝 데이터를 생성하는 흐름을 도시한다. 흐름은 하나 이상의 고해상도 센서를 사용해서 고해상도 이미지(13402)(고품질)를 캡처하는 것으로 시작할 수 있다. 13404에서, 고해상도 이미지는 이후 하나 이상의 저해상도 센서(예를 들어, 저해상도 이미지(13406))를 사용해서 생성된 이미지처럼 보이도록 변환된다. 고해상도-저해상도 변환(13404)은 임의의 적절한 방식으로 수행될 수 있다. 다양한 예에서, 하나 이상의 저역 통과 필터가 고해상도 이미지에 적용될 수도 있고(예를 들어, 이미지의 평활화를 초래함), 고해상도 이미지에 대해 서브 샘플링이 수행될 수도 있으며, 고해상도 이미지에 노이즈가 추가될 수도 있고(예를 들어, 기상 상태(예를 들어, 비 또는 눈)를 흉내내기 위해서 점 노이즈(salt and pepper noise)가 추가될 수 있음), 고해상도 이미지가 다운 샘플링될 수도 있으며, 컬러 이미지의 채널(예를 들어, RGB 값)이 랜덤화될 수도 있고(예를 들어, 다양한 조명 조건을 시뮬레이션하기 위해), 다른 기술이 수행될 수도 있고, 혹은 기술의 조합이 컴퓨팅 시스템(예를 들어, 차량 내 컴퓨팅 시스템)에 의해 수행될 수 있다. 도 134의 흐름은 풍부한 트레이닝 데이터 세트를 생성하기 위해 임의의 수의 센서로부터의 데이터를 사용해서 임의의 횟수로 수행될 수 있다.
이에 더해서 혹은 이와 달리, 트레이닝 데이터는 고해상도 센서와 저해상도 센서를 동시에 사용해서 이미지를 캡처해서 획득될 수 있다. 결과 이미지는 이미지가 동시에 동일한 시야를 나타내도록, 위치 및 타이밍의 측면에서 교정될 수 있다. 따라서, 각각의 고해상도 이미지는 대응하는 저해상도 이미지를 가질 수 있다.
도 135은 특정 실시예에 따른 저해상도 이미지로부터 고해상도 이미지를 생성하는 모델(13510)에 대한 트레이닝 단계를 도시한다. 트레이닝 단계 동안, 딥 러닝 기반 제네레이티브 네트워크(13502)는 실측 자료로서 고해상도 이미지(13506) 및 대응하는 저해상도 이미지(13504)를 수신할 수 있다. 네트워크(13502)는 출력으로서 고해상도 이미지(13508)를 생성하고 이를 실측 자료 고해상도 이미지(13506)와 비교한다. 생성된 고해상도 이미지와 대응하는 실측 자료 이미지 사이의 에러는 네트워크(13502)의 파라미터를 트레이닝하기 위해 역전파된다. 일부 실시예에서, 에러는 적대적 공격에 대한 무결성을 고려하는 손실 함수에 기초한다. 모델(13510)이 트레이닝되면, 저해상도 카메라가 장착된 자동차에 추론을 위해 차량에 배치될 수 있다(예를 들어, 추론 엔진 사용). 이 트레이닝 방법의 특별한 장점은 실측 자료에 대한 고가의 라벨링 프로세스가 필요하지 않으므로, 어떤 의미에서 비지도인(unsupervised) 것이다.
다양한 실시예에서, 저해상도 이미지로부터 고해상도 이미지(이미지 초 고해상도라고도 함)를 생성하기 위해 임의의 적합한 머신 학습 모델이 사용될 수 있다. 예를 들어, 제네레이티브 신경망이 사용될 수 있다(적(adversary)이 존재할 수도 있고 존재하지 않을 수도 있음). 일부 실시예에서, 모델은 컨볼루션 신경망(CNN), 이웃 임베딩 회귀, 랜덤 포레스트, 또는 다른 적절한 머신 학습 아키텍처에 기초할 수 있다. 다양한 예로서 VDSR(Very-Deep Super-Resolution) 모델, 학습 방법 SSR(Single Image Super-Resolution), 구성 방법 SISR 모델, SRCNN(Super-Resolution Convolutional Neural Network) 또는 기타 적절한 모델이 사용될 수 있다.
도 136는 특정 실시예에 따른, 저해상도 이미지로부터 고해상도 이미지를 생성하는 모델(13510)의 추론 단계를 도시한다. 추론 단계 동안, 하나 이상의 저해상도 카메라에 의해 캡처된 저해상도 이미지(13602)가 제네레이티브 모델(13510)에 제공된다. 제네레이티브 모델(13510)은 트레이닝 동안에 결정된 파라미터를 사용해서 이미지(13602)를 처리하여 고해상도 이미지(13606)를 출력한다. 제네레이티브 모델(13510)에 의해 생성된 고해상도 이미지는 자율 차량 스택의 인식 또는 다른 적절한 블록에 사용될 수 있다.
위의 예는 카메라 이미지 데이터 처리에 초점을 맞추고 있지만, LIDAR 데이터와 같은 다른 센서 데이터에도 유사한 초 고해상도 업스케일링 방법이 적용될 수 있다. 원시 LIDAR 데이터는 시야에 걸친 깊이 또는 거리 측정 배열을 포함할 수 있다. 초 해상도 처리는 카메라 이미지 데이터와 매우 유사한 방식으로 이러한 2 차원(2-D) 어레이에 적용될 수 있다. 위와 같이, 수집된 고해상도 LIDAR 데이터를 실측 자료로 사용해서 딥 러닝 기반 생성 네트워크가 트레이닝될 수 있다. 후속해서, 트레이닝된 네트워크는 자율 차량에 배치되어서 저해상도 LIDAR 데이터를 고해상도 LIDAR 데이터로 업스케일링할 수 있다. 특정 실시예에서, 유사한 초 해상도 처리 방법이 또한 포인트 클라우드 형식으로 LIDAR 데이터를 업스케일링하는 데 사용될 수 있다.
본 개시 내용의 다양한 실시예에서, 지식 증류 기술이 확장 가능 검지(scalable sensing)를 지원하기 위해 사용될 수 있다. 지식 증류는 더 큰 교사 모델(teacher model)로부터 또는 교사 모델의 앙상블로부터 학생에게 지식을 전달함으로써 학생 모델의 정확도를 향상시키는 기술이다. LIDAR와 같은 센서와 카메라 사이의 검지 기술에 차이가 있더라도, 검출할 수 있는 기능에 중복이 있을 수 있다. 예를 들어 3D 카메라는 장면의 고해상도 3D 매핑을 제공하는 LIDAR 센서보다 낮은 해상도이지만 깊이 정보를 제공할 수 있다. 일반적으로 저해상도 센서를 사용해서 트레이닝된 모델은, 인간 관찰자가 저해상도 이미지에서 개체를 올바르게 식별할 수 있더라도, 고해상도 센서를 사용해서 트레이닝된 모델보다 정확도가 떨어지는 경향이 있다. 본 개시의 특정 실시예에서, 지식 증류는 다양한 타입의 고비용 센서(예를 들어, LIDAR 및 고해상도 카메라)를 사용해서 트레이닝된 교사 모델의 앙상블로부터 저비용 센서(예를 들어, 저해상도 카메라 또는 저해상도 LIDAR)를 사용하는 학생 모델로 지식을 전달하는 데 사용될 수 있다.
트레이닝 동안에, 지식 증류는, 모델의 주요 태스트(예를 들어, 개체 검출)에 대한 손실은 물론 교사 네트워크가 자신의 특성을 인코딩하는 방법과 학생 네트워크가 이들 특성을 인코딩하는 방법 사이의 증류 손실을 최소화하는 멀티-태스크 손실을 사용해서 교사로부터 학생에게 지식을 전달한다. 교정 및 타임 스탬프를 사용해서 데이터를 동기화해서 트레이닝 데이터가 생성됨으로써, 고비용 센서와 저비용 센서가 동일한 장면을 볼 수 있게 한다.
도 137은 특정 실시예에 따른 지식 증류를 사용해서 학생 모델(13704)을 트레이닝하는 트레이닝 단계를 도시한다. 먼저, 모델(13710 및 13712)의 앙상블(13702)을 포함한 교사 모델은, 고비용 센서(13706 및 13708)을 사용해서 가능한 한 정확하게 개체를 검출하도록 트레이닝된다. 다음으로, 교사 모델(13710 및 13712)의 앙상블(13702)로부터 얻은 지식은, 교사 모델의 앙상블(13702)에 의해 예측된 개체 확률 분포로부터 소프트 타깃(13712 및 13714)을 계산하고, 이를 사용해서 학생 모델(13720)에게 정보를 일반화하는 방법을 가르침으로써, 학생 모델(13720)로 전달된다. 소프트 타깃(13712 및 13714)은 실측 자료 레이블(13726)로부터 획득한 하드 타깃(예측(13724))과 함께 사용되어서 학생 모델의 정확도를 향상시킨다.
임의의 적절한 모델이 모델의 앙상블(13702) 또는 학생 모델(13720)에 사용될 수 있다. 특정 실시예에서, 이들 모델 중 하나 이상은 CNN(convolutional neural network)을 포함한다. 일부 실시예에서, 이들 모델 중 하나 이상은 RNN(recurrent neural network)을 포함한다(예를 들어, 개체를 묶은(bound) 다각형 좌표의 시퀀스를 예측함으로써, 장면에서 픽셀을 카테고리화하는 방법을 학습하는 분할 모델에서). 또 다른 실시예는 임의의 적절한 신경망 또는 다른 머신 학습 모델을 포함하는 모델을 포함할 수 있다.
특정 실시예에서, 소프트 타깃(13712, 13714, 13722)은 최종 출력이 아닌 각각의 분류 알고리즘의 레이어(예를 들어, 신경망)로부터 추출될 수 있다. 예를 들어, 개체 검출 모델에서, 소프트 타깃은 개체의 경계 박스의 치수, 개체에 대해 결정된 하나 이상의 클래스 또는 각 클래스와의 관련 가능성(likelihood)(예를 들어, 0.7 고양이, 0.3 개). 분할 모델에서, 소프트 타깃은 각 픽셀에 대해 서로 다른 시멘틱 카테고리와 관련된 그 픽셀의 소프트맥스 확률을 나타낼 수 있다. 특정 실시예에서, 소프트 타깃은 신경망의 특정 레이어의 특성 맵으로부터의 정보를 포함할 수 있다.
융합된 소프트 타깃(13716)은 임의의 적절한 방식으로 소프트 타깃(13712 및 13714)으로부터 결정될 수 있다. 다양한 예로서, 소프트 타깃은 가중 평균, Dempster-Shafer 이론, 결정 트리, 베이지안 추론, 퍼지 로직, 본 명세서에 설명된 컨텍스트 기반 센서 융합 방법에서 파생된 임의의 기술, 또는 다른 적절한 방식을 사용해서 결합될 수 있다. 일 실시예에서, 바운딩 박스에 대해 결합 동작이 수행될 수 있으며, 여기서, 모델(13710)에 의해 예측된 바운딩 박스와 모델(13712)에 의해 예측된 바운딩 박스에 공통인 영역이, 융합된 소프트 타깃(13716)의 바운딩 박스로 결정된다. 다양한 실시예에서, 소프트 타깃은 임의의 적절한 방식으로 함께 융합될 수 있다.
하드 예측(13724)은 모델(13720)의 최종 출력일 수 있다. 예를 들어, 하드 예측(13724)은 검출된 개체 또는 픽셀에 대해 예측된 클래스를 포함할 수 있다.
증류 손실(13730)은 고비용 센서에 의해 예측된 융합된 소프트 타깃(13716)과 저비용 카메라(13718)에 의해 예측된 대응하는 소프트 타깃(13722) 사이의 차이이다.
학생 손실(13728)에 대해 학생 모델(13720)을 최적화하는 대신, 예를 들어 하드 예측(13724)과 실측 자료 레이블(13726) 사이의 차이인 멀티-태스크 손실(학생 손실(13728) 및 증류 손실(13730)을 포함)을 사용해서 학생 모델(13720)의 파라미터를 조정한다.
도 138은 특정 실시예에 따른, 지식 증류를 사용해서 트레이닝된 학생 모델에 대한 추론 단계를 나타낸다. 추론하는 동안, 학생 모델은 카메라 이미지 데이터의 경우에, 하나 이상의 저가형 센서로부터의 데이터만을 사용해서 개체를 검출한다. 다른 실시예에서, 유사한 추론 프로세스는 (예를 들어, 저 해상도를 가진 저비용 LIDAR로부터의) LIDAR 데이터 입력을 포함할 수 있다. 이 경우, 학생 모델은 LIDAR 데이터를 입력으로서 사용해서 트레이닝될 수도 있다.
다양한 실시예에서, 도시된 모델은 임의의 적절한 센서에 적합할 수 있다. 부모 앙상블(13702) 또는 학생 모델은 임의의 수, 품질 및/또는 타입의 센서를 포함할 수 있다. 예를 들어, 학생 모델은 저비용 LIDAR 센서로부터의 데이터를 사용해서 트레이닝될 수 있다(예를 들어, 교사 앙상블의 일부인 고해상도 LIDAR 센서보다 해상도가 낮음). 다른 실시예에서, 학생 모델은, 학생 손실(13728)을 결정하는 데 사용되는 융합된 소프트 및 하드 타깃과 함께, 저해상도 카메라(13718) 및 저해상도 LIDAR(또는 임의의 다른 적절한 품질 또는 타입의 센서)로부터의 데이터로 트레이닝되고, 융합된 소프트 타깃(13716)과 비교되어서 증류 손실(13730)을 결정한다. 이러한 실시예에서, 차량에 배치될 때 LIDAR 및 카메라 데이터 입력의 조합에 대해 유사한 추론 프로세스가 이용될 수 있다.
특정 실시예에서, 고해상도 센서 데이터가 자율 차량으로부터 캡처된다. 고해상도 센서 데이터는 저역 통과 필터링, 서브 샘플링 또는 기타 적절한 기술과 같은 기술을 사용해서 저해상도 센서 데이터로 변환된다. 제네레이티브 머신 학습 모델은 저해상도 센서 데이터를 고해상도 센서 데이터로 변환하도록 트레이닝된다. 추론하는 동안 차량에서 트레이닝된 제네레이티브 머신 학습 모델을 사용해서 개체 검출 동작이 수행됨으로써, 저해상도 센서 데이터를 고해상도 센서 데이터로 변환한다.
다른 특정 실시예에서, 다양한 타입의 센서(예를 들어, 카메라, LIDAR 등)로부터의 고해상도 데이터를 사용해서 자율 차량 스택의 작업을 수행하도록 머신 학습 모델의 앙상블이 트레이닝된다. 고해상도 센서 데이터를 사용해서 트레이닝된 머신 학습 모델 앙상블로부터의 지식은, 머신 학습 모델의 앙상블의 융합된 소프트 예측 타깃과 학생 학습 모델의 앙상블의 소프트 예측 타깃 사이의 증류 손실을 통합해서, 저해상도 센서 데이터를 사용해서 트레이닝된 학생 머신 학습 모델로 전송된다. 추론하는 동안, 저해상도 센서 데이터를 사용해서 트레이닝된 학생 머신 학습 모델을 사용해서 차량에서 개체 검출 작업이 수행된다.
도 139은 특정 실시예에 따른 개체 검출에 사용하기 위해, 캡처된 이미지의 해상도를 증가시키는 흐름을 나타낸다. 13902에서, 제 1 이미지 데이터는 차량의 제 1 센서에 의해 캡처되고, 제 1 이미지 데이터는 제 1 해상도를 갖는다. 13904에서, 제 1 이미지 데이터는 머신 학습 모델을 사용해서 제 2 해상도를 가진 제 2 이미지 데이터로 변환되고, 여기서 제 2 해상도는 제 1 해상도보다 높다. 13906에서, 제 2 이미지 데이터에 기초하여 차량에 대해 개체 검출 동작이 수행된다.
도 140은 특정 실시예에 따른 방법의 앙상블에 기초한 머신 학습 모델을 트레이닝하는 흐름을 도시한다. 14002에서, 머신 학습 모델의 앙상블은 자율 차량 스택의 태스크를 수행하도록 트레이닝되며, 이 앙상블은 제 1 해상도를 갖는 이미지 데이터를 사용해서 트레이닝된 제 1 머신 학습 모델 및 제 2 머신 학습 모델을 포함한다. 14004에서, 제 3 머신 학습 모델은 머신 학습 모델 앙상블의 융합된 소프트 예측 타깃과 제 3 머신 학습 모델의 소프트 예측 타깃 사이의 증류 손실에 적어도 부분적으로 기초하여 트레이닝된다.
인간의 검지 능력은 제한적이라는 것은 널리 알려져 있다. 자율 차량의 가능한 이점 중 하나는, 자율 차량의 센서 수를 고려할 때 도로에 대한 더 많은 정보를 수신하여 안전성을 높일 수 있다는 것이다. 그러나 센서의 어레이를 가진 자율 차량조차도 에러 및 사각 지대에 취약하다. 자율 차량의 인식 및 모션 플래너의 이러한 한계를 인정하고 고려하는 것은 중요하다.
도로변 유닛에 설치된 LIDAR 및 레이더는 차도를 따라 존재할 수 있으며, 이는 도로 상의 차량에 추가 정보를 제공할 수 있다. 마찬가지로, 연계 검지를 사용함으로써 자율 차량의 연계 주행에 적합하다. 예를 들어, 연계 주행이 사용될 때, 트럭 및 서비스 차량 무리의 군집 주행(platooning)은 연계 검지를 사용할 수 있다. 또 다른 예로서, 도로 위의 소비자 차량(서로 알 수 없음)도 연계 주행에 기여하고 연계 검지를 수행할 수 있다.
도 141는 자율 차량이 센서를 가려서(occluded) 주행 상황을 잠재적으로 위험하게 만드는 상황의 예를 나타낸다. 도시된 바와 같이, 차량(14105)은 차량(14110)을 따라가고 있다. 차량(14110)의 크기로 인해서, 차량(14105)에게 차량(14115)은 가려진다. 도 141에 도시된 상황에서, 차량(14105)은 차량(14110)을 지나치도록 이동한다. 그러나 차량(14115)이 동시에 차선을 변경하고, 차량(14105)은 이 상황의 잠재적인 위험을 인식하지 못한다. 그러나, 자율 차량이 주변 차량 및/또는 기타 밖의 센서로부터 추가 정보를 수신할 수 있다면, 일부 위험은 완화될 수 있다. 나아가 차량 사이에서 다른 통신을 사용하면 더 안전한 주행 환경을 만들 수 있다.
가상 현실 인식의 개념은, 자동차가 예를 들어 도로의 다이나믹한 자동차, 감시 카메라, 교차로 또는 회전에 설치된 카메라, 교통 표지판 및 신호등과 같은, 주변 교통 에이전트의 눈을 통해 환경을 관찰하는 것을 고려한다. 이 정보는 차량의 인식 및/또는 다이나믹 맵이 최신이 아닌 경우에, 가림 검출(occlusion detection)에 사용될 수 있다. 나아가, 인식을 향상시킴으로써, 차량의 센서 세트에만 의존해서는 달성될 수 없는 방식의 인식 영역을 향상시켜서, 의사 결정을 개선할 수 있다. 예를 들어, 차량에는 없는 센서로부터의 정보를 확보함으로써, 가려진 횡단 보도에 차량이 접근할 때, 안전을 향상시킬 수 있다. 차량이 다른 교통 에이전트로부터의 센서를 사용해서, 가려진 횡단 보도를 볼 수 있다면, 접근하는 차량의 속도가 올바르게 결정될 수 있다.
연계 검지, 연계 의사 결정, 시멘틱 통신 언어를 결합하는 시스템 및 방법은 자율 차량의 안전성을 크게 향상시킬 수 있다. 차량 연계를 사용하는 시스템의 예가 도 142에 도시된 하이 레벨 아키텍처 도면에 나타나 있다. 도 142의 시스템(14200)은 자율 차량을 위한 연계 검지, 의사 결정 및 공통 시멘틱 통신 언어를 제공할 수 있다. 연계 검지는, 차량이 하나 이상의 주변 차량과 통신해서 각 차량의 센서에 의해 검지된 데이터에 기초해서 데이터를 통신할 때, 발생한다.
도 142의 예는 연계해서 통신하는 2대의 차량(V1 및 V2)을 포함하는 시스템을 나타낸다. 도 142에 도시된 예에 따르면, 각 차량은 내부 검지 모듈(14220), 보강 검지 모듈(14230), 밖의 검지 모듈(14210), 연계 의사 결정기(14250), 자율 차량 의사 결정기 모듈(14240), 및 궤도 계획과 실행 모듈(14260)을 포함한다.
내부 검지 모듈(14220)은, 경로 계획 및 실행시에 자율 차량에 의해 종래 사용되던 데이터와 같은, 자율 차량의 검지 정보를 포함한다. 예로서, 검지 모듈(14220)은 차량용 센서에 의해 검지된 정보를 포함할 수 있다. 밖의 검지 모듈(14210)은 다른 차량으로부터 획득된 정보를 포함한다(예를 들어, V1의 검지 모듈(14210)은 V12로부터 수신한 검출 정보를 포함할 수 있다). 이 데이터는 임의의 형태를 취할 수 있다. 일부 실시예에서, 데이터는 시멘틱 통신을 통해 교환된다. 본 개시의 다양한 실시예에서, 신규한 시멘틱 언어가 교통 요소(예를 들어, 차량 또는 도로변 컴퓨팅 유닛)에 의해 사용됨으로써, 차량은 빠르고 안전한 모드로 자신들의 통신을 관리할 수 있다. 이러한 운송 통신에 일반화된 언어는 검지 데이터 및 계획 데이터를 모두 포함할 수 있으며, 다른 교통 구성 요소에 의해 공유되고 활용될 수 있다. 시멘틱 통신은 브로드캐스트로서 또는 요청/응답 방식에 기초해서 수행될 수 있다. 나아가, 시멘틱 언어는 예를 들어 Bluetooth 또는 ZigBee와 같은, 사용 가능한 전송 프로토콜을 사용해서 전송될 수 있다. 2대의 차량이 이들의 센서로부터 수신하는 모든 데이터를 공유하려고 하면, 데이터 전송 크기가 너무 커서, 전송 및 분석에 너무 오래 걸릴 수 있다. 즉각적인 결정이 필요한 상황에서, 시멘틱 통신은 도로의 중요한 안전 문제에 관한 빠른 통신을 가능하게 한다. 예를 들어, 시멘틱 언어는, 차량이, 차량 또는 다른 개체의 위치는 물론 차량이 차선을 변경하는 계획과 같은, 차량 또는 개체의 이동 패턴 또는 계획과 같은 특정 사항을 서로 공유하는 것을 가능하게 한다.
위에서 언급한 바와 같이, 검출된 데이터를 한 차량으로부터 다른 차량으로 전송하는 것이 연계 검지로 간주될 수 있다. 자율 차량에는 일반적으로 광 범위한 다양한 센서가 탑재되어 있다. 이러한 센서에 의해 제공되는 데이터는, 컴퓨터 비전 알고리즘 또는 LIDAR/RADAR 기반 데이터 처리 방법을 사용해서, 실시간으로 분석될 수 있다. 센서로부터의 데이터는 처리 및 분석될 수 있으며, 결과는 본 명세서에서 제시된 실시예에 따라 차량 사이에 공유될 수 있다. 각각의 물리적 센서는 범위, 시야, 기상 조건 등에 자체 제한이 있다. 도 141의 예를 참조해서 설명한 바와 같이, 도로에서는 차량의 하나 이상의 센서가 가려지는 경우가 많이 있다. 연계 검지를 통해 차량은 다른 차량으로부터의 데이터 또는 기타 교통 개체(예를 들어, 도 1에 도시된 것과 같은 임의의 센서 또는 기타 적절한 센서와 같은 도로에 따른 교통 센서 및 카메라)를 사용해서, 자율 주행 차량의 시야를 확대할 수 있다.
도 142의 예를 참조하면, 시스템(14200)은 또한 각 차량에 연계 의사 결정기 모듈(14250)을 포함할 수 있다. 연계 의사 결정기 모듈(14250)은 차량에 대해 계획된 경로와 같은, 다른 차량의 의사 결정과 관련된 데이터를 수신할 수 있다. 따라서, 신규 데이터 세트가 주어지면 자율 차량은 자체 경로 계획, 특히 움직임 계획을 조정할 수 있다. 다른 차량의 의사 결정과 관련된 데이터는 다른 차량의 의사 결정과 관련된 데이터를 포함할 수 있다. 예를 들어, 두 차량이 차선을 변경할 계획이라면, 서로에게 경고할 수 있고 두 차량은 그에 따라 액션을 조정하고 계획할 수 있다. 연계 의사 결정은 자율 차량 사이에서 순수 협상을 사용하는 것보다 더 일반적이고 신뢰할 수 있으며, 일부 실시예에서 차량 또는 다른 센서에 의해 검출되는 추가 개체를 고려할 수 있다. 연계 의사 결정을 통해 보다 복잡한 최적화 문제를 해결할 수 있고, 그 결과를 주변 교통 구성 요소(예를 들어, 다른 차량 또는 도로변 보조 컴퓨팅 장치)와 공유할 수 있다. 일부 예에 따르면, 연계 의사 결정기 모듈(14250)은 시멘틱 언어를 사용해서 서로 통신한다.
하나 이상의 연계 의사 결정, 연계 검지 및 시멘틱 언어는 자율 차량이 보다 효율적이고 안전하게 이동할 수 있게 한다. 예를 들어, 두 가지 주요 잠재적 충돌 상황은 두 차량 사이의 고속 차이 및/또는 전방 차량과 후방 차량 사이의 좁은 거리를 포함한다. 시간-기반 충돌 표시기는 수학적으로 정의될 수 있다. 이러한 표시기는 안전 궤도와 안전하지 않은 궤도를 구분하는 데 사용할 수 있다. 일부 실시예에서, 차량은 다른 차량에 의해 인식된 원시 데이터에 대한 계산 및 분석을 반복하는 일 없이, 잠재적으로 위험한 상황의 철저한 픽쳐를 분석할 수 있다. 데이터 세트가 압축되면, 정보를 전송하는 데 더 작은 대역폭이 사용된다. 도 143은 다수의 차량에 의해 다수의 액션이 고려되는 상황의 예를 나타낸다. 연계 의사 결정, 연계 검지 및 시멘틱 언어를 조합해서, 차량은 이러한 상황 및 다른 상황에서 안전하게 기동할 수 있게 된다.
시스템(14200)은 또한 보강 검지 모듈(14230)을 포함한다. 이들 모듈은 외부 소스(예를 들어, 도 1에 도시된 임의의 소스와 같은 차량 외부의 소스)로부터 센서 정보를 수신한다. 이 데이터는 밖의 검지 모듈(14210) 및 시멘틱 통신을 통해 다른 차량으로부터 수신된 센서 데이터를 보충할 수 있다. 일례로, 모듈(14230)은 근처의 다른 차량 또는 교통 에이전트로부터 하나 이상의 센서에 의해 수집된 데이터를 포함하는 (또는 수집된 데이터에 기초하여) 전체 데이터 스트림을 수신할 수 있다.
자율 주행 결정기 모듈(14240)은, 내부적으로 또는 외부적으로 센서로부터 수신한 정보에 기초해서 자율 주행 결정을 내릴 수 있다. 하나의 예시적인 실시예에 따르면, 연계 의사 결정기 모듈(14250)은 자율 차량 결정기 모듈(14240)과 분리되어서, 자율 차량이 의사 결정 및 계획에서 추가 정보를 고려할 수 있게 한다.
시스템(14200)은 또한 각 차량에 대한 궤도 계획 및 실행 모듈(14260)을 포함한다. 모듈(14260)은 차량의 의사 결정기 모듈(14240 또는 14250)에 의해 내려진 주행 결정을 실행할 수도 있고; 또는 이러한 모듈에 의해 내려진 결정에 기초해서 차량의 궤적을 계획할 수 있다.
도 142에 설명된 시스템은 특정 실시예에서 발생할 수 있는 모듈을 나타낼 뿐이다. 다른 실시예는 본 명세서에서 구체적으로 언급되지 않은 추가 모듈을 포함할 수 있다. 나아가, 하나 이상의 모듈은 생략될 수도 있고, 다른 실시예에서는 모듈은 결합될 수도 있다.
자율 차량 둘레의 360도 인식을 달성하기 위해서, 다양한 시스템은 다양한 양식의 수많은 센서를 포함할 수 있다. 일부 상황에서, 이러한 센서들은 센서 간에 중복이 유발할 수 있다. 그러나, 센서의 수가 증가되면 하드웨어 비용을 추가시킬 수 있으며(예를 들어, 센서 가격의 측면에서 관련 처리 장치), 특정 센서 구성에 대한 자율 차량 스택의 의존을 초래할 수 있다. 이는 다양한 타입의 차량으로 자율 차량 솔루션이 확장되는 것(예를 들어, 소형 차량은 스포츠 유틸리티 차량의 구성과는 매우 다른 구성을 사용할 수 있음)을 저해한다. 고정 센서가 사용되는 경우, 센서 구성(예를 들어, 센서 타입 및 차량에서의 센서 위치)이 각 자율 차량 타입에 맞게 커스토마이징되어서, 차량 주변의 인식 범위에서 완전한 중복을 달성한다.
본 개시의 다양한 실시예는, 가변 시야(FOV) 및 초점 범위를 가능하게 하는 적응형 이미지 센서를 제공한다. 인간의 시각계와 유사하게, 특정 실시예는 센서의 수직 및 수평 회전을 가능하게 함으로써 센서에 물리적 움직임을 추가할 수 있다(시야를 확장하기 위한 안구 및 목의 움직임과 유사). 특정 실시예는 더 큰 FOV를 커버하기 위해 회전할 수 있는 하나 이상의 PTZ(Pan-Tilt-Zoom) 카메라를 이용할 수 있다. 카메라가 회전 이후에, 차량에 부착된 하나 이상의 마커를 사용해서 교정 단계가 수행될 수 있다. 일부 실시예에서, 머신 학습 알고리즘은, 특정 센서가 재교정될 때 마커의 사용을 호출하여, 교정 프로세스를 자동화하도록 트레이닝될 수 있다. 다양한 실시예는, 시야에 대한 전체 커버리지를 달성하기 위해 사용되는 차량 상의 센서의 고정 위치 및 중복 센서의 수에 대한 의존성을 제거한다. 다양한 실시예에서, 밖의 머신 시행 및 지능(예를 들어, 원시 센서 데이터의 전처리)은 기존의 센서에 기능을 추가할 수 있다. 센서 수의 감소, 검지되어야 하는 데이터 양의 감소 또는 검지 중에 사용되는 전력의 감소와 같은 다양한 이점이, 본 명세서에 설명된 하나 이상의 실시예에 의해 달성될 수 있다.
표준 단안 카메라의 표준 시야는 40o×30o이며, 자율 차량의 경우 상대적으로 좁고 제한된 시야이다. 이렇게 제한된 센서의 시야로 인해서, 많은 자율 차량은 차량의 여러 위치에 있는 여러 센서를 포함한다. AV의 궤적에 따라서, 차량 주변의 다양한 센서에 의해 검지되는 데이터가 동일하게 중유한 것은 아니며, 유용한 정보를 동일하게 갖고 있는 것도 아니다. 예를 들어, 빈 고속도로를 주행하는 AV의 경우, AV에 대한 가장 유용한 정보는 하나 이상의 전면 센서로부터 획득될 수 있다(후면 센서로부터 데이터는 그다지 중요하지 않지만, 가끔 체크될 수 있음).
본 발명의 다양한 실시예에서, 차량은 센서가 왼쪽, 오른쪽, 상하 방향으로 회전할 수 있도록 센서를 위한 자동화된 기계식 마운트를 포함할 수 있다. 카메라의 고정된 시선이 제한될 수는 있지만(예를 들어, 40o×30o), 기계식 마운트의 모션은 시야를 효과적으로 증가시킨다. 따라서, 차량의 환경으로부터 유용한 정보는 하나 이상의 센서의 시선/주의를 이동시킴으로써 캡처될 수 있다. 특정 실시예에서, 센서의 움직임은 차량 주변에서 검출된 모션에 기초해서 지능적으로 자동화된다.
도 144는 동적으로 조정 가능한 이미지 센서(14402A~C) 및 교정 마커(14404A~D)를 가진 차량(14400)을 도시한다. 차량(144)은 본 명세서에서 설명된 임의의 차량(예를 들어, 105)의 특징 중 하나 이상을 가질 수 있다. 이미지 센서(14402)는 센서의 기능을 구현하기 위한 임의의 적절한 로직을 포함할 수 있다. 예가 특정한 수 및 위치의 이미지 센서(14402) 및 교정 마커(14404)를 도시하지만, 다양한 실시예는 차량의 임의의 적절한 위치에 장착된 임의의 적절한 수의 이미지 센서 및 교정 마커를 포함할 수 있다.
다양한 실시예에서, 교정 마커(14404)는 차량(14400)에 부착된다. 마커(14404)는 임의의 적합한 위치에서 차량의 외부에 배치될 수 있다. 마커(14404)는 임의의 적절한 형상(예를 들어, 작은 구, 점, 원통 등)을 가질 수 있다. 마커는 교정 중 수행되는 이미지 캡처 동안 검출를 돕기 위해 마커가 부착된 차량(14400)의 외부 부분과는 상이한 색상일 수 있다. 마커 및 카메라의 특정 위치(및 이들 사이의 거리)는 교정 동안 이미지 센서(14402)의 시야 또는 다른 파라미터를 동적으로 조정하기 위해 사용될 수 있다.
차량(14400)의 제어 장치(예를 들어, 시스템 관리자(250))로부터의 제어 신호에 응답하여, 이미지 센서(14402)는 수평 및/또는 수직 방향으로 회전할 수 있다. 일부 실시예에서, 이미지 센서(14402)는 또한 제어 신호에 응답해서 이미지 센서가 수직으로 또는 수평으로 변위될 수 있도록 레일 또는 다른 머신 장치에 장착될 수 있다. 이미지 센서(14402)는 임의의 적절한 조건에 응답해서 임의의 적절한 위치로 이동(예를 들어, 수평 및/또는 수직 방향으로 회전 및/또는 변위)될 수 있다. 예를 들어, 도시된 실시예에서, 차량은 정상 동작 중에 3개의 전방 카메라(14402A, 14402B, 14402C)를 가질 수 있다. 다가오는 차선 변경에 응답해서, 이미지 센서(14402C)는 도 145에 도시된 바와 같이 수평으로 회전될 수 있다(예를 들어, 차량(14400)의 측면 및 후방에 있는 시야를 캡처하기 위해). 차선 변경이 완료되면(또는 예를 들어 시야에 잠재적으로 위험한 개체가 없다는 결정에 응답해서), 이미지 센서는 원래 위치로 돌아갈 수 있다. 센서(14402B)는 제어 신호에 응답해서 차량의 다른 측면을 캡처하기 위해 유사한 방식으로 회전될 수 있다. 다른 예에서, 일반적으로 전방을 향하는 센서(예를 들어, 14402A)는, 수평 방향(예를 들어, 180도)으로 회전해서 차량(14400)의 후방의 이미지를 주기적으로 캡처할 수 있다.
하나 이상의 이미지 센서(14402)의 움직임을 교정하기 위해 하나 이상의 마커(14404)가 사용될 수 있다. 예를 들어, 이미지 센서(14402)가 이동될 때, 제어 유닛은 조정 명령어를 제공할 수 있다(명령어는 예를 들어, 직접 조정 유닛 또는 이미지 센서(14402)가 조정 유닛으로 변환할 수 있는 센서 구성의 식별을 포함할 수 있다). 다양한 예에서, 조정 유닛은 수평 회전 각도, 수직 회전 각도, 수평 거리, 수직 거리, 줌 레벨 및/또는 다른 적절한 조정을 포함할 수 있다. 센서(14402)는 지시된 조정에 영향을 미칠 수 있고, 이미지 데이터(예를 들어, 사진 또는 비디오)의 캡처를 시작할 수 있다.
센서(14402)로부터의 이미지 데이터는 차량의 제어 유닛으로 피드백된다. 제어 유닛은 이미지를 처리하고 이미지 데이터에서 하나 이상의 마커(14404D)의 위치 및/또는 크기를 검출할 수 있다. 하나 이상의 마커가 이미지의 올바른 위치에 있지 않거나 올바른 크기가 아닌 경우, 제어 장치는 추가 조정 명령을 결정하여 센서에 제공할 수 있다. 마커(들)가 원하는 크기가 될 때까지 및/또는 이미지 데이터 내에서 원하는 위치를 가질 때까지, 추가 이미지 캡처 및 조정이 수행될 수 있다(일부 실시예에서, 두번째 조정 이후에 마커(들)에 대한 추가 분석없이 이미지 센서는 적절한 구성에 있는 것으로 가정될 수 있음). 다양한 실시예에서, 조정 명령어 및 결과(예를 들어, 이미지 내의 마커의 위치 및 크기에 의해 반영됨)는 제어 유닛에 의해 저장되고, 이후 조정 명령어 정밀화하는 데 사용된다.
특정 실시예에서, 차량(14400)에 내장된 명시적인 마커 대신에, 교정을 위한 마커로서 자동차의 윤곽이 사용될 수 있지만, 이 실시예는 교정을 위해 더 집중적 인 처리를 호출할 수 있다.
일부 실시예에서, 센서(14402)가 움직일 때마다 교정이 수행되는 것은 아니다. 다른 실시예에서, 교정은 센서(14402)가 움직일 때마다 수행되지 않을 수도 있지만, 예를 들어 센서가 n회 움직일 때마다, 또는 교정이 유용할 것이라는 결정에 응답해서 수행될 수 있다.
다양한 실시예에서, 제어 유닛은 자동차와 관련된 검출된 상태에 응답해서 하나 이상의 센서의 움직임을 지시할 수 있다. 특정 실시예에서, 이러한 조건은 센서 데이터의 시간 기반 분석(예를 들어, 하나 이상의 이미지 센서(14402) 또는 차량의 다른 센서 또는 관련 센서로부터)에 기초하여 검출될 수 있다. 일부 실시예에서, 센서의 움직임은 하나 이상의 센서의 시야의 모션에 응답해서 지시될 수 있다(예를 들어, 특정 이미지 센서(14402)는 개체를 추적하기 위해, 예를 들어 다른 차량이 차량(100)을 추월하거나 차량(100)에 의해 추월되는 것을 추적하기 위해, 그 모션을 조정할 수 있음). 다양한 실시예에서, 이 움직임은 주행 환경의 변화의 검출에 응답해서 지시될 수 있다(예를 들어, 고속도로에서 주행하는 동안, 센서는 주로 전방 방향을 향할 수 있지만, 도시 주행 중에는 더 자주 측면을 향할 수 있다). 일부 실시예에서, 센서 이동을 지시하는 데 사용되는 조건은 예측된 조건일 수 있다(예를 들어, 속도 저하, 도시 주행을 나타내는 개체의 검출 및/또는 GPS 데이터에 기초한, 고속도로로부터 도시로의 예측된 병합). 다양한 실시예에서, 하나 이상의 센서의 움직임을 트리거하기 위한 조건을 검출하기 위해 머신 학습이 이용될 수 있다.
도 146는 특정 실시예에 따른, 차량의 이미지 센서를 조정하기 위한 흐름을 도시한다. 14602에서, 차량의 이미지 센서에 대한 위치 조정 명령이 생성된다. 14604에서, 차량의 이미지 센서로부터 이미지 데이터가 수신된다. 14606에서, 이미지 데이터 내의 차량 마커의 위치 및 크기가 검출된다. 14608에서, 차량의 이미지 센서에 대한 제 2 위치 조정 명령이 이미지 데이터 내의 차량 마커의 위치 및 크기에 기초하여 생성된다.
자율 차량의 자율성 레벨에 따라서, 차량이 운행되는 동안 일부 인간 운전자와의 상호 작용이 필요할 수도 있다. 차량이 정상적으로 완전 자율 방식으로 작동할 수 있는 경우에도, 인간 운전자가 제어권을 인수해야 하는 상황(예를 들어, 긴급 상황)이 있을 수 있다. 다른 상황에서, 예를 들어 인간 운전자가 운전하기를 원할 때나 또는 사람이 차량을 제어할 바람직한 이유가 있을 때, 운전자가 자율 차량의 제어를 인수하는 것이 바람직할 수 있다. 그러나 인간은 종종 부주의하고, 쉽게 주의가 산만하며, 특정 상황에 느리게 반응한다. 따라서, 적어도 일부 상황에서는, 자율 차량의 핸드오프와 관련하여 사람은 백업으로서 신뢰될 수 없을 수도 있다. 또한, 인간의 반응 시간 및 리액션은 상황에 따라 달라질 수 있다. 예를 들어, 어떤 사람들은 다른 사람들보다 리액션 시간이 더 느리다. 또 다른 예로, 어떤 사람들은 긴급 상황에서 침착하게 리액션하는 반면, 어떤 사람들은 당황해 한다.
자율 차량의 핸드오프 시스템 및 절차는, 차량의 제어를 인간에게 핸드오프하는 개인 맞춤형 방식을 구현하는 것이 바람직 수 있다. 이러한 시스템 및 절차는 핸드오프의 안전성 및 효율성을 향상시킬 수 있다. 이는, 일반적으로 인간 운전자가 필요없는 레벨 5 자율 차량에서 특히 그렇다. 어떤 상황에서는, 인간 운전자가 졸고 있을 수도 있고, 주의가 산만해져 있을 수도 있으며, 따라서 핸드오프와 관련된 위험을 증가시킬 수 있다. 핸드오프에 대한 개인 맞춤되고 조정된 방식은, 핸드오프를 계획할 때, 운전자의 주의 레벨 및/또는 이러한 상황에서의 리액션 특성을 고려할 수 있다.
다양한 실시예에서, 핸드오프에 대한 개인 맞춤되고 조정된 방식은 자율 차량에서 계획된 핸드오프와 계획되지 않은 핸드오프 모두에 적용될 수 있다. 완전한 자율성이 바람직할 수 있지만, 실세계 시나리오(예를 들어, 치명적인 센서 오류, 예기치 않은 갑작스런 도로 상태 변화(예를 들어, 돌발 홍수) 등)에서는 자율 차량의 기능을 초과하는 상황이 생길 수 있다.
본 명세서의 실시예에 따르면, 핸드오프 문제에 대한 해결책은, 핸드오프를 계획할 때 운전자의 활동, 개인 능력 및 목표 경로 중 하나 이상을 고려하는 다각적인 방식을 포함할 수 있다. 이 방식은 시스템(예를 들어, 차량 내 처리 시스템(210))이 차량의 제어를 인간 운전자에게 핸드오프할지 여부와 시기에 대해 더 나은 판단을 행할 수 있게 한다. 나아가, 다양한 실시예는 또한 시간이 경과함에 따라 운전자 개인 맞춤을 제공할 수 있으며 컨텍스트 별 정보 참조를 지속적으로 유지해서, 핸드오프 프로세스를 점진적으로 개선할 수 있다.
도 147은 자율 차량을 인간 운전자에게 핸드오프하기 위한 예시적인 시스템(14700)을 나타낸다. 이 시스템은 자율 차량을 인간 운전자에게 안전하고, 시기 적절하며, 적응적으로 핸드오프하는 시스템으로 간주될 수도 있다. 일부 실시예에서, 다양한 모듈은 차량 내 처리 시스템(예를 들어, 210)에 의해 구현될 수 있다. 다른 실시예에서, 하나 이상의 모듈은 클라우드 기반 컴퓨팅 시스템(예를 들어, 140 또는 150)에 의해 구현될 수 있다. 시스템(14700)은 탑승자 활동 모니터링 모듈(14710), 개인 맞춤된 탑승자 능력(personalized occupant capability) 데이터베이스(14715), 일반 탑승자 능력(generic occupant capability) 데이터베이스(14720), 핸드오프 예측(handoff forecast)(HOF) 모듈(14725)), 핸드오프 핸들링 모듈(14730), 실행 평가 및 최적화 모듈(14735)을 포함한다. 시스템(14700)은 단지 예시 일뿐, 본 명세서에서 구체적으로 제시된 실시예로 한정되는 것은 아니다.
탑승자 활동 모니터링("OAM") 모듈(14710)은 자율 차량의 운전자와 관련된 정보를 추출한다. 특정 실시예에서, OAM 모듈(14710)은 규칙 기반, 머신 학습 및 딥 러닝 방법의 조합을 구현한다. OAM은, 예를 들어 운전자가 향하는 방향(예를 들어, 사람이 도로를 향해 앉아 있는지 또는 차량의 후방을 향해 앉아 있는지 여부), 운전석의 위치(예를 들어, 운전석에서 운전대까지의 거리, 좌석 등받이의 경사각 또는 운전대에 대한 운전석의 기타 특성), 운전자가 깨어 있는지 혹은 잠들어 있는지 여부, 운전자가 다른 활동에 계약되어 있는지 여부(예를 들어, 독서, 비디오 시청, 게임 플레이 등) 또는 기타 상태 특성과 같은 인간 운전자와 관련된 상태 특성을 결정할 수 있다. 본 명세서에서 나열된 OAM 모듈(14710)에 의한 결정은 단지 예시일 뿐, OAM은 운전자가 차량을 완전히 또는 부분적으로 제어할 수 있는 능력과 관련이 있다고 간주되는 운전자의 모든 특성을 결정하는 데 사용될 수 있다.
OAM 모듈(14710)은 여러 다른 센서로부터의 데이터를 입력으로서 사용할 수 있다. 예를 들어, OAM 모듈(14710)에 정보를 제공할 수 있는 차량 내 센서는 예를 들어 카메라, 관성 측정 유닛, 좌석 및 등받이 센서, 초음파 센서 또는 생체 인식 센서(예를 들어, 심박수 모니터, 체온 모니터 등)를 포함한다. 센서로부터의 데이터는 원시 포맷일 수도 있고 사전 처리될 수도 있다. 본 명세서에 나열된 센서는 단지 예시 일뿐, 본 명세서에 나열되어 있는지 여부에 관계없이 모든 타입의 센서가 OAM 모듈(14710)에 대한 데이터 입력으로 사용될 수 있다.
GOC(generic occupant capability) 데이터베이스(14720)는 자율 차량의 실제 운전자와 유사한 일반 운전자의 특성의 통계 정보와 관련된 데이터를 포함할 수 있다. 예를 들어, GOC 데이터베이스(14720)는 실제 운전자와 유사한 특성(예를 들어, 성별, 연령, 체력 레벨)을 가진 운전자에 대한 특징적인 반응에 대한 정보를 포함할 수 있다. 또한, 데이터베이스(14720)에 저장된 정보는 글로벌한 것일 수도 있고 혹은 하나 이상의 특정 지리적 영역에 특정될 수도 있다. 일부 실시예에서, GOC 데이터베이스(14720)는 차량 외부에 있으면서 클라우드를 통해 자율 차량이 이용 가능하게 될 수 있다. GOC 데이터베이스(14720)는 자율 차량의 핸드오프 동작이 시간이 지남에 따라 개선될 수 있도록 임의의 적절한 시간 또는 간격으로 업데이트될 수 있다. DOC 데이터베이스(14720)는 하나 이상의 데이터베이스를 포함할 수 있다는 점에 주의해야 한다.
GOC 데이터베이스의 데이터의 타입의 예는, 특징적인 운전자(운전자와 유사한 특징 예를 들어, 연령, 성별 등을 가진 사람)가 프롬프트에 응답하거나, 좌석을 180도 회전하거나, 좌석을 일정 거리만큼 길이 방향으로 이동하거나, 손을 무릎에 두지 않고 핸들에 얹거나, 멀리서 도로에 진입(get engage)되거나(이는 진입에 대한 경고를 받기 이전에 운전자의 활동에 따라서 달라질 수 있음), 또는 핸드오프와 관련된 기타 적절한 활동을 하는 데 걸리는 시간이 포함될 수 있다. 나아가, 운전자의 특징(예를 들어, 운전자의 건강 상태)을 사용해서 운전자의 상황의 컨텍스트에 맞는 통계 데이터를 생성할 수 있다. 예를 들어, 데이터베이스는 자율 차량의 운전자와 동일한 허리 문제를 가진 평균 운전자가 좌석을 똑바로 세우거나 좌석을 운전대를 향해서 이동하는 데 평균적으로 일정 시간이 걸릴 수 있다는 것을 나타내는 정보를 캡처할 수 있다.
가용 통계 데이터를 활용하는 것 외에도, 예를 들어 차량 내 처리 시스템(210)에 의해 구현된 머신 학습 모델은 자율 차량에 탑재된 원시 데이터를 처리하는 데에도 사용될 수 있다. 다른 실시예에서, 이러한 머신 학습 모델은 (자율 차량에 국부적으로 탑재되는 것이 아니라) 클라우드에서 실행되어서, 추론 출력이 차량에 탑재되어 활용될 수도 있다.
POC(personalized occupant capability) 데이터베이스(14715)는 본질적으로 GOC 데이터베이스(14720)와 유사한 데이터를 포함할 수 있다. 그러나, POC 데이터베이스는 GOC 데이터베이스와 같이 다수의 운전자로부터 집계된 정보보다는 운전자-특정 정보 및 차량 특정 정보를 포함한다. POC 데이터베이스(14715)의 데이터는 각 사람이 GOC 데이터베이스(14720)에 의해 설정된 기준선과 다를 것이기 때문에, 시스템(14700)의 기능을 개선하는 데 도움이 될 수 있다. POC 데이터베이스(14715)의 데이터는 시간이 지남에 따라 관찰되고 측정될 수 있다. 시스템(14700)의 POC 모듈(14715)은 운전자와 가상의 운전자 간의 차이를 추적하는 중앙 위치로 간주될 수 있다.
운전자 특정 정보에 더해서, POC 데이터베이스(14715)는 또한 차량 특정 정보를 포함할 수 있다. 예를 들어, 운전자가 좌석을 180도 회전시키는 시간은, 차량의 기술적 능력에 따라 달라질 수 있으며, 운전자는 이 과정을 더 빠르게 하거나 더 느리게 할 수는 없다.
예를 들어, 다음 타입의 데이터가 POC 데이터베이스에 저장될 수 있다: 운전자는 평균 운전자보다 오디오 프롬프트에 응답하는 데 X1초 더 오래 걸린다; 운전자는 좌석을 회전하는 데 평균보다 X2초 덜 걸린다(이는 예를 들어, 차량이 빠른 회전 동작을 수행하고 및/또는 운전자가 상대적으로 빠르게 반응하기 때문일 수 있음); 운전자는 길이 방향으로 좌석을 이동하는 데 일반 운전자보다 X3 초 느리다; 운전자는 운전대에 손을 댈 때 평균보다 X4 초 더 빠르다; 운전자는 깨어있을 때 도로에 진입하는 데 평균 운전자보다 X5 초 더 빠르다. 이들 예는 평균 운전자에 관한 측정에 대해서 논의하지만, 일부 실시예에서 POC 데이터베이스에 의해 저장된 정보는 절대 측정을 포함할 수 있다(예를 들어, 운전자는 오디오 프롬프트에 응답하는 데 평균 Y1 초가 걸리거나, 운전자는 좌석을 회전하는 데 평균 Y2 초가 걸리는 것 등). 나아가, GOC 데이터베이스와 유사하게 POC 데이터베이스는 운전자의 상황에 대한 더 많은 컨텍스트를 제공할 수 있는 통계 데이터를 생성하는 데 사용할 수 있는 운전자의 다른 특성을 포함할 수 있다. 예를 들어, POC 데이터베이스는 운전자가 좌석을 똑바로 세우거나 등의 부상으로 인해서 좌석을 앞으로 이동하기 위해 얼마나 빨리 이동할 것인지를 나타내는 정보를 포함할 수 있다.
HOF(handoff forecast) 모듈(14725)은 핸드오프가 언제 필요할 수 있는지를 결정한다. HOF 모듈은 예를 들어 사고, 도로 혼잡, 공공 행사, 보행자, 건설 등과 같은 도로 상태를 고려해서, 자율 차량으로부터 인간 운전자에게 핸드오프될 필요가 있는 위치 및 시기를 결정할 수 있다. HOF 모듈은, 예를 들어 실시간 교통, 사고, 위험 및 도로 유지 관리 업데이트와 함께 로컬 맵 및 경로 정보를 수신할 수 있다. 이러한 정보의 일부 또는 전부는 자율 차량 또는 클라우드에 로컬로 저장될 수 있다(그리고 차량은 클라우드를 통해 이러한 정보에 대한 업데이트를 수신할 수 있다).
도 148은 차량(14805)이 지점 A에서 지점 B로 이동하기 위해 취하는 예시적인 경로(14800)를 나타낸다. 경로(14800)는 차량(14805)의 내비게이션 시스템(예를 들어, 경로 플래너 모듈(242))에 의해 선택되었다. HOF 모듈(14725)은 사고, 도로 혼잡 구간 및 도로 건설 현장과 같은 도로 상태를 고려해서, 인간 운전자로의 핸드오프가 필요한 위치를 결정할 수 있다. 도 148의 예에서, 이러한 핸드오프가 필요할 수 있는 3개의 영역(14810, 14820, 14830)이 결정되었다. 가능한 핸드오프 위치를 식별한 이후에, HOF 모듈(14725)은 상이한 기준에 기초해서 위치의 순위를 매길 수도 있다. 이러한 기준의 예는 다음과 같다.
1 - 식별된 위치에서 선호도가 낮지만 운전자에게 핸드오프를 요구하지 않는 대안의 루트가 있는가? 예를 들어, 위치(14820)는 대안의 루트(14815)와 연관될 수 있다.
2 - 자율 차량이, 속도를 줄이거나 필요한 경우 간헐적으로 정지함으로써 식별된 핸드오프 위치를 핸들링할 수 있는가? 예를 들어, 위치(14830)는 통제되는 안전한 방법으로 교통을 느리게 할 가능성이 있는 도로 공사가 진행 중이다.
3 - 자율 차량이 인간의 개입 없이는 핸들링할 수 없는 구간이 루트를 따라 있는가? 예를 들어, 위치(14810)는, 사고로 인해 교통에 심각한 장애를 일으킬 수 있으므로, 이러한 위치가 될 수 있다. 자율 차량은 이 특정 위치에 접근할 때 인간 운전자가 미리 준비되어 있는지 확인해야 한다.
다양한 실시예에서, HOF 모듈(14725)은 루트를 따라 핸드오프 위치를 결정할 수 있을 뿐만 아니라, 이들의 상대적인 중요도(예를 들어, 어느 핸드오프 위치가 핸드오프를 필요로 할 가능성이 더 높은지)를 평가할 수 있다.
도 147로 돌아가서, 핸드오프 핸들링("HOH") 모듈(14730)은 핸드오프 판정을 내리기 위해 핸드오프 관련 정보를 고려할 수 있다. HOH 모듈(14730)은 OAM 모듈(14710), POC 데이터베이스(14715), GOC 데이터베이스(14720) 및 HOF 모듈(14725)의 출력을 수용하고, 이들 중 하나 이상에 기초해서 핸드오프 판정을 내린다.
마지막으로, 실행 평가 및 최적화("EAO") 모듈(14735)은 핸드오프의 예상 결과를 운전자의 액션과 비교한다. 비교 결과는 향후 핸드오프를 개선하기 위해서 POC 데이터베이스(14715) 및 HOH 모듈(14730)로 피드백된다. 정보를 수집하기 위해 EAO 모듈(14735)는 루트를 따라 각 핸드오프 이벤트에서 다음과 같은 예시적인 기준을 사용할 수 있다: 운전자가 핸드오프 요청에 응답하는 데 걸리는 시간; 핸드오프 이후에 예상되는 조향 범위 내에 운전자가 있었는지 여부; 핸드오프 이후에 운전자의 가속/감속이 예상 가속/감속 범위 내에 있었는지 여부; 및 핸드오프 직후에 운전자가 도로에 진입하는 데 걸린 시간. 여기에 나열된 기준은 단지 예시일 뿐이며, 다양한 실시예에서 모든 기준이 사용되지 않을 수도 있고 나열되지 않은 기준이 사용될 수도 있다.
POC 데이터베이스(14715)를 업데이트함으로써, 핸드오프 프로세스는 자율 차량의 운전자 및 기술 능력에 따라서 더 개인 맞춤된 정보를 고려할 수 있게 된다. 이로써, 시간이 지남에 따라, 자율 차량의 탑승 횟수가 증가함에 따라서 POC 데이터베이스(14715)는 GOC 데이터베이스(14720)와는 더 차별되기 시작한다.
HOH 모듈(14730)은 EAO 모듈(14735)로부터 오는 피드백 정보를 사용해서 운전자가 전형적인 거동과는 상이한 이상(anomalies)을 언제 어디서 보였는지 계산한다. 이것은, POC 데이터베이스(14715)가, 그 운전자에 대해서, 운전자의 예상되는 거동으로부터의 편차와 관련되어 있고 향후의 핸드오프에서 고려될 수 있기 때문에 저장하는 것과는 차이가 있을 수 있다. HOH 모듈(14730)이 이러한 이상을 향후의 핸드오프에서 고려하는 경우, 자율 차량이 운전자 및 자율 차량을 더 잘 나타내는 데이터는 실제 관측에 기초하기 때문에, 이 데이터에 기초해서 핸드오프 판정 및 핸드오프 실행 평가를 내릴 것이므로, 도로 안전을 개선될 수 있다.
도 149는 HOH 모듈(14730)의 하이 레벨 동작 흐름(14900)의 예를 나타낸다.이 동작 흐름은 또한 자율 차량을 인간 운전자에게 핸드오프하는 방법으로 간주될 수 있다. 먼저 이 방법은 결정된 핸드오프 위치를 HOF 모듈(14725)로부터 획득하는 것으로 시작한다. 이들은 루트의 계산된 우선 순위로부터 결정될 수 있다.
다음으로, 방법(14900)은 GOC 데이터베이스(14720)로부터 일반 주행 데이터를 획득하는 것으로 이어진다. 모든 일반 주행 데이터를 획득할 필요가 없을 수도 있다는 점에 주의해야 한다. 예를 들어, POC 데이터베이스(14715)에 저장된 적절한 양의 데이터가 있을 때에는, GOC 데이터베이스(14720)로부터의 데이터는 특정한 결정에서 생략될 수 있다. 예를 들어, 운전자가 새로운 차량을 구매할 때 정보가 이전 차량 또는 클라우드로부터 새로운 차량으로 전송될 수 있는 것과 같이, 한 위치에서 다른 위치로 개인 맞춤된 데이터를 전송할 수 있다는 점에 주의한다.
일반 데이터(사용되는 경우)를 획득한 이후에, HOH 모듈은 POC 데이터베이스(14715)로부터 개인 맞춤된 데이터를 계속 획득한다. 예를 들어 차량이 새로운 브랜드이고 아직 데이터가 획득되지 않을 때와 같은 경우에, 개인 맞춤된 데이터가 없는 상황이 있을 수 있다는 점에 주의한다.
다음으로, 방법(14900)은 OAM 모듈(14710)로부터 데이터를 획득하는 것으로 이어진다. 이 데이터는 운전자의 주의 레벨, 활동 등과 관련된 것과 같은, 운전자에 대한 정보를 포함할 수 있다.
이 후, HOH 모듈은 HOF 모듈(14725)에 의해 결정된, 가능한 핸드오프 위치 각각에 대한 예상되는 운전자 핸들링 거동을 결정할 수 있다. HOH 모듈(14730)이 핸드오프를 위한 시간이라고 결정하면, 운전자는 프롬프트된다. 그렇지 않다면, HOH 모듈(14730)은 임의의 다른 모듈로부터의 실시간 업데이트가 있는지 여부를 결정할 수 있다. 실시간 업데이트가 있는 경우, 이 업데이트를 사용해서, 예상되는 운전자 핸들링 거동을 다시 결정할 수 있다.
도 149의 예를 계속하면, 운전자가 프롬프트된 이후에, HOH 모듈(14730)은 운전자가 인수할 수 있는지 여부를 결정할 것이다. 인수할 수 있다면, HOH 모듈은 예상되는 운전자 거동을 EAO 모듈(14735)에 제공할 수 있고, 이후 차량의 제어를 운전자에게 전달할 수 있다. 또한, 핸드오프 동안 운전자가 얼마나 잘 수행했는지에 대한 데이터가 EAO 모듈(14735)로부터 획득될 수 있고, 이에 응답하여 예상되는 운전자 거동이 업데이트될 수 있다. 운전자는 예를 들어 운전자가 제어를 포기할 준비가 되거나 AV가 안전하게 제어를 재개할 수 있다고 결정될 때까지 계속 운전할 수 있다.
운전자가 프롬프르될 때 인수할 준비가 되어 있지 않은 경우에, HOH 모듈(14730)은 핸드오프에 대한 대안이 있는지 여부를 평가할 수 있다. 여기에는 예를 들어 대안 루트 이용, 감속 등이 포함될 수 있다. 대안이 있는 경우 대안이 선택될 수 있다. 차량이 계속 이동할 수 있는 대안이 없는 경우, HOH 모듈은 차량을 정지시킬 수 있다. 이것은 차량이 안전한 위치에 안전한 방식으로 정지할 수 있도록 원하는 루트를 변경하는 것을 포함할 수 있다는 점에 주의해야 한다. 차량이 정지하게 되면, 운전자는 인수할 준비가 될 때까지 차량을 정지 상태로 유지할 수 있다. 이후, 운전자는 자율 차량이 다시 인수받을 준비가 되어 안전할 때까지 주행할 수 있다. 다른 실시예에서, 차량이 다시 움직이게 하는 대안이 있을 때까지 차량을 정지 상태로 유지하는 것도 가능할 수 있다. 여기에는, 예를 들어 차량을 정지하게 만든 도로 상황의 변화나, 또는 개통된 새로운 루트가 포함될 수 있다.
이하의 예는, 도 148의 루트의 예와 조합된, 도 149의 예시적인 동작 흐름을 이용하는 HOH 모듈(14730)의 동작을 나타낸다.
여행 이전 :
1. A와 B 사이의 최적 루트(14800)가 계산되어 HOF 모듈에 제공되었다.
2. HOF 모듈(14725)은 실시간 업데이트를 사용해서 3개의 핸드오프 영역(14810, 14820 및 14830)을 식별한다.
3. HOF 모듈은 위치(14810)가 운전자 지원이 가장 필요한 곳이라고 결정한다(그 지점에서의 사고에 대한 정보가 거의 없기 때문에).
4. 위치(14830)는 도로 공사가 진행중이여서 다른 핸드오프가 필요할 수 있는 다음으로 가장 가능성 있는 위치로서 선택된다.
5. 위치(14820)는 도로에서 증가된 보행자 교통이 관찰되는 또 다른 잠재적인 핸드오프 영역으로서 식별된다. 자율 차량은 운전자로부터의 도움없이 대안의 루트(14815)를 이용해서 이 구간에서의 탑승을 쉽게 핸들링할 수 있다.
6. GOC 데이터베이스(14720)는 운전자에 대한 일반 정보를 HOH 모듈(14730)에 제공한다.
7. POC 데이터베이스가 비어 있다(자신에 기초한 제한된 개인 맞춤된 정보를 가진 운전자가 차를 막 구입했기 때문에).
8. OAM 모듈(14710)은 운전자가 운전석에 앉아 있고 아들이 뒷좌석에 앉아 있는지 확인한다.
9. 운전자가 운전하고 있는 차량의 모델은 운전 중에 뒷좌석 승객과 자유롭게 상호 작용할 수 있도록 완전히 회전 가능한 운전석을 갖고 있다. 따라서 운전자는 도로에 등돌리고 아들과 이야기하기 시작한다.
10. 캐빈 내 카메라는 차량에서 일어나는 일을 전체적으로 파악할 수 있으므로, OAM 모듈(14710)은 이 대화 활동은 물론 운전자의 좌석 위치를 실시간으로 알려준다. OAM 모듈(14710)은 또한 운전자가 말하는 동안 그의 좌석을 아들에게 더 가깝게 이동하고 앞으로 기울고 있음을 알 수 있다.
여행 중 :
11. 자율 차량이 제 1 핸드오프 위치(14810)를 향해 전진하기 시작한다. 이 제 1 핸드오프 위치는 가장 중요한 위치이고, 차량이 운전자의 개입을 필요로 하는 위치이므로 HOH 모듈(14730)은 곧 있을 핸드오프를 일찍 운전자에게 알리기 시작한다.
12. HOH 모듈(14730)은 운전자가 돌아서 운전대에 손을 얹는 데까지 걸리는 시간을 알고 있다.
13. HOH 모듈(14730)은 또한 GOC 데이터베이스(14720)로부터 일반적으로 완전히 인식하는 데 노인 운전자가 젊은 운전자보다 더 오래 걸린다는 것을 알고 있다. 따라서 예를 들어 운전자가 50세 남성인 경우 운전대에 손을 대자마자 운전자가 운전 상황을 완전히 인식하는 데 15~20초가 걸릴 수 있다. 따라서, 이 추가 시간은 또한 위치(14810)에서의 핸드오프가 가까워질 때 HOH 모듈(14730)에 의해 고려된다.
14. HOH 모듈(14730)은 또한 핸드오프가 어떻게 실행될 것인지를 평가하기 위해 운전자에 의해 예상되는 응답 시간을 EAO 모듈(14735)에 제공한다. 운전자는 차량의 핸드오프 요청에 응답해서, 도로에서 발생한 사고를 통해 차량을 성공적으로 안내한다.
15. 운전자는, 자신의 스마트 폰으로 전화를 받으면 사고 장소를 떠난 후 자율 차량으로 핸드오프한다.
16. EAO 모듈(14735)은 위치(14810)에서 핸드오프 평가를 시작한다. 운전자가 HOH 모듈(14730)에 의해 예상된 것보다 10초 늦게 응답한 것으로 보인다. OAM 모듈(14710))의 타임스탬프는, 운전자가 차의 제어를 받아야 했을 때 아들에게 장난감을 건네주느라 바빴고, 이로 인해 예상치 못한 지연이 발생했다는 것을 나타낸다.
17. 이러한 이상(anomaly)은, 계획된 핸드오프를 위한 추가 시간을 남겨두기 위해서, 향후 참조를 위해 HOH 모듈(14730)에 다시 보고된다.
18. 핸드오프 동안 운전자의 행위는 내부 업데이트를 위해 POC 모듈(14715)로 다시 보고되었다.
19. 차량이 핸드오프(14820)에 접근함에 따라, OAM 모듈(14710)은 운전자가 여전히 통화 중이고 어려움이 증가되었다는 신호(signals of elevated distress)를 제공하는 것으로 보이는지 확인한다.
20. HOH 모듈(14730)은 대안의 루트(14815)를 따라 이동함으로써 핸드오프 위치(14820)를 피할 수 있다는 것을 알고 있다. 이 루트는 여행에 추가의 2분을 추가하지만 운전자가 중단없이 전화 통화를 계속할 수 있게 한다.
21. HOH 모듈(14730)은 위치(14820)에서 핸드오프를 요청하지 않기로 결정하고 차량은 자율적으로 계속한다.
22. HOH 모듈(14730)은 핸드오프 위치(14830)에서의 도로 공사를 인식하고 있으며, 사람의 개입으로 이 위치에서의 핸드오프는 위치(14810)만큼 중요하지는 않지만, 여행 시간은 약간 더 짧을 수는 있다.
23. OAM 모듈(14710)은 운전자가 더 이상 전화로 통화하지 않고 차 앞의 교통 상황을 우연히 지켜보고 있다는 것을 나타낸다.
24. HOH 모듈(14730)은 운전자가 매우 쉽게 인수할 수 있다고 결정하고, 여행 시간을 절약하기 위한 선택적인 핸드오버를 통지한다.
25. 인수에 의해 수 분을 더 절감하는 것이 좋은 생각이라고 결정되면, 운전자는 인수에 동의하고 위치(14830)에서의 핸드오프가 성공적으로 실행된다.
26. POC 모듈(14715)이 핸드오프 이후에 EAO 모듈(14735)에 의해 업데이트되며, 이상이 검출되지 않았기 때문에 HOH 모듈(14730)은 이번에는 통지를 수신하지 않는다.
27. 나머지 여행 동안, 운전자는 핸드오프하지 않기로 결정하고, 수동 모드로 목적지로 주행한다.
위의 예는 단지 예시일 뿐이며, 다소 상이한, 심지어 다른 액션이 취해질 수 있다. 유사하게, 도 149의 예시적인 방법은 또한 예시적인 것으로 이 방법에서 더 많거나 적은 단계가 취해질 수도 있다.
또한, 인간 운전자는 인수할 위치에 있지 않은데 자율 차량이 인간 운전자에게 핸드오프(루트, ETA 등의 관점에서 여행의 원래 목표를 달성하기 위해)하는 것 이외에 옵션이 없는 상황이 있을 수 있다는 점에 주의한다. 이러한 시나리오에서, 자율 차량은 다음과 같은 더 안전한 옵션을 선택할 수 있다: 차를 주차시키고 인간 운전자가 인수할 수 있을 때까지 안전하게 정지한다; 저속 차선으로 이동해서, 여행 시간은 증가시키지만 교통량 및 도로 상황에 따라서 주행 속도를 감소시킨다; 차량이 핸드오버되지 않고 진행할 수 있는 대안 루트를 계산한다(이러한 루트는 더 길수도 있고 느릴 수도 있음); 또는 차량이 최종 목적지까지 핸드오프하지 않고 진행하는 것을 허용하지 않지만 인간 운전자가 인수할 준비가 될 때까지 차량이 안전하게 정지할 수 있게 하는 대안의 루트를 계산한다. 이러한 솔루션은 단지 예시일 뿐이며, 차량의 필수 핸드오프에 대한 다른 솔루션이 있을 수 있다.
자율 차량의 자율성 레벨은 자율 차량에 장착된 센서의 수 및 타입에 크게 좌우된다. 나아가, 자율 고속도로 주행과 같은 자율 차량의 다양한 기능 중 상당수는 차량의 제어 시스템의 알고리즘에 의해 처리되는 적절한 정보를 자율 차량에 제공하는, 양호하게 기능하는 특정 센서 세트를 통해 달성된다.
센서는 자율 차량의 동작에서 중요한 역할을 하기 때문에, 다양한 센서의 상태를 아는 것이 중요하다. 센서의 상태에 대한 안전 문제(센서 고장이 발생하면, 차량이 자율 주행을 계속할 수 없을 가능성이 있음)에 더해서, 차량 센서의 상태를 안다면 다른 이점이 있다. 여기에는 예를 들어 운전자/승객의 신뢰도를 높이고 자율 차량의 효율성을 개선하는 것이 포함될 수 있다.
자율 차량 기술이 향상됨에 따라서 자율 차량의 센서 수는 증가된다. 예를 들어, 자동화 레벨 3에 도달하기 위해서, 일부 자동차 제조업체는 자동차에 14개 이상의 센서를 장착했다. 도 150은 자율 차량에서 흔히 볼 수 있는 센서 어레이의 예를 보여준다. 센서는 예를 들어 레이더, LIDAR, 카메라 및 초음파 센서를 포함할 수 있다. 더 많은 센서를 사용함으로써 중복성 및 기능 향상을 처리할 수 있지만, 센서 오류가 발생하는 경우, 자율 차량이 자가 인식하도록 구성되어 고장 후 차량의 성능을 판단할 수 있다.
도 151은 차량이 이용 가능한 검지 및 처리 능력에 기초해서 자율 차량 기능을 구성하는, 동적 자율성 레벨 검출(Dynamic Autonomy Level Detection; DALD) 시스템(15100)의 예를 나타낸다. 일부 실시예에서, 시스템(15100)은 운전자가 원하는 경험(예를 들어, 운전자가 원하는 자율성 레벨) 및 차량의 현재 액션 과정을 고려할 수 있다. 이 DALD 시스템은 기상 조건, 센서 성능, 차량 커스토마이제이션 및 운전자의 계획 중 하나 이상과 같은 다양한 입력을 활용해서, 차량이 정의된 루트에 대해 기능해야 하는 최대 레벨의 자율성을 동적으로 결정한다. 따라서 차량은 기존 센서의 상태, 차량 커스토마이제이션(예를 들어, 후방 센서를 차단하는 트레일러가 있는 차량), 기상 조건 등에 기초해서 자신의 기능을 구성할 수 있다.
도 151을 계속 참조하면, 시스템(15100)은 스코어 모듈(15105) 및 안전 모듈(15110)을 포함한다. 스코어 모듈(15105)은 또한 "L" 스코어 계산 모듈로 간주될 수 있다. 스코어 모듈은 시스템(15100)에 의해 수신된 다른 입력에 기초해서 차량이 구현할 수 있는 자율성의 레벨("L")을 추정한다. DALD 시스템(15100)에 의해 수신되는 입력의 예는 센서 상태(state)(또는 상태(health)) 정보(15130), 원하는 사용자 경험(15140), 기상 상태(15150), 계산 리소스(15120) 및 차량 커스토마이제이션(15160) 상태를 포함할 수 있다. 본 명세서의 입력의 리스트는 단지 예시일 뿐이며, 시스템(15100)에 대한 입력으로서 나열된 것보다 더 많은 혹은 더 적은 입력이 간주될 수도 있다는 점에 주의해야 한다.
예를 들어 'L' 스코어는 다음과 같이 정의될 수 있다:
Figure pct00010
inputi는 도 151에 도시된 DALD 시스템(15100)에 대한 N개의 서로 다른 입력 중 하나이고, 여기서 wi는 각 inputi과 연관된 서로 다른 가중치이다. 가중치는 자율 차량 기능이 시간에 따라 변화함에 따라 동적으로 변경될 수 있으며, 예를 들어 차량의 센서 및 알고리즘과 같은 자율 차량의 아키텍처에 따라 달라진다. wi가 0이면 inputi는 비활성화되었다는 것을 의미한다. 이후, 자율 차량은 해당 Lscore를 자동차에서 사용할 수 있는 다양한 자동화 레벨에 대응하는 숫자로 조정해야 하며, 이는 자동차에서 사용할 수 있는 최대 자동화 레벨이 레벨 5인 경우 0에서 5까지의 정수일 수 있다.
적어도 일부 실시예에서, 가중치는 기여하는 입력의 수가 변경될 때 일관되게 Lscore를 생성하기 위해서 다음 조건을 만족해야 한다:
Figure pct00011
따라서, 일 실시예에서, 하나 이상의 입력이 0개의 가중치를 가질 때, 나머지 0이 아닌 가중치는 항상 1(unity)까지 합산하도록 조정된다.
위의 Lscore의 예는 선형 관계를 보여 주지만, Lscore는 더 복잡한 계산 및 보정을 활용하는, 고차 다항식으로 정의될 수 있다. 따라서 위의 선형 관계는 상대적으로 간단한 Lscore 계산 방법을 나타내는 예로서 제공되었다.
도 151을 계속 참조하면, 'L' 스코어 계산 모듈(15105)은 차량에 따라 다르며, 현재 상태에 기초해서 차량의 기능을 나타내기 위한 것이다. "L" 스코어에 영향을 줄 수 있는 입력의 예는: 차량의 계산 능력(15120), 차량의 센서(15130), 사용자 경험(15140), 날씨(15150) 및 차량 커스토마이제이션(15160)을 포함할 수 있다. 이 리스트는 "L" 스코어를 계산하는 데 사용될 수 있는 모든 요소를 포함하고 있는 것은 아니며, 나열된 모든 요소를 "L" 스코어 계산에 사용해야 하는 것도 아니다.
전술한 바와 같이, 센서(15130)는 자율 차량의 자율 레벨에서 중요하다. 이와 같이, 센서(15120)는 "L" 스코어에 크게 영향을 미칠 수 있다. 단일 센서 또는 다수 센서가 손상되면, DALD 시스템(15100)은 센서를 비활성화하거나 영향을 주는(impacted)/영향을 미치는(affected) 센서에 대해 더 작은 입력 가중치를 설정할 수 있다. 따라서 낮은 신뢰 레벨을 나타내고, "L" 스코어를 낮출 가능성이 높다. 손상된 센서 외에도, "L" 스코어 계산에서 센서 입력의 가중 스코어가 낮아질 수 있는 이유의 예는 다음과 같다: 성능이 저하된 센서, 비정상적으로 기능하는 센서(예를 들어, 점진적으로 성능이 저하되기 때문에 비정상적으로 기능하기 시작하는 센서), 센서 드리프트, 및 현재 주행 성능에 필요하지 않은 경우 센서를 의도적으로 비활성화하여 계산 및 배터리 전력을 절약하는 것.
다른 환경 조건을 포함할 수 있는 날씨(15150)도 차량의 자율성 레벨에 영향을 미칠 수 있다. 예를 들어 자율 차량은 적절하게 관리할 준비가 되어 있지 않은 루트의 눈과 같은 위험한 기상 조건을 검출하면, 자신의 자율 레벨을 낮출 수 있다. 이러한 환경 조건은 자율 차량의 검지 능력에 악영향을 미치거나 타이어 견인력을 크게 감소시켜서, 자율 레벨 회귀를 프롬프트할 수 있다.
차량 커스토마이제이션(15160)은 또한 차량의 자율성 레벨에 영향을 미칠 수 있다. 센서가 교정된 이후에 사람이 차량에 구성 요소를 추가하면, 일부 센서가 가려질 수도 있다. 일부 예에서, 센서는 차량 개조시 비활성화되어야 할 수 있다. 이러한 상황에서는, 일시적 또는 영구적인 수정으로 인해서 센서의 가중치가 크게 감소되어야 할 수 있다. 차량 개조의 예는, 예를 들어 차량 뒤쪽에 부착된 트레일러 등, 부착된 루프 랙 또는 추가 적재물(예를 들어, 여행 가방, 가구 등)을 포함할 수 있다. 차량의 센서 또는 핸들링에 영향을 미칠 수 있는 차량의 임의의 변경이 차량 커스토마이제이션(15160)에 포함될 수 있다는 점에 주의한다.
차량의 운전자/승객은 주행/루트의 특정한 측면의 우선 순위를 결정하기를 원할 수 있다. 이 사용자 경험(15140)은 또한 차량의 자율성 레벨에 영향을 미칠 수 있다. 예를 들어, 운전자는 자율 차량이 인수를 요청할 수 있는(도시 지역을 주행) 횟수에 관계없이 이동 시간의 우선 순위를 지정하거나, 더 많은 시간이 소요되는 좋은 경치의 뷰의 우선 순위를 지정하고자 할 수 있다. 운전자는 심지어 고속도로 주행(최소한의 센서 세트로 달성될 수 있음)과 같이 더 하이 레벨 자율성이 필요하지 않은 루트의 우선 순위를 지정할 수도 있다. 어떤 상황에서는, 예를 들어, 운전자가 단순히 자동차 운전을 즐기거나 풍경을 즐길 때, 자율성 레벨이 예를 들어 완전히 관련이 없을 수도 있다.
"L" 스코어의 또 다른 인자(factor)는 이용 가능한 계산 능력(15120)이다. 예를 들어, 자동차 배터리가 완전히 충전되지 않았거나 또는 결함이 있는 경우에, 자율 차량에서 더 하이 레벨 자동화에 도달하는 데 필요한 추가 계산에 필요한 계산 능력이 충분하지 않을 수도 있다. 또 다른 예로, 하드 드라이브와 같이 자율 차량의 자율 주행 기능과 관련된 구성 요소가 오작동하거나 데이터를 보관할 공간이 제한된 경우에, 자율 차량은 자신이 가진 계산 기능에 기초해서 자율 레벨을 조정해야 한다.
위에서 언급한 입력을 수신한 이후에, DALD 시스템(15100)은 루트를 따라 어떤 기능을 활성화할지 결정할 수 있다. 이와 같이, 시스템(15100)은 여행 이전에 자율 차량에 향상된 컨텍스트 인식을 제공한다. 예를 들어, 비정상적인 작동 센서가 있는 경우, 차량은 해당 센서를 비활성화할 수 있고, 해당 센서가 현재의 자율성 레벨에 어떻게 기여했는지, 및 어떤 알고리즘이 해당 센서 정보에 의존했는지 확인할 수 있다. 센서 중복으로 인해서 해당 센서를 비활성화하여 자동차가 기능할 수 있다면, 'L' 스코어는 동일하게 유지될 수 있다. 그러나, 해당 센서가 예를 들어 레벨 4에서 위치 파악에 사용되는 360도 LIDAR 센서와 같이 자율 차량의 성능에 중요하다면, 자율 차량은 해당 센서 없이 자동화 기능을 최대화할 수 있는 레벨로 자율 레벨을 감소시켜야 한다. 이는 차량의 설계에 따라 L3 또는 L2와 같이, 자율성 레벨을 낮추는 것을 의미할 수 있다. 다른 예에서, 트레일러가 차량에 부착되어 후방 센서를 차단하는 경우, 자율 레벨을 낮춰야 할 수도 있다. 또 다른 예로서, 스노우 보드가 있는 루프 랙이 차량의 GPS 신호를 방해하면, 자율성 레벨이 감소될 수도 있다.
도 151을 계속 참조하면, 자동화 레벨 표시기(15170)는 더 양호한 시각화를 위해 현재 "L" 스코어를 표시할 수 있으며, 이는 자율 차량에 대한 사용자의 의식 및 트러스트를 증가시킬 수 있다. 표시기(15170)는 사용자가 차량의 능력에 영향을 미칠 수 있는 이벤트 이후에 자율 레벨이 어떻게 변경되는지를 볼 수 있게 한다. 그 결과, 사용자는 차량의 변화(예를 들어, 센서 손상, 커스토마이제이션 등)가 차량의 자율성 레벨에 어떻게 영향을 미치는지 인식할 수 있으며, 사용자가 경로에 따른 안전 및 자동화 기능에 더 관심이 있는 경우에 예를 들어 트레일러를 부착하지 않는 것과 같은 다른 대안을 고려할 수 있다. 또 다른 예로, 루트를 따라 상황을 핸들링하는 사용자의 능력에 대한 자체 신뢰도의 레벨에 영향을 미치거나 차량이 지속적으로 또는 때때로 능력/기대보다 낮은 성능을 발휘하는 경우 운전자/소유자가 서비스를 받도록 유도할 수 있다.
DALD 시스템(15100)은 또한 자율 차량의 파라미터 중 어느 것이 경로 계획 알고리즘에 중요한지 결정하는 안전 점검 모듈(15180)을 포함한다. 이러한 파라미터의 예는 경로의 특정 영역에서의 마찰 계수를 포함할 수 있으며, 이는 다른 기상 상태, 차량 커스토마이제이션으로 인해 변경될 수 있으며 자율 차량의 최대 가속과 최대 및 최소 브레이크에 영향을 미치는 자율 차량의 무게로 인해서 변경될 수 있다. 각 루트 및 경로 계획 알고리즘의 고유한 파라미터를 수정할 수 있다는 것은, 자율 차량의 안전에 중요한 역할을 할 것이다. 안전 모듈은 사용자에게 가장 적합한 제어 파라미터를 추정하기 위해 이들 파라미터의 정확도에 의존한다.
명백한 안전 이점 이외에도, 시스템(15100)의 추가적인 이점은, 자율 차량이 자기 인식을 행하고, 자신의 기능을 동적으로 조정함으로써, 자동차의 전력 소비 및 자율 차량의 유지 보수 비용이 장기적으로 감소될 수 있다는 것이다. 따라서, 사용자의 입력은 시스템(15100)에 중요할 수 있다. 예를 들어, 가장 빠른 루트 또는 경치 좋은 경로로 가고자 하는 사용자의 소망에 따라, L5 자율 차량은 센서 상태 및 예측 기상 상태를 체크한 이후에 루트(또는 그 루트의 일부)를 따라 L3 모드를 유지하도록 선택할 수 있으며, 이는 고가의 센서 및 계산 리소스의 마모를 방지할 수 있다.
자율 차량이 유비쿼터스화됨에 따라서, 일반 가족 차량을 대체하여 가족 가정의 공통 부분이 될 것이다. 이들이 더욱 보편화됨에 따라서, 일상적인 출퇴근이나 통학뿐만 아니라 기존의 인간 주행 차량의 기능을 수행할 것으로 예상될 것이다. 즉, 사람들은 캠핑 여행, 해변이나 호수로의 주말 휴가, 스포츠 행사 이후의 파티 등과 같은 더 많은 기능을 제공하는 자율 차량을 예상할 것이다. 따라서, 자율 차량은 장비를 일시적으로 운반할 수 있을 것으로 예상된다. 예를 들어, 이러한 장비는 캠핑 장비, 자전거, 보트, 제트 스키, 냉각기, 그릴 등을 포함할 수 있다. 따라서, 자율 차량은 트레일러, 후크, 플랫폼, 확장 장치 등을 부착하는 기능을 포함할 수 있다.
그러나, 자율 차량에 대한 이러한 부착은 센서를 가릴 수 있으며, 차량의 치수에 대한 차량 거동 모델의 변경을 초래할 수 있다. 이는 도로를 따라 기동할 때, 차량이 이제 보상해야 하는 안전 거리를 유지하기 위한 일체화된 부분인 기존 파라미터의 경우 특히 그렇다. 예를 들어, 도 152를 참조하면, 자율 차량은 다른 차량 앞으로 갈 수 있는 충분한 공간이 있다고 생각하지만, 제어 시스템이 인식하는 것보다 훨씬 더 길다면, 후행 차량이 정지할 수 있는 공간을 갖지 못하게 할 수 있으며, 또는 더 나쁜 것은 자율 차량이 지나가는 차량에 충돌한다.
다른 예로서, 차량 소유자가 차량을 낮추거나(휠 웰(wheel well) 외부로 돌출될 수 있는) 대형 타이어, 스포일러 또는 기타 추가물을 통합하는 것과 같은 차량 커스토마이제이션을 시작하는 경우, 유사한 고려가 행해져야 한다. 이러한 커스토마이제이션은 차량 파라미터의 모델링 및 교정을 변경할 수 있다.
이와 같이, 차량의 치수가 변형에 의해 확장된 범위까지 새로운 차량 치수를 획득하는 것이 중요할 수 있다. 이로써, 자율 차량은 확장을 보상하도록 안전 거리 여유 모델을 변경하는 데 필요한 가드 대역(guard-band)의 양을 결정할 수 있다. 이 거리는 자율 차량이 사고를 피할 수 있게 하는 내비게이션에서 중요하며, 주차 지점에서 후진해서 유사한 자율 액션을 수행할 때, 맞춤형 크루즈 제어와 같은 시스템에 적용할 수 있다.
예를 들어, 안전 주행 거리와 같은 주행 안전을 위한 모델이 존재하지만, 자율 차량이 차량의 치수가 변경되었다는 것을 알게 된다면, 자율 차량의 안전성은 높아질 수 있다. 또한, 자율 차량의 로봇 운전자는 적절한 실행을 위해 센서 및 엄격한 교정에 의존한다. 차량 센서 교정의 일환으로, 고도를 제외하고 차량 기준점이 이동/변경될 가능성이 거의 없는 좌표계가 채택된다. 일례로, 도 153에 도시된 애커먼(Ackerman) 모델은, 두 바퀴 사이의 차량 후방 축 중심점을 포함한다. 이 모델에 대한 모든 변경 사항은 이러한 좌표와 관련하여 고려 및 참조될 수 있다. 예를 들어, 차량 치수의 확장이 차량에 부착된 히치로 인한 것인 경우, 히치 포인트를 설명하기 위해 좌표가 오프셋된다.
차량 모델링 시스템의 중단에 더하여, 트레일러 히치의 추가와 같은 커스토마이제이션은 차량의 센서 및 차량의 기동성을 방해할 수 있다. 이러한 중단은 차량의 자율성 레벨에 영향을 미칠 수 있다. 도 154는 부착물(15410)(예를 들어, 이 예에서는 차량에 의해 견인되는 보트)이 있는 차량(15400)의 예를 나타낸다. 이 예에 도시된 바와 같이, 커스토마이제이션으로 인해서 가림 영역(15420)이 생긴다.
차량의 새로운 치수를 처리하는 한 가지 가능한 해결책은 트레일러 또는 히치에 대응 센서를 제공하는 것이다. 그러나, 이것은 시스템의 복잡성을 증가시키고 시간과 비용이 많이 들 수 있다. 예를 들어, 사용자는 새로운 센서 시스템과 기존 차량 시스템의 호환성에 대해 걱정해야 한다; 엄격한 교정 단계를 완료하려면 비용과 시간이 많이 든다; 요소들에 노출될 수 있다(예를 들어, 확장 장치가 보트, 제트 스키, 카누 등인 경우에 센서가 물에 잠길 수 있음); 트레일러 너머로 확장되는 기둥 또는 기타 하드웨어가 있을 수 있다(예를 들어, 보트는 트레일러보다 훨씬 클 수 있다). 나아가, 이러한 트레일러(예를 들어, 보트)를 사용하는 것은 일시적인 것이므로(주말 외출), 이 솔루션은 비실용적이며 시행/관찰 가능성이 낮다.
또 다른 가능한 대안은 3D 모델링이 가능한, 차량 모델과 동일한 좌표계를 따라 초음파 센서의 어레이를 구현하는 것인데, 이는 센서를 가릴 수 있는 커스토마이제이션의 폭 및 깊이를 일부 근사치로 캡쳐할 수 있다.
또 다른 예로서, 간단하고 저렴한 솔루션은 커스토마이제이션(예를 들어, 부착된 트레일러/히치)의 결과로서 새로운 외부 차량 치수를 캡쳐하고 추적하는 방법을 포함한다. 이후, 자율 차량은 필요에 따라 (트레일러/히치가 부착되어 있는 동안) 임시로 보상할 수 있다.
도 155는 차량에 연결된 확장부에 의해 추가된 치수를 포함하는 차량의 새로운 치수를 추적하는 간단한 방법의 사용 예를 나타낸다. 비교를 위해, 15510은 초음파 센서에 의해 검지될 수 있는 차량 및 확장부의 3D 초음파 맵을 보여주며, 초음파 센서는 차량에 부착될 수도 있고 부착되지 않을 수도 있다. 일부 예에서, 15510의 예는 자동화될 수 있다. 이러한 예에서, 차량이 가려짐 또는 트레일러가 부착된 것을 검출하는 경우, 자동 초음파 스캔을 시작하여 3D 모델의 렌더링을 생성할 수 있다. 다른 예가 15530에 예시되어 있다. 15530의 예에서, 예를 들어 LIDAR 기반 스테이션을 사용하는 것과 같은, LIDAR을 사용해서 차량의 새로운 치수가 캡처된다. 15520은 차량의 새로운 치수의 추적을 용이하게 하기 위해 수동 보행을 수행하는 사용자의 예를 나타낸다. 보행 후에 차량 치수에 대한 새로운 모델 15540이 생성된다. 보행을 수행하기 위해서, 차량 소유자는 센서를 들고 차량 및 확장부의 경로를 따라서 일정 길이(예를 들어, 팔 길이)를 두고 걸을 수 있다. 일부 예에서, 이 센서는 스마트 폰과 페어링(예를 들어, 통신 가능하게 연결)될 수 있다. 다른 예에서 센서는 차량과 페어링될 수 있다. 다양한 실시예에서, 15520에 의해 도시된 바와 같이, 차량의 치수는 물리적으로 차량 주위를 걷는 것과는 달리 드론 및 카메라를 사용해서 추적될 수 있다. 추적 결과는 자율 차량에 전달될 수 있고 다각형 모델 표현(15540)은 근사화될 수 있다. 이 모델은 자율 차량의 운전 알고리즘에 통합될 수도 있다.
상기 옵션을 통합하는 시스템은 다음 요소 중 하나 이상을 포함할 수 있다: 히치가 확장부에 부착되거나 확장부로부터 분리될 때 등록하는 센서를 가진 차량에 일체형 히치가 있는 차량; 히치 부착의 검지에 응답해서 '안전 보행(safety-walkthrough)'이 필요하다는 것을 운전자에게 경고하는 알람; 추적을 생성하는 검지 요소/장치; 추적이 진행되는 동안 유효성을 검사/상호 참조로서 기능하는 가려지지 않은 센서; 및 추적 및 나머지 기능 센서의 결과로서 운전자에게 자율성 레벨의 변화를 경고하는 차량 경고 시스템. 일 실시예에서, 검지 요소/추적 장치는 스마트 폰 카메라에 의해 캡처된 하나 이상의 이미지에 기초해서 새로운 자율 차량 치수를 계산하는 스마트 폰 앱을 포함할 수 있다. 사용자는 단순히 자동차 주변을 걷거나, 드론을 사용해서 새로운 치수를 스캔할 수 있다. 다른 예에서, 스캐닝 장치는 위에서 설명된 것과 유사한 기능을 수행하는 일체형의 착탈 가능 차량 카메라를 포함할 수 있다. 스캔 이후, 추적에 간격이 있거나 혹은 결과가 정확히 직선 추적이 아닌 경우(또는 원점에서 정확히 멈추지 않는 경우), 캡처된 추적의 지점들에 기초해서 추적은 여전히 차량 주변의 폐 다각형/루프로 변환될 수 있다. 차량은 곡률에 대한 '피봇(pivot)' 포인트의 영향을 보상하기 위해 원래의 치수를 고려할 수 있으며, 치수의 새로운 모델은 모델이 차량 한계를 벗어나는 것을 보장하는 오프셋이 포함될 수 있으며, 이는 추가된 안전 버퍼가 될 수 있다. 다른 실시예에서, 예를 들어 차량에 부착될 수도 있고 부착되지 않을 수도 있는 초음파 및 LIDAR 센서와 같은 새로운 치수를 결정하는 다른 방법이 사용될 수도 있다.
도 156은 적어도 하나의 실시예에 따른 차량 모델 가림 보상 흐름의 예를 나타낸다. 도 156의 예는 또한 자율 차량의 차량 치수를 업데이트하는 방법으로 간주될 수 있다.
도 156의 예는 히치 스위치(hitch switch)가 체결되었는지 여부를 결정하는 것을 포함하는 액션을 포함한다. 일부 실시예에서 히치는 히치가 체결되었는지 여부를 나타내는 자동 센서(예를 들어, 스위치)를 포함할 수 있다. 다양한 실시예에서는, 이에 더해서 혹은 이와 달리, 자율 차량은 히치가 체결되어 있다는 것을 표시하기 위해 수동 스위치를 포함할 수도 있다.
히치 스위치가 체결된 경우, 차량은 치수가 추가된 차량이 이동하기 전에 필요한 모든 안전 조치가 수행되었는지 여부를 확인하기 위해 체크를 수행할 수 있다. 수행되었다면 이 흐름은 종료된다. 수행되지 않았다면 차량은 새로운 차량 치수를 캡처하는 안전 보행이 완료되었는지 여부를 확인할 수 있다. 완료되지 않은 경우, 운전자는 보행이 필요하다는 경고를 받아서 보행을 시작할 수 있다.
보행을 수행하기 위해서 차량은 먼저 활성화 및/또는 검지 장치와 페어링된다. 이는 스마트 폰 또는 유사한 장치에 일체화되거나 페어링된 검지 장치일 수도 있고, 차량에 직접 접속되는 별도의 장치일 수도 있다. 장치가 페어링/활성화된 이후 소유자는 차량 둘레를 보행한다.
다음으로, 검지 장치는 보행 동안 획득한 데이터를 자율 차량으로 전송할 것이다. 이후 자율 차량은 검지 장치에 의해 획득된 데이터를 다각형 모델로 변환할 수 있다. 이후, 자율 차량은 예를 들어 안전 거리 알고리즘을 포함한, 자율 차량 알고리즘에서 새로운 치수를 사용할 수 있다. 마지막으로 자율 차량은 자가 테스트를 수행해서 새로운 치수가 차량이 동작되는 자율성 레벨에 영향을 미치는지 여부를 확인할 수 있다. 레벨이 변경된 경우, 이 새로운 레벨은 운전자에게 디스플레이(또는 통신)될 수 있다(또는 레벨이 변경되지 않았다는 표시가 디스플레이되거나, 운전자에게 전달될 수 있다).
도 157 내지 도 158은 본 명세서에 개시된 실시예에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처의 블록도이다. 프로세서 및 컴퓨팅 시스템에 대해 당업계에 알려진 다른 컴퓨터 아키텍처 설계가 또한 사용될 수도 있다. 일반적으로, 본 명세서에 개시된 실시예에 적합한 컴퓨터 아키텍처는 도 157 내지 도 158에 도시된 구성을 포함할 수 있지만 이것으로 한정되는 것은 아니다.
도 157은 일 실시예에 따른 프로세서의 예시적인 도면이다. 프로세서(15700)는 상기 구현예와 관련하여 사용될 수 있는 한 타입의 하드웨어 장치의 일례이다. 프로세서(15700)는 마이크로프로세서, 임베디드 프로세서, 디지털 신호 프로세서(DSP), 네트워크 프로세서, 다중 코어 프로세서, 단일 코어 프로세서, 또는 코드를 실행하기 위한 다른 장치와 같은, 임의의 타입의 프로세서일 수 있다. 도 157에 비록 단 하나의 프로세서(15700)가 도시되어 있지만, 이와 달리 프로세싱 요소는 도 157에 도시된 프로세서(15700)를 하나 이상 포함할 수도 있다. 프로세서(15700)는 단일 스레드(single-threaded) 코어일 수도 있고, 적어도 하나의 실시예에서, 코어당 하나 이상의 하드웨어 스레드 컨텍스트(또는 "논리 프로세서")를 포함할 수도 있다는 점에서 다중 스레드(multithreaded)일 수 있다.
도 157은 또한 일 실시예에 따른 프로세서(15700)에 연결된 메모리(15702)를 나타내고 있다. 메모리(15702)는 본 기술분야의 통상의 기술자에게 공지되거나 다른 방식으로 이용가능한 바와 같은 매우 다양한 메모리들(메모리 계층구조의 다양한 계층들을 포함함) 중 임의의 것일 수 있다. 이러한 메모리 요소들은 RAM(random access memory), ROM(read only memory), FPGA(field programmable gate array)의 로직 블록들, EPROM(erasable programmable read only memory), 및 EEPROM(electrically erasable programmable ROM)을 포함할 수 있지만, 이것으로 한정되는 것은 아니다.
프로세서(15700)는 본 명세서에서 상세하게 설명된 알고리즘, 프로세스, 또는 동작과 연관된 임의의 타입의 명령어를 실행할 수 있다. 일반적으로, 프로세서(15700)는 요소 또는 물품(예컨대, 데이터)을 하나의 상태 또는 물건으로부터 다른 상태 또는 다른 물건으로 변환시킬 수 있다.
프로세서(15700)에 의해 실행될 하나 이상의 명령어일 수 있는 코드(15704)는 메모리(15702)에 저장될 수도 있고, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 적당한 조합으로, 또는 적절한 경우 그리고 특정의 요구에 기초해서 임의의 다른 내부 또는 외부 구성 요소, 장치, 요소, 또는 개체에 저장될 수 있다. 일례로, 프로세서(15700)는 코드(15704)에 의해 지시된 프로그램 명령어 시퀀스(program sequence of instructions)를 따를 수 있다. 각각의 명령어는 프론트-엔드 로직(15706)에 들어가고 하나 이상의 디코더(15708)에 의해 프로세싱된다. 디코더는 사전 정의된 포맷의 고정 폭 마이크로 연산과 같은 마이크로 연산을, 그의 출력으로서, 생성할 수 있거나, 원래의 코드 명령어를 반영하는 다른 명령어, 마이크로명령어, 또는 제어 신호을 생성할 수 있다. 프론트-엔드 로직(15706)은 레지스터 리네이밍 로직(register renaming logic)(15710) 및 스케줄링 로직 (15712)을 또한 포함하는데, 이는 일반적으로 리소스를 할당하고 실행을 위한 명령어에 대응하는 연산을 큐잉한다.
프로세서(15700)는 실행 유닛(15716a, 15716b, 15716n 등)의 세트를 갖는 실행 로직(15714)을 또한 포함할 수 있다. 일부 실시예는 특정 기능 또는 기능 세트에 전용인 다수의 실행 유닛을 포함할 수 있다. 다른 실시예는 특정의 기능을 수행할 수 있는 단지 하나의 실행 유닛 또는 하나의 실행 유닛을 포함할 수 있다. 실행 로직(15714)은 코드 명령어에 의해 명시된 연산을 수행한다.
코드 명령어에 의해 명시된 연산의 실행을 완료한 이후에, 백-엔드 로직(15718)은 코드(15704)의 명령어를 회수(retire)할 수 있다. 일 실시예에서, 프로세서(15700)는 비순차 실행(out of order execution)을 가능하게 하지만 명령어의 순차 회수(in order retirement)를 요구한다. 회수 로직(15720)은 다양한 공지된 형태(예컨대, 재정렬 버퍼(re-order buffers) 또는 이와 유사한 것)을 취할 수 있다. 이러한 방식으로, 적어도 디코더에 의해 생성되는 출력, 레지스터 리네이밍 로직(15710)에 의해 이용되는 하드웨어 레지스터 및 테이블, 그리고 실행 로직(15714)에 의해 수정되는 임의의 레지스터(도시되지 않음)의 관점에서, 코드(15704)의 실행 동안 프로세서(15700)가 변환된다.
비록 도 157에 도시되어 있지는 않지만, 프로세싱 요소는 프로세서(15700)를 가집 칩 상의 다른 요소를 포함할 수 있다. 예컨대, 프로세싱 요소는 프로세서(15700)와 함께 메모리 제어 로직을 포함할 수 있다. 프로세싱 요소는 I/O 제어 로직을 포함할 수 있고 및/또는 메모리 제어 로직과 통합된 I/O 제어 로직을 포함할 수 있다. 프로세싱 요소는 하나 이상의 캐시를 또한 포함할 수 있다. 일부 실시예에서, (플래시 메모리 또는 퓨즈와 같은) 비휘발성 메모리가 프로세서(15700)와 함께 칩 상에 또한 포함될 수 있다.
도 158은 일 실시예에 따른 점대점(PtP) 구성으로 배열된 컴퓨팅 시스템(15800)을 나타내고 있다. 특히, 도 158은 프로세서, 메모리, 및 입/출력 장치가 다수의 점대점 인터페이스에 의해 상호 접속되는 시스템을 도시하고 있다. 일반적으로, 본 명세서에 설명된 컴퓨팅 시스템 중 하나 이상은 컴퓨팅 시스템(15800)과 동일하거나 유사한 방식으로 구성될 수 있다.
프로세서(15870 및 15880)는, 각각이 메모리 요소(15832 및 15834)와 통신하기 위해 집적 메모리 제어기 로직 (MC)(15872 및 15882)을 또한 포함할 수 있다. 대안의 실시예에서, 메모리 제어기 로직(15872 및 15882)은 프로세서(15870 및 15880)로부터 분리된 이산 로직(discrete logic)일 수도 있다. 메모리 요소(15832 및/또는 15834)는 본 명세서에 개략적으로 기술된 동작 및 기능을 달성함에 있어서 프로세서(15870 및 15880)에 의해 사용될 다양한 데이터를 저장할 수 있다.
프로세서(15870 및 15880)는 다른 도면과 관련하여 논의된 것과 같은 임의의 타입의 프로세서일 수 있다. 프로세서(15870 및 15880)는 각각 점대점 인터페이스 회로(15878 및 15888)을 사용해서 점대점 (PtP) 인터페이스(15850)를 통해 데이터를 교환할 수 있다. 프로세서(15870 및 15880)은 각각 점대점 인터페이스 회로(15876, 158158, 15894, 및 15898)을 사용해서 개별 점대점 인터페이스(15852 및 15854)를 통해 I/O 서브시스템(15890)과 데이터를 교환할 수 있다. I/O 서브시스템(15890)은 또한 PtP 인터페이스 회로일 수 있는 인터페이스(15839)를 통해서 고성능 그래픽 회로, 머신 학습 가속기 또는 다른 코프로세서(15838)와 같은 코프로세서(15838)와 데이터를 교환할 수 있다. 대안의 실시예에서, 도 158에 도시된 PtP 링크 중 임의의 것 또는 전부는 PtP 링크가 아닌 멀티-드롭 버스(multi-drop bus)로서 구현될 수 있다.
I/O 서브시스템(15890)은 인터페이스 회로(15896)를 통해 버스(15820)와 통신할 수 있다. 버스(15820)는 이를 통해 통신하는, 버스 브리지(15818) 및 I/O 장치(15816)과 같은, 하나 이상의 장치를 가질 수 있다. 버스(15810)를 통해, 버스 브리지(15818)는 (키보드, 마우스, 터치스크린, 또는 다른 입력 장치와 같은) 사용자 인터페이스(15812), (모뎀, 네트워크 인터페이스 장치, 또는 컴퓨터 네트워크(15860)를 통해 통신할 수 있는 다른 타입의 통신 장치과 같은) 통신 장치(15826), 오디오 I/O 장치(15814), 및/또는 데이터 저장 장치(15828)와 같은 다른 장치와 통신할 수 있다. 데이터 저장 장치(15828)는 프로세서(15870 및/또는 15880)에 의해 실행될 수 있는 코드(15830)를 저장할 수 있다. 대안의 실시예에서, 버스 아키텍처의 임의의 부분은 하나 이상의 PtP 링크로 구현될 수 있다.
도 158에 도시된 컴퓨터 시스템은 본 명세서에서 설명된 다양한 실시예를 구현하는데 이용될 수 있는 컴퓨팅 시스템의 일 실시예의 개략도이다. 도 158에 도시된 시스템의 다양한 구성 요소가 시스템-온-칩(SoC) 아키텍처에 또는 본 명세서에서 제공된 예 및 구현예의 기능 및 특징을 달성할 수 있는 임의의 다른 적당한 구성으로 결합될 수 있다는 것을 이해할 것이다.
본 명세서에서 설명되고 예시된 시스템 및 솔루션의 일부가 복수의 요소를 포함하거나 이과 연관되어 있는 것으로 설명되었지만, 명시적으로 예시되거나 설명된 모든 요소가 본 개시의 각각의 대안적 구현에서 이용될 수 있는 것은 아니다. 나아가, 본 명세서에 설명된 요소 중 하나 이상은 시스템 밖에 위치될 수 있는 반면, 다른 경우에는, 특정 요소는 다른 설명된 요소는 물론, 예시된 구현에서 설명되지 않은 다른 요소 중 하나 이상에 또는 그의 일부분으로서 포함될 수 있다. 또한, 특정 요소가 다른 구성 요소와 결합될 수 있는 것은 물론, 본 명세서에 설명된 그 목적에 더해서 대안의 또는 부가의 목적을 위해 사용될 수도 있다.
나아가, 상기 제시된 예는 특정한 원리 및 특징을 예시하기 위한 목적으로만 제공되는 것으로, 본 명세서에서 설명되는 개념의 잠재적 실시예를 반드시 한정하는 것이 아닌 혹은 제약하는 것이 아닌 비한정의 예시라는 것을 이해해야 한다. 예컨대, 본 명세서에 설명된 구성 요소의 다양한 구현을 통해 실현되는 조합을 포함하여, 본 명세서에서 설명된 특성 및 구성 요소의 다양한 조합을 이용해서 각종의 상이한 실시예가 실현될 수 있다. 다른 구현, 특징, 및 상세가 본 명세서의 내용으로부터 인식될 것이다.
비록 본 개시가 특정한 구현예 및 일반적으로 연관된 방법의 측면에서 설명되었지만, 이러한 구현예 및 방법의 변경 및 치환은 본 기술분야의 통상의 기술자에게 자명할 것이다. 예컨대, 본 명세서에 설명된 액션은 설명된 것과 상이한 순서로 수행될 수 있고 여전히 바람직한 결과를 달성할 수 있다. 일례로, 첨부 도면에 도시된 프로세스는 원하는 결과를 달성하기 위해 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하는 것은 아니다. 특정 구현예에서, 멀티태스킹 및 병렬 프로세싱이 바람직할 수도 있다. 부가적으로, 다른 사용자 인터페이스 레이아웃 및 기능이 지원될 수 있다. 다른 변형도 이하의 청구항의 범위 내에 있다.
본 명세서가 많은 특정 구현 상세를 포함하고 있지만, 이것이 임의의 발명의 범주나 또는 청구될 수 있는 것의 범주를 한정하는 것으로 해석되어서는 안되고, 오히려 특정의 발명의 특정의 실시예에 특정적인 특징에 대한 설명으로서 해석되어야 한다. 개별적인 구현예와 관련하여 본 명세서에 설명되는 특정한 특징이 또한 단일 실시예에서 결합하여 구현될 수도 있다. 이와 달리, 단일 실시예와 관련하여 설명되는 다양한 특징은 또한 다수의 실시예에 개별적으로 또는 임의의 적당한 하위 조합으로 구현될 수도 있다. 더욱이, 특징이 특정한 조합으로 기능하는 것으로 앞서 설명되고 심지어 먼저 그 자체로서 청구될 수도 있겠지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에서 그 조합으로부터 제거될 수도 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형예에 관한 것일 수 있다.
유사하게, 도면에서 동작들이 특정한 순서로 도시되어 있다고 해도, 이 동작들이 도시된 특정의 순서로 또는 순차 순서로 수행되어야 한다거나, 혹은 바람직한 결과를 달성하기 위해서는 모든 도시된 동작들이 반드시 수행되어야 하는 것으로 이해되어서는 안된다. 특정 상황에, 멀티태스킹 및 병렬 프로세싱이 바람직할 수도 있다. 나아가, 위에 설명한 실시예의 다양한 시스템 구성 요소들이 분리되어 있다고 해서, 모든 실시예에서 이와 같이 분리되어 있어야 하는 것으로 이해되어서는 안되며, 설명된 프로그램 구성 요소 및 시스템이 일반적으로 단일 소프트웨어 제품에 함께 통합될 수도 있고, 다수의 소프트웨어 제품으로 패키징될 수도 있다는 것이 이해해야 한다.
다음 예들 중 하나 또는 조합을 수행하거나 구현하도록, 차량 내 컴퓨팅 시스템(예를 들어, 자동 운전 스택의 적어도 일부를 구현하고 차량의 자동 운전 기능을 가능하게 하는 데 사용되는), 도로변 컴퓨팅 시스템(예를 들어, 차량과 분리되거나, 전용 도로변 캐비닛, 교통 표지판, 교통 신호 또는 조명 기둥 등에 구현됨)을 포함하는 컴퓨팅 시스템이, 자율 주행 환경을 지원하는 클라우드 기반 또는 포그 기반 시스템을 구현하는 하나 이상의 컴퓨팅 시스템에 제공될 수도 있고, 혹은 또는 자율 주행 환경으로부터 이격된 컴퓨팅 시스템이 하나 이상의 데이터 처리 장치(예를 들어, 중앙 처리 장치, 그래픽 처리 장치, 텐서 처리 장치, ASIC, FPGA 등), 가속기 하드웨어, 기타 하드웨어 회로, 펌웨어 및/또는 소프트웨어 중 하나 또는 조합을 사용해서 구현된 로직을 포함할 수도 있다.
예 1은, 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 복수의 센서로부터 센서 데이터를 수신하고 - 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 복수의 센서 중 적어도 일부는 차량에 연결됨 - , 차량의 데이터 프로세서를 사용해서, 제 1 센서 세트에 의해 생성된 센서 데이터의 적어도 일부에 기초해서 차량의 제어를 자동화하고, 차량의 데이터 프로세서를 사용해서, 제 2 센서 세트에 의해 생성된 센서 데이터로부터 자율 차량 내의 한 명 이상의 승객의 승객 속성을 결정하며, 승객 속성 및 제 1 센서 세트에 의해 생성된 센서 데이터에 기초해서 차량의 차량 속성을 수정하도록 한다.
예 2는 예 1의 청구 대상을 포함하며, 차량의 제어를 자동화하는 것은, 차량의 제 1 경로를 결정하는 것과, 승객 속성에 기초해서 제 1 경로를 제 2 경로로 변경하고 차량의 후속하는 자동화된 제어가 제 2 경로에 기초하도록 차량 속성을 수정하는 것을 포함한다.
예 3은 예 1 또는 예 2의 청구 대상을 포함하며, 차량 속성은 차량의 캐빈(cabin)의 물리적 속성을 포함하고, 승객은 캐빈 내에 있다.
예 4는 예 3의 청구 대상을 포함하며, 캐빈은 승객의 편안함을 촉진하도록 구성된 하나 이상의 장치를 포함하고, 차량 속성을 수정하는 것은 하나 이상의 장치를 자율적으로 조정하는 것을 포함한다.
예 5는 예 1 내지 예 4 중 어느 하나의 청구 대상을 포함하며, 차량 속성을 수정하는 것은, 차량의 자동화된 제어와 관련해 설정된 경로 및 승객 속성에 기초해서 프레젠테이션 장치를 사용하여 승객에게 추천을 제시하는 것을 포함한다.
예 6은 예 5의 청구 대상을 포함하며, 추천은 승객 속성에 기초해서 차량의 목적지 또는 경로를 변경하기 위한 추천을 포함한다.
예 7은 예 1 내지 예 6 중 어느 하나의 청구 대상을 포함하며, 승객 속성은 차량 내의 한 명 이상의 승객의 편안함 또는 선호도에 영향을 미치는 속성을 포함한다.
예 8은 예 1 내지 예 7 중 어느 하나의 청구 대상을 포함하며, 차량의 자동화된 제어는 제 1 머신 학습 모델을 사용해서 결정되고, 승객 속성은 제 2 머신 학습 모델을 사용해서 결정된다.
예 9는 예 1 내지 예 8 중 어느 하나의 청구 대상을 포함하며, 차량 속성은 차량의 자동화된 제어를 통해 실현되는 주행 스타일을 포함하고, 차량 속성을 수정함으로써 승객 속성에 기초해서 주행 스타일이 변경되게 된다.
예 10은 예 1 내지 예 9 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트는 적어도 하나의 센서를 공통으로 포함한다.
예 11은 예 1 내지 예 10 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트의 적어도 하나의 센서는 차량의 외부(extraneous)에 있다.
예 12는 예 1 내지 예 11 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 제 2 센서 세트로부터의 센서 데이터에 기초해서 승객 각각의 신원을 결정하게 하고, 하나 이상의 승객의 신원에 대응하는 선호도 정보에 액세스하도록 하며, 승객 속성은 선호도 정보를 포함한다.
예 13은 예 1 내지 예 12 중 어느 하나의 청구 대상을 포함하며, 승객 속성은 승객의 인간 속성을 기술한다.
예 14는 예 13의 청구 대상을 포함하며, 승객은 복수의 승객을 포함하고, 인간 속성은 복수의 승객을 포함하는 승객 그룹의 결합된 속성을 포함하며, 차량 속성은 결합된 속성에 기초해서 수정된다.
예 15는 예 1 내지 예 14 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 제 1 센서 세트 또는 제 2 센서 세트로부터의 데이터를 포함하는 특정 센서 데이터를, 무선 통신 채널을 통해 원격 컴퓨팅 시스템으로 송신하고, 특정 센서 데이터에 기초해서 원격 컴퓨팅 시스템으로부터 추천 데이터를 수신하도록 하며, 차량 속성은 추천 데이터에 기초해서 수정된다.
예 16은 방법으로서, 복수의 센서로부터 센서 데이터를 수신하는 단계 - 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 복수의 센서 중 적어도 일부는 차량에 연결됨 - 와, 차량의 데이터 프로세서를 사용해서, 제 1 센서 세트에 의해 생성된 센서 데이터의 적어도 일부에 기초해서 차량의 제어를 자동화하는 단계와, 차량의 데이터 프로세서를 사용해서, 제 2 센서 세트에 의해 생성된 센서 데이터로부터 자율 차량 내의 한 명 이상의 승객의 승객 속성을 결정하는 단계와, 승객 속성 및 제 1 센서 세트에 의해 생성된 센서 데이터에 기초해서 차량의 차량 속성을 수정하는 단계를 포함한다.
예 17은 예 16의 청구 대상을 포함하며, 차량의 제어를 자동화하는 단계는, 차량의 제 1 경로를 결정하는 단계와, 승객 속성에 기초해서 제 1 경로가 제 2 경로로 변경되게 하고 차량의 후속하는 자동화된 제어가 제 2 경로에 기초하도록 차량 속성을 수정하는 단계를 포함한다.
예 18은 예 16 또는 예 17의 청구 대상을 포함하며, 차량 속성은 차량의 캐빈의 물리적 속성을 포함하고, 승객은 캐빈 내에 있다.
예 19는 예 18의 청구 대상을 포함하며, 캐빈은 승객의 편안함을 촉진하도록 구성된 하나 이상의 장치를 포함하고, 차량 속성을 수정하는 것은 하나 이상의 장치를 자율적으로 조정하는 것을 포함한다.
예 20은 예 16 내지 예 19 중 어느 하나의 청구 대상을 포함하며, 차량 속성을 수정하는 단계는, 차량의 자동화된 제어와 관련해서 결정된 경로 및 승객 속성에 기초해서 프레젠테이션 장치를 사용하여 승객에게 추천을 제시하는 단계를 포함한다.
예 21은 예 20의 청구 대상을 포함하며, 추천은 승객 속성에 기초해서 차량의 목적지 또는 경로를 변경하기 위한 추천을 포함한다.
예 22는 예 16 내지 예 21 중 어느 하나의 청구 대상을 포함하며, 승객 속성은 차량 내의 한 명 이상의 승객의 편안함 또는 선호도에 영향을 미치는 속성을 포함한다.
예 23은 예 16 내지 예 22 중 어느 하나의 청구 대상을 포함하며, 차량의 자동화된 제어는 제 1 머신 학습 모델을 사용해서 결정되고, 승객 속성은 제 2 머신 학습 모델을 사용해서 결정된다.
예 24는 예 16 내지 예 23 중 어느 하나의 청구 대상을 포함하며, 차량 속성은 차량의 자동화된 제어를 통해 실현되는 주행 스타일을 포함하고, 차량 속성을 수정함으로써 승객 속성에 기초해서 주행 스타일이 변경되게 된다.
예 25는 예 16 내지 예 24 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트는 적어도 하나의 센서를 공통으로 포함한다.
예 26은 예 16 내지 예 25 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트의 적어도 하나의 센서는 차량의 외부(extraneous)에 있다.
예 27는 예 16 내지 예 26 중 어느 하나의 청구 대상을 포함하며, 제 2 센서 세트로부터의 센서 데이터에 기초해서 승객 각각의 신원을 결정하는 것과, 하나 이상의 승객의 신원에 대응하는 선호도 정보에 액세스하는 것을 포함하며, 승객 속성은 선호도 정보를 포함한다.
예 28은 예 16 내지 예 27 중 어느 하나의 청구 대상을 포함하며, 승객 속성은 승객의 인간 속성을 기술한다.
예 29는 예 28의 청구 대상을 포함하며, 승객은 복수의 승객을 포함하고, 인간 속성은 복수의 승객을 포함하는 승객 그룹의 결합된 속성을 포함하며, 차량 속성은 결합된 속성에 기초해서 수정된다.
예 30은 예 16 내지 예 29 중 어느 하나의 청구 대상을 포함하며,
제 1 센서 세트 또는 제 2 센서 세트로부터의 데이터를 포함하는 특정 센서 데이터를, 무선 통신 채널을 통해 원격 컴퓨팅 시스템으로 송신하는 것과,
특정 센서 데이터에 기초해서 원격 컴퓨팅 시스템으로부터 추천 데이터를 수신하는 것
을 더 포함하고,
차량 속성은 추천 데이터에 기초해서 수정된다.
예 31은 예 16 내지 30 중 어느 하나의 방법을 수행하는 수단을 포함한다.
예 32는 명령어가 저장된 적어도 하나의 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 제 1 센서 세트에 의해 생성된 제 1 센서 데이터를 수신하고 - 제 1 센서 데이터는 주행 환경의 속성을 식별함 - , 제 2 센서 세트에 의해 생성된 제 2 센서 데이터를 수신하며 - 제 2 센서 데이터는 주행 환경의 특정 차량 내의 승객 세트의 속성을 식별함 - , 제 1 센서 데이터 및 제 2 센서 데이터에 기초해서 추천을 결정하고, 무선 통신 채널을 통해 추천 데이터를 특정 차량의 온보드 컴퓨팅 시스템으로 송신하도록 하며, 추천 데이터는 추천을 식별하고, 온보드 컴퓨팅 시스템에 의해 소비되어 특정 차량의 동작에 영향을 미친다.
예 33는 예 32의 청구 대상을 포함하며, 제 1 센서 세트는 특정 차량에 일체화된 하나 이상의 센서를 포함한다.
예 34는 예 32 또는 예 33의 청구 대상을 포함하며, 제 1 센서 세트는 특정 차량의 외부(extraneous)에 있는 하나 이상의 센서를 포함한다.
예 35는 예 34의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 특정 차량의 위치를 결정하고, 위치에서 하나 이상의 특정 센서를 식별하며, 특정 센서로부터 특정 센서 데이터에 액세스하도록 하고, 제 1 센서 데이터는 특정 센서 데이터를 포함한다.
예 36은 예 32의 청구 대상을 포함하며, 제 1 센서 세트는 위치의 다른 차량에 장착된 하나 이상의 센서를 포함한다.
예 37은 예 35 또는 예 36의 청구 대상을 포함하며, 제 1 센서 세트는 위치의 도로변 유닛을 포함한다.
예 38는 예 32 내지 예 37 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 제 2 센서 데이터로부터 승객 세트와 관련된 하나 이상의 프로파일을 결정하게 하고, 추천은 하나 이상의 프로파일에 기초한다.
예 39는 예 32 내지 예 38 중 어느 하나의 청구 대상을 포함하며, 추천은, 온보드 컴퓨팅 시스템이 추천에 기초해서 특정 차량의 자동화된 제어를 변경하게 하도록 온보드 컴퓨팅 시스템에 의해 소비될 수 있다.
예 40은 예 39의 청구 대상을 포함하며, 자동화된 제어의 변경은, 차량이 이전에 결정된 경로를 벗어나게 한다.
예 41은 예 39 또는 예 40의 청구 대상을 포함하며, 자동화된 제어의 변경은, 차량이 추천에 기초해서 제 1 주행 스타일로부터 제 2 주행 스타일로 변경하게 한다.
예 42는 방법으로서, 제 1 센서 세트에 의해 생성된 제 1 센서 데이터를 수신하는 단계 - 제 1 센서 데이터는 주행 환경의 속성을 식별함 - 와, 제 2 센서 세트에 의해 생성된 제 2 센서 데이터를 수신하는 단계 - 제 2 센서 데이터는 주행 환경의 특정 차량 내의 승객 세트의 속성을 식별함 - 와, 제 1 센서 데이터 및 제 2 센서 데이터에 기초해서 추천을 결정하는 단계와, 무선 통신 채널을 통해 추천 데이터를 특정 차량의 온보드 컴퓨팅 시스템으로 송신하는 단계를 포함하고, 추천 데이터는 추천을 식별하고, 특정 차량의 동작에 영향을 미치도록 온보드 컴퓨팅 시스템에 의해 소비될 수 있다.
예 43은 예 42의 청구 대상을 포함하며, 제 1 센서 세트는 특정 차량에 일체화된 하나 이상의 센서를 포함한다.
예 44는 예 42 또는 예 43의 청구 대상을 포함하며, 제 1 센서 세트는 특정 차량의 외부에 있는 하나 이상의 센서를 포함한다.
예 45는 예 44의 청구 대상을 포함하며, 명령어는 상기 머신으로 하여금, 또한 특정 차량의 위치를 결정하고, 위치에서 하나 이상의 특정 센서를 식별하며, 특정 센서로부터 특정 센서 데이터에 액세스하도록 하며, 제 1 센서 데이터는 특정 센서 데이터를 포함한다.
예 46은 예 45의 청구 대상을 포함하며, 제 1 센서 세트는 위치의 다른 차량에 장착된 하나 이상의 센서를 포함한다.
예 47은 예 45 또는 예 46의 청구 대상을 포함하며, 제 1 센서 세트는 위치의 도로변 유닛을 포함한다.
예 48은 예 42 내지 예 47 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 제 2 센서 데이터로부터 승객 세트와 관련된 하나 이상의 프로파일을 결정하게 하고, 추천은 하나 이상의 프로파일에 기초한다.
예 49는 예 42 내지 예 48 중 어느 하나의 청구 대상을 포함하며, 추천은, 온보드 컴퓨팅 시스템이 추천에 기초해서 특정 차량의 자동화된 제어를 변경하게 하도록 온보드 컴퓨팅 시스템에 의해 소비될 수 있다.
예 50은 예 49의 청구 대상을 포함하며, 자동화된 제어의 변경은, 차량이 이전에 결정된 경로를 벗어나게 한다.
예 51은 예 49 또는 예 50의 청구 대상을 포함하며, 자동화된 제어의 변경은, 차량이 추천에 기초해서 제 1 주행 스타일로부터 제 2 주행 스타일로 변경하게 한다.
예 52는 예 42 내지 51 중 어느 하나의 방법을 수행하는 수단을 포함한다.
예 53은 시스템으로서, 차량의 온보드 컴퓨팅 시스템 - 온보드 컴퓨팅 시스템은 프로세서 하드웨어를 포함하고, 프로세서 하드웨어는 머신-학습 하드웨어를 포함함 - 과, 로컬 센서의 세트와, 액추에이터의 세트와, 프로세서 하드웨어에 의해 실행 가능한 추천 시스템을 포함하고, 프로세서 하드웨어는, 환경 내의 주행 상태를 설명하는 제 1 센서 데이터를 식별하고 - 차량은 환경 내에 또는 환경 주변에 위치되고, 온보드 컴퓨팅 시스템은 제 1 센서 데이터를 사용해서 차량의 제어를 자동화함 - , 제 2 센서 데이터를 식별하며 - 제 2 센서 데이터의 적어도 일부는 로컬 센서 세트에 의해 생성됨 - , 제 2 센서 데이터로부터 차량 내의 승객 세트의 하나 이상의 승객 속성을 결정하고, 제 1 센서 데이터 및 제 2 센서 데이터에 기초해서 온보드 컴퓨팅 시스템에 대한 추천을 결정하며, 온보드 컴퓨팅 시스템은 차량의 상태를 변경하기 위해 액추에이터의 세트 중 하나 이상을 가동하는데 추천을 소비한다.
예 54는 예 53의 청구 대상을 포함하며, 하나 이상의 액추에이터는 차량의 조향, 가속 또는 제동 중 하나를 제어하는 액추에이터를 포함한다.
예 55는 예 54의 청구 대상을 포함하며, 온보드 컴퓨팅 시스템은 경로 계획 엔진을 포함하고, 경로 계획 엔진은, 차량에 대한 제 1 경로 계획을 결정하고, 추천에 기초해서, 제 1 경로 계획을 보강해서 차량에 대한 다른 제 2 경로 계획을 형성한다.
예 56은 예 53의 청구 대상을 포함하며, 하나 이상의 액추에이터는 차량의 캐빈 내의 물리적인 상태를 조정하기 위한 액추에이터를 포함하고, 승객은 차량의 캐빈 내에 승차한다.
예 57은 예 53의 청구 대상을 포함하며, 제 1 센서 데이터의 적어도 일부는 로컬 센서 세트에 의해 생성된다.
예 58은 예 53의 청구 대상을 포함하며, 추천 시스템은, 원격 컴퓨팅 시스템과 무선 통신 채널을 통해 통신하고, 원격 컴퓨팅 시스템으로부터 추천 데이터를 수신하며, 추천은 추천 데이터에 더 기초해서 결정된다.
예 59는 예 53의 청구 대상을 포함하며, 제 1 센서 데이터 또는 제 2 센서 데이터의 일부는 차량의 외부에 있는 센서로부터 수신된다.
예 60은 예 53 내지 예 59 중 어느 하나의 청구 대상을 포함하며, 추천 시스템은 추천을 설명하기 위해 추천 데이터를 더 생성하고, 추천 데이터가 환경과 관련된 다른 시스템으로 전송되게 한다.
예 61은 방법으로서, 복수의 센서로부터 센서 데이터를 수신하는 단계 - 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 복수의 센서 중 적어도 일부는 차량에 연결됨 - 와, 차량의 데이터 프로세서를 사용해서, 적어도 제 1 센서 세트에 의해 생성된 데이터로부터 차량에 대한 경로를 결정하는 단계와, 차량의 데이터 프로세서를 사용해서, 적어도 제 2 센서 세트에 의해 생성된 데이터로부터 자율 차량 내의 승객의 편안함 또는 선호도에 영향을 미치는 속성을 결정하는 단계를 포함한다.
예 62는 예 61의 청구 대상을 포함하며, 인간 속성에 기초해서 경로에 대한 변경을 결정하는 단계를 더 포함한다.
예 63은 예 61 또는 예 62의 청구 대상을 포함하며, 속성에 기초해서 차량의 캐빈 내에서 하나 이상의 장치를 자동으로 조정하는 단계를 더 포함한다.
예 64는 예 63의 청구 대상을 포함하며, 하나 이상의 장치는 캐빈과 일체화된 장치를 포함한다.
예 65는 예 63 또는 예 64의 청구 대상을 포함하며, 하나 이상의 장치는 차량의 외부에 있는 장치를 포함한다.
예 66은 예 61 내지 예 65 중 어느 하나의 청구 대상을 포함하며, 경로는 제 1 머신 학습 모델을 사용해서 결정되고, 속성은 제 2 머신 학습 모델을 사용해서 결정된다.
예 67은 예 61 내지 예 66 중 어느 하나의 청구 대상을 포함하며, 속성에 기초해서 차량의 자율 주행 제어에 의해 적용되는 주행 스타일을 조정하는 단계를 더 포함한다.
예 68은 예 61 내지 예 67 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트는 적어도 하나의 센서를 공통으로 포함한다.
예 69는 예 61 내지 예 68 중 어느 하나의 청구 대상을 포함하며, 제 2 센서 세트의 하나 이상의 센서는 차량을 둘러싼 환경과 관련된 환경 정보를 수집한다.
예 70은 예 61 내지 예 69 중 어느 하나의 청구 대상을 포함하며, 제 2 센서 세트의 하나 이상의 센서는 차량의 승객 특성에 관한 정보를 수집한다.
예 71은 예 61 내지 예 70 중 어느 하나의 청구 대상을 포함하며, 승객 각각의 신원을 결정하는 단계와, 하나 이상의 승객의 신원에 대응하는 선호도 정보에 액세스하는 단계를 더 포함한다.
예 72는 예 61 내지 예 71 중 어느 하나의 청구 대상을 포함하며, 속성은 승객의 인간 속성을 설명한다.
예 73은 예 72의 청구 대상을 포함하며, 승객은 복수의 승객을 포함하고, 인간 속성은 복수의 승객을 포함하는 승객 그룹의 결합된 속성을 포함한다.
예 74는 예 61 내지 예 73 중 어느 하나의 청구 대상을 포함하며, 속성은 자율 주행 경로 계획에 대응하는 도로의 속성을 설명한다.
예 75는 예 61 내지 예 74 중 어느 하나의 청구 대상을 포함하며, 속성은 자율 주행 경로 계획의 기상 상태를 설명한다.
예 76은 예 61 내지 예 75 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 77은 예 76의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 61 내지 예 75 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 78은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 머신에 의해 실행될 때 머신으로 하여금, 복수의 센서로부터 센서 데이터를 수신하게 하고 - 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 복수의 센서 중 적어도 일부는 차량에 연결됨 - , 차량의 데이터 프로세서를 사용해서, 적어도 제 1 센서 세트에 의해 생성된 데이터로부터 차량에 대한 경로를 결정하며, 차량의 데이터 프로세서를 사용해서, 적어도 제 2 센서 세트에 의해 생성된 데이터로부터 자율 차량 내의 승객의 편안함 또는 선호도에 영향을 미치는 속성을 결정하도록 한다.
예 79는 예 78의 청구 대상을 포함하며, 명령어는 또한 인간 속성에 기초해서 경로에 대한 변경을 결정하도록 한다.
예 80은 예 78 또는 예 79의 청구 대상을 포함하며, 명령어는 또한 속성에 기초해서 차량의 캐빈 내에서 하나 이상의 장치를 자동으로 조정하도록 한다.
예 81은 예 80의 청구 대상을 포함하며, 하나 이상의 장치는 캐빈과 일체화된 장치를 포함한다.
예 82는 예 80 또는 예 81의 청구 대상을 포함하며, 하나 이상의 장치는 차량의 외부에 있는 장치를 포함한다.
예 83은 예 78 내지 예 82 중 어느 하나의 청구 대상을 포함하며, 경로는 제 1 머신 학습 모델을 사용해서 결정되고, 속성은 제 2 머신 학습 모델을 사용해서 결정된다.
예 84은 예 78 내지 예 83 중 어느 하나의 청구 대상을 포함하며, 명령어는 또한 속성에 기초해서 차량의 자율 주행 제어에 의해 적용되는 주행 스타일을 조정하도록 한다.
예 85은 예 78 내지 예 84 중 어느 하나의 청구 대상을 포함하며, 제 1 센서 세트 및 제 2 센서 세트는 적어도 하나의 센서를 공통으로 포함한다.
예 86는 예 78 내지 예 85 중 어느 하나의 청구 대상을 포함하며, 제 2 센서 세트의 하나 이상의 센서는 차량을 둘러싼 환경과 관련된 환경 정보를 수집한다.
예 87은 예 78 내지 예 86 중 어느 하나의 청구 대상을 포함하며, 제 2 센서 세트의 하나 이상의 센서는 차량의 승객 특성에 관한 정보를 수집한다.
예 88은 예 78 내지 예 87 중 어느 하나의 청구 대상을 포함하며, 명령어는 또한 승객 각각의 신원을 결정하게 하고, 하나 이상의 승객의 신원에 대응하는 선호도 정보에 액세스하게 한다.
예 89는 예 78 내지 예 88 중 어느 하나의 청구 대상을 포함하며, 속성은 승객의 인간 속성을 설명한다.
예 90은 예 89의 청구 대상을 포함하며, 승객은 복수의 승객을 포함하고, 인간 속성은 복수의 승객을 포함하는 승객 그룹의 결합된 속성을 포함한다.
예 91는 예 78 내지 예 90 중 어느 하나의 청구 대상을 포함하며, 속성은 자율 주행 경로 계획에 대응하는 도로의 속성을 설명한다.
예 92는 예 78 내지 예 91 중 어느 하나의 청구 대상을 포함하며, 속성은 자율 주행 경로 계획의 기상 상태를 설명한다.
예 93은 방법으로서, 특정 현장 내에서 특정 차량을 식별하는 단계와, 특정 차량의 능력을 결정하는 단계 - 능력은 특정 차량의 센서 능력을 포함함 - 와, 추천 데이터를 특정 차량에 송신하는 단계를 포함하며, 추천 데이터는 특정 차량의 외부에 있는 하나 이상의 센서에 의해 생성된 센서 데이터에 기초하고, 추천 데이터는 추천이 특정 차량 내의 승객에게 제시되게 하는 것이다.
예 94는 예 93의 청구 대상을 포함하며, 하나 이상의 외부 센서는 공중 드론, 자율 차량 또는 도로변 유닛 중 하나에 있는 센서를 포함한다.
예 95는 예 93 또는 예 94의 청구 대상을 포함하며, 하나 이상의 외부 센서는 복수의 상이한 장치로부터의 복수의 센서를 포함한다.
예 96은 예 93 내지 예 95 중 어느 하나의 청구 대상을 포함하며, 특정 차량의 외부에 있는 컴퓨팅 시스템에서 하나 이상의 외부 센서로부터 센서 데이터를 수집하는 단계를 더 포함하며, 컴퓨팅 시스템은 추천 데이터를 특정 차량으로 송신한다.
예 97은 예 96의 청구 대상을 포함하며, 컴퓨팅 시스템은 센서 데이터의 분석으로부터 추천 데이터를 생성한다.
예 98은 예 97의 청구 대상을 포함하며, 분석은 머신 학습 모델의 적용을 포함한다.
예 99는 예 93 내지 예 98 중 어느 하나의 청구 대상을 포함하며, 특정 차량의 능력에 기초해서 특정 차량에 제공할 추천 데이터의 타입을 결정하는 단계를 더 포함한다.
예 100은 예 93 내지 예 99 중 어느 하나의 청구 대상을 포함하며, 특정 차량의 능력에 기초해서 특정 차량에 추천 데이터를 송신하기 위한 타이밍을 결정하는 단계를 더 포함한다.
예 101은 예 93 내지 예 100 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 102는 예 101의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 명령어는 머신에 의해 실행될 때 머신으로 하여금 실시예 93 내지 예 100 중 어느 하나 방법의 적어도 일부를 수행하게 한다.
예 103은 제 1 차량에 고정적으로 접속된 하나 이상의 연결된 센서에 의해 생성된 데이터를 수신하는 단계와, 제 1 차량 밖의(external) 소스로부터 추천 데이터를 수신하는 단계 - 추천 데이터는 제 1 차량의 외부에 있는(extraneous) 하나 이상의 센서에 의해 생성된 센서 데이터에 기초함 - 와, 제 1 차량의 객실 내에서 한 명 이상의 승객에 대한 추천을 결정하는 단계와, 제 1 차량 내에서 추천을 제시하는 단계를 포함한다.
예 104는 예 103의 청구 대상을 포함하며, 하나 이상의 외부 센서는 공중 드론, 다른 차량 또는 도로변 유닛 중 하나에 있는 센서를 포함한다.
예 105는 예 103 또는 예 104의 청구 대상을 포함하며, 외부에 있는 센서는 하나 이상의 접속된 센서에 존재하지 않는 센서를 포함한다.
예 106은 예 103 내지 예 105 중 어느 하나의 청구 대상을 포함하며, 접속된 센서에 의해 생성된 데이터를 사용해서 제 1 차량의 객실에 있는 한 명 이상의 승객의 신원을 결정하는 단계를 더 포함한다.
예 107은 예 106의 청구 대상을 포함하며, 신원에 기초해서 하나 이상의 승객의 선호도를 결정하는 단계를 더 포함하며, 추천은 선호도에 적어도 부분적으로 기초해서 결정된다.
예 108은 예 103 내지 예 107 중 어느 하나의 청구 대상을 포함하며, 추천은 소매점, 레스토랑 중 하나의 추천을 포함한다.
예 109는 예 103 내지 예 108 중 어느 하나의 청구 대상을 포함하며, 추천은 제 1 차량에 대해 결정된 경로를 변경하기 위한 추천을 포함한다.
예 110은 예 109의 청구 대상을 포함하며, 제 1 차량은 자율 주행 로직을 포함하고, 추천은 자율 주행 로직이 경로에 변경을 적용하게 한다.
예 111은 예 103 내지 예 110 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 112는 예 111의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 실시예 103 내지 예 110 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 113은 예 111의 청구 대상을 포함하며, 수단은 제 1 차량 내의 차량 내 컴퓨팅 시스템을 포함한다.
예 114는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 특정 현장 내에서 특정 차량을 식별하고, 특정 차량의 능력을 결정하며 - 능력은 특정 차량의 센서 능력을 포함함 - , 추천 데이터를 특정 차량에 송신하도록 하되, 추천 데이터는 특정 차량의 외부에 있는 하나 이상의 센서에 의해 생성된 센서 데이터에 기초하고, 추천 데이터는 추천이 특정 차량 내의 승객에게 제시되게 하는 것이다.
예 115는 예 114의 청구 대상을 포함하며, 하나 이상의 외부 센서는 공중 드론, 자율 차량 또는 도로변 유닛 중 하나에 있는 센서를 포함한다.
예 116은 예 114 또는 예 115의 청구 대상을 포함하며, 하나 이상의 외부 센서는 복수의 상이한 장치로부터의 복수의 센서를 포함한다.
예 117은 예 114 내지 예 116 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 특정 차량의 외부에 있는 컴퓨팅 시스템에서 하나 이상의 외부 센서로부터 센서 데이터를 수집하게 하며, 컴퓨팅 시스템은 추천 데이터를 특정 차량으로 송신한다.
예 118은 예 117의 청구 대상을 포함하며, 컴퓨팅 시스템은 센서 데이터의 분석으로부터 추천 데이터를 생성한다.
예 119는 예 118의 청구 대상을 포함하며, 분석은 머신 학습 모델의 적용을 포함한다.
예 120은 예 114 내지 예 119 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 특정 차량의 능력에 기초해서 특정 차량에 제공할 추천 데이터의 타입을 결정하는 단계를 더 포함한다.
예 121은 예 114 내지 예 120 중 어느 하나의 청구 대상을 포함하며, 특정 차량의 능력에 기초해서 특정 차량에 추천 데이터를 송신하기 위한 타이밍을 결정하는 단계를 더 포함한다.
예 122는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 제 1 차량에 고정적으로 접속된 하나 이상의 접속된 센서에 의해 생성된 데이터를 수신하고, 제 1 차량 외부의 소스로부터 추천 데이터를 수신하며 - 추천 데이터는 제 1 차량의 외부에 있는 하나 이상의 센서에 의해 생성된 센서 데이터에 기초함 - , 제 1 차량의 캐빈 내의 한 명 이상의 승객에 대한 추천을 결정하며, 제 1 차량 내에 추천을 제시하도록 한다.
예 123은 예 122의 청구 대상을 포함하며, 하나 이상의 외부 센서는 공중 드론, 다른 차량 또는 도로변 유닛 중 하나의 센서를 포함한다.
예 124는 예 122 또는 예 123의 청구 대상을 포함하며, 외부 센서는 하나 이상의 접속된 센서에 존재하지 않는 센서를 포함한다.
예 125는 예 122 내지 예 124 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 접속된 센서에 의해 생성된 데이터를 사용해서 제 1 차량의 캐빈에 있는 한 명 이상의 승객의 신원을 결정하도록 한다.
예 126은 예 125의 청구 대상을 포함하며, 명령어는 머신으로 하여금, 또한 신원에 기초해서 하나 이상의 승객의 선호도를 결정하게 하고, 추천은 선호도에 적어도 부분적으로 기초해서 결정된다.
예 127은 예 122 내지 예 126 중 어느 하나의 청구 대상을 포함하며, 추천은 소매점, 레스토랑 중 하나의 추천을 포함한다.
예 128는 예 122 내지 예 127 중 어느 하나의 청구 대상을 포함하며, 추천은 제 1 차량에 대해 결정된 경로를 변경하기 위한 추천을 포함한다.
예 129는 예 128의 청구 대상을 포함하며, 제 1 차량은 자율 주행 로직을 포함하고, 추천은 자율 주행 로직이 경로에 변경을 적용하게 한다.
예 130은 방법으로서, 자율 차량의 적어도 하나의 데이터 프로세서를 사용해서 자율 차량의 적어도 하나의 특정 센서의 동작이 손상되었다는 것을 결정하는 단계와, 무선 통신 채널을 통해 자율 차량에서, 추천 데이터를 수신하는 단계 - 추천 데이터는 자율 차량 외부에 있는 하나 이상의 센서에 의해 생성된 센서 데이터에 기초함 - 와, 적어도 하나의 센서의 동작이 손상되었다는 결정에 기초해서, 추천 데이터를 사용해서 자율 차량의 자율 주행을 지원하는 단계를 포함한다.
예 131은 예 130의 청구 대상을 포함하며, 추천 데이터는 센서 데이터를 포함한다.
예 132는 예 130 또는 예 131의 청구 대상을 포함하며, 자율 차량의 센서 세트를 사용해서 로컬 센서 데이터를 생성하는 단계를 더 포함하고, 특정 센서는 센서 세트의 외측에 있으며, 추천 데이터는 자율 차량의 자율 주행을 지원하기 위해 로컬 센서 데이터와 함께 사용된다.
예 133은 예 130 내지 예 132 중 어느 하나의 청구 대상을 포함하며, 자율 차량의 특정 센서의 위치를 결정하는 단계와, 추천 데이터가 자율 차량 밖의 위치에 대응하는지 식별하는 단계를 포함하고, 특정 센서는 특정 센서의 위치에 기초한 위치에 대응하는 정보를 검지하는 것이고, 추천 데이터는 특정 센서를 통해 획득될 정보를 적어도 부분적으로 대체하기 위한 정보를 제공하는 것이다.
예 134는 예 130 내지 예 133 중 어느 하나의 청구 대상을 포함하며, 특정 센서가 손실된다면 자율 차량에 의해 지원되는 최대 자율성 레벨은 특정 레벨로부터 다른 하위 레벨로 떨어지고, 추천 데이터를 사용해서 자율 차량이 특정 레벨에서 동작을 유지하게 한다.
예 135는 예 130 내지 예 134 중 어느 하나의 청구 대상을 포함하며, 자율 차량의 입력에 머신 학습 모델을 적용해서 여행 동안에 자율 차량의 센서 중 하나 이상이 손상될 가능성을 예측하는 단계와, 가능성에 기초해서 추천 시스템을 구성하는 단계를 더 포함한다.
예 136은 예 135의 청구 대상을 포함하며, 가능성에 기초해서 추천 시스템을 구성하는 단계는, 특정 센서가 손상되었다는 것을 검출하기 이전에 추천 데이터를 수신해서 처리하기 시작하도록 추천 시스템의 동작을 선제적 트리거하는 단계를 포함한다.
예 137은 예 130 내지 예 136 중 어느 하나의 청구 대상을 포함하며, 특정 센서는 자율 주행을 지원하기 위한 입력으로서 사용하기 위한 센서 데이터의 집합을 생성하기 위한 자율 차량의 센서군 중 하나이고, 이 방법은 추천 데이터를 필터링해서, 특정 센서가 손상됨에 따라 손실된 센서 데이터 집합의 일부에 대응하는 추천 데이터의 일부를 유지하는 단계를 더 포함한다.
예 138은 예 130 내지 예 137 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 외부 센서는 복수의 다른 장치의 센서를 포함한다.
예 139는 예 138의 청구 대상을 포함하며, 복수의 다른 장치는 하나 이상의 다른 자율 차량, 공중 드론 및 도로변 센서를 포함한다.
예 140은 예 130 내지 예 139 중 어느 하나의 청구 대상을 포함하며, 자율 차량에 대한 여행 계획을 생성하는 단계를 더 포함하며, 추천 데이터는 여행 계획에 기초해서 도로의 곧 있을 코스의 상태를 설명한다.
예 141은 예 130 내지 예 140 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 142는 예 141의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 실시예 130 내지 예 140 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 143은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량의 적어도 하나의 데이터 프로세서를 사용해서 자율 차량의 적어도 하나의 특정 센서의 동작이 손상되었다는 것을 결정하고, 무선 통신 채널을 통해 자율 차량에서, 추천 데이터를 수신하며 - 추천 데이터는 자율 차량 외부에 있는 하나 이상의 센서에 의해 생성된 센서 데이터에 기초함 - , 적어도 하나의 센서의 동작이 손상되었다는 결정에 기초해서, 추천 데이터를 사용해서 자율 차량의 자율 주행을 지원하도록 한다.
예 144는 예 143의 청구 대상을 포함하며, 추천 데이터는 센서 데이터를 포함한다.
예 145는 예 143 또는 예 144의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량의 센서 세트를 사용해서 로컬 센서 데이터를 생성하도록 추가로 하고, 특정 센서는 센서 세트 외측에 있으며, 추천 데이터는 자율 차량의 자율 주행을 지원하기 위해 로컬 센서 데이터와 함께 사용된다.
예 146은 예 143 내지 예 145 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량의 특정 센서의 위치를 결정하고, 추천 데이터가 자율 차량 외부의 위치에 대응하는지 식별하게 하며, 특정 센서는 특정 센서의 위치에 기초한 위치에 대응하는 정보를 검지하는 것이고, 추천 데이터는 특정 센서를 통해 획득될 정보를 적어도 부분적으로 대체하기 위한 정보를 제공하는 것이다.
예 147은 예 143 내지 예 146 중 어느 하나의 청구 대상을 포함하며, 특정 센서가 손실된다면 자율 차량에 의해 지원되는 최대 자율성 레벨은 특정 레벨로부터 다른 하위 레벨로 떨어지고, 추천 데이터를 사용해서 자율 차량이 특정 레벨에서 동작을 유지하게 한다.
예 148은 예 143 내지 예 147 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량의 입력에 머신 학습 모델을 적용해서 여행 동안에 자율 차량의 센서 중 하나 이상이 손상될 가능성을 예측하고, 가능성에 기초해서 추천 시스템을 구성하도록 한다.
예 149는 예 148의 청구 대상을 포함하며, 가능성에 기초해서 추천 시스템을 구성하는 것은, 특정 센서가 손상되었다는 것을 검출하기 이전에 추천 데이터를 수신해서 처리하기 시작하도록 추천 시스템의 동작을 선제적 트리거하는 것을 포함한다.
예 150은 예 143 내지 예 149 중 어느 하나의 청구 대상을 포함하며, 특정 센서는 자율 주행을 지원하기 위한 입력으로서 사용하기 위한 센서 데이터의 집합을 생성하기 위한 자율 차량의 센서군 중 하나이고, 명령어는 머신으로 하여금 또한, 추천 데이터를 필터링해서, 특정 센서가 손상됨에 따라 손실된 센서 데이터 집합의 일부에 대응하는 추천 데이터의 일부를 유지하도록 한다.
예 151은 예 143 내지 예 150 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 외부 센서는 복수의 다른 장치의 센서를 포함한다.
예 152는 예 151의 청구 대상을 포함하며, 복수의 다른 장치는 하나 이상의 다른 자율 차량, 공중 드론 및 도로변 센서를 포함한다.
예 153은 예 143 내지 예 152 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량에 대한 여행 계획을 생성하도록 하고, 추천 데이터는 여행 계획에 기초해서 도로의 곧 있을 코스의 상태를 설명한다.
예 154는 방법으로서, 자율 차량에서, 차량의 하나 이상의 센서 세트로부터 센서 데이터를 생성하는 단계와, 센서 데이터로부터, 자율 차량이 운행될 환경의 상태를 결정하는 단계와, 이 상태를 적어도 하나의 머신 학습 모델에 대한 입력으로서 제공함으로써, 자율 차량에서 생성된 센서 데이터를 관리하기 위한 하나 이상의 절차를 자율적으로 결정하는 단계와, 하나 이상의 절차를 차량에서 센서 데이터의 집합 중 적어도 하나에 적용하고, 센서 데이터를 차량 외부의 하나 이상의 컴퓨팅 시스템으로 오프로드하는 단계를 포함한다.
예 155는 예 154의 청구 대상을 포함하며, 하나 이상의 절차는 센서 데이터의 적어도 일부를 차량 외부의 하나 이상의 컴퓨팅 시스템으로 오프로드하는 절차를 포함한다.
예 156은 예 155의 청구 대상을 포함하며, 상태는 차량이 이용 가능한 무선 통신 채널의 상태를 포함한다.
예 157은 예 155 또는 예 156의 청구 대상을 포함하며, 상태는 데이터의 일부의 양 및 데이터의 일부의 긴급성(urgency)을 포함한다.
예 158은 예 155 내지 예 157 중 어느 하나의 청구 대상을 포함하며, 데이터의 일부를 오프로드하는 절차는, 특정 해상도로 데이터의 일부를 송신하는 것을 포함한다.
예 159는 예 155 내지 예 158 중 어느 하나의 청구 대상을 포함하며, 데이터의 일부를 오프로드하는 절차는, 데이터를 특정 타깃 외부 컴퓨팅 시스템으로 송신하는 것을 포함한다.
예 160은 예 155 내지 예 159 중 어느 하나의 청구 대상을 포함하며, 차량 외부의 하나 이상의 컴퓨팅 시스템은, 다른 차량, 도로변 유닛, 포그 기반 컴퓨팅 시스템 및 클라우드 기반 컴퓨팅 시스템 중 하나 이상을 포함한다.
예 161은 예 154 내지 예 160 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량 내 데이터 저장소에 수집될 차량에서 생성된 센서 데이터를 필터링하는 절차를 포함한다.
예 162는 예 161의 청구 대상을 포함하며, 센서 데이터를 필터링하는 절차는, 센서 데이터의 필터링된 부분을 드롭시킨다.
예 163은 예 154 내지 예 162 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 자율 주행 머신 학습 모델을 사용해서 차량에 대한 경로 계획을 결정하는 단계를 더 포함하며, 센서 데이터의 적어도 일부는 자율 주행 머신 학습 모델로의 입력으로서 제공된다.
예 164는 예 163의 청구 대상을 포함하며, 상태는 결정된 경로 계획에서 루트 섹션에 영향을 미치는 것으로 검출된 이벤트를 포함한다.
예 165는 예 163 또는 예 164의 청구 대상을 포함하며, 상태는 결정된 경로 계획에서 주행 환경의 식별을 포함하고, 주행 환경은 경로 계획에 영향을 미치는 날씨, 경로 계획에 영향을 미치는 교통 상황 및 경로 계획에 영향을 미치는 도로 상태 중 하나 이상을 포함한다.
예 166은 예 154 내지 예 165 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량에 구현되는 머신 학습 기반 추천 시스템의 추천으로서 제공된다.
예 167은 예 154 내지 예 166 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량의 내부 계산 리소스, 차량의 내부 메모리 리소스, 네트워크 대역폭 및 외부 컴퓨팅 시스템의 리소스 중 하나 이상의 차량 사용의 효율성을 향상시키는 것이다.
예 168은 예 154 내지 예 167 중 어느 하나의 청구 대상을 포함하며, 상태에 기초해서 센서 세트 중 하나 이상의 품질 레벨을 조정하는 것을 더 포함한다.
예 169는 예 154 내지 예 168 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 170은 예 169의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 154 내지 예 168 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 171은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금 자율 차량에서 자율 차량의 하나 이상의 센서 세트로부터 센서 데이터를 생성하고, 센서 데이터로부터, 자율 차량이 운행될 환경의 상태를 결정하며, 이 상태를 적어도 하나의 머신 학습 모델로의 입력으로서 제공함으로써 자율 차량에서 생성된 센서 데이터를 관리하기 위한 하나 이상의 절차를 자율적으로 결정하고, 하나 이상의 절차를 차량에서 센서 데이터의 집합 중 적어도 하나에 적용하며, 차량 외부의 하나 이상의 컴퓨팅 시스템으로 센서 데이터를 오프로드하는 것을 포함한다.
예 172는 예 171의 청구 대상을 포함하며, 하나 이상의 절차는 센서 데이터의 적어도 일부를 차량 외부의 하나 이상의 컴퓨팅 시스템으로 오프로드하는 절차를 포함한다.
예 173은 예 172의 청구 대상을 포함하며, 상태는 차량이 이용 가능한 무선 통신 채널의 상태를 포함한다.
예 174는 예 172 또는 예 173의 청구 대상을 포함하며, 상태는 데이터의 일부의 양 및 데이터의 일부의 긴급성을 포함한다.
예 175는 예 172 내지 예 174 중 어느 하나의 청구 대상을 포함하며, 데이터의 일부를 오프로드하는 절차는, 특정 해상도로 데이터의 일부를 송신하는 것을 포함한다.
예 176은 예 172 내지 예 175 중 어느 하나의 청구 대상을 포함하며, 데이터의 일부를 오프로드하는 절차는, 데이터를 특정 타깃 외부 컴퓨팅 시스템으로 송신하는 것을 포함한다.
예 177은 예 172 내지 예 176 중 어느 하나의 청구 대상을 포함하며, 차량 외부의 하나 이상의 컴퓨팅 시스템은, 다른 차량, 도로변 유닛, 포그 기반 컴퓨팅 시스템 및 클라우드 기반 컴퓨팅 시스템 중 하나 이상을 포함한다.
예 178은 예 171 내지 예 177 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량 내 데이터 저장소에 수집될 차량에서 생성된 센서 데이터를 필터링하는 절차를 포함한다.
예 179는 예 178의 청구 대상을 포함하며, 센서 데이터를 필터링하는 절차는, 센서 데이터의 필터링된 부분을 드롭시킨다.
예 180은 예 171 내지 예 179 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 하나 이상의 자율 주행 머신 학습 모델을 사용해서 차량에 대한 경로 계획을 결정하도록 하고, 센서 데이터의 적어도 일부는 자율 주행 머신 학습 모델로의 입력으로서 제공된다.
예 181은 예 180의 청구 대상을 포함하며, 상태는 결정된 경로 계획에서 루트 섹션에 영향을 미치는 것으로 검출된 이벤트를 포함한다.
예 182는 예 180 또는 예 181의 청구 대상을 포함하며, 상태는 결정된 경로 계획에서 주행 환경의 식별을 포함하고, 주행 환경은 경로 계획에 영향을 미치는 날씨, 경로 계획에 영향을 미치는 교통 상황 및 경로 계획에 영향을 미치는 도로 상태 중 하나 이상을 포함한다.
예 183은 예 171 내지 예 182 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량에 구현되는 머신 학습 기반 추천 시스템의 추천으로서 제공된다.
예 184는 예 171 내지 예 183 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 절차는 차량의 내부 계산 리소스, 차량의 내부 메모리 리소스, 네트워크 대역폭 및 외부 컴퓨팅 시스템의 리소스 중 하나 이상의 차량 사용의 효율성을 향상시키는 것이다.
예 185는 예 171 내지 예 184 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 상태에 기초해서 센서 세트 중 하나 이상의 품질 레벨을 조정하도록 한다.
예 186은 방법으로서, 차량의 센서 세트로부터 센서 데이터를 생성하는 단계와, 차량에 대한 경로 계획을 결정하는 단계와, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 차량의 주행을 자율적으로 제어하는 단계와, 차량의 자율 제어가 중단되어야 한다고 결정하는 단계와, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하는 단계 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - 와, 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하는 단계와, 주행 지시 데이터에 포함된 지시에 응답해서 차량의 자동 주행을 재개하는 단계를 포함한다.
예 187은 예 186의 청구 대상을 포함하며, 주행 지시 데이터는 원격 컴퓨팅 시스템에서의 인간 사용자의 입력에 기초해서 생성된다.
예 188은 예 186 또는 예 187의 청구 대상을 포함하며, 풀오버 이벤트를 검출하는 단계를 더 포함하고, 차량은 풀오버하고 풀오버 이벤트와 관련하여 주행을 중지하며, 풀오버 이벤트에 대한 응답으로 핸드오프 요청이 송신된다.
예 189는 예 186 내지 예 188 중 어느 하나의 청구 대상을 포함하며, 차량의 자율 제어가 중단되어야 한다고 결정하는 단계는, 특정 머신 학습 모델을 사용해서, 경로 계획의 곧 있을 섹션의 상태가 곧 있을 섹션에서 자율 주행하는 데 어려움을 제시한다는 것을 예측하는 단계를 포함한다.
예 190은 예 186 내지 예 189 중 어느 하나의 청구 대상을 포함하며, 자율 제어는, 차량에서 하나 이상의 손상된 센서를 검출하는 것에 기초해서, 중단되어야 한다고 결정된다.
예 191은 예 186 내지 예 190 중 어느 하나의 청구 대상을 포함하며, 차량 내에 승인된(qualified) 승객이 존재하지 않는다고 결정하는 단계를 더 포함하며, 승인된 승객이 존재하지 않는다는 결정에 적어도 부분적으로 기초해서 핸드오프 요청이 송신된다.
예 192는 예 186 내지 예 191 중 어느 하나의 청구 대상을 포함하며, 원격 컴퓨팅 시스템의 사용자에게 차량 주변의 동적 표현을 제공하기 위해 센서 데이터를 원격 컴퓨팅 시스템에 송신하는 단계를 더 포함한다.
예 193은 예 192의 청구 대상을 포함하며, 센서 데이터는 비디오 데이터를 포함한다.
예 194는 예 192 또는 예 193의 청구 대상을 포함하며, 하나 이상의 저지연, 고우선 순위의 통신 채널을 통해 센서 데이터가 송신되고, 주행 명령어 데이터가 수신된다.
예 195는 예 186 내지 예 194 중 어느 하나의 청구 대상을 포함하며, 차량의 제어가 원격 발렛 서비스로 핸드오버되는 것을 식별하기 위해서, 차량의 승객에 의한 소비에 대한 경보를 제공하는 것을 더 포함한다.
예 196은 예 186 내지 예 195 중 어느 하나의 청구 대상을 포함하며, 경로 계획에 따른 상태의 변화를 검출하는 단계와, 원격 발렛 서비스로부터 차량의 자율 주행 로직으로 차량의 주행의 제어를 복원하는 단계를 포함한다.
예 197은 예 186 내지 예 196 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 198은 예 197의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 186 내지 예 196 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 199는 방법으로서, 컴퓨팅 단말 장치에서 인간 사용자에 대한 사용자 인터페이스를 제공하는 단계와, 자율 주행하도록 구성된 차량으로부터 핸드오프 요청을 수신하는 단계와, 원격 센서 장치로부터 차량 주변 환경을 설명하는 센서 데이터를 수신하는 단계와, 센서 데이터에 기초해서 사용자 인터페이스 상에 환경의 표현을 제시하는 단계와, 표현에 응답해서 컴퓨팅 단말 장치에서 사용자 입력을 수신하는 단계 - 사용자 입력은 환경 내에서 차량을 직접 주행하기 위한 입력을 포함함 - 와, 사용자 입력에 따라 차량을 원격 주행하기 위해 사용자 입력에 대응하는 차량에 지시 데이터를 송신하는 단계를 포함한다.
예 200은 예 199의 청구 대상을 포함하며, 핸드오프 요청은 차량의 위치를 식별한다.
예 201은 예 200의 청구 대상을 포함하며, 위치에 대응하는 센서 장치를 결정하는 단계 - 센서 장치는 차량 외부에 있음 - 와, 센서 장치로부터 보충 센서 데이터에 액세스하는 단계 - 보충 센서 데이터에 적어도 부분적으로 기초해서 표현이 제공됨 - 를 포함한다.
예 202는 예 199 내지 예 201 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량의 센서 장치를 포함한다.
예 203은 예 199 내지 예 202 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량으로부터 이격된 센서 장치를 포함한다.
예 204는 예 199 내지 예 203 중 어느 하나의 청구 대상을 포함하며, 차량으로부터 차량의 주행 제어를 차량에 반환하는 요청을 수신하는 단계와, 제어의 반환에 대한 확인을 차량에 송신하는 단계와, 지시 데이터를 차량에 송신하는 것을 중단하는 단계를 포함한다.
예 205는 예 199 내지 예 203 중 어느 하나의 청구 대상을 포함하며, 원격 발렛 서비스에 의한 차량의 제어 동안 사용자 입력에 기초해서 차량의 환경 및 성능을 설명하는 보고 데이터를 생성하는 단계와, 보고 데이터를 클라우드 기반 시스템으로 송신하는 단계를 더 포함한다.
예 206은 예 199 내지 예 205 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 207은 예 206의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 199 내지 예 205 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 208은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 센서 세트로부터 센서 데이터를 생성하고, 차량에 대한 경로 계획을 결정하며, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 차량의 주행을 자율적으로 제어하고, 차량의 자율 제어가 중단되어야 한다고 결정하며, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하고 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - , 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하고, 주행 지시 데이터에 포함된 지시에 응답해서 차량의 자동 주행을 재개하도록 한다.
예 209는 예 208의 청구 대상을 포함하며, 주행 지시 데이터는 원격 컴퓨팅 시스템에서의 인간 사용자의 입력에 기초해서 생성된다.
예 210은 예 208 또는 예 209의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 풀오버 이벤트를 검출하도록 하고, 차량은 풀오버하고 풀오버 이벤트와 관련하여 주행을 중지하며, 풀오버 이벤트에 대한 응답으로 핸드오프 요청이 송신된다.
예 211은 예 208 또는 예 209의 청구 대상을 포함하며, 차량의 자율 제어가 중단되어야 한다고 결정하는 것은, 특정 머신 학습 모델을 사용해서, 경로 계획의 곧 있을 섹션의 상태가 곧 있을 섹션에서 자율 주행하는 데 어려움을 제시한다는 것을 예측하는 단계를 포함한다.
예 212은 예 208 내지 예 211 중 어느 하나의 청구 대상을 포함하며, 자율 제어는, 차량에서 하나 이상의 손상된 센서를 검출하는 것에 기초해서, 중단되어야 한다고 결정된다.
예 213은 예 208 내지 예 212 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 차량 내에 승인된 승객이 존재하지 않는다고 결정하도록 하고, 승인된 승객이 존재하지 않는다는 결정에 적어도 부분적으로 기초해서 핸드오프 요청이 송신된다.
예 214는 예 208 내지 예 213 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 원격 컴퓨팅 시스템의 사용자에게 차량 주변의 동적 표현을 제공하기 위해 센서 데이터를 원격 컴퓨팅 시스템에 송신하도록 한다.
예 215은 예 214의 청구 대상을 포함하며, 센서 데이터는 비디오 데이터를 포함한다.
예 216는 예 214 또는 예 215의 청구 대상을 포함하며, 하나 이상의 저지연, 고우선 순위의 통신 채널을 통해 센서 데이터가 송신되고, 주행 명령어 데이터가 수신된다.
예 217은 예 208 내지 예 216 중 어느 하나의 청구 대상을 포함하며, 차량의 제어가 원격 발렛 서비스로 핸드오버되는 것을 식별하기 위해서, 차량의 승객에 의한 소비에 대한 경보를 제공하는 것을 더 포함한다.
예 218은 예 208 내지 예 217 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 경로 계획에 따른 상태의 변화를 검출하고, 원격 발렛 서비스로부터 차량의 자율 주행 로직으로 차량의 주행의 제어를 복원하도록 한다.
예 219는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 머신에 의해 실행될 때 명령어는 머신으로 하여금, 컴퓨팅 단말 장치에서 인간 사용자에 대한 사용자 인터페이스를 제공하고, 자율 주행하도록 구성된 차량으로부터 핸드오프 요청을 수신하며, 원격 센서 장치로부터 차량 주변 환경을 설명하는 센서 데이터를 수신하고, 센서 데이터에 기초해서 사용자 인터페이스 상에 환경의 표현을 제시하며, 표현에 응답해서 컴퓨팅 단말 장치에서 사용자 입력을 수신하고 - 사용자 입력은 환경 내에서 차량을 직접 주행하기 위한 입력을 포함함 - , 사용자 입력에 따라 차량을 원격 주행하기 위해 사용자 입력에 대응하는 차량에 지시 데이터를 송신하도록 한다.
예 220은 예 219의 청구 대상을 포함하며, 핸드오프 요청은 차량의 위치를 식별한다.
예 221은 예 220의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 위치에 대응하는 센서 장치를 결정하고 - 센서 장치는 차량 외부에 있음 - , 센서 장치로부터 보충 센서 데이터에 액세스하며, 보충 센서 데이터에 적어도 부분적으로 기초해서 표현이 제공된다.
예 222는 예 219 내지 예 221 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량의 센서 장치를 포함한다.
예 223은 예 219 내지 예 222 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량으로부터 이격된 센서 장치를 포함한다.
예 224는 예 219 내지 예 223 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량으로부터 차량의 주행 제어를 차량에 반환하는 요청을 수신하고, 제어의 반환에 대한 확인을 차량에 송신하며, 지시 데이터를 차량에 송신하는 것을 중단하도록 한다.
예 225는 예 219 내지 예 224 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 원격 발렛 서비스에 의한 차량의 제어 동안 사용자 입력에 기초해서 차량의 환경 및 성능을 설명하는 보고 데이터를 생성하고, 보고 데이터를 클라우드 기반 시스템으로 송신하도록 한다.
예 226은 방법으로서, 차량의 센서 세트로부터 센서 데이터를 생성하는 단계와, 차량에 대한 경로 계획을 결정하는 단계와, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 차량의 주행을 자율적으로 제어하는 단계와, 경로 계획의 곧 있을 부분의 상태를 식별하는 단계와, 상태에 기초해서 차량의 주행 제어를 원격 발렛 서비스로 핸드오프할 기회를 결정하는 단계와, 이 기회에 기초해서 원격 컴퓨팅 시스템에 핸드오프 요청을 송신하는 단계 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - 와, 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하는 단계와, 지시 데이터에 포함된 지시에 응답해서 차량의 주행을 자동화하는 단계를 포함한다.
예 227은 예 226의 청구 대상을 포함하며, 핸드오프 및 핸드오프에 대응하는 상태를 식별하는 보고 데이터를 다른 컴퓨팅 시스템에 송신하는 단계를 더 포함한다.
예 228은 예 227의 청구 대상을 포함하며, 보고 데이터는 클라우드 기반 애플리케이션으로 송신된다.
예 229는 예 227 또는 예 228의 청구 대상을 포함하며, 보고 데이터는 도로변 유닛으로 송신된다.
예 230은 예 226 내지 예 229 중 어느 하나의 청구 대상을 포함하며, 상태는 다른 컴퓨팅 시스템으로부터 수신된 데이터로부터 식별된다.
예 231은 예 230의 청구 대상을 포함하며, 상태는 머신 학습 모델의 적용을 통해 식별되고, 다른 시스템으로부터의 데이터가 머신 학습 모델에 대한 입력으로 제공된다.
예 232는 예 231의 청구 대상을 포함하며, 머신 학습 모델은 원격 발렛 서비스로의 핸드오프 또는 풀오버 이벤트의 다른 인스턴스를 보고하는 데이터에 기초해서 트레이닝된다.
예 233은 예 226 내지 예 232 중 어느 하나의 청구 대상을 포함하며, 핸드오프 요청은 풀오버 이벤트를 피하기 위해 송신된다.
예 234는 예 226 내지 예 233 중 어느 하나의 청구 대상을 포함하며, 기회는 차량의 자율 주행 기능이 상태의 관점에서 제대로 수행되지 않을 것이라는 예측에 대응한다.
예 235는 예 226 내지 예 234 중 어느 하나의 청구 대상을 포함하며, 기회는 센서 데이터에 포함된 정보에 적어도 부분적으로 기초해서 결정된다.
예 236은 예 226 내지 예 235 중 어느 하나의 청구 대상을 포함하며, 추가 데이터에 액세스하는 단계와, 추가 데이터에 기초해서 곧 있을 경로에 이어지는 경로 계획의 다른 부분에 대한 상태의 개선을 예측하는 단계와, 예측된 상태 개선에 기초해서 제어가 차량으로 반환되도록 요청하는 요청 데이터를 원격 컴퓨팅 시스템으로 송신하는 단계와, 차량의 주행의 자율 제어를 재개하는 단계를 포함한다.
예 237은 예 226 내지 예 236 중 어느 하나의 청구 대상을 포함하며, 제어를 핸드오프할 기회를 결정하는 단계는 풀오버 이벤트를 검출하는 단계를 포함한다.
예 238은 예 237의 청구 대상을 포함하며, 풀오버 이벤트와 관련된 센서 데이터로부터 상태를 결정하는 단계와, 상태를 설명하는 데이터를 원격 컴퓨팅 시스템으로 업로드하는 단계를 포함한다.
예 239는 예 226 내지 예 238 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 240은 예 239의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 226 내지 예 238 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 241은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 머신에 의해 실행될 때 명령어는 머신으로 하여금, 차량의 센서 세트로부터 센서 데이터를 생성하고, 차량에 대한 경로 계획을 결정하며, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 차량의 주행을 자율적으로 제어하고, 경로 계획의 곧 있을 부분의 상태를 식별하며, 상태에 기초해서 차량의 주행 제어를 원격 발렛 서비스로 핸드오프할 기회를 결정하고, 이 기회에 기초해서 원격 컴퓨팅 시스템에 핸드오프 요청을 송신하며 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - , 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하며, 지시 데이터에 포함된 지시에 응답해서 차량의 주행을 자동화하도록 한다.
예 242는 예 241의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 핸드오프 및 핸드오프에 대응하는 상태를 식별하는 보고 데이터를 다른 컴퓨팅 시스템에 송신하도록 한다.
예 243은 예 242의 청구 대상을 포함하며, 보고 데이터는 클라우드 기반 애플리케이션으로 송신된다.
예 244는 예 242 또는 예 243의 청구 대상을 포함하며, 보고 데이터는 도로변 유닛으로 송신된다.
예 245는 예 241 내지 예 244 중 어느 하나의 청구 대상을 포함하며, 상태는 다른 컴퓨팅 시스템으로부터 수신된 데이터로부터 식별된다.
예 246은 예 245의 청구 대상을 포함하며, 상태는 머신 학습 모델의 적용을 통해 식별되고, 다른 시스템으로부터의 데이터가 머신 학습 모델에 대한 입력으로 제공된다.
예 247은 예 246의 청구 대상을 포함하며, 머신 학습 모델은 원격 발렛 서비스로의 핸드오프 또는 풀오버 이벤트의 다른 인스턴스를 보고하는 데이터에 기초해서 트레이닝된다.
예 248은 예 241 내지 예 247 중 어느 하나의 청구 대상을 포함하며, 핸드오프 요청은 풀오버 이벤트를 피하기 위해 송신된다.
예 249는 예 241 내지 예 248 중 어느 하나의 청구 대상을 포함하며, 기회는 차량의 자율 주행 기능이 상태의 관점에서 제대로 수행되지 않을 것이라는 예측에 대응한다.
예 250은 예 241 내지 예 249 중 어느 하나의 청구 대상을 포함하며, 기회는 센서 데이터에 포함된 정보에 적어도 부분적으로 기초해서 결정된다.
예 251은 예 241 내지 예 250 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 추가 데이터에 액세스하고, 추가 데이터에 기초해서 곧 있을 경로에 이어지는 경로 계획의 다른 부분에 대한 상태의 개선을 예측하며, 예측된 상태 개선에 기초해서 제어가 차량으로 반환되도록 요청하는 요청 데이터를 원격 컴퓨팅 시스템으로 송신하고, 차량의 주행의 자율 제어를 재개하도록 한다.
예 252는 예 241 내지 예 251 중 어느 하나의 청구 대상을 포함하며, 제어를 핸드오프할 기회를 결정하는 것은 풀오버 이벤트를 검출하는 것을 포함한다.
예 253은 예 252의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 풀오버 이벤트와 관련된 센서 데이터로부터 상태를 결정하고, 상태를 설명하는 데이터를 원격 컴퓨팅 시스템으로 업로드하도록 한다.
예 254는 방법으로서, 자율 차량에 연결된 복수의 센서로부터의 센서 데이터에 기초해서 생성된 환경 모델을 수신하는 단계와, 환경 모델의 정보에 기초해서 자율 차량이 아닌 차량의 하나 이상의 거동의 변동을 결정하는 단계와, 환경 모델의 정보에 기초해서, 자율 차량 이외의 차량의 하나 이상의 거동과 자율 차량에 의해 수행된 동일한 하나 이상의 거동 사이의 편차를 결정하는 단계와, 결정된 변동 및 편차에 기초해서, 자율 차량에 대한 거동 모델에 대한 하나 이상의 제약을 결정하는 단계와, 거동 모델에 하나 이상의 제약을 적용해서 자율 차량의 동작을 제어하는 단계를 포함한다.
예 255는 예 254의 청구 대상을 포함하며, 환경 모델 및 자율 차량의 지리적 위치 정보에 기초해서 시나리오를 구성하는 단계와, 자율 차량의 거동 모델에 대한 사회 규범 프로파일의 시나리오와 제약을 연관시키는 단계를 더 포함한다.
예 256은 예 255의 청구 대상을 포함하며, 시나리오는 자율 차량 근처의 다수의 차량, 자율 차량 근처의 하나 이상의 차량 각각의 속도, 요일 및 기상 상태 정보 중 하나 이상에 기초한다.
예 257은 예 254 내지 예 256 중 어느 하나의 청구 대상을 포함하며, 변동을 결정하는 단계는, 관찰된 거동이 자율 차량에 대한 동작 모델의 현재 파라미터 내에 있는지 여부를 결정하는 단계를 포함한다.
예 258은 예 257의 청구 대상을 포함하며, 변동은 주변 차량의 관찰로부터 현재 거동 모델까지의 유클리드 거리에 기초한다.
예 259는 예 254 내지 예 256 중 어느 하나의 청구 대상을 포함하며, 편차를 결정하는 단계는, 거동의 편차가 자율 차량에 대한 거동 모델의 현재 파라미터 내에 있는지 여부를 결정하는 단계를 포함한다.
예 260은 예 259의 청구 대상을 포함하며, 편차는 거동에 대한 제한으로서 작용하는 부정적인 피드백 위반에 기초한다.
예 261은 예 254 내지 예 260 중 어느 하나의 청구 대상을 포함하며, 변동 및 편차는 동적인 장애물과 관련된 환경 모델의 정보에 기초한다.
예 262는 메모리, 및 메모리에 연결되어서 예 254 내지 예 261 중 어느 하나의 방법을 수행하는 프로세싱 회로를 포함한다.
예 263은 예 254 내지 예 261의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 264는 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 254 내지 예 261의 방법의 동작을 구현하게 한다.
예 265는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량에 연결된 복수의 센서로부터의 센서 데이터에 기초해서 생성된 환경 모델을 수신하고, 환경 모델의 정보에 기초해서 자율 차량이 아닌 차량의 하나 이상의 거동의 변동을 결정하며, 환경 모델의 정보에 기초해서, 자율 차량 이외의 차량의 하나 이상의 거동과 자율 차량에 의해 수행된 동일한 하나 이상의 거동 사이의 편차를 결정하고, 결정된 변동 및 편차에 기초해서, 자율 차량에 대한 거동 모델에 대한 하나 이상의 제약을 결정하며, 거동 모델에 하나 이상의 제약을 적용해서 자율 차량의 동작을 제어하도록 한다.
예 266은 예 265의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 환경 모델 및 자율 차량의 지리적 위치 정보에 기초해서 시나리오를 구성하고, 자율 차량의 거동 모델에 대한 사회 규범 프로파일의 시나리오와 제약을 연관시키도록 한다.
예 267은 예 266의 청구 대상을 포함하며, 시나리오는 자율 차량 근처의 다수의 차량, 자율 차량 근처의 하나 이상의 차량 각각의 속도, 요일 및 기상 상태 정보 중 하나 이상에 기초한다.
예 268은 예 265 내지 예 267 중 어느 하나의 청구 대상을 포함하며, 변동을 결정하는 것은, 관찰된 거동이 자율 차량에 대한 동작 모델의 현재 파라미터 내에 있는지 여부를 결정하는 것을 포함한다.
예 269는 예 268의 청구 대상을 포함하며, 변동은 주변 차량의 관찰로부터 현재 거동 모델까지의 유클리드 거리에 기초한다.
예 270은 예 265 내지 예 267 중 어느 하나의 청구 대상을 포함하며, 편차를 결정하는 것은, 거동의 편차가 자율 차량에 대한 거동 모델의 현재 파라미터 내에 있는지 여부를 결정하는 것을 포함한다.
예 271은 예 270의 청구 대상을 포함하며, 편차는 거동에 대한 제한으로서 작용하는 부정적인 피드백 위반에 기초한다.
예 272는 예 265 내지 예 271 중 어느 하나의 청구 대상을 포함하며, 변동 및 편차는 동적인 장애물과 관련된 환경 모델의 정보에 기초한다.
예 273은 방법으로서, 제 1 차량의 센서 세트로부터 센서 데이터를 생성하는 단계와, 제 1 차량에 대한 경로 계획을 결정하는 단계와, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 제 1 차량의 주행을 자율적으로 제어하는 단계와, 제 1 차량에서, 제 1 차량 부근의 다른 제 2 차량을 식별하는 신호를 수신하는 단계와, 제 2 차량과 통신해서 제 2 차량과 관련된 거동 모델을 획득하는 단계 - 거동 모델은 제 2 차량의 주행 거동을 결정하기 위한 특정 머신 학습 모델을 포함함 - 와, 거동 모델의 신뢰도를 결정하는 단계와, 거동 모델을 사용하여 제 2 차량의 거동을 예측하는 단계를 포함한다.
예 274는 예 273의 청구 대상을 포함하며, 제 2 차량은 자율 주행 기능을 포함하고, 거동 모델은 제 2 차량이 자율 주행 거동을 결정하는데 사용하는 머신 학습 모델에 대응한다.
예 275는 예 273 또는 예 274의 청구 대상을 포함하며, 거동 모델의 신뢰도을 결정하는 단계는 모델의 포맷을 검증하는 단계를 포함한다.
예 276은 예 273 내지 예 275 중 어느 하나의 청구 대상을 포함하며, 거동 모델의 신뢰도을 결정하는 단계는 모델의 정확도를 검증하는 단계를 포함한다.
예 277은 예 276의 청구 대상을 포함하며, 거동 모델의 정확도를 검증하는 단계는, 머신 학습 모델 중 적어도 하나에 제공되는 입력 및 적어도 하나의 머신 학습 모델에 의한 대응하는 출력을 저장하는 단계를 포함하고, 모델의 정확도는 거동 모델에 입력을 제공하고 거동 모델의 출력을 적어도 하나의 머신 학습 모델의 출력과 비교함으로써 검증된다.
예 278은 예 276의 청구 대상을 포함하며, 거동 모델의 정확도를 검증하는 단계는, 관찰된 상태에 대응하는 거동 모델에 입력을 제공하는 단계와, 입력에 기초해서 거동 모델로부터 제 2 차량의 예상 거동을 결정하는 단계와, 관찰된 상태에 대응하는 제 2 차량의 거동을 관찰하는 단계와, 관찰된 거동을 예상된 거동과 비교하는 단계를 포함한다.
예 279는 예 273 내지 예 278 중 어느 하나의 청구 대상을 포함하며, 제 2 차량과 통신하는 것은, 제 1 차량과 제 2 차량 사이의 보안 통신 세션을 성립하는 것을 포함하고, 거동 모델은 보안 통신 세션 내에서의 통신으로 수신된다.
예 280은 예 279의 청구 대상을 포함하며, 보안 통신 세션을 성립시키는 것은, 제 1 차량과 제 2 차량 사이에서 토큰을 교환하는 것을 포함하고, 각각의 토큰은 대응하는 차량의 각각의 식별자, 각각의 공개 키 및 공유 비밀 값을 포함한다.
예 281은 예 273 내지 예 280 중 어느 하나의 청구 대상을 포함하며, 신호는 제 2 차량의 신원 및 위치를 나타내는 비콘을 포함한다.
예 282는 예 273 내지 예 281 중 어느 하나의 청구 대상을 포함하며, 제 1 차량 부근의 다른 차량에게 제 1 차량을 식별시키기 위한 신호를 다른 차량에 브로드캐스트하는 단계를 더 포함한다.
예 283은 예 273 내지 예 282 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 제 2 거동 모델을 포함하고, 제 2 거동 모델은 제 1 거동 모델과 제 2 거동 모델 사이에서 거동 모델을 교환해서 획득되며, 제 1 차량은 거동 모델의 교환에서 하나 이상의 머신 학습 모델에 기초한 제 1 거동 모델을 제 2 차량에 송신한다.
예 284는 예 273 내지 예 283 중 어느 하나의 청구 대상을 포함하며, 제 2 모델에 대한 거동 모델이 제 1 차량의 모델 데이터베이스에 있는지 여부를 결정하는 단계를 더 포함하고, 제 2 모델에 대한 거동 모델은 거동 모델이 아직 모델 데이터베이스에 있지 않다는 결정에 기초해서 획득된다.
예 285는 예 273의 청구 대상을 포함하며, 제 2 차량은 사람 주행 모드를 포함하고, 거동 모델은 사람 주행 모드 동안의 제 2 차량의 사람 주행자의 특성을 모델링한다.
예 286은 예 273 내지 예 285 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 제 2 차량에 대한 거동 모델 세트 중 하나를 포함하며, 거동 모델 세트는 복수의 시나리오 특정 거동 모델을 포함한다.
예 287은 예 286의 청구 대상을 포함하며, 센서 데이터에 적어도 부분적으로 기초해서 특정 시나리오를 결정하는 단계와, 거동 모델 세트 내의 특정 거동 모델이 특정 시나리오에 대응한다고 결정하는 단계를 더 포함하고, 특정 거동 모델은 특정 거동 모델이 특정 시나리오에 대응한다는 결정에 기초해서 제 2 차량의 액션을 예측하는데 사용된다.
예 288은 예 273 내지 예 287 중 어느 하나의 청구 대상을 포함하며, 거동 모델로부터 유도된 제 2 차량의 예측된 액션을 설명하는 데이터를, 제 1 차량의 머신 학습 모델 중 적어도 하나로의 입력으로서 제공하는 단계와, 입력에 기초해서 머신 학습 모델 중 적어도 하나에서 도출된 출력에 기초해서 제 1 차량이 주행하게 하는 단계를 더 포함한다.
예 289는 예 288의 청구 대상을 포함하며, 예측된 액션에 기초해서 제 1 차량을 주행하게 하는 것은 제 1 차량의 디폴트 주행 결정과는 다른 제 1 차량의 거동을 유발한다.
예 290은 예 273 내지 예 289 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 291은 예 290의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 273 내지 예 289 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 292는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 제 1 차량의 센서 세트로부터 센서 데이터를 생성하고, 제 1 차량에 대한 경로 계획을 결정하며, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 제 1 차량의 주행을 자율적으로 제어하고, 제 1 차량에서, 제 1 차량 부근의 다른 제 2 차량을 식별하는 신호를 수신하며, 제 2 차량과 통신해서 제 2 차량과 관련된 거동 모델을 획득하고 - 거동 모델은 제 2 차량의 주행 거동을 결정하기 위한 특정 머신 학습 모델을 포함함 - ,거동 모델의 신뢰도를 결정하며, 거동 모델을 사용하여 제 2 차량의 거동을 예측하도록 한다.
예 293은 예 292의 청구 대상을 포함하며, 제 2 차량은 자율 주행 기능을 포함하고, 거동 모델은 제 2 차량이 자율 주행 거동을 결정하는데 사용하는 머신 학습 모델에 대응한다.
예 294는 예 292 또는 예 293의 청구 대상을 포함하며, 거동 모델의 신뢰도을 결정하는 것은 모델의 포맷을 검증하는 것을 포함한다.
예 295는 예 292 내지 예 294 중 어느 하나의 청구 대상을 포함하며, 거동 모델의 신뢰도을 결정하는 것은 모델의 정확도를 검증하는 것을 포함한다.
예 296은 예 295의 청구 대상을 포함하며, 거동 모델의 정확도를 검증하는 것은, 머신 학습 모델 중 적어도 하나에 제공되는 입력 및 적어도 하나의 머신 학습 모델에 의한 대응하는 출력을 저장하는 것을 포함하고, 모델의 정확도는 거동 모델에 입력을 제공하고 거동 모델의 출력을 적어도 하나의 머신 학습 모델의 출력과 비교함으로써 검증된다.
예 297은 예 295의 청구 대상을 포함하며, 거동 모델의 정확도를 검증하는 것은, 관찰된 상태에 대응하는 거동 모델에 입력을 제공하는 것과, 입력에 기초해서 거동 모델로부터 제 2 차량의 예상 거동을 결정하는 것과, 관찰된 상태에 대응하는 제 2 차량의 거동을 관찰하는 것과, 관찰된 거동을 예상된 거동과 비교하는 것을 포함한다.
예 298는 예 292 내지 예 297 중 어느 하나의 청구 대상을 포함하며, 제 2 차량과 통신하는 것은, 제 1 차량과 제 2 차량 사이의 보안 통신 세션을 성립하는 것을 포함하고, 거동 모델은 보안 통신 세션 내에서의 통신으로 수신된다.
예 299은 예 298의 청구 대상을 포함하며, 보안 통신 세션을 성립시키는 것은, 제 1 차량과 제 2 차량 사이에서 토큰을 교환하는 것을 포함하고, 각각의 토큰은 대응하는 차량의 각각의 식별자, 각각의 공개 키 및 공유 비밀 값을 포함한다.
예 300은 예 292 내지 예 299 중 어느 하나의 청구 대상을 포함하며, 신호는 제 2 차량의 신원 및 위치를 나타내는 비콘을 포함한다.
예 301은 예 292 내지 예 300 중 어느 하나의 청구 대상을 포함하며, 제 1 차량 부근의 다른 차량에게 제 1 차량을 식별시키기 위한 신호를 다른 차량에 브로드캐스트하는 것을 더 포함한다.
예 302는 예 292 내지 예 301 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 제 2 거동 모델을 포함하고, 제 2 거동 모델은 제 1 거동 모델과 제 2 거동 모델 사이에서 거동 모델을 교환해서 획득되며, 제 1 차량은 거동 모델의 교환에서 하나 이상의 머신 학습 모델에 기초한 제 1 거동 모델을 제 2 차량에 송신한다.
예 303은 예 292 내지 예 302 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 제 2 모델에 대한 거동 모델이 제 1 차량의 모델 데이터베이스에 있는지 여부를 결정하도록 하고, 제 2 모델에 대한 거동 모델은 거동 모델이 아직 모델 데이터베이스에 있지 않다는 결정에 기초해서 획득된다.
예 304는 예 292의 청구 대상을 포함하며, 제 2 차량은 사람 주행 모드를 포함하고, 거동 모델은 사람 주행 모드 동안의 제 2 차량의 사람 주행자의 특성을 모델링한다.
예 305는 예 292 내지 예 304 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 제 2 차량에 대한 거동 모델 세트 중 하나를 포함하며, 거동 모델 세트는 복수의 시나리오 특정 거동 모델을 포함한다.
예 306은 예 305의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 센서 데이터에 적어도 부분적으로 기초해서 특정 시나리오를 결정하고, 거동 모델 세트 내의 특정 거동 모델이 특정 시나리오에 대응한다고 결정하도록 하며, 특정 거동 모델은 특정 거동 모델이 특정 시나리오에 대응한다는 결정에 기초해서 제 2 차량의 액션을 예측하는데 사용된다.
예 307은 예 292 내지 예 306 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 거동 모델로부터 유도된 제 2 차량의 예측된 액션을 설명하는 데이터를, 제 1 차량의 머신 학습 모델 중 적어도 하나로의 입력으로서 제공하고, 입력에 기초해서 머신 학습 모델 중 적어도 하나에서 도출된 출력에 기초해서 제 1 차량이 주행하도록 한다.
예 308은 예 307의 청구 대상을 포함하며, 예측된 액션에 기초해서 제 1 차량을 주행하게 하는 것은 제 1 차량의 디폴트 주행 결정과는 다른 제 1 차량의 거동을 유발한다.
예 309는 방법으로서, 제 1 복수의 차량과의 제 1 합의 협상에 참여하는 단계 - 제 1 합의 협상에서 제 1 복수의 차량 중 적어도 일부의 거동 모델이 교환되며, 제 1 합의 협상에 참여하는 단계는 교환되는 각각의 거동 모델을 수신하는 단계와, 제 1 합의 협상에서 각 거동 모델의 유효성을 결정하는 단계를 포함함 - 와, 제 2 복수의 차량과의 제 2 합의 협상에 참여하는 단계 - 제 2 합의 협상에서 제 2 복수의 차량 중 적어도 일부의 거동 모델이 교환되며, 제 2 합의 협상에 참여하는 단계는 교환되는 각각의 거동 모델을 수신하는 단계와, 제 2 합의 협상에서 각 거동 모델의 유효성을 결정하는 단계를 포함함 - 와, 제 1 및 제 2 합의 협상으로부터 합의 거동 모델을 생성하는 단계를 포함한다.
예 310은 예 309의 청구 대상을 포함하며, 합의 거동 모델을 제 3 복수의 차량에 분배하는 단계를 더 포함한다.
예 311은 예 310의 청구 대상을 포함하며, 합의 거동 모델은 제 3 합의 협상에서 분배된다.
예 312는 예 309 내지 예 311 중 어느 하나의 청구 대상을 포함하며, 제 1 및 제 2 합의 협상은 비잔틴 결함 허용 합의 알고리즘에 기초한다.
예 313은 예 309 내지 예 312 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 신경망 기반 모델을 포함한다.
예 314는 예 309 내지 예 313 중 어느 하나의 청구 대상을 포함하며, 제 1 또는 제 2 복수의 차량 중 적어도 하나는 인간 주행자가 있는 비자율 차량을 포함한다.
예 315는 예 314의 청구 대상을 포함하며, 비자율 차량에 대응하는 거동 모델을 결정하는 단계를 더 포함한다.
예 316은 예 315의 청구 대상을 포함하며, 하나 이상의 비자율 차량의 복수의 거동을 관찰하기 위해 하나 이상의 로컬 센서에서 센서 데이터를 생성하는 단계를 더 포함하며, 비자율 차량에 대응하는 거동 모델은 센서 데이터에 기초한다.
예 317은 예 316의 청구 대상을 포함하며, 비자율 차량에 대응하는 거동 모델은 합의 거동 모델에 더 기초한다.
예 318은 예 309 내지 예 317 중 어느 하나의 청구 대상을 포함하며, 방법은 특정 도로 구간에 대응하는 고정 컴퓨팅 노드를 사용하여 수행되는 경우, 고정 컴퓨팅 노드는 특정 도로 구간에 근접해서 위치된다.
예 319는 예 318의 청구 대상을 포함하며, 합의 거동 모델은 특정 도로 구간에서 이상적인 주행 거동을 설명하려고 시도한다.
예 320은 예 309 내지 예 319 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 321은 예 320의 청구 대상을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 309 내지 예 319 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 322는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 제 1 복수의 차량과의 제 1 합의 협상에 참여하고 - 제 1 합의 협상에서 제 1 복수의 차량 중 적어도 일부의 거동 모델이 교환되며, 제 1 합의 협상에 참여하는 것은 교환되는 각각의 거동 모델을 수신하는 것과, 제 1 합의 협상에서 각 거동 모델의 유효성을 결정하는 것을 포함함 - , 제 2 복수의 차량과의 제 2 합의 협상에 참여하며 - 제 2 합의 협상에서 제 2 복수의 차량 중 적어도 일부의 거동 모델이 교환되며, 제 2 합의 협상에 참여하는 것은 교환되는 각각의 거동 모델을 수신하는 것과, 제 2 합의 협상에서 각 거동 모델의 유효성을 결정하는 것을 포함함 - , 제 1 및 제 2 합의 협상으로부터 합의 거동 모델을 생성하도록 한다.
예 323은 예 322의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 합의 거동 모델을 제 3 복수의 차량에 분배하도록 한다.
예 324는 예 323의 청구 대상을 포함하며, 합의 거동 모델은 제 3 합의 협상에서 분배된다.
예 325는 예 322 내지 예 324 중 어느 하나의 청구 대상을 포함하며, 제 1 및 제 2 합의 협상은 비잔틴 결함 허용 합의 알고리즘에 기초한다.
예 326은 예 322 내지 예 325 중 어느 하나의 청구 대상을 포함하며, 거동 모델은 신경망 기반 모델을 포함한다.
예 327는 예 322 내지 예 326 중 어느 하나의 청구 대상을 포함하며, 제 1 또는 제 2 복수의 차량 중 적어도 하나는 인간 주행자가 있는 비자율 차량을 포함한다.
예 328는 예 327의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 비자율 차량에 대응하는 거동 모델을 결정하도록 한다.
예 329는 예 328의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한,하나 이상의 비자율 차량의 복수의 거동을 관찰하기 위해 하나 이상의 로컬 센서에서 센서 데이터를 생성하도록 하고, 비자율 차량에 대응하는 거동 모델은 센서 데이터에 기초한다.
예 330은 예 329의 청구 대상을 포함하며, 비자율 차량에 대응하는 거동 모델은 합의 거동 모델에 더 기초한다.
예 331은 예 322 내지 예 330 중 어느 하나의 청구 대상을 포함하며, 명령어가 특정 도로 구간에 대응하는 고정 컴퓨팅 노드를 사용하여 수행되는 경우, 고정 컴퓨팅 노드는 특정 도로 구간에 근접해서 위치된다.
예 332는 예 331의 청구 대상을 포함하며, 합의 거동 모델은 특정 도로 구간에서 이상적인 주행 거동을 설명하려고 시도한다.
예 333은 방법으로서, 서버로부터 HD 맵 데이터를 수신하는 단계와, 자율 차량에 연결된 센서 장치로부터 센서 데이터를 수신하는 단계와, 센서 데이터의 수집과 관련된 정보에 기초해서 센서 데이터에 대한 신뢰도 스코어를 계산하는 단계와, 센서 데이터가 획득되었을 때 자율 차량의 위치에 대응하는 HD 맵의 정보와 센서 데이터의 비교에 기초해서 델타 값을 계산하는 단계와, 신뢰도 스코어 및 델타 값에 기초해서, HD 맵을 업데이트하기 위해서 센서 데이터를 서버에 퍼블리시할지 여부를 결정하는 단계를 포함한다.
예 334는 예 333의 청구 대상을 포함하며, 신뢰도 스코어가 제 1 임계값을 초과하고 델타 값이 제 2 임계값을 초과한다는 결정에 응답해서, 센서 데이터를 서버에 퍼블리시하는 단계를 더 포함한다.
예 335는 예 333의 청구 대상을 포함하며, 센서 데이터의 수집과 관련된 정보는 데이터 수집시의 날씨 데이터, 센서 장치 구성 정보, 센서 장치 동작 정보, 로컬 센서 보강 데이터 또는 센서 장치 인증 상태 정보 중 하나 이상을 포함한다.
예 336은 예 333 내지 예 335 중 어느 하나의 청구 대상을 포함하고, 의사 익명(pseudo-anonymous) 디지털 인증서로 센서 데이터에 서명하는 단계를 더 포함한다.
예 337은 예 336의 청구 대상을 포함하고, 의사 익명 디지털 인증서는 V2X 프로토콜에 기초한다.
예 338은 예 333 내지 예 337의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 339는 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 333 내지 예 337의 방법의 동작을 구현하게 한다.
예 340은 방법으로서, 자율 차량으로부터 센서 데이터를 수신하는 단계 - 센서 데이터는 센서 데이터의 신뢰도 레벨을 나타내는 신뢰도 스코어를 포함함 - 와, 자율 차량과 관련된 트러스트 스코어에 적어도 부분적으로 기초해서 자율 차량이 트러스트되는지 여부를 결정하는 단계 - 트러스트 스코어는 신뢰도 스코어 및 자율 차량으로부터 이전에 수신된 센서 데이터의 하나 이상의 다른 신뢰 스코어에 적어도 부분적으로 기초함 - 와, 자율 차량이 트러스트된다는 결정에 응답해서 센서 데이터를 사용해서 HD 맵을 업데이트하는 단계를 포함한다.
예 341은 예 340의 청구 대상을 포함하며, 신뢰도 스코어가 임계값을 초과하는지 여부를 결정하는 단계를 더 포함하고, HD 맵을 업데이트하는 단계는 또한 신뢰도 스코어가 임계값을 초과하는 것에 응답한다.
예 342는 예 340의 청구 대상을 포함하며, 트러스트 스코어는 센서 데이터가 의사 익명 디지털 인증서를 사용해서 자율 차량에 의해 서명되는지 여부에 더 기초한다.
예 343은 예 340의 청구 대상을 포함하며, 자율 차량이 트러스트되는지 여부를 결정하는 단계는, 자율 차량이 블랙리스트에 있는지 여부에 더 기초한다.
예 344는 예 340의 청구 대상을 포함하며, 자율 차량이 신뢰되는지 여부를 결정하는 단계는, 센서 데이터와 자율 차량 근처의 다른 자율 차량으로부터의 센서 데이터의 상관 관계에 더 기초한다.
예 345는 예 340의 청구 대상을 포함하며, 신뢰도 스코어에 기초해서 자율 차량에 대한 트러스트 스코어를 업데이트하는 단계를 더 포함한다.
예 346은 예 345의 청구 대상을 포함하며, 트러스트 스코어를 업데이트하는 단계는, 신뢰도 스코어가 제 1 임계값을 초과하는 것에 응답해서 트러스트 스코어를 증가시키는 단계와, 트러스트 스코어가 제 2 임계값 미만인 것에 응답해서 트러스트 스코어를 감소시키는 단계 중 하나 이상을 포함한다.
예 347은 예 340 내지 예 346의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 348은 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 340 내지 예 346의 방법의 동작을 구현하게 한다.
예 349는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 서버로부터 HD 맵 데이터를 수신하고, 자율 차량에 연결된 센서 장치로부터 센서 데이터를 수신하며, 센서 데이터의 수집과 관련된 정보에 기초해서 센서 데이터에 대한 신뢰도 스코어를 계산하고, 센서 데이터가 획득되었을 때 자율 차량의 위치에 대응하는 HD 맵의 정보와 센서 데이터의 비교에 기초해서 델타 값을 계산하며, 신뢰도 스코어 및 델타 값에 기초해서, HD 맵을 업데이트하기 위해서 센서 데이터를 서버에 퍼블리시할지 여부를 결정하도록 한다.
예 350은 예 349의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 신뢰도 스코어가 제 1 임계값을 초과하고 델타 값이 제 2 임계값을 초과한다는 결정에 응답해서, 센서 데이터를 서버에 퍼블리시하도록 한다.
예 351은 예 349의 청구 대상을 포함하며, 센서 데이터의 수집과 관련된 정보는 데이터 수집시의 날씨 데이터, 센서 장치 구성 정보, 센서 장치 동작 정보, 로컬 센서 보강 데이터 또는 센서 장치 인증 상태 정보 중 하나 이상을 포함한다.
예 352는 예 349 내지 예 351 중 어느 하나의 청구 대상을 포함하고, 의사 익명(pseudo-anonymous) 디지털 인증서로 센서 데이터에 서명하는 단계를 더 포함한다.
예 353은 예 352의 청구 대상을 포함하고, 의사 익명 디지털 인증서는 V2X 프로토콜에 기초한다.
예 354는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량으로부터 센서 데이터를 수신하고 - 센서 데이터는 센서 데이터의 신뢰도 레벨을 나타내는 신뢰도 스코어를 포함함 - , 자율 차량과 관련된 트러스트 스코어에 적어도 부분적으로 기초해서 자율 차량이 트러스트되는지 여부를 결정하며 - 트러스트 스코어는 신뢰도 스코어 및 자율 차량으로부터 이전에 수신된 센서 데이터의 하나 이상의 다른 신뢰 스코어에 적어도 부분적으로 기초함 - , 자율 차량이 트러스트된다는 결정에 응답해서 센서 데이터를 사용해서 HD 맵을 업데이트하도록 한다.
예 355는 예 354의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 신뢰도 스코어가 임계값을 초과하는지 여부를 결정하도록 하고, HD 맵을 업데이트하는 것은 또한 신뢰도 스코어가 임계값을 초과하는 것에 응답한다.
예 356은 예 354의 청구 대상을 포함하며, 트러스트 스코어는 센서 데이터가 의사 익명 디지털 인증서를 사용해서 자율 차량에 의해 서명되는지 여부에 더 기초한다.
예 357은 예 354의 청구 대상을 포함하며, 자율 차량이 트러스트되는지 여부를 결정하는 것은, 자율 차량이 블랙리스트에 있는지 여부에 더 기초한다.
예 358은 예 354의 청구 대상을 포함하며, 자율 차량이 신뢰되는지 여부를 결정하는 것은, 센서 데이터와 자율 차량 근처의 다른 자율 차량으로부터의 센서 데이터의 상관 관계에 더 기초한다.
예 359는 예 354의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 신뢰도 스코어에 기초해서 자율 차량에 대한 트러스트 스코어를 업데이트하도록 한다.
예 360은 예 359의 청구 대상을 포함하며, 트러스트 스코어를 업데이트하는 것은, 신뢰도 스코어가 제 1 임계값을 초과하는 것에 응답해서 트러스트 스코어를 증가시키는 것과, 트러스트 스코어가 제 2 임계값 미만인 것에 응답해서 트러스트 스코어를 감소시키는 것 중 하나 이상을 포함한다.
예 361은 방법으로서, 자율 차량으로부터 센서 데이터를 수신하는 단계와, 센서 데이터로부터 자율 차량의 위치를 나타내는 지리적 위치 정보를 획득하는 단계와, 지리적 위치 정보에 적어도 기초해서 센서 데이터에 대한 양호도 스코어를 계산하는 단계와, 양호도 스코어를 임계값과 비교하는 단계와, 양호도 스코어가 임계값을 초과하는 것에 응답해서 센서 데이터를 데이터베이스에 저장하는 단계를 포함한다.
예 362는 예 361의 청구 대상을 포함하며, 이 방법은 지리적 위치 정보에 기초해서 위치 스코어를 계산하는 단계를 더 포함하고, 양호도 스코어를 계산하는 것은 위치 스코어 및 센서 데이터와 관련된 하나 이상의 다른 스코어에 기초한다.
예 363은 예 362의 청구 대상을 포함하며, 여기서 위치 스코어를 계산하는 단계는, 지리적 위치 정보와 관련되며 복수의 위치에서 수집된 센서 데이터의 양을 나타내는 히트 맵에 액세스하는 단계와, 지리 위치 정보에 의해 표시된 위치와 관련된 히트 맵으로부터 값을 획득하는 단계와, 히트 맵의 값을 사용해서 위치 스코어를 계산하는 단계를 포함한다.
예 364는 예 362 또는 예 363의 청구 대상을 포함하며, 여기서 양호도 스코어는 위치 스코어 및 센서 데이터와 관련된 하나 이상의 다른 스코어의 가중 합이다.
예 365는 예 362 내지 예 364 중 어느 하나의 청구 대상을 포함하며, 위치 스코어는 지리적 위치 정보와 환경 정보의 하나 이상의 추가 카테고리의 가중 합이며, 환경 정보의 각 카테고리는 자율 차량의 위치의 상태를 나타낸다.
예 366은 예 365의 청구 대상을 포함하며, 여기서 환경 정보의 하나 이상의 추가 카테고리는 자율 차량의 고도를 나타내는 고도 정보, 자율 차량 외부 온도를 나타내는 온도 정보, 자율 차량 부근의 기상 상태를 나타내는 날씨 정보, 및 자율 차량이 횡단하는 영역의 특성을 나타내는 지형 정보 중 하나 이상을 포함한다.
예 367은 예 365의 청구 대상을 포함하며, 여기서 위치 스코어를 계산하는 단계는, 환경 정보의 하나 이상의 추가 카테고리 각각에 대해서, 추가 카테고리와 관련되며 복수의 위치에서 수집된 센서 데이터의 양을 나타내는 히트 맵에 액세스하는 단계와, 히트 맵으로부터 지리 위치 정보에 의해 표시된 위치와 관련된 값을 획득하는 단계와, 획득된 값을 사용해서 위치 스코어를 계산하는 단계를 포함한다.
예 368은 예 362 내지 367 중 어느 하나의 청구 대상을 포함하며, 여기서 하나 이상의 다른 스코어는, 센서 데이터에 대한 노이즈 스코어 및 센서 데이터에 대한 개체 다이버시티 스코어 중 하나 이상을 포함한다.
예 369는 예 361 내지 예 368 중 어느 하나의 청구 대상을 포함하며, 여기서 센서 데이터로부터 지리 위치 정보를 획득하는 것은, 센서 데이터에서 지리 좌표 정보를 획득하는 것 및 센서 데이터의 메타 데이터를 분석해서 지리 위치 정보를 획득하는 것 중 하나 이상을 포함한다.
예 370은 예 361 내지 예 369 중 어느 하나의 청구 대상을 포함하며, 이 방법은 양호도 스코어에 기초해서 자율 차량과 관련된 차량 의존성 스코어를 계산하는 단계를 더 포함한다.
예 371은 예 361 내지 370의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 372는 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 이 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 361 내지 370 중 어느 하나의 방법의 동작을 수행하게 한다.
예 373은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량으로부터 센서 데이터를 수신하고, 센서 데이터로부터 자율 차량의 위치를 나타내는 지리적 위치 정보를 획득하며, 지리적 위치 정보에 적어도 기초해서 센서 데이터에 대한 양호도 스코어를 계산하고, 양호도 스코어를 임계값과 비교하며, 양호도 스코어가 임계값을 초과하는 것에 응답해서 센서 데이터를 데이터베이스에 저장하도록 한다.
예 374는 예 373의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 지리적 위치 정보에 기초해서 위치 스코어를 계산하도록 하고, 양호도 스코어를 계산하는 것은 위치 스코어 및 센서 데이터와 관련된 하나 이상의 다른 스코어에 기초한다.
예 375는 예 374의 청구 대상을 포함하며, 위치 스코어를 계산하는 것은, 지리적 위치 정보와 관련되며 복수의 위치에서 수집된 센서 데이터의 양을 나타내는 히트 맵에 액세스하는 것과, 지리 위치 정보에 의해 표시된 위치와 관련된 히트 맵으로부터 값을 획득하는 것과, 히트 맵의 값을 사용해서 위치 스코어를 계산하는 것을 포함한다.
예 376은 예 374 또는 예 375의 청구 대상을 포함하며, 여기서 양호도 스코어는 위치 스코어 및 센서 데이터와 관련된 하나 이상의 다른 스코어의 가중 합이다.
예 377은 예 374 내지 예 376 중 어느 하나의 청구 대상을 포함하며, 위치 스코어는 지리적 위치 정보와 환경 정보의 하나 이상의 추가 카테고리의 가중 합이며, 환경 정보의 각 카테고리는 자율 차량의 위치의 상태를 나타낸다.
예 378은 예 377의 청구 대상을 포함하며, 여기서 환경 정보의 하나 이상의 추가 카테고리는 자율 차량의 고도를 나타내는 고도 정보, 자율 차량 외부 온도를 나타내는 온도 정보, 자율 차량 부근의 기상 상태를 나타내는 날씨 정보, 및 자율 차량이 횡단하는 영역의 특성을 나타내는 지형 정보 중 하나 이상을 포함한다.
예 379는 예 378의 청구 대상을 포함하며, 여기서 위치 스코어를 계산하는 단계는, 환경 정보의 하나 이상의 추가 카테고리 각각에 대해서, 추가 카테고리와 관련되며 복수의 위치에서 수집된 센서 데이터의 양을 나타내는 히트 맵에 액세스하는 단계와, 히트 맵으로부터 지리 위치 정보에 의해 표시된 위치와 관련된 값을 획득하는 단계와, 획득된 값을 사용해서 위치 스코어를 계산하는 단계를 포함한다.
예 380은 예 374 내지 379 중 어느 하나의 청구 대상을 포함하며, 여기서 하나 이상의 다른 스코어는, 센서 데이터에 대한 노이즈 스코어 및 센서 데이터에 대한 개체 다이버시티 스코어 중 하나 이상을 포함한다.
예 381은 예 373 내지 예 380 중 어느 하나의 청구 대상을 포함하며, 여기서 센서 데이터로부터 지리 위치 정보를 획득하는 것은, 센서 데이터에서 지리 좌표 정보를 획득하는 것 및 센서 데이터의 메타 데이터를 분석해서 지리 위치 정보를 획득하는 것 중 하나 이상을 포함한다.
예 382는 예 373 내지 예 381 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 양호도 스코어에 기초해서 자율 차량과 관련된 차량 의존성 스코어를 계산하도록 한다.
예 383은 방법으로서, 자율 차량에 연결된 복수의 센서로부터 센서 데이터를 수신하는 단계와, 센서 데이터에 기초해서 자율 차량 이외의 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 단계와, 특정 차량에 대한 식별자를 생성하는 단계와, 비정상적인 거동이 임계값보다 몇 배 더 크게 특정 차량에 의해 수행되는 것을 검출하는 것에 응답해서 자율 차량의 동적 거동 정책을 시작하는 단계를 포함한다.
예 384는 예 383의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 단계는, 특정 차량에 의해 수행되는 관찰된 거동을 자율 차량의 안전 모델과 비교하는 단계와, 비교에 기초해서, 관찰된 거동이 자율 차량의 안전 모델을 위반하는지 결정하는 단계를 포함한다.
예 385는 예 383의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 단계는, 특정 차량에 의해 수행되는 관찰된 거동을 다른 차량에 의해 수행되는 관찰된 거동과 비교하는 단계와, 비교에 기초해서, 특정 차량에 의해 수행되는 관찰된 거동이 다른 차량에 의해 수행되는 관찰된 거동으로부터 벗어나는 것을 결정하는 단계를 포함한다.
예 386은 예 383의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 단계는, 특정 차량에 의해 수행되는 관찰된 거동을 다른 차량에 의해 수행되는 관찰된 거동과 비교하는 단계와, 비교에 기초해서, 다른 차량에 의해 수행되는 관찰된 거동이 특정 차량에 의해 수행되는 관찰된 거동에 대한 반응으로 수행된다는 것을 결정하는 단계를 포함한다.
예 387은 예 383 내지 예 386 중 어느 하나의 청구 대상을 포함하며, 비정상적인 거동을 검출하는 단계는, 센서 데이터의 오디오적 및 시각적 컨텍스트 정보에 기초한다.
예 388은 예 383 내지 예 387 중 어느 하나의 청구 대상을 포함하며, 특정 차량에 대한 식별자를 생성하는 단계는, 특정 차량의 각 특징에 대한 값을 획득하는 단계와, 값들의 조합에 대해 암호화를 적용해서 식별자를 획득하는 단계를 포함한다.
예 389는 예 388의 청구 대상을 포함하며, 값은 자율 차량이 다른 차량을 인식하는데 사용하는 딥 러닝 모델로부터 대표 특징을 추출함으로써 획득된다.
예 390은 예 383 내지 예 389 중 어느 하나의 청구 대상을 포함하며, 다른 차량에 의한 비정상적인 거동의 검출 빈도를 추적하는 단계를 더 포함한다.
예 391은 예 383 내지 예 390의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 392는 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 이 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 383 내지 390 중 어느 하나의 방법의 동작을 수행하게 한다.
예 393은 방법으로서, 복수의 자율 차량으로부터 비정상적 거동 추적 데이터를 수신하는 단계 - 비정상적 거동 추적 데이터는, 차량 식별자, 차량 식별자와 연관된 차량에 의해 수행되는 것으로 관찰되는 연관된 비정상적 거동, 및 비정상적 거동이 자율 차량에 의해 검출된 컨텍스트를 나타내는 컨텍스트 데이터를 포함하는 엔트리를 포함함 - 와, 하나 이상의 차량에 의해 수행되는 하나 이상의 비정상적인 거동의 시퀀스를 식별하는 단계와, 식별된 시퀀스 및 비정상적인 거동 추적 데이터에 기초해서 컨텍스트 거동 패턴을 식별하는 단계와, 식별된 컨텍스트 거동 패턴에 기초해서 하나 이상의 자율 차량에 대한 거동 정책을 수정하는 단계를 포함한다.
예 394는 예 393의 청구 대상을 포함하며, 컨텍스트 거동 패턴을 식별하는 단계는, 식별된 시퀀스를 나타내는 제 1 노드 세트 및 컨텍스트 데이터를 나타내는 제 2 노드 세트를 포함하는 컨텍스트 그래프를 생성하는 단계 - 컨텍스트 그래프의 에지는 노드 사이의 연관 빈도를 나타냄 - 와, 컨텍스트 그래프를 사용해서 컨텍스트 거동 패턴을 식별하는 단계를 포함한다.
예 395는 예 393의 청구 대상을 포함하며, 하나 이상의 자율 차량에 대한 거동 정책을 수정하는 단계는, 하나 이상의 자율 차량이 식별된 컨텍스트 거동 패턴과 연관된 특정 컨텍스트 내에 있다는 것을 검출하는 것에 기초한다.
예 396은 예 393 내지 예 395 중 어느 하나의 청구 대상을 포함하며, 컨텍스트 데이터는 비정상적 거동을 수행하는 차량의 궤적 정보, 비정상적 거동을 수행하는 차량의 차량 속성, 비정상적 거동을 수행하는 차량의 운전자 속성, 비정상적 거동을 수행하는 차량의 지리적 위치, 비정상적 거동을 수행하는 차량 주변의 기상 상태, 비정상적 거동을 수행하는 차량 주변의 교통 상황을 나타내는 교통 정보 중 하나 이상을 포함한다.
예 397은 예 393 내지 예 396 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 비정상적인 거동 시퀀스는 LCS(Longest Common Subsequences)에 기초해서 식별된다.
예 398은 예 393 내지 예 396의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 399는 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 이 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 393 내지 396 중 어느 하나의 방법의 동작을 수행하게 한다.
예 400은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량에 연결된 복수의 센서로부터 센서 데이터를 수신하고, 센서 데이터에 기초해서 자율 차량 이외의 특정 차량에 의해 수행되는 비정상적인 거동을 검출하며, 특정 차량에 대한 식별자를 생성하고, 비정상적인 거동이 임계값보다 몇 배 더 크게 특정 차량에 의해 수행되는 것을 검출하는 것에 응답해서 자율 차량의 동적 거동 정책을 시작하도록 한다.
예 401은 예 400의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 것은, 특정 차량에 의해 수행되는 관찰된 거동을 자율 차량의 안전 모델과 비교하는 것과, 비교에 기초해서, 관찰된 거동이 자율 차량의 안전 모델을 위반하는지 결정하는 것을 포함한다.
예 402는 예 400의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 것은, 특정 차량에 의해 수행되는 관찰된 거동을 다른 차량에 의해 수행되는 관찰된 거동과 비교하는 것과, 비교에 기초해서, 특정 차량에 의해 수행되는 관찰된 거동이 다른 차량에 의해 수행되는 관찰된 거동으로부터 벗어나는 것을 결정하는 것을 포함한다.
예 403은 예 400의 청구 대상을 포함하며, 특정 차량에 의해 수행되는 비정상적인 거동을 검출하는 것은, 특정 차량에 의해 수행되는 관찰된 거동을 다른 차량에 의해 수행되는 관찰된 거동과 비교하는 것과, 비교에 기초해서, 다른 차량에 의해 수행되는 관찰된 거동이 특정 차량에 의해 수행되는 관찰된 거동에 대한 반응으로 수행된다는 것을 결정하는 것을 포함한다.
예 404는 예 400 내지 예 403 중 어느 하나의 청구 대상을 포함하며, 비정상적인 거동을 검출하는 것은, 센서 데이터의 오디오적 및 시각적 컨텍스트 정보에 기초한다.
예 405는 예 400 내지 예 404 중 어느 하나의 청구 대상을 포함하며, 특정 차량에 대한 식별자를 생성하는 것은, 특정 차량의 각 특징에 대한 값을 획득하는 것과, 값들의 조합에 대해 암호화를 적용해서 식별자를 획득하는 것을 포함한다.
예 406은 예 405의 청구 대상을 포함하며, 값은 자율 차량이 다른 차량을 인식하는데 사용하는 딥 러닝 모델로부터 대표 특징을 추출함으로써 획득된다.
예 407은 예 400 내지 예 406 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 다른 차량에 의한 비정상적인 거동의 검출 빈도를 추적하도록 한다.
예 408은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 복수의 자율 차량으로부터 비정상적 거동 추적 데이터를 수신하고 - 비정상적 거동 추적 데이터는, 차량 식별자, 차량 식별자와 연관된 차량에 의해 수행되는 것으로 관찰되는 연관된 비정상적 거동, 및 비정상적 거동이 자율 차량에 의해 검출된 컨텍스트를 나타내는 컨텍스트 데이터를 포함하는 엔트리를 포함함 - , 하나 이상의 차량에 의해 수행되는 하나 이상의 비정상적인 거동의 시퀀스를 식별하며, 식별된 시퀀스 및 비정상적인 거동 추적 데이터에 기초해서 컨텍스트 거동 패턴을 식별하고, 식별된 컨텍스트 거동 패턴에 기초해서 하나 이상의 자율 차량에 대한 거동 정책을 수정하도록 한다.
예 409는 예 408의 청구 대상을 포함하며, 컨텍스트 거동 패턴을 식별하는 것은, 식별된 시퀀스를 나타내는 제 1 노드 세트 및 컨텍스트 데이터를 나타내는 제 2 노드 세트를 포함하는 컨텍스트 그래프를 생성하는 것 - 컨텍스트 그래프의 에지는 노드 사이의 연관 빈도를 나타냄 - 과, 컨텍스트 그래프를 사용해서 컨텍스트 거동 패턴을 식별하는 것을 포함한다.
예 410은 예 408의 청구 대상을 포함하며, 하나 이상의 자율 차량에 대한 거동 정책을 수정하는 것은, 하나 이상의 자율 차량이 식별된 컨텍스트 거동 패턴과 연관된 특정 컨텍스트 내에 있다는 것을 검출하는 것에 기초한다.
예 411은 예 408 내지 예 410 중 어느 하나의 청구 대상을 포함하며, 컨텍스트 데이터는 비정상적 거동을 수행하는 차량의 궤적 정보, 비정상적 거동을 수행하는 차량의 차량 속성, 비정상적 거동을 수행하는 차량의 운전자 속성, 비정상적 거동을 수행하는 차량의 지리적 위치, 비정상적 거동을 수행하는 차량 주변의 기상 상태, 비정상적 거동을 수행하는 차량 주변의 교통 상황을 나타내는 교통 정보 중 하나 이상을 포함한다.
예 412는 예 408 내지 예 411 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 비정상적인 거동 시퀀스는 LCS(Longest Common Subsequences)에 기초해서 식별된다.
예 413은 방법으로서, 차량 거동 모델로부터, 차량에 대한 제 1 모션 변화의 분류를 수신하는 단계와, 회귀 모델로부터, 주어진 시간 간격 동안 발생하는 차량의 제 1 모션 변화의 가능성에 대한 예측을 수신하는 단계와, 차량 거동 모델로부터 분류를 회귀 모델로부터의 예측과 비교하는 단계와, 비교에 적어도 부분적으로 기초해서 차량에 대한 제 1 모션 변화가 오류라고 결정하는 단계와, 차량에 대한 제 1 모션 변화가 오류라는 결정에 기초해서 차량에 대한 제 1 모션 변화에 영향을 미치는 제 1 제어 신호를 송신하는 단계를 포함한다.
예 414는 예 413의 청구 대상을 포함하며, 차량 거동 모델에서 차량에 대한 제 1 모션 변화를 나타내는 제 1 제어 이벤트를 수신하는 단계와, 차량 내의 하나 이상의 센서로부터의 데이터 및 제 1 제어 이벤트에 적어도 부분적으로 기초해서 제 1 모션 변화의 분류를 생성하는 단계를 포함한다.
예 415는 예 413의 청구 대상을 포함하며, 회귀 모델에서 제 1 제어 이벤트를 수신하는 단계와, 현재 상태를 나타내는 하나 이상의 변수를 획득하는 단계와, 현재 상태를 나타내는 하나 이상의 변수 및 제 1 제어 이벤트에 적어도 부분적으로 기초해서 예측을 생성하는 단계를 포함한다.
예 416은 예 415의 청구 대상을 포함하며, 현재 상태는 적어도 하나의 환경 상태를 포함한다.
예 417은 예 415 또는 예 416의 청구 대상을 포함하며, 현재 상태는 적어도 하나의 차량 상태를 포함한다.
예 418은 예 415 내지 예 417 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 변수 중 적어도 하나는 하나 이상의 원격 소스로부터 획득된다.
예 419는 예 414 내지 예 418 중 어느 하나의 청구 대상을 포함하며, 제 1 제어 이벤트는 제동 액추에이터, 조향 액추에이터 또는 스로틀 액추에이터와 연관된다.
예 420은 예 413 내지 예 419 중 어느 하나의 청구 대상을 포함하며, 차량 거동 모델은 HMM(Hidden Markov Model) 알고리즘이다.
예 421은 예 413 내지 예 420 중 어느 하나의 청구 대상을 포함하고, 회귀 모델은 EM(expectation maximization) 알고리즘이다.
예 422는 예 413 내지 예 421 중 어느 하나의 청구 대상을 포함하며, 오류는 차량의 컴퓨팅 시스템에 대한 악의적인 공격 또는 차량의 컴퓨팅 시스템의 오류 중 하나이다.
예 423은 예 413 내지 예 422의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 424는 명령어를 포함하는 머신 판독 가능 매체로서, 명령어는 실행될 때 예 413 내지 예 422 중 어느 하나의 예와 같은 장치를 실현하거나 방법을 구현한다.
예 425는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량 거동 모델로부터, 차량에 대한 제 1 모션 변화의 분류를 수신하고, 회귀 모델로부터, 주어진 시간 간격 동안 발생하는 차량의 제 1 모션 변화의 가능성에 대한 예측을 수신하며, 차량 거동 모델로부터 분류를 회귀 모델로부터의 예측과 비교하고, 비교에 적어도 부분적으로 기초해서 차량에 대한 제 1 모션 변화가 오류라고 결정하며, 차량에 대한 제 1 모션 변화가 오류라는 결정에 기초해서 차량에 대한 제 1 모션 변화에 영향을 미치는 제 1 제어 신호를 송신하도록 한다.
예 426은 예 425의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량 거동 모델에서 차량에 대한 제 1 모션 변화를 나타내는 제 1 제어 이벤트를 수신하고, 차량 내의 하나 이상의 센서로부터의 데이터 및 제 1 제어 이벤트에 적어도 부분적으로 기초해서 제 1 모션 변화의 분류를 생성하도록 한다.
예 427은 예 425의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 회귀 모델에서 제 1 제어 이벤트를 수신하고, 현재 상태를 나타내는 하나 이상의 변수를 획득하며, 현재 상태를 나타내는 하나 이상의 변수 및 제 1 제어 이벤트에 적어도 부분적으로 기초해서 예측을 생성하도록 한다.
예 428은 예 427의 청구 대상을 포함하며, 현재 상태는 적어도 하나의 환경 상태를 포함한다.
예 429는 예 427 또는 예 428의 청구 대상을 포함하며, 현재 상태는 적어도 하나의 차량 상태를 포함한다.
예 430은 예 427 내지 예 429 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 변수 중 적어도 하나는 하나 이상의 원격 소스로부터 획득된다.
예 431은 예 426 내지 예 430 중 어느 하나의 청구 대상을 포함하며, 제 1 제어 이벤트는 제동 액추에이터, 조향 액추에이터 또는 스로틀 액추에이터와 연관된다.
예 432는 예 425 내지 예 431 중 어느 하나의 청구 대상을 포함하며, 차량 거동 모델은 HMM(Hidden Markov Model) 알고리즘이다.
예 433은 예 425 내지 예 432 중 어느 하나의 청구 대상을 포함하고, 회귀 모델은 EM(expectation maximization) 알고리즘이다.
예 434는 예 425 내지 예 433 중 어느 하나의 청구 대상을 포함하며, 오류는 차량의 컴퓨팅 시스템에 대한 악의적인 공격 또는 차량의 컴퓨팅 시스템의 오류 중 하나이다.
예 435는 방법으로서, 차량의 하나 이상의 센서에 의해 캡처된 데이터로부터 하나 이상의 개체의 인스턴스를 식별하는 단계와, 복수의 카테고리에 대해 인스턴스를 체크하고 복수의 카테고리 중 적어도 하나의 카테고리를 인스턴스에 할당함으로써 인스턴스의 카테고리화를 수행하는 단계와, 인스턴스의 카테고리화에 기초해서 스코어를 결정하는 단계와, 스코어에 적어도 부분적으로 기초하여 인스턴스에 대한 데이터 핸들링 정책을 선택하는 단계와, 결정된 데이터 핸들링 정책에 기초해서 인스턴스를 처리하는 단계를 포함한다.
예 436은 예 435의 청구 대상을 포함하며, 여기서 복수의 카테고리의 카테고리는 하나 이상의 개체의 검출 빈도를 나타내는 카테고리이다.
예 437은 예 436의 청구 대상을 포함하며, 여기서 검출 빈도는 인스턴스의 하나 이상의 기본 센서 데이터 스트림의 캡처와 관련된 특정 컨텍스트 내에서 하나 이상의 개체의 검출 빈도를 나타낸다.
예 438은 예 435 내지 예 437 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 카테고리의 한 카테고리는 인스턴스의 다수의 검출된 개체 사이의 다이버시티 레벨을 나타내는 카테고리이다.
예 439는 예 435 내지 예 438 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 카테고리의 한 카테고리는 인스턴스에 대한 하나 이상의 기본 데이터 스트림의 노이즈 레벨을 나타내는 카테고리이다.
예 440은 예 435 내지 예 439 중 어느 하나의 청구 대상을 포함하며, 이 방법은 인스턴스의 카테고리화 및 하나 이상의 센서에 의해 캡처된 데이터의 컨텍스트에 기초해서 스코어를 결정하는 단계를 더 포함한다.
예 441은 예 435 내지 예 440 중 어느 하나의 청구 대상을 포함하며, 여기서 선택된 데이터 핸들링 정책은 인스턴스 및 인스턴스에 대한 하나 이상의 기본 센서 데이터 스트림을 삭제하는 것이다.
예 442는 예 435 내지 예 440 중 어느 하나의 청구 대상을 포함하며, 여기서 선택된 데이터 핸들링 정책은 개체 검출 모델을 트레이닝하는 데 사용하기 위해 인스턴스 및 인스턴스에 대한 하나 이상의 기본 센서 데이터 스트림을 저장하는 것이다.
예 443은 예 435 내지 예 440 중 어느 하나의 청구 대상을 포함하며, 선택된 데이터 핸들링 정책은 인스턴스의 검출된 이미지와 동일한 타입의 개체인 적어도 하나의 이미지를 포함하는 합성 데이터를 생성하는 것이고, 합성 데이터는 개체 검출 모델을 트레이닝하는 데 사용된다.
예 444는 예 435 내지 예 443 중 어느 하나의 청구 대상을 포함하며, 카테고리화 결과를 머신 학습 트레이닝 모델에 제공하는 단계와, 머신 학습 트레이닝 모델의 파라미터를 차량에 의해 검출된 개체의 카테고리화에 사용하도록 차량의 컴퓨팅 시스템에 제공하는 단계를 더 포함한다.
예 445는 예 435 내지 예 444의 방법 중 하나 이상을 수행하기 위한 컴퓨팅 시스템을 포함하는 차량이다.
예 446은 예 435 내지 예 444의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 447은 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어는 실행될 때 예 C1 내지 예 C10 중 어느 하나의 장치를 실현하거나 방법을 구현한다.
예 448은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 하나 이상의 센서에 의해 캡처된 데이터로부터 하나 이상의 개체의 인스턴스를 식별하고, 복수의 카테고리에 대해 인스턴스를 체크하고 복수의 카테고리 중 적어도 하나의 카테고리를 인스턴스에 할당함으로써 인스턴스의 카테고리화를 수행하며, 인스턴스의 카테고리화에 기초해서 스코어를 결정하고, 스코어에 적어도 부분적으로 기초하여 인스턴스에 대한 데이터 핸들링 정책을 선택하며, 결정된 데이터 핸들링 정책에 기초해서 인스턴스를 처리하도록 한다.
예 449는 예 448의 청구 대상을 포함하며, 여기서 복수의 카테고리의 카테고리는 하나 이상의 개체의 검출 빈도를 나타내는 카테고리이다.
예 450은 예 449의 청구 대상을 포함하며, 여기서 검출 빈도는 인스턴스의 하나 이상의 기본 센서 데이터 스트림의 캡처와 관련된 특정 컨텍스트 내에서 하나 이상의 개체의 검출 빈도를 나타낸다.
예 451은 예 448 내지 예 450 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 카테고리의 한 카테고리는 인스턴스의 다수의 검출된 개체 사이의 다이버시티 레벨을 나타내는 카테고리이다.
예 452는 예 448 내지 예 451 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 카테고리의 한 카테고리는 인스턴스에 대한 하나 이상의 기본 데이터 스트림의 노이즈 레벨을 나타내는 카테고리이다.
예 453은 예 448 내지 예 452 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 인스턴스의 카테고리화 및 하나 이상의 센서에 의해 캡처된 데이터의 컨텍스트에 기초해서 스코어를 결정하도록 한다.
예 454는 예 448 내지 예 453 중 어느 하나의 청구 대상을 포함하며, 여기서 선택된 데이터 핸들링 정책은 인스턴스 및 인스턴스에 대한 하나 이상의 기본 센서 데이터 스트림을 삭제하는 것이다.
예 455는 예 448 내지 예 454 중 어느 하나의 청구 대상을 포함하며, 여기서 선택된 데이터 핸들링 정책은 개체 검출 모델을 트레이닝하는 데 사용하기 위해 인스턴스 및 인스턴스에 대한 하나 이상의 기본 센서 데이터 스트림을 저장하는 것이다.
예 456은 예 448 내지 예 454 중 어느 하나의 청구 대상을 포함하며, 선택된 데이터 핸들링 정책은 인스턴스의 검출된 이미지와 동일한 타입의 개체인 적어도 하나의 이미지를 포함하는 합성 데이터를 생성하는 것이고, 합성 데이터는 개체 검출 모델을 트레이닝하는 데 사용된다.
예 457은 예 448 내지 예 456 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 카테고리화 결과를 머신 학습 트레이닝 모델에 제공하고, 머신 학습 트레이닝 모델의 파라미터를 차량에 의해 검출된 개체의 카테고리화에 사용하도록 차량의 컴퓨팅 시스템에 제공하도록 한다.
예 458은 방법으로서, 차량의 하나 이상의 센서로부터 캡처된 센서 데이터와 연관된 컨텍스트를 식별하는 단계 - 컨텍스트는 복수의 텍스트 키워드를 포함함 - 와, 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 단계와, 컨텍스트의 복수의 텍스트 키워드를 합성 이미지 생성기에 제공하는 단계 - 합성 이미지 생성기는 컨텍스트의 복수의 텍스트 키워드에 기초해서 복수의 이미지를 생성함 - 를 포함한다.
예 459는 예 458의 청구 대상을 포함하고, 합성 이미지 생성기는 GAN(Generative Adversarial Network)이다.
예 460은 예 458 또는 예 459의 청구 대상을 포함하며, 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 단계는, 컨텍스트와 연관된 이용 가능한 센서 데이터의 양을 나타내는 컨텍스트의 흔함 레벨(level of commonness)을 결정하는 단계를 포함한다.
예 461은 예 458 내지 예 460 중 어느 하나의 청구 대상을 포함하며, 여기서 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 단계는, 데이터베이스로부터 결과를 분석해서 식별된 컨텍스트가 현실적인지 여부를 결정하는 단계를 포함한다.
예 462는 예 461의 청구 대상을 포함하며, 데이터베이스는 다양한 인터넷 데이터 소스로부터 획득한 데이터의 컨필레이션을 포함한다.
예 463은 예 461 또는 예 462의 청구 대상을 포함하며, 데이터베이스는 다양한 인터넷 데이터 소스로부터 획득한 이미지 데이터로부터 추출된 복수의 텍스트 키워드를 포함한다.
예 464는 예 458 내지 예 463 중 어느 하나의 청구 대상을 포함하며, 컨텍스트의 흔함 레벨을 결정하는 것에 응답해서, 컨텍스트가 현실적인지 여부를 결정하는 단계를 더 포함하고, 여기서 컨텍스트가 현실적인지 여부는, 컨텍스트의 흔함 레벨을 결정하는 것과는 독립적으로 결정된다.
예 465는 예 458 내지 예 464 중 어느 하나의 청구 대상을 포함하며, 여기서 컨텍스트의 복수의 텍스트 키워드를 합성 이미지 생성기에 제공하는 단계는, 컨텍스트가 낮은 흔함 레벨을 갖지만 여전히 현실적이라는 결정에 응답해서 수행된다.
예 466은 예 458 내지 예 465 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 텍스트 키워드는 차량의 동작 환경을 설명한다.
예 467은 예 458 내지 예 466 중 어느 하나의 청구 대상을 포함하며, 여기서 식별된 컨텍스트와 연관된 센서 데이터 및 합성 이미지 생성기에 의해 생성된 복수의 이미지는, 차량에 대한 하나 이상의 모델을 트레이닝하는 데 사용하기 위해 데이터 세트에 추가된다.
예 468은 예 458 내지 467의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 469는 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어는 실행될 때, 예 458 내지 예 467 중 어느 하나에서 청구된 바와 같은 장치를 구현하거나 방법을 실현한다.
예 470은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 하나 이상의 센서로부터 캡처된 센서 데이터와 연관된 컨텍스트를 식별하고 - 컨텍스트는 복수의 텍스트 키워드를 포함함 - , 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 단계와, 컨텍스트의 복수의 텍스트 키워드를 합성 이미지 생성기에 제공하도록 - 합성 이미지 생성기는 컨텍스트의 복수의 텍스트 키워드에 기초해서 복수의 이미지를 생성함 - 한다.
예 471은 예 470의 청구 대상을 포함하고, 합성 이미지 생성기는 GAN(Generative Adversarial Network)이다.
예 472는 예 470 또는 예 471의 청구 대상을 포함하며, 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 것은, 컨텍스트와 연관된 이용 가능한 센서 데이터의 양을 나타내는 컨텍스트의 흔함 레벨(level of commonness)을 결정하는 것을 포함한다.
예 473은 예 470 내지 예 472 중 어느 하나의 청구 대상을 포함하며, 여기서 컨텍스트에 대한 추가 이미지 데이터가 요구된다고 결정하는 것은, 데이터베이스로부터 결과를 분석해서 식별된 컨텍스트가 현실적인지 여부를 결정하는 것을 포함한다.
예 474는 예 473의 청구 대상을 포함하며, 데이터베이스는 다양한 인터넷 데이터 소스로부터 획득한 데이터의 컨필레이션을 포함한다.
예 475은 예 473 또는 예 474의 청구 대상을 포함하며, 데이터베이스는 다양한 인터넷 데이터 소스로부터 획득한 이미지 데이터로부터 추출된 복수의 텍스트 키워드를 포함한다.
예 476은 예 470 내지 예 475 중 어느 하나의 청구 대상을 포함하며, 컨텍스트의 흔함 레벨을 결정하는 것에 응답해서, 컨텍스트가 현실적인지 여부를 결정하는 것을 더 포함하고, 여기서 컨텍스트가 현실적인지 여부는, 컨텍스트의 흔함 레벨을 결정하는 것과는 독립적으로 결정된다.
예 477은 예 470 내지 예 476 중 어느 하나의 청구 대상을 포함하며, 여기서 컨텍스트의 복수의 텍스트 키워드를 합성 이미지 생성기에 제공하는 것은, 컨텍스트가 낮은 흔함 레벨을 갖지만 여전히 현실적이라는 결정에 응답해서 수행된다.
예 478은 예 470 내지 예 477 중 어느 하나의 청구 대상을 포함하며, 여기서 복수의 텍스트 키워드는 차량의 동작 환경을 설명한다.
예 479는 예 470 내지 예 478 중 어느 하나의 청구 대상을 포함하며, 여기서 식별된 컨텍스트와 연관된 센서 데이터 및 합성 이미지 생성기에 의해 생성된 복수의 이미지는, 차량에 대한 하나 이상의 모델을 트레이닝하는 데 사용하기 위해 데이터 세트에 추가된다.
예 480은 방법으로서, 복수의 이미지 샘플 또는 복수의 오디오 샘플을 포함하는 비나인 데이터 세트에 액세스하는 단계 - 비나인 데이터 세트의 샘플은 알려진 라벨을 가짐 - 와, 복수의 적대적 샘플을 포함하는 시뮬레이션된 공격 데이터 세트를 생성하는 단계 - 적대적 샘플은 비나인 데이터 세트의 샘플에 대해 복수의 상이한 공격 방법을 수행함으로써 생성됨 - 와, 적대적 샘플, 알려진 라벨 및 복수의 비나인 샘플을 사용해서 머신 학습 분류 모델을 트레이닝하는 단계를 포함한다.
예 481은 예 480의 청구 대상을 포함하며, 방법은 차량의 하나 이상의 센서에 의해 검출된 샘플을 분류하는 데 사용하기 위해, 트레이닝된 머신 학습 분류 모델을 차량에 제공하는 단계를 더 포함한다.
예 482는 예 480 또는 예 481의 청구 대상을 포함하며, 여기서 복수의 상이한 공격 방법은 고속 경사 기호 방법, 반복 고속 경사 기호 방법, 딥 풀(deep fool) 방법, 또는 유니버설 적대적 섭동(universal adversarial perturbation) 중 하나 이상을 포함한다.
예 483은 예 480 내지 예 482 중 어느 하나의 청구 대상을 포함하며, 이 방법은 복수의 상이한 공격 방법을 예상 공격 비율에 기초한 비율에 따라 수행함으로써 시뮬레이션된 공격 데이터 세트를 생성하는 단계를 더 포함한다.
예 484는 예 480 내지 예 483 중 어느 하나의 청구 대상을 포함하며, 시뮬레이션된 공격 데이터 세트를 생성하는 것은, 복수의 상이한 공격 방법 중 적어도 하나의 공격 방법에 대해 적어도 하나의 상이한 공격 강도를 이용하는 것을 포함한다.
예 485는 예 480 내지 예 484 중 어느 하나의 청구 대상을 포함하며, 이 방법은 비나인 샘플 대 적대적 샘플의 복수의 비율에 대한 분류 정확도를 측정해서 트레이닝 동안 사용할 비나인 샘플 대 적대적 샘플의 최적 비율을 결정하는 단계를 더 포함한다.
예 486은 예 480 내지 예 485 중 어느 하나의 청구 대상을 포함하며, 이 방법은 트레이닝 동안 적대적 샘플의 오분류에 대해 벌점을 부과하는 단계를 더 포함한다.
예 487은 예 480 내지 예 486 중 어느 하나의 청구 대상을 포함하며, 비나인 데이터 세트는 이미지 샘플의 집합을 포함한다.
예 488는 예 480 내지 예 486 중 어느 하나의 청구 대상을 포함하며, 비나인 데이터 세트는 오디오 샘플의 집합을 포함한다.
예 489는 예 480 내지 예 488의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 490은 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어는 실행될 때 예 480 내지 예 488 중 어느 하나에서 청구된 바와 같은 장치를 실현하거나 방법을 구현한다.
예 491은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 복수의 이미지 샘플 또는 복수의 오디오 샘플을 포함하는 비나인 데이터 세트에 액세스하고 - 비나인 데이터 세트의 샘플은 알려진 라벨을 가짐 - , 복수의 적대적 샘플을 포함하는 시뮬레이션된 공격 데이터 세트를 생성하며 - 적대적 샘플은 비나인 데이터 세트의 샘플에 대해 복수의 상이한 공격 방법을 수행함으로써 생성됨 - , 적대적 샘플, 알려진 라벨 및 복수의 비나인 샘플을 사용해서 머신 학습 분류 모델을 트레이닝하도록 한다.
예 492는 예 491의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 차량의 하나 이상의 센서에 의해 검출된 샘플을 분류하는 데 사용하기 위해, 트레이닝된 머신 학습 분류 모델을 차량에 제공하도록 한다.
예 493은 예 491 또는 예 492의 청구 대상을 포함하며, 여기서 복수의 상이한 공격 방법은 고속 경사 기호 방법, 반복 고속 경사 기호 방법, 딥 풀(deep fool) 방법, 또는 유니버설 적대적 섭동(universal adversarial perturbation) 중 하나 이상을 포함한다.
예 494는 예 491 내지 예 493 중 어느 하나의 청구 대상을 포함하며, 이 방법은 복수의 상이한 공격 방법을 예상 공격 비율에 기초한 비율에 따라 수행함으로써 시뮬레이션된 공격 데이터 세트를 생성하는 단계를 더 포함한다.
예 495는 예 491 내지 예 494 중 어느 하나의 청구 대상을 포함하며, 시뮬레이션된 공격 데이터 세트를 생성하는 것은, 복수의 상이한 공격 방법 중 적어도 하나의 공격 방법에 대해 적어도 하나의 상이한 공격 강도를 이용하는 것을 포함한다.
예 496은 예 491 내지 예 495 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 비나인 샘플 대 적대적 샘플의 복수의 비율에 대한 분류 정확도를 측정해서 트레이닝 동안 사용할 비나인 샘플 대 적대적 샘플의 최적 비율을 결정하도록 한다.
예 497은 예 491 내지 예 496 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한 트레이닝 동안 적대적 샘플의 오분류에 대해 벌점을 부과하도록 한다.
예 498은 예 491 내지 예 497 중 어느 하나의 청구 대상을 포함하며, 비나인 데이터 세트는 이미지 샘플의 집합을 포함한다.
예 499는 예 491 내지 예 497 중 어느 하나의 청구 대상을 포함하며, 비나인 데이터 세트는 오디오 샘플의 집합을 포함한다.
예 500은 방법으로서, 선형 분류기에 의해 차량으로부터의 입력 샘플을 분류하는 단계와, 비선형 분류기에 의해 차량으로부터의 입력 샘플을 분류하는 단계와, 선형 분류기의 정확도 변화를 검출하는 단계와, 선형 분류기의 정확도의 변화에 응답해서 적어도 하나의 액션을 트리거하는 단계를 포함한다.
예 501은 예 500의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 선형 분류기 및 비선형 분류기의 재트레이닝을 포함한다.
예 502는 예 500 또는 예 501의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 최근 분류된 입력 샘플에 기초한 합성 데이터의 생성을 포함한다.
예 503는 예 500 내지 예 502 중 어느 하나의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 입력 샘플에 대한 공격이 이루어졌는지 여부의 결정을 포함한다.
예 504는 예 500 내지 예 503 중 어느 하나의 청구 대상을 포함하며, 여기서 트리거된 적어도 하나의 액션은 최근 분류된 입력 샘플의 랜덤 샘플링, 선형 분류기 및 비선형 분류기를 재트레이닝하는 데 사용되는 랜덤 샘플링, 재트레이닝에 사용되지 않는 최근 분류된 입력 샘플의 다른 샘플을 포함한다.
예 505는 예 500 내지 예 504 중 어느 하나의 청구 대상을 포함하며, 여기서 선형 분류기의 정확도의 변화를 검출하는 단계는, 선형 분류기의 정확도가 임계값 아래로 떨어졌다는 것을 검출하는 단계를 포함한다.
예 506은 예 500 내지 예 505 중 어느 하나의 청구 대상을 포함하고, 이 방법은 비선형 분류기를 사용해서 입력 샘플을 분류하는 것에 적어도 부분적으로 기초해서 개체 검출을 수행하는 단계를 더 포함한다.
예 507은 예 500 내지 예 506 중 어느 하나의 청구 대상을 포함하고, 입력 샘플은 차량의 하나 이상의 센서로부터 수집된다.
예 508은 예 500 내지 예 507의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 509는 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어는 실행될 때 예 500 내지 예 507 중 어느 하나에서 청구된 바와 같은 장치를 실현하거나 방법을 구현한다.
예 510은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 선형 분류기에 의해 차량으로부터의 입력 샘플을 분류하고, 비선형 분류기에 의해 차량으로부터의 입력 샘플을 분류하며, 선형 분류기의 정확도 변화를 검출하고, 선형 분류기의 정확도의 변화에 응답해서 적어도 하나의 액션을 트리거하도록 한다.
예 511은 예 510의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 선형 분류기 및 비선형 분류기의 재트레이닝을 포함한다.
예 512는 예 510 또는 예 511의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 최근 분류된 입력 샘플에 기초한 합성 데이터의 생성을 포함한다.
예 513는 예 510 내지 예 512 중 어느 하나의 청구 대상을 포함하며, 트리거된 적어도 하나의 액션은 입력 샘플에 대한 공격이 이루어졌는지 여부의 결정을 포함한다.
예 514는 예 510 내지 예 513 중 어느 하나의 청구 대상을 포함하며, 여기서 트리거된 적어도 하나의 액션은 최근 분류된 입력 샘플의 랜덤 샘플링, 선형 분류기 및 비선형 분류기를 재트레이닝하는 데 사용되는 랜덤 샘플링, 재트레이닝에 사용되지 않는 최근 분류된 입력 샘플의 다른 샘플을 포함한다.
예 515는 예 510 내지 예 514 중 어느 하나의 청구 대상을 포함하며, 여기서 선형 분류기의 정확도의 변화를 검출하는 것은, 선형 분류기의 정확도가 임계값 아래로 떨어졌다는 것을 검출하는 것을 포함한다.
예 516은 예 510 내지 예 515 중 어느 하나의 청구 대상을 포함하고, 명령어는 머신으로 하여금 또한, 비선형 분류기를 사용해서 입력 샘플을 분류하는 것에 적어도 부분적으로 기초해서 개체 검출을 수행하도록 한다.
예 517은 예 510 내지 예 516 중 어느 하나의 청구 대상을 포함하고, 입력 샘플은 차량의 하나 이상의 센서로부터 수집된다.
예 518은 방법으로서, 차량에 대한 사람의 입력에 응답해서 하나 이상의 제 1 제어 신호 세트를 생성하는 단계와, 하나 이상의 제 1 제어 신호 세트가 수용 불가능한 가속을 유발할 것이라는 결정에 응답해서, 수용 가능한 가속을 식별하는 단계와, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하는 단계와, 하나 이상의 제 1 제어 신호 세트 대신에 하나 이상의 제 2 제어 신호 세트를 차량 가동 시스템에 제공하는 단계를 포함한다.
예 519는 예 518의 청구 대상을 포함하며, 수용 가능한 가속 값의 범위를 수신하는 단계와, 수용 가능한 가속 값의 범위로부터 수용 가능한 가속을 식별하는 단계를 포함한다.
예 520은 예 519의 청구 대상을 포함하며, 수용 가능한 가속 값의 범위는 사고 방지 수학적 모델에 따라 결정된다.
예 521은 예 519 또는 예 520의 청구 대상을 포함하며, 수용 가능한 가속 값의 범위는 책임 민감성 안전(Responsibility-Sensitive Safety) 모델에 따라 결정된다.
예 522는 예 518 내지 예 521 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 제어 신호가 수용 불가능한 가속을 유발할 것이라고 결정하는 것은, 머신 학습 모델을 사용해서 하나 이상의 제어 신호를 예상 가속으로 변환하는 것을 포함한다.
예 523은 예 518 내지 예 522 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하는 단계는, 차량과 관련된 컨텍스트에 기초해서 수용 가능한 가속을 변환하는 단계를 포함하고, 컨텍스트는 차량의 하나 이상의 센서를 통해 수신된 입력에 기초해서 결정된다.
예 524는 예 523의 청구 대상을 포함하며, 차량의 하나 이상의 센서를 통해 수신된 입력은 도로 상태, 기상 상태, 타이어 상태 또는 도로 레이아웃 중 하나 이상을 나타낸다.
예 525는 예 518 내지 예 524 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하는 단계는, 차량의 중량에 기초해서 수용 가능한 가속으로 변환하는 단계를 포함한다.
예 526은 예 518 내지 예 525 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 식별하는 단계는, 차량의 운전자에 의해 제공되는 수용 가능한 가속의 범위로부터의 정책 정보에 기초해서, 수용 가능한 가속을 선택하는 단계를 포함한다.
예 527은 예 518 내지 예 526 중 어느 하나의 청구 대상을 포함하며, 차량에 대한 사람의 입력에 응답해서 하나 이상의 제 3 제어 신호 세트를 생성하는 단계와, 하나 이상의 제 3 제어 신호 세트가 수용 가능한 가속을 유발할 것이라는 결정에 응답해서 하나 이상의 제 3 제어 신호 세트를 변경되지 않은 상태로 차량 가동 시스템에 제공하는 단계를 포함한다.
예 528은 예 518 내지 예 527의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 529는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량에 대한 사람의 입력에 응답해서 하나 이상의 제 1 제어 신호 세트를 생성하고, 하나 이상의 제 1 제어 신호 세트가 수용 불가능한 가속을 유발할 것이라는 결정에 응답해서, 수용 가능한 가속을 식별하며, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하고, 하나 이상의 제 1 제어 신호 세트 대신에 하나 이상의 제 2 제어 신호 세트를 차량 가동 시스템에 제공하도록 한다.
예 530은 예 529의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 수용 가능한 가속 값의 범위를 수신하고, 수용 가능한 가속 값의 범위로부터 수용 가능한 가속을 식별하도록 한다.
예 531은 예 530의 청구 대상을 포함하며, 수용 가능한 가속 값의 범위는 사고 방지 수학적 모델에 따라 결정된다.
예 532는 예 530 또는 예 531의 청구 대상을 포함하며, 수용 가능한 가속 값의 범위는 책임 민감성 안전(Responsibility-Sensitive Safety) 모델에 따라 결정된다.
예 533은 예 529 내지 예 532 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 제어 신호가 수용 불가능한 가속을 유발할 것이라고 결정하는 것은, 머신 학습 모델을 사용해서 하나 이상의 제어 신호를 예상 가속으로 변환하는 것을 포함한다.
예 534는 예 529 내지 예 533 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하는 것은, 차량과 관련된 컨텍스트에 기초해서 수용 가능한 가속을 변환하는 것을 포함하고, 컨텍스트는 차량의 하나 이상의 센서를 통해 수신된 입력에 기초해서 결정된다.
예 535는 예 534의 청구 대상을 포함하며, 차량의 하나 이상의 센서를 통해 수신된 입력은 도로 상태, 기상 상태, 타이어 상태 또는 도로 레이아웃 중 하나 이상을 나타낸다.
예 536은 예 529 내지 예 535 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 하나 이상의 제 2 제어 신호 세트로 변환하는 것은, 차량의 중량에 기초해서 수용 가능한 가속으로 변환하는 것을 포함한다.
예 537은 예 529 내지 예 536 중 어느 하나의 청구 대상을 포함하며, 수용 가능한 가속을 식별하는 것은, 차량의 운전자에 의해 제공되는 수용 가능한 가속의 범위로부터의 정책 정보에 기초해서, 수용 가능한 가속을 선택하는 것을 포함한다.
예 538은 예 529 내지 예 537 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량에 대한 사람의 입력에 응답해서 하나 이상의 제 3 제어 신호 세트를 생성하고, 하나 이상의 제 3 제어 신호 세트가 수용 가능한 가속을 유발할 것이라는 결정에 응답해서 하나 이상의 제 3 제어 신호 세트를 변경되지 않은 상태로 차량 가동 시스템에 제공하도록 한다.
예 539는 방법으로서, 차량의 컴퓨팅 시스템에 의해, 센서 데이터 및 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정하는 단계와, 신호 품질 메트릭에 기초해서, 차량 제어의 핸드오프와 관련된 안전의 가능성을 결정하는 단계와, 안전의 가능성에 기초해서 차량의 제어의 핸드오프를 방지하거나 혹은 차량의 제어의 핸드오프를 개시하는 단계를 포함한다.
예 540은 예 539의 청구 대상을 포함하고, 머신 학습 모델을 사용해서 센서 데이터에 기초해서 센서 데이터의 컨텍스트를 결정하는 단계를 더 포함한다.
예 541은 예 539 또는 예 540의 청구 대상을 포함하며, 머신 학습 모델을 사용해서 신호 품질 메트릭에 기초해서 안전 가능성을 결정하는 단계를 더 포함한다.
예 542는 예 539 내지 예 541 중 어느 하나의 청구 대상을 포함하며, 머신 학습 모델을 사용해서 센서 데이터 및 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정하는 단계를 더 포함한다.
예 543은 예 539 내지 예 542 중 어느 하나의 청구 대상을 포함하며, 차량이 자율적으로 제어되는 동안 차량의 제어의 핸드오프와 관련된 안전 가능성을 주기적으로 결정하는 단계를 더 포함한다.
예 544는 예 539 내지 예 543 중 어느 하나의 청구 대상을 포함하며, 차량의 제어를 핸드오프하는 인간 주행자의 요청에 응답해서, 차량 제어의 핸드오프와 관련된 안전 가능성을 결정하는 단계를 더 포함한다.
예 545는 예 539 내지 예 544 중 어느 하나의 청구 대상을 포함하며, 그 영역의 고화질 맵을 차량이 사용할 수 없는 영역에 차량이 진입하는 것에 응답해서, 차량 제어의 핸드오프와 관련된 안전 가능성을 결정하는 단계를 더 포함한다.
예 546은 예 539 내지 예 545 중 어느 하나의 청구 대상을 포함하며, 신호 품질 메트릭은 센서 데이터의 신호 대 잡음 비를 적어도 부분적으로 나타낸다.
예 547은 예 539 내지 예 546 중 어느 하나의 청구 대상을 포함하며, 신호 품질 메트릭은 센서 데이터의 해상도를 적어도 부분적으로 나타낸다.
예 548은 예 539 내지 예 547의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 549는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 컴퓨팅 시스템에 의해, 센서 데이터 및 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정하고, 신호 품질 메트릭에 기초해서, 차량 제어의 핸드오프와 관련된 안전의 가능성을 결정하며, 안전의 가능성에 기초해서 차량의 제어의 핸드오프를 방지하거나 혹은 차량의 제어의 핸드오프를 개시하도록 한다.
예 550은 예 549의 청구 대상을 포함하고, 명령어는 머신으로 하여금 또한, 머신 학습 모델을 사용해서 센서 데이터에 기초해서 센서 데이터의 컨텍스트를 결정하도록 한다.
예 551은 예 549 또는 예 550의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 머신 학습 모델을 사용해서 신호 품질 메트릭에 기초해서 안전 가능성을 결정하도록 한다.
예 552는 예 549 내지 예 551 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 머신 학습 모델을 사용해서 센서 데이터 및 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정하도록 한다.
예 553은 예 549 내지 예 552 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량이 자율적으로 제어되는 동안 차량의 제어의 핸드오프와 관련된 안전 가능성을 주기적으로 결정하도록 한다.
예 554는 예 549 내지 예 553 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량의 제어를 핸드오프하는 인간 주행자의 요청에 응답해서, 차량 제어의 핸드오프와 관련된 안전 가능성을 결정하도록 한다.
예 555는 예 549 내지 예 554 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 그 영역의 고화질 맵을 차량이 사용할 수 없는 영역에 차량이 진입하는 것에 응답해서, 차량 제어의 핸드오프와 관련된 안전 가능성을 결정하도록 한다.
예 556은 예 549 내지 예 555 중 어느 하나의 청구 대상을 포함하며, 신호 품질 메트릭은 센서 데이터의 신호 대 잡음 비를 적어도 부분적으로 나타낸다.
예 557은 예 549 내지 예 556 중 어느 하나의 청구 대상을 포함하며, 신호 품질 메트릭은 센서 데이터의 해상도를 적어도 부분적으로 나타낸다.
예 558은 방법으로서, 차량 내부에 위치된 적어도 하나의 센서로부터 센서 데이터를 수집하는 단계와, 센서 데이터를 분석해서 차량 내부의 사람의 신체 상태를 결정하는 단계와, 사람의 신체 상태에 적어도 부분적으로 기초해서 핸드오프 판정을 생성하는 단계를 포함하되, 핸드오프 판정은 그 사람이 차량을 안전하게 주행할 수 있을 것으로 예상되는지 여부를 나타낸다.
예 559는 예 558의 청구 대상을 포함하며, 차량 내부의 사람의 과거 주행 데이터를 식별하는 단계와, 그 사람의 과거 주행 데이터에 더 기초해서 핸드오프 판정을 생성하는 단계를 더 포함한다.
예 560은 예 558 또는 예 559의 청구 대상을 포함하며, 센서 데이터를 분석해서 차량 외부의 상태를 나타내는 컨텍스트를 결정하는 단계와, 컨텍스트에 더 기초해서 핸드오프 판정을 생성하는 단계를 더 포함한다.
예 561은 예 558 내지 예 560 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 이미지 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 562는 예 558 내지 예 561 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 오디오 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 563은 예 558 내지 예 562 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 온도 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 564는 예 558 내지 예 563 중 어느 하나의 청구 대상을 포함하고, 차량 내부의 사람의 신체 상태는 촉각 센서로부터의 압력 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 565는 예 558 내지 예 564 중 어느 하나의 청구 대상을 포함하고, 차량 내부의 사람의 신체 상태는 사람이 착용한 핼쓰 트래킹 장치로부터 수신된 데이터에 적어도 부분적으로 기초한다.
예 566은 예 558 내지 예 565 중 임의의 청구 대상을 포함하며, 센서 데이터에 기초해서, 차량 내부의 사람에 의해 수행되는 특정 활동을 결정하는 단계를 더 포함하고, 차량 내부의 사람의 신체 상태는, 결정된 활동에 적어도 부분적으로 기초한다.
예 567은 예 558 내지 예 566 중 어느 하나의 청구 대상을 포함하며, 센서 데이터의 오디오 데이터를 전처리해서 차량 내부의 사람 또는 한 명 이상의 승객에 의해 발생되는 소리를 분리하는 단계를 더 포함하고, 차량 내부의 사람의 신체 상태는 전처리된 오디오 데이터에 적어도 부분적으로 기초한다.
예 568은 예 558 내지 예 567 중 어느 하나의 청구 대상을 포함하며, 센서 데이터는, 차량에서 재생되는 미디어, 차량 내부의 조도, 사람과 하나 이상의 대시 보드 컨트롤 사이의 상호 작용의 양, 캐빈 내 온도 제어 시스템의 상태인 창 개구 레벨, 또는 사람의 전화 상태 중 하나 이상을 포함한다.
예 569는 예 558 내지 예 568 중 어느 하나의 청구 대상을 포함하며, 사람의 신체 상태는 센서 데이터를 입력으로 사용하는 머신 학습 알고리즘을 사용하여 수행된다.
예 570은 예 558 내지 예 569 중 어느 하나의 청구 대상을 포함하며, 머신 학습 알고리즘을 사용해서 핸드오프 판정을 생성하는 단계를 더 포함한다.
예 571은 예 558 내지 예 570의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 572는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량 내부에 위치된 적어도 하나의 센서로부터 센서 데이터를 수집하고, 센서 데이터를 분석해서 차량 내부의 사람의 신체 상태를 결정하며, 사람의 신체 상태에 적어도 부분적으로 기초해서 핸드오프 판정을 생성하도록 하되, 핸드오프 판정은 그 사람이 차량을 안전하게 주행할 수 있을 것으로 예상되는지 여부를 나타낸다.
예 573은 예 572의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량 내부의 사람의 과거 주행 데이터를 식별하고, 그 사람의 과거 주행 데이터에 더 기초해서 핸드오프 판정을 생성하도록 한다.
예 574는 예 572 또는 예 573의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 센서 데이터를 분석해서 차량 외부의 상태를 나타내는 컨텍스트를 결정하고, 컨텍스트에 더 기초해서 핸드오프 판정을 생성하도록 한다.
예 575는 예 572 내지 예 574 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 이미지 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 576은 예 572 내지 예 575 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 오디오 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 577은 예 572 내지 예 576 중 어느 하나의 청구 대상을 포함하며, 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 온도 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 578은 예 572 내지 예 577 중 어느 하나의 청구 대상을 포함하고, 차량 내부의 사람의 신체 상태는 촉각 센서로부터의 압력 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 579는 예 572 내지 예 578 중 어느 하나의 청구 대상을 포함하고, 차량 내부의 사람의 신체 상태는 사람이 착용한 건강 추적 장치로부터 수신된 데이터에 적어도 부분적으로 기초한다.
예 580은 예 572 내지 예 579 중 임의의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 센서 데이터에 기초해서, 차량 내부의 사람에 의해 수행되는 특정 활동을 결정하도록 하고, 차량 내부의 사람의 신체 상태는, 결정된 활동에 적어도 부분적으로 기초한다.
예 581은 예 572 내지 예 580 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 센서 데이터의 오디오 데이터를 전처리해서 차량 내부의 사람 또는 한 명 이상의 승객에 의해 발생되는 소리를 분리하도록 하고, 차량 내부의 사람의 신체 상태는 전처리된 오디오 데이터에 적어도 부분적으로 기초한다.
예 582은 예 572 내지 예 581 중 어느 하나의 청구 대상을 포함하며, 센서 데이터는, 차량에서 재생되는 미디어, 차량 내부의 조도, 사람과 하나 이상의 대시 보드 컨트롤 사이의 상호 작용의 양, 캐빈 내 온도 제어 시스템의 상태인 창 개구 레벨, 또는 사람의 전화 상태 중 하나 이상을 포함한다
예 583은 예 572 내지 예 582 중 어느 하나의 청구 대상을 포함하며, 사람의 신체 상태는 센서 데이터를 입력으로 사용하는 머신 학습 알고리즘을 사용하여 수행된다.
예 584는 예 572 내지 예 583 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 머신 학습 알고리즘을 사용해서 핸드오프 판정을 생성하도록 한다.
예 585는 방법으로서, 자율 차량의 제어기에 의해, 자율 차량을 자율 주행 모드에서 동작시키는 단계와, 제어기 이외의 엔티티에 의해 자율 차량 제어 인수 요청을 수신하는 단계와, 자율 차량 제어 인수 요청을 수신하는 것에 응답해서 요청하는 엔티티에 크리덴셜을 프롬프트하는 단계와, 프롬프트에 응답해서 입력을 수신하는 단계와, 수신된 입력에 기초해서 요청하는 엔티티를 인증하는 것에 응답해서 요청이 자율 차량 제어 인수 요청을 허용하는 단계를 포함한다.
예 586은 예 585의 청구 대상을 포함하며, 요청하는 엔티티에 크리덴셜을 프롬프트하는 단계는, 인증을 위해 생체 인식을 제공하도록 요청하는 엔티티에 프롬프트하는 것을 포함한다.
예 587은 예 586의 청구 대상을 포함하고, 생체 인식은 지문, 음성 인식을 위한 음성 샘플, 얼굴 인식을 위한 얼굴 샘플 중 하나 이상을 포함한다.
예 588은 예 585 내지 예 587 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량 내부의 사람을 포함한다.
예 589는 예 585 내지 예 587 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량으로부터 이격된 사람을 포함한다.
예 590은 예 585 내지 예 587 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량에 근접한 하나 이상의 다른 자율 차량을 포함한다.
예 591은 예 585 내지 예 590의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 592는 방법으로서, 자율 차량이 사람의 입력에 기초해서 제어되는 수동 동작 모드에서 자율 차량을 동작시키는 단계와, 자율 차량 내부의 복수의 센서로부터 센서 데이터를 수신하는 단계와, 센서 데이터의 분석에 기초해서 인간 입력이 안전하지 않다는 것을 검출하는 단계와, 안전하지 않은 인간 입력을 검출하는 것에 응답해서, 자율 차량을 자율 동작 모드에서 동작시키는 단계를 포함한다.
예 593은 예 592의 청구 대상을 포함하며, 인간 입력이 안전하지 않다는 것을 검출하는 단계는, 입력을 제공하는 인간이 주의가 산만하다는 결정, 입력을 제공하는 인간이 다쳤다는 결정 및 입력을 제공하는 인간은 무의식적이라는 결정 중 하나 이상을 포함한다.
예 594는 예 592 내지 예 593의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 595는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량의 제어기에 의해, 자율 차량을 자율 주행 모드에서 동작시키고, 제어기 이외의 엔티티에 의해 자율 차량 제어 인수 요청을 수신하며, 자율 차량 제어 인수 요청을 수신하는 것에 응답해서 요청하는 엔티티에 크리덴셜을 프롬프트하고, 프롬프트에 응답해서 입력을 수신하며, 수신된 입력에 기초해서 요청하는 엔티티를 인증하는 것에 응답해서 요청이 자율 차량 제어 인수 요청을 허용하도록 한다.
예 596은 예 595의 청구 대상을 포함하며, 요청하는 엔티티에 크리덴셜을 프롬프트하는 것은, 인증을 위해 생체 인식을 제공하도록 요청하는 엔티티에 프롬프트하는 것을 포함한다.
예 597은 예 596의 청구 대상을 포함하고, 생체 인식은 지문, 음성 인식을 위한 음성 샘플, 얼굴 인식을 위한 얼굴 샘플 중 하나 이상을 포함한다.
예 598은 예 595 내지 예 597 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량 내부의 사람을 포함한다.
예 599는 예 595 내지 예 597 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량으로부터 이격된 사람을 포함한다.
예 600은 예 595 내지 예 597 중 어느 하나의 청구 대상을 포함하며, 요청하는 엔티티는 자율 차량에 근접한 하나 이상의 다른 자율 차량을 포함한다.
예 601은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량이 사람의 입력에 기초해서 제어되는 수동 동작 모드에서 자율 차량을 동작시키고, 자율 차량 내부의 복수의 센서로부터 센서 데이터를 수신하며, 센서 데이터의 분석에 기초해서 인간 입력이 안전하지 않다는 것을 검출하고, 안전하지 않은 인간 입력을 검출하는 것에 응답해서, 자율 차량을 자율 동작 모드에서 동작시키도록 한다.
예 602는 예 601의 청구 대상을 포함하며, 인간 입력이 안전하지 않다는 것을 검출하는 것은, 입력을 제공하는 인간이 주의가 산만하다는 결정, 입력을 제공하는 인간이 다쳤다는 결정 및 입력을 제공하는 인간은 무의식적이라는 결정 중 하나 이상을 포함한다.
예 603은 방법으로서, 자율 차량의 제어 시스템에 의해, 자율 차량에 연결된 복수의 센서로부터 획득된 센서 데이터에 기초해서 자율 동작 모드에서 자율 차량을 동작시키는 단계와, 자율 차량의 제어 시스템에 의해, 자율 차량의 승객에 의한 인수 요청을 검출하는 단계와, 자율 차량의 제어 시스템에 의해, 요청된 인수가 안전한지 여부를 센서 데이터에 기초해서 결정하는 단계와, 요청된 인수가 안전하지 않다는 결정에 응답해서 요청된 인수를 차단하는 단계를 포함한다.
예 604는 예 603의 청구 대상을 포함하며, 요청 인수가 안전하지 않다는 결정에 응답해서 자율 동작 모드를 수정하는 단계를 더 포함한다.
예 605는 예 604의 청구 대상을 포함하며, 결정에 응답해서 승객에게 입력을 프롬프트하는 단계와, 프롬프트에 응답해서 승객으로부터 입력을 수신하는 단계를 더 포함하되, 자율 동작 모드를 수정하는 것은 수신된 입력에 기초한다.
예 606은 예 603의 청구 대상을 포함하며, 자율 차량에 연결된 복수의 센서는 자율 차량 내부의 내부 센서를 포함하고, 요청된 인수가 안전한지 여부를 결정하는 것은 내부 센서로부터 수신된 센서 데이터에 기초한다.
예 607은 예 606의 청구 대상을 포함하며, 내부 센서는 카메라 및 마이크 중 하나 이상을 포함한다.
예 608은 예 603 내지 예 607 중 어느 하나의 청구 대상을 포함하며, 요청된 인수가 규칙적이라는 결정에 응답해서 인수 요청을 허용하는 단계를 더 포함한다.
예 609는 예 603 내지 예 607 중 어느 하나의 청구 대상을 포함하며, 요청된 인수가 안전하지 않다는 결정에 응답해서 인수 요청을 차단하는 단계를 더 포함한다.
예 610은 예 603 내지 예 609 중 어느 하나의 청구 대상을 포함하며, 요청된 인수가 안전하지 않은지 여부를 결정하는 것은 자율 주행 파이프라인의 검지/인지 동안 수행된다.
예 611은 예 603 내지 예 609 중 어느 하나의 청구 대상을 포함하며, 요청된 인수를 차단하는 것은 자율 주행 파이프라인의 액션/제어 동안 수행된다.
예 612는 예 605의 청구 대상을 포함하며, 자율 동작 모드의 수정은 자율 주행 파이프라인의 계획 단계 동안 수행된다.
예 613은 예 603 내지 예 612의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 614는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량의 제어 시스템에 의해, 자율 차량에 연결된 복수의 센서로부터 획득된 센서 데이터에 기초해서 자율 동작 모드에서 자율 차량을 동작시키고, 자율 차량의 제어 시스템에 의해, 자율 차량의 승객에 의한 인수 요청을 검출하며, 자율 차량의 제어 시스템에 의해, 센서 데이터에 기초해서 요청된 인수가 안전한지 여부를 결정하고, 요청된 인수가 안전하지 않다는 결정에 응답해서 요청된 인수를 차단하도록 한다.
예 615는 예 614의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 요청 인수가 안전하지 않다는 결정에 응답해서 자율 동작 모드를 수정하도록 한다.
예 616은 예 615의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 결정에 응답해서 승객에게 입력을 프롬프트하고, 프롬프트에 응답해서 승객으로부터 입력을 수신하도록 하되, 자율 동작 모드를 수정하는 것은 수신된 입력에 기초한다.
예 617은 예 614의 청구 대상을 포함하며, 자율 차량에 연결된 복수의 센서는 자율 차량 내부의 내부 센서를 포함하고, 요청된 인수가 안전한지 여부를 결정하는 것은 내부 센서로부터 수신된 센서 데이터에 기초한다.
예 618은 예 617의 청구 대상을 포함하며, 내부 센서는 카메라 및 마이크 중 하나 이상을 포함한다.
예 619는 예 614 내지 예 618 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 요청된 인수가 규칙적이라는 결정에 응답해서 인수 요청을 허용하도록 한다.
예 620은 예 614 내지 예 618 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 요청된 인수가 안전하지 않다는 결정에 응답해서 인수 요청을 차단하도록 한다.
예 621은 예 614 내지 예 620 중 어느 하나의 청구 대상을 포함하며, 요청된 인수가 안전하지 않은지 여부를 결정하는 것은 자율 주행 파이프라인의 검지/인지 동안 수행된다.
예 622는 예 614 내지 예 620 중 어느 하나의 청구 대상을 포함하며, 요청된 인수를 차단하는 것은 자율 주행 파이프라인의 액션/제어 동안 수행된다.
예 623은 예 616의 청구 대상을 포함하며, 자율 동작 모드의 수정은 자율 주행 파이프라인의 계획 단계 동안 수행된다.
예 624는 방법으로서, 지도 시스템에 의해, 자율 차량의 적어도 하나의 서브 시스템을 모니터하는 단계와, 지도 시스템에 의해, 적어도 하나의 서브 시스템의 모니터링에 기초해서 제 1 자율 레벨로부터 제 2 자율 레벨로의 자율 차량의 자율 레벨의 변경을 개시하는 단계를 포함한다.
예 625는 예 624의 청구 대상을 포함하며, 자율 차량의 자율 레벨의 변경을 원격 감시 시스템에 통신하는 단계를 더 포함한다.
예 626은 예 624 또는 예 625의 청구 대상을 포함하며, 시간 경과에 따른 자율 레벨 및 센서 상태의 이력을 기록하는 단계를 더 포함한다.
예 627은 예 624 내지 예 626 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 센서 서브 시스템을 포함하고, 자율 레벨의 변경은 센서 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 628은 예 624 내지 예 627 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 계획 서브 시스템을 포함하고, 자율 레벨의 변경은 계획 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 629는 예 624 내지 예 628 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 실행 서브 시스템을 포함하고, 자율 레벨의 변경은 실행 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 630은 예 624 내지 예 629 중 어느 하나의 청구 대상을 포함하며, 지도 시스템은 적어도 하나의 서브 시스템의 기능적 보증을 모니터하는 것이다.
예 631은 예 624 내지 예 630 중 어느 하나의 청구 대상을 포함하며, 포괄적인 인지 지도 시스템은 적어도 하나의 서브 시스템의 품질 보증을 모니터한다.
예 632는 예 624 내지 예 631의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 633은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 지도 시스템에 의해, 자율 차량의 적어도 하나의 서브 시스템을 모니터하고, 지도 시스템에 의해, 적어도 하나의 서브 시스템의 모니터링에 기초해서 제 1 자율 레벨로부터 제 2 자율 레벨로의 자율 차량의 자율 레벨의 변경을 개시하도록 한다.
예 634는 예 633의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량의 자율 레벨의 변경을 원격 감시 시스템에 통신하도록 한다.
예 635는 예 633 또는 예 634의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 시간 경과에 따른 자율 레벨 및 센서 상태의 이력을 기록하도록 한다.
예 636은 예 633 내지 예 635 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 센서 서브 시스템을 포함하고, 자율 레벨의 변경은 센서 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 637은 예 633 내지 예 636 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 계획 서브 시스템을 포함하고, 자율 레벨의 변경은 계획 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 638은 예 633 내지 예 637 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 서브 시스템은 실행 서브 시스템을 포함하고, 자율 레벨의 변경은 실행 서브 시스템의 변경에 적어도 부분적으로 기초한다.
예 639는 예 633 내지 예 639 중 어느 하나의 청구 대상을 포함하며, 지도 시스템은 적어도 하나의 서브 시스템의 기능적 보증을 모니터하는 것이다.
예 640은 예 633 내지 예 639 중 어느 하나의 청구 대상을 포함하며, 포괄적인 인지 지도 시스템은 적어도 하나의 서브 시스템의 품질 보증을 모니터한다.
예 641은 방법으로서, 자율 차량의 시스템 오류를 결정하는 단계와, 자율 차량의 자율 레벨이, 운전자 인수를 요청하지 않는 제 1 레벨로 감소될 수 있다고 결정하는 단계와, 자율성 레벨이 제 1 레벨로 감소될 것이라고 운전자에게 경고하는 단계와, 자율성 레벨을 제 1 레벨로 감소시키는 단계를 포함한다.
예 642는 예 641의 청구 대상을 포함하며, 자율 차량의 추가적인 시스템 오류가 있다고 결정하는 단계와, 자율 레벨이 제 2 레벨로 감소될 수 있다고 결정하는 단계와, 자율성 레벨이 제 2 레벨로 감소될 것이라고 운전자에게 경고하는 단계와, 자율성 레벨을 제 2 레벨로 감소시키는 단계를 더 포함한다.
예 643은 예 641 또는 예 642의 청구 대상을 포함하며, 운전자의 계약을 확인하는 단계를 더 포함한다.
예 644는 예 643의 청구 대상을 포함하며, 운전자의 계약을 확인하는 단계는 운전자를 모니터하는 단계를 포함한다.
예 645는 예 641 내지 예 644 중 어느 하나의 청구 대상을 포함하며, 자율 차량의 추가적인 시스템 오류가 있다는 것을 결정하는 단계와, 차량의 자율성이 비활성화되어야 한다고 결정하는 단계와, 차량의 자율성이 비활성화되어야 한다는 결정에 응답해서 운전자로의 핸드오프를 시도하는 단계를 더 포함한다.
예 646은 예 645의 청구 대상을 포함하며, 핸드오프가 성공적인지 결정하는 단계를 더 포함한다.
예 647은 예 646의 청구 대상을 포함하며, 핸드오프가 성공적이면, 차량의 자율성을 비활성화하는 단계를 더 포함한다.
예 648은 예 646의 청구 대상을 포함하며, 핸드오프가 성공적이지 않은 경우, 비상 시스템을 활성화하는 단계를 더 포함한다.
예 649는 예 648의 청구 대상을 포함하며, 비상 시스템은 자율 차량을 안전한 정지 상태로 하는 것이다.
예 650은 예 641 내지 예 649 중 어느 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 651은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량의 시스템 오류를 결정하고, 자율 차량의 자율 레벨이, 운전자 인수를 요청하지 않는 제 1 레벨로 감소될 수 있다고 결정하며, 자율성 레벨이 제 1 레벨로 감소될 것이라고 운전자에게 경고하며, 자율성 레벨을 제 1 레벨로 감소시키도록 한다.
예 652는 예 651의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 자율 차량의 추가적인 시스템 오류가 있다고 결정하고, 자율 레벨이 제 2 레벨로 감소될 수 있다고 결정하며, 자율성 레벨이 제 2 레벨로 감소될 것이라고 운전자에게 경고하고, 자율성 레벨을 제 2 레벨로 감소시키도록 한다.
예 653은 예 651 또는 예 652의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 운전자의 계약을 확인하도록 한다.
예 654는 예 653의 청구 대상을 포함하며, 운전자의 계약을 확인하는 것은 운전자를 모니터하는 것을 포함한다.
예 655는 예 651 내지 예 654 중 어느 하나의 청구 대상을 포함하며, 자율 차량의 추가적인 시스템 오류가 있다고 결정하고, 차량의 자율성이 비활성화되어야 한다고 결정하며, 차량의 자율성이 비활성화되어야 한다는 결정에 응답해서 운전자로의 핸드오프를 시도하도록 한다.
예 656은 예 655의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 핸드오프가 성공적인지 결정하도록 한다.
예 657은 예 656의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 핸드오프가 성공적이면, 차량의 자율성을 비활성화하도록 한다.
예 658은 예 656의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 핸드오프가 성공적이지 않은 경우, 비상 시스템을 활성화하도록 한다.
예 659는 예 658의 청구 대상을 포함하며, 비상 시스템은 자율 차량을 안전한 정지 상태로 하는 것이다.
예 660은 방법으로서, 이미지 데이터로부터 추출된 특징을 제 1 클래스 예측 모델 및 제 2 클래스 예측 모델에 제공하는 단계와, 제 1 클래스 예측 모델의 출력과 제 2 클래스 예측 모델의 출력 사이의 차이를 결정하는 단계와, 제 1 클래스 예측 모델의 출력과 제 2 클래스 예측 모델의 출력 사이의 차이에 기초해서 추출된 특징에 이상(anomaly) 클래스를 할당하는 단계를 포함한다.
예 661은 예 660의 청구 대상을 포함하며, 제 1 클래스 예측 모델은 GRU(Gated Recurrent Unit) 또는 LSTM(Long Short Term Memory Network) 신경망을 포함하는 기준 예측 모델이다.
예 662는 예 660 또는 예 661의 청구 대상을 포함하며, 제 2 클래스 예측 모델은 LSTM 신경망에 기초한다.
예 663은 예 660 내지 예 662 중 어느 하나의 청구 대상을 포함하며, 제 1 클래스 예측 모델의 제 2 출력과 제 2 클래스 예측 모델의 제 2 출력 사이의 제 2 차이에 기초해서, 제 2 추출된 특징에 제 2 이상 클래스를 할당하는 단계를 더 포함한다.
예 664는 예 660 내지 예 663 중 어느 하나의 청구 대상을 포함하며, 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 출력 사이의 차이에 기초해서 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 트레이닝 동안의 이상 임계값을 결정하는 단계를 더 포함한다.
예 665는 예 660 내지 예 664 중 어느 하나의 청구 대상을 포함하며, 추출된 특징에 할당된 이상 클래스와 관련된 예측 신뢰도를 출력하는 단계를 더 포함한다.
예 666은 예 660 내지 예 665의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 667은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 이미지 데이터로부터 추출된 특징을 제 1 클래스 예측 모델 및 제 2 클래스 예측 모델에 제공하고, 제 1 클래스 예측 모델의 출력과 제 2 클래스 예측 모델의 출력 사이의 차이를 결정하며, 제 1 클래스 예측 모델의 출력과 제 2 클래스 예측 모델의 출력 사이의 차이에 기초해서 추출된 특징에 이상 클래스를 할당하도록 한다.
예 668은 예 667의 청구 대상을 포함하며, 제 1 클래스 예측 모델은 GRU(Gated Recurrent Unit) 또는 LSTM(Long Short Term Memory Network) 신경망을 포함하는 기준 예측 모델이다.
예 669는 예 667 또는 예 668의 청구 대상을 포함하며, 제 2 클래스 예측 모델은 LSTM 신경망에 기초한다.
예 670은 예 667 내지 예 669 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 제 1 클래스 예측 모델의 제 2 출력과 제 2 클래스 예측 모델의 제 2 출력 사이의 제 2 차이에 기초해서, 제 2 추출된 특징에 제 2 이상 클래스를 할당하도록 한다.
예 671은 예 667 내지 예 670 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 출력 사이의 차이에 기초해서 제 1 클래스 예측 모델과 제 2 클래스 예측 모델의 트레이닝 동안의 이상 임계값을 결정하도록 한다.
예 672는 예 667 내지 예 671 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 추출된 특징에 할당된 이상 클래스와 관련된 예측 신뢰도를 출력하도록 한다.
예 673은 도로의 일부에서 차량의 자율 레벨을 제한하는 방법으로서, 차량에 대한 안전 스코어를 결정하는 단계와, 도로의 적어도 일부에 대한 도로 스코어를 결정하는 단계와, 도로 스코어를 안전 스코어와 비교하는 단계와, 도로의 적어도 일부에서 차량의 수용 가능한 자율 레벨을 결정하는 단계를 포함한다.
예 674는 예 673의 청구 대상을 포함하며, 차량의 수용 가능한 자율 레벨을 결정하는 단계는, 안전 스코어가 도로 스코어 이상이면 차량이 자율 주행되도록 결정하는 단계를 포함한다.
예 675는 예 673 또는 예 674의 청구 대상을 포함하며, 안전 스코어는 다수의 가중 요소를 사용해서 결정된다.
예 676은 예 673 내지 예 675 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 다수의 가중 요소를 사용해서 결정된다.
예 677은 예 673 내지 예 676 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 도로의 적어도 일부의 현재 상태를 고려하도록 동적으로 계산된다.
예 678은 예 673 내지 예 677 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량의 현재 상태를 고려하도록 동적으로 계산된다.
예 679는 예 673 내지 예 678 중 어느 하나의 청구 대상을 포함하며, 도로의 적어도 일부에 대한 도로 스코어를 맵 사용자 인터페이스 상에 표시하는 단계를 더 포함한다.
예 680은 예 673 내지 예 679 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 기상 상태에 대한 가중 값을 사용해서 결정된다.
예 681은 예 673 내지 예 680 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 도로의 적어도 일부의 상태에 대한 가중 값을 사용해서 결정된다.
예 682는 예 673 내지 예 681 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량의 센서에 대한 가중 값을 사용해서 결정된다.
예 683은 예 673 내지 예 682 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량에 의해 구현되는 하나 이상의 자율 주행 알고리즘에 대한 가중 값을 사용하여 결정된다.
예 684는 예 673 내지 예 683 중 어느 하나의 청구 대상을 포함하며, 안전 스코어를 계산하는 것은 차량에 대한 테스트를 수행하는 것을 포함한다.
예 685는 예 673 내지 예 684 중 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 686은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량에 대한 안전 스코어를 결정하고, 도로의 적어도 일부에 대한 도로 스코어를 결정하며, 도로 스코어를 안전 스코어와 비교하고, 도로의 적어도 일부에서 차량의 수용 가능한 자율 레벨을 결정하도록 한다.
예 687은 예 686의 청구 대상을 포함하며, 차량의 수용 가능한 자율 레벨을 결정하는 것은, 안전 스코어가 도로 스코어 이상이면 차량이 자율 주행되도록 결정하는 것을 포함한다.
예 688은 예 686 또는 예 687의 청구 대상을 포함하며, 안전 스코어는 다수의 가중 요소를 사용해서 결정된다.
예 689는 예 686 내지 예 688 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 다수의 가중 요소를 사용해서 결정된다.
예 690은 예 686 내지 예 689 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 도로의 적어도 일부의 현재 상태를 고려하도록 동적으로 계산된다.
예 691은 예 686 내지 예 690 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량의 현재 상태를 고려하도록 동적으로 계산된다.
예 692는 예 686 내지 예 691 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 도로의 적어도 일부에 대한 도로 스코어를 맵 사용자 인터페이스 상에 표시하도록 한다.
예 693은 예 686 내지 예 692 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 기상 상태에 대한 가중 값을 사용해서 결정된다.
예 694는 예 686 내지 예 693 중 어느 하나의 청구 대상을 포함하며, 도로 스코어는 도로의 적어도 일부의 상태에 대한 가중 값을 사용해서 결정된다.
예 695는 예 686 내지 예 694 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량의 센서에 대한 가중 값을 사용해서 결정된다.
예 696은 예 686 내지 예 695 중 어느 하나의 청구 대상을 포함하며, 안전 스코어는 차량에 의해 구현되는 하나 이상의 자율 주행 알고리즘에 대한 가중 값을 사용하여 결정된다.
예 697은 예 686 내지 예 696 중 어느 하나의 청구 대상을 포함하며, 안전 스코어를 계산하는 것은 차량에 대한 테스트를 수행하는 것을 포함한다.
예 698은 방법으로서, 차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지를 수신하는 단계와, 캡처된 이미지에서 얼굴을 검출하는 단계와, GAN(Generative Adversarial Network)의 제 1 신경망에 대한 입력 이미지를 생성하는 단계 - 입력 이미지는 캡처된 이미지에서 검출된 상기 얼굴을 묘사함 - 와, 제 1 신경망을 입력 이미지에 적용하는 것에 적어도 부분적으로 기초해서, 위장 이미지(disguised image)를 생성하는 단계를 포함하고, 위장된 이미지에는 입력 이미지에 묘사된 얼굴의 시선 속성이 포함되고, 입력 이미지에 묘사된 얼굴의 하나 이상의 다른 속성은 위장된 이미지에서 수정된다.
예 699는 예 698의 청구 대상을 포함하며, 제 1 신경망은 생성 모델이고 GAN은 판별 모델인 제 2 신경망을 포함한다.
예 700은 예 698 또는 예 699의 청구 대상을 포함하며, 제 2 신경망은 제 1 신경망에 의해 생성된 위장된 이미지를 실제 또는 페이크 분류하는 컨볼루션 신경망이다.
예 701은 예 698 내지 예 700 중 어느 하나의 청구 대상을 포함하며, 제 1 신경망은 위장 이미지를 생성하는 역 컨볼루션 신경망이다.
예 702는 예 698 내지 예 701 중 어느 하나의 청구 대상을 포함하며, 캡처된 이미지에서 검출된 얼굴의 하나 이상의 얼굴 구성 요소의 위치를 추정하는 단계를 더 포함하며, 입력 이미지는 적어도 부분적으로, 검출된 이미지 및 하나 이상의 얼굴 구성 요소의 위치에 기초해서 생성된다.
예 703은 예 698 내지 예 702 중 어느 하나의 청구 대상을 포함하며, 위장 이미지에서 수정되는 하나 이상의 다른 속성은 연령 및 성별을 포함한다.
예 704은 예 698 내지 예 702 중 어느 하나의 청구 대상을 포함하며, 위장 이미지에서 수정되는 하나 이상의 다른 속성은 연령, 성별, 머리색, 대머리, 앞머리, 안경, 메이크업, 피부색 및 입 표현을 포함하는 속성 그룹으로부터 선택된다.
예 705는 청구항 698 내지 예 704 중 어느 하나의 청구 대상을 포함하며, 여기서 제 1 신경망은 캡처된 이미지에서 검출된 얼굴에서 수정할 하나 이상의 다른 속성을 나타내는 타깃 도메인에 적어도 부분적으로 기초해서 위장 이미지를 생성한다.
예 706은 예 705의 청구 대상을 포함하며, 여기서 GAN 모델은 테스트 이미지로부터 위장 이미지를 생성하는 GAN 모델 및 위장 이미지의 적어도 임계 수를 식별할 수 없는 얼굴 인식 모델에 기초해서, 타깃 도메인으로 사전 구성된다.
예 707은 예 698 내지 예 706 중 어느 하나의 청구 대상을 포함하며, 여기서 위장 이미지에는 캡처된 이미지에서 검출된 얼굴의 감정 속성이 포함된다.
예 708은 예 707의 청구 대상을 포함하며, 이 방법은 위장 이미지를 차량과 연관된 데이터 수집 시스템으로 송신하는 단계를 더 포함하고, 데이터 수집 시스템은 위장 이미지의 감정 속성에 기초해서 감정을 검출하는 것이다.
예 709는 예 698 내지 예 708 중 어느 하나의 청구 대상을 포함하며, 이 방법은 위장 이미지를 차량의 컴퓨터 비전 애플리케이션에 제공하는 단계를 더 포함하고, 컴퓨터 비전 애플리케이션은 위장 이미지의 시선 속성에 기초해서 시선을 검출하고, 검출된 시선에 기초해서 위장 이미지에 표시된 인간의 궤적을 식별한다.
예 710은 메모리 및 메모리에 연결되어서 예 698 또는 예 709의 방법을 수행하는 수단을 포함하는 시스템이다.
예 711은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지를 수신하고, 캡처된 이미지에서 얼굴을 검출하며, GAN(Generative Adversarial Network)의 제 1 신경망에 대한 입력 이미지를 생성하고 - 입력 이미지는 캡처된 이미지에서 검출된 상기 얼굴을 묘사함 - , 제 1 신경망을 입력 이미지에 적용하는 것에 적어도 부분적으로 기초해서, 위장 이미지(disguised image)를 생성하도록 하고, 위장된 이미지에는 입력 이미지에 묘사된 얼굴의 시선 속성이 포함되고, 입력 이미지에 묘사된 얼굴의 하나 이상의 다른 속성은 위장된 이미지에서 수정된다.
예 712는 예 711의 청구 대상을 포함하며, 제 1 신경망은 생성 모델이고 GAN은 판별 모델인 제 2 신경망을 포함한다.
예 713은 예 711 또는 예 712의 청구 대상을 포함하며, 제 2 신경망은 제 1 신경망에 의해 생성된 위장된 이미지를 실제 또는 페이크 분류하는 컨볼루션 신경망이다.
예 714은 예 711 내지 예 713 중 어느 하나의 청구 대상을 포함하며, 제 1 신경망은 위장 이미지를 생성하는 역 컨볼루션 신경망이다.
예 715는 예 711 내지 예 714 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 캡처된 이미지에서 검출된 얼굴의 하나 이상의 얼굴 구성 요소의 위치를 추정하도록 하며, 입력 이미지는 적어도 부분적으로, 검출된 이미지 및 하나 이상의 얼굴 구성 요소의 위치에 기초해서 생성된다.
예 716은 예 711 내지 예 715 중 어느 하나의 청구 대상을 포함하며, 위장 이미지에서 수정되는 하나 이상의 다른 속성은 연령 및 성별을 포함한다.
예 717은 예 711 내지 예 715 중 어느 하나의 청구 대상을 포함하며, 위장 이미지에서 수정되는 하나 이상의 다른 속성은 연령, 성별, 머리색, 대머리, 앞머리, 안경, 메이크업, 피부색 및 입 표현을 포함하는 속성 그룹으로부터 선택된다.
예 718는 청구항 711 내지 예 717 중 어느 하나의 청구 대상을 포함하며, 여기서 제 1 신경망은 캡처된 이미지에서 검출된 얼굴에서 수정할 하나 이상의 다른 속성을 나타내는 타깃 도메인에 적어도 부분적으로 기초해서 위장 이미지를 생성한다.
예 719은 예 718의 청구 대상을 포함하며, 여기서 GAN 모델은 테스트 이미지로부터 위장 이미지를 생성하는 GAN 모델 및 위장 이미지의 적어도 임계 수를 식별할 수 없는 얼굴 인식 모델에 기초해서, 타깃 도메인으로 사전 구성된다.
예 720은 예 711 내지 예 719 중 어느 하나의 청구 대상을 포함하며, 여기서 위장 이미지에는 캡처된 이미지에서 검출된 얼굴의 감정 속성이 포함된다.
예 721은 예 720의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 위장 이미지를 차량과 연관된 데이터 수집 시스템으로 송신하도록 하고, 데이터 수집 시스템은 위장 이미지의 감정 속성에 기초해서 감정을 검출하는 것이다.
예 722는 예 711 내지 예 721 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 위장 이미지를 차량의 컴퓨터 비전 애플리케이션에 제공하도록 하고, 컴퓨터 비전 애플리케이션은 위장 이미지의 시선 속성에 기초해서 시선을 검출하고, 검출된 시선에 기초해서 위장 이미지에 표시된 인간의 궤적을 식별한다.
예 723은 방법으로서, 차량에 의해 수집된 데이터를 포함하는 데이터 세트를 수신하는 단계 - 하나 이상의 태그가 데이터 세트와 연관됨 - 와, 하나 이상의 태그에 기초해서 데이터 세트에 적용될 제 1 정책을 결정하는 단계와, 제 1 정책이 지연 정책으로 지정되었는지 여부를 결정하는 단계와, 제 1 정책이 지연 정책으로 지정되었다고 결정하는 것에 기초해서, 제 1 정책을 데이터 세트에 적용하지 않고 주문형 처리를 위해 데이터 세트를 표시하는 단계와, 주문형 처리를 위해 데이터 세트를 표시한 이후에, 데이터 세트에 대한 제 1 요청을 수신하는 단계와, 데이터 세트에 대한 제 1 요청을 수신하는 것에 응답해서 제 1 정책을 데이터 세트에 적용하는 단계를 포함한다.
예 724는 예 723의 청구 대상을 포함하고, 여기서 제 1 정책을 데이터 세트에 적용하는 것은, 데이터 세트의 이미지에서 하나 이상의 얼굴을 가리는 것과, 데이터 세트의 이미지에서 하나 이상의 번호판을 가리는 것과, 데이터 세트에서 정보를 식별하는 개인을 익명화하는 것 혹은 데이터 세트에서 위치 정보를 수정하는 것 중 하나 이상을 포함한다.
예 725는 예 723 또는 예 724의 청구 대상을 포함하며, 이 방법은 차량의 지리적 위치를 결정하는 단계와, 태그를 데이터 세트에 연관시키는 단계를 포함하며, 태그는 차량의 지리적 위치를 나타내는 정보를 포함한다.
예 726은 예 723 내지 예 725 중 어느 하나의 청구 대상을 포함하며, 이 방법은 머신 학습 모델을 사용해서 하나 이상의 태그 중 데이터 세트와 연관시킬 적어도 하나를 식별하는 단계를 더 포함한다.
예 727는 예 723 내지 예 726 중 어느 하나의 청구 대상을 포함하며, 여기서 데이터 세트는 차량 또는 차량으로부터 이격된 클라우드 처리 시스템 중 하나의 정책 시행 엔진에서 수신된다.
예 728은 예 723 내지 예 727 중 어느 하나의 청구 대상을 포함하며, 이 방법은 하나 이상의 태그에 기초해서 데이터 세트에 적용될 제 2 정책을 결정하는 단계와, 제 2 정책이 지연 정책으로 지정되었는지 여부를 결정하는 단계와, 제 2 정책이 지연 정책으로 지정되지 않는다는 결정에 기초해서 제 2 정책을 데이터 세트에 적용하는 단계를 더 포함한다.
예 729는 예 728의 청구 대상을 포함하며, 제 2 정책을 데이터 세트에 적용하는 것은, 데이터 세트에서 적어도 일부 데이터를 가리거나, 익명화하거나, 수정하는 것을 포함한다.
예 730은 예 723 내지 예 729 중 어느 하나의 청구 대상을 포함하며, 이 방법은, 차량에 의해 수집된 제 2 데이터를 포함하는 제 2 데이터 세트를 수신하는 단계 - 하나 이상의 제 2 태그가 제 2 데이터 세트와 연관됨 - 와, 하나 이상의 제 2 태그에 기초해서 제 2 데이터 세트에 적용될 제 2 정책을 결정하는 단계 - 제 2 정책은 지연 정책으로 지정됨 - 와, 컨텍스트 정책이 제 2 데이터 세트에 적용 가능하다는 결정에 기초해서, 지연 정책 지정을 오버라이드하고 컨텍스트 정책을 제 2 데이터 세트에 적용하는 단계를 포함한다.
예 731은 예 730의 청구 대상을 포함하며, 컨텍스트 정책은 제 2 정책에 필요한 적어도 하나의 액션을 포함한다.
예 732는 예 723 내지 예 731 중 어느 하나의 청구 대상을 포함하며, 이 방법은, 데이터 세트에 대한 제 1 요청을 수신하는 것에 기초해서 차량의 현재 위치를 결정하는 단계와, 차량의 현재 위치가 데이터 세트와 연관된 이전 위치와 다른 규정과 연관되는지 여부를 결정하는 단계와, 차량의 현재 위치가 상이한 규정과 연관되어 있다는 결정에 기초해서, 차량의 현재 위치를 나타내는 정보를 포함하는 업데이트된 태그를 데이터 세트에 첨부하는 단계와, 업데이트된 태그에 적어도 부분적으로 기초해서 신규 정책이 데이터 세트에 적용될지 결정하는 단계와, 신규 정책을 데이터 세트에 적용하는 단계를 더 포함한다.
예 733은 예 723 내지 예 732 중 어느 하나의 청구 대상을 포함하며, 이 방법은 차량에 의해 수집된 제 3 데이터를 포함하는 제 3 데이터 세트를 수신하는 단계 - 하나 이상의 제 3 태그는 제 3 데이터 세트와 연관됨 - 와, 하나 이상의 제 3 태그에 기초해서 제 3 데이터 세트에 적용될 제 3 정책을 결정하는 단계와, 제 3 정책이 지연 정책으로 지정되지 않는다는 결정에 기초해서, 제 3 데이터 세트에 제 3 정책을 적용하는 단계와, 제 3 데이터 세트에 적용될 정책이 지연 정책으로 지정되지 않는다고 결정하는 것 및 제 3 데이터 세트에 적용 가능한 것으로 결정된 각각의 정책을 제 3 데이터 세트에 적용하는 것에 기초해서, 제 3 데이터 세트를 정책 준수로 표시하는 단계를 더 포함한다.
예 734는 청구항 723 내지 예 733 중 어느 하나의 청구 대상을 포함하며, 이 방법은, 데이터 세트에 대한 제 1 요청을 수신한 이후에 데이터 세트에 대한 제 2 요청을 수신하는 단계와, 데이터 세트에 대한 제 2 요청을 수신하는 것에 응답해서 데이터 세트에 제 4 정책을 적용하는 단계를 더 포함하며, 데이터 세트 내의 데이터에 적용 가능한 규제 변경에 응답해서 하나 이상의 태그가 제 4 정책과 연관된다.
예 735는 예 723 내지 예 734의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 736은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량에 의해 수집된 데이터를 포함하는 데이터 세트를 수신하고 - 하나 이상의 태그가 데이터 세트와 연관됨 - , 하나 이상의 태그에 기초해서 데이터 세트에 적용될 제 1 정책을 결정하며, 제 1 정책이 지연 정책으로 지정되었는지 여부를 결정하고, 제 1 정책이 지연 정책으로 지정되었다고 결정하는 것에 기초해서, 제 1 정책을 데이터 세트에 적용하지 않고 주문형 처리를 위해 데이터 세트를 표시하며, 주문형 처리를 위해 데이터 세트를 표시한 이후에, 데이터 세트에 대한 제 1 요청을 수신하고, 데이터 세트에 대한 제 1 요청을 수신하는 것에 응답해서 제 1 정책을 데이터 세트에 적용하도록 한다.
예 737은 예 736의 청구 대상을 포함하고, 여기서 제 1 정책을 데이터 세트에 적용하는 것은, 데이터 세트의 이미지에서 하나 이상의 얼굴을 가리는 것과, 데이터 세트의 이미지에서 하나 이상의 번호판을 가리는 것과, 데이터 세트에서 정보를 식별하는 개인을 익명화하는 것 혹은 데이터 세트에서 위치 정보를 수정하는 것 중 하나 이상을 포함한다.
예 738은 예 736 또는 예 737의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량의 지리적 위치를 결정하고, 태그를 데이터 세트에 연관시키도록 하고, 태그는 차량의 지리적 위치를 나타내는 정보를 포함한다.
예 739는 예 736 내지 예 738 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 머신 학습 모델을 사용해서 하나 이상의 태그 중 데이터 세트와 연관시킬 적어도 하나를 식별하도록 한다.
예 740은 예 736 내지 예 739 중 어느 하나의 청구 대상을 포함하며, 여기서 데이터 세트는 차량 또는 차량으로부터 이격된 클라우드 처리 시스템 중 하나의 정책 시행 엔진에서 수신된다.
예 741은 예 736 내지 예 740 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 하나 이상의 태그에 기초해서 데이터 세트에 적용될 제 2 정책을 결정하고, 제 2 정책이 지연 정책으로 지정되었는지 여부를 결정하며, 제 2 정책이 지연 정책으로 지정되지 않는다는 결정에 기초해서 제 2 정책을 데이터 세트에 적용하도록 한다.
예 742는 예 741의 청구 대상을 포함하며, 제 2 정책을 데이터 세트에 적용하는 것은, 데이터 세트에서 적어도 일부 데이터를 가리거나, 익명화하거나, 수정하는 것을 포함한다.
예 743은 예 736 내지 예 742 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량에 의해 수집된 제 2 데이터를 포함하는 제 2 데이터 세트를 수신하고 - 하나 이상의 제 2 태그가 제 2 데이터 세트와 연관됨 - , 하나 이상의 제 2 태그에 기초해서 제 2 데이터 세트에 적용될 제 2 정책을 결정하며 - 제 2 정책은 지연 정책으로 지정됨 - , 컨텍스트 정책이 제 2 데이터 세트에 적용 가능하다는 결정에 기초해서, 지연 정책 지정을 오버라이드하고 컨텍스트 정책을 제 2 데이터 세트에 적용하도록 한다.
예 744는 예 743의 청구 대상을 포함하며, 컨텍스트 정책은 제 2 정책에 필요한 적어도 하나의 액션을 포함한다.
예 745는 예 736 내지 예 744 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 데이터 세트에 대한 제 1 요청을 수신하는 것에 기초해서 차량의 현재 위치를 결정하고, 차량의 현재 위치가 데이터 세트와 연관된 이전 위치와 다른 규정과 연관되는지 여부를 결정하며, 차량의 현재 위치가 상이한 규정과 연관되어 있다는 결정에 기초해서, 차량의 현재 위치를 나타내는 정보를 포함하는 업데이트된 태그를 데이터 세트에 첨부하고, 업데이트된 태그에 적어도 부분적으로 기초해서 신규 정책이 데이터 세트에 적용될지 결정하며, 신규 정책을 데이터 세트에 적용하도록 한다.
예 746은 예 736 내지 예 745 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량에 의해 수집된 제 3 데이터를 포함하는 제 3 데이터 세트를 수신하고 - 하나 이상의 제 3 태그는 제 3 데이터 세트와 연관됨 - , 하나 이상의 제 3 태그에 기초해서 제 3 데이터 세트에 적용될 제 3 정책을 결정하며, 제 3 정책이 지연 정책으로 지정되지 않는다는 결정에 기초해서, 제 3 데이터 세트에 제 3 정책을 적용하고, 제 3 데이터 세트에 적용될 정책이 지연 정책으로 지정되지 않는다고 결정하는 것 및 제 3 데이터 세트에 적용 가능한 것으로 결정된 각각의 정책을 제 3 데이터 세트에 적용하는 것에 기초해서, 제 3 데이터 세트를 정책 준수로 표시하도록 한다.
예 747은 청구항 736 내지 예 746 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 데이터 세트에 대한 제 1 요청을 수신한 이후에 데이터 세트에 대한 제 2 요청을 수신하고, 데이터 세트에 대한 제 2 요청을 수신하는 것에 응답해서 데이터 세트에 제 4 정책을 적용하도록 하며, 데이터 세트 내의 데이터에 적용 가능한 규제 변경에 응답해서 하나 이상의 태그가 제 4 정책과 연관된다.
예 748은 방법으로서, 자율 차량에 연결된 센서로부터 센서 데이터를 수신하는 단계와, 센서 데이터에 디지털 서명을 적용하는 단계와, 센서 데이터 및 디지털 서명을 포함하는 신규 블록을 블록 기반 토폴로지에 추가하는 단계와, 디지털 서명을 검증하는 단계와, 디지털 서명이 검증되는 것에 기초해서 블록을 자율 차량의 로직 유닛에 통신하는 단계를 포함한다.
예 749는 예 748의 청구 대상을 포함하며, 블록 기반 토폴로지는 무허가 블록 체인이다.
예 750은 예 748의 청구 대상을 포함하며, 디지털 서명은 ECC(elliptic curve cryptographic) 프로토콜에 기초한다.
예 751은 예 748 내지 예 750 중 어느 하나의 청구 대상을 포함하며, 여기서 블록을 검증하는 단계는, 합의 프로토콜의 시간 제약을 사용해서 센서 데이터의 타임 스탬프를 검증하는 단계를 포함한다.
예 752는 예 748 내지 예 751의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 753은 방법으로서, 제 1 자율 차량에서 블록 기반 토폴로지의 블록을 수신하는 단계 - 블록은 제 2 자율 차량에 연결된 센서로부터의 센서 데이터 및 센서 데이터와 연관된 디지털 서명을 포함함 - 와, 디지털 서명을 검증하는 단계와, 디지털 서명을 검증하는 것에 응답해서 블록을 제 1 자율 차량의 로직 유닛에 통신하는 단계를 포함한다.
예 754는 예 753의 청구 대상을 포함하며, 블록 기반 토폴로지는 블록 체인 또는 DAG(dynamic acyclic graph) 중 하나 이상을 포함한다.
예 755는 예 753의 청구 대상을 포함하며, 블록 기반 토폴로지는 허가 블록 체인이다.
예 756은 예 753 내지 예 755 중 어느 하나의 청구 대상을 포함하며, 디지털 서명은 임시 공개 키에 기초해서 생성된 비밀 키를 사용해서 검증된다.
예 757는 예 756의 청구 대상을 포함하며, 임시 공개 키는 타원 곡선 Diffie Hellman 교환에 기초한다.
예 758은 예 753 내지 예 757 중 어느 하나의 청구 대상을 포함하며, 이 방법은 블록으로부터 하나 이상의 스마트 계약을 추출하는 단계를 더 포함한다.
예 759는 예 753 내지 예 758의 방법 중 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 760은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량에 연결된 센서로부터 센서 데이터를 수신하고, 센서 데이터에 디지털 서명을 적용하며, 센서 데이터 및 디지털 서명을 포함하는 신규 블록을 블록 기반 토폴로지에 추가하고, 디지털 서명을 검증하며, 디지털 서명이 검증되는 것에 기초해서 블록을 자율 차량의 로직 유닛에 통신하도록 한다.
예 761은 예 760의 청구 대상을 포함하며, 블록 기반 토폴로지는 무허가 블록 체인이다.
예 762는 예 761의 청구 대상을 포함하며, 디지털 서명은 ECC(elliptic curve cryptographic) 프로토콜에 기초한다.
예 763은 예 760 내지 예 762 중 어느 하나의 청구 대상을 포함하며, 여기서 블록을 검증하는 것은, 합의 프로토콜의 시간 제약을 사용해서 센서 데이터의 타임 스탬프를 검증하는 것을 포함한다.
예 764는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 제 1 자율 차량에서 블록 기반 토폴로지의 블록을 수신하고 - 블록은 제 2 자율 차량에 연결된 센서로부터의 센서 데이터 및 센서 데이터와 연관된 디지털 서명을 포함함 - , 디지털 서명을 검증하며, 디지털 서명을 검증하는 것에 응답해서 블록을 제 1 자율 차량의 로직 유닛에 통신하도록 한다.
예 765는 예 764의 청구 대상을 포함하며, 블록 기반 토폴로지는 블록 체인 또는 DAG(dynamic acyclic graph) 중 하나 이상을 포함한다.
예 766은 예 764의 청구 대상을 포함하며, 블록 기반 토폴로지는 허가 블록 체인이다.
예 767은 예 764 내지 예 766 중 어느 하나의 청구 대상을 포함하며, 디지털 서명은 임시 공개 키에 기초해서 생성된 비밀 키를 사용해서 검증된다.
예 768는 예 767의 청구 대상을 포함하며, 임시 공개 키는 타원 곡선 Diffie Hellman 교환에 기초한다.
예 769는 예 764 내지 예 768 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 블록으로부터 하나 이상의 스마트 계약을 추출하도록 한다.
예 770은 방법으로서, 차량의 복수의 센서에 의해 샘플링된 센서 데이터를 획득하는 단계와, 샘플링된 센서 데이터와 연관된 컨텍스트를 결정하는 단계와, 컨텍스트에 기초해서, 차량의 센서에 대한 샘플링 레이트 그룹 또는 센서 데이터의 융합을 수행하는 데 사용될 센서에 대한 가중치 그룹 중 하나 또는 모두를 결정하는 단계를 포함한다.
예 771은 예 770의 청구 대상을 포함하며, 이 방법은 입력으로서 샘플링된 센서 데이터를 수신하는 머신 학습 알고리즘의 출력으로서 컨텍스트를 제공하는 단계를 더 포함한다.
예 772은 예 771의 청구 대상을 포함하며, 여기서 머신 학습 알고리즘은 데이터 세트를 실측 자료로서 사용해서 트레이닝되며, 여기서 각 데이터 세트는 컨텍스트, 복수의 센서에 대한 샘플링 레이트 및 안전 결과를 포함한다.
예 773은 예 770 내지 예 772 중 어느 하나의 청구 대상을 포함하며, 이 방법은 입력으로서 복수의 센서로부터 컨텍스트를 수신하고 가중치의 그룹을 출력하는 융합 컨텍스트 사전을 사용해서, 센서에 대한 가중치 그룹을 제공하는 단계를 더 포함한다.
예 774는 예 773의 청구 대상을 포함하며, 여기서 융합 컨텍스트 사전은 컨텍스트 정보 및 개체 위치를 실측 자료로서 사용하는 머신 학습 알고리즘을 트레이닝함으로써 제공된다.
예 775은 예 770 내지 예 774 중 어느 하나의 청구 대상을 포함하며, 컨텍스트는, 차량의 센서에 대한 샘플링 레이트의 그룹과 센서 데이터의 융합을 수행하는 데 사용될 센서에 대한 가중치의 그룹을 결정하는 데 사용된다.
예 776은 예 770 내지 예 775 중 어느 하나의 청구 대상을 포함하며, 이 방법은 가중치 그룹에 기초해서 복수의 센서로부터의 샘플을 결합하는 단계를 더 포함한다.
예 777은 예 770 내지 예 776 중 어느 하나의 예의 청구 대상을 포함하며, 이 방법은 강화 학습 모델을 사용해서 컨텍스트에 기초해서 가중치 그룹을 결정하는 단계를 더 포함한다.
예 778은 예 777의 청구 대상을 포함하며, 강화 학습 모델이 센서 샘플 및 컨텍스트의 환경을 사용해서 트레이닝된다.
예 779는 예 777 또는 778의 청구 대상을 포함하며, 강화 학습 모델은 개체 추적 정확도 및 전력 소비 최소화에 기초한 보상을 사용해서 트레이닝된다.
예 780은 예 770 내지 예 779의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 781은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 복수의 센서에 의해 샘플링된 센서 데이터를 획득하고, 샘플링된 센서 데이터와 연관된 컨텍스트를 결정하며, 컨텍스트에 기초해서, 차량의 센서에 대한 샘플링 레이트 그룹 또는 센서 데이터의 융합을 수행하는 데 사용될 센서에 대한 가중치 그룹 중 하나 또는 모두를 결정하도록 한다.
예 782는 예 781의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 입력으로서 샘플링된 센서 데이터를 수신하는 머신 학습 알고리즘의 출력으로서 컨텍스트를 제공하도록 한다.
예 783은 예 782의 청구 대상을 포함하며, 여기서 머신 학습 알고리즘은 데이터 세트를 실측 자료로서 사용해서 트레이닝되며, 여기서 각 데이터 세트는 컨텍스트, 복수의 센서에 대한 샘플링 레이트 및 안전 결과를 포함한다.
예 784는 예 781 내지 예 783 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 입력으로서 복수의 센서로부터 컨텍스트를 수신하고 가중치의 그룹을 출력하는 융합 컨텍스트 사전을 사용해서, 센서에 대한 가중치 그룹을 제공하도록 한다.
예 785는 예 784의 청구 대상을 포함하며, 여기서 융합 컨텍스트 사전은 컨텍스트 정보 및 개체 위치를 실측 자료로서 사용하는 머신 학습 알고리즘을 트레이닝함으로써 제공된다.
예 786은 예 781 내지 예 785 중 어느 하나의 청구 대상을 포함하며, 컨텍스트는, 차량의 센서에 대한 샘플링 레이트의 그룹과 센서 데이터의 융합을 수행하는 데 사용될 센서에 대한 가중치의 그룹을 결정하는 데 사용된다.
예 787은 예 781 내지 예 786 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 가중치 그룹에 기초해서 복수의 센서로부터의 샘플을 결합하도록 한다.
예 788은 예 781 내지 예 787 중 어느 하나의 예의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 강화 학습 모델을 사용해서 컨텍스트에 기초해서 가중치 그룹을 결정하도록 한다.
예 789는 예 788의 청구 대상을 포함하며, 강화 학습 모델이 센서 샘플 및 컨텍스트의 환경을 사용해서 트레이닝된다.
예 790는 예 788 또는 789의 청구 대상을 포함하며, 강화 학습 모델은 개체 추적 정확도 및 전력 소비 최소화에 기초한 보상을 사용해서 트레이닝된다.
예 791은 방법으로서, 주체(subject) 자율 차량에서, 교통 차량으로부터 변조된 광 신호를 수신하는 단계와, 변조된 광 신호를 샘플링하는 단계와, 샘플링된 광 신호를 복조해서 교통 차량에 대한 위치 정보를 획득하는 단계와, 주체 자율 차량의 센서 융합 프로세스에서 교통 차량의 위치 정보를 사용하는 단계를 포함한다.
예 792는 예 791의 청구 대상을 포함하며, 변조된 광 신호는 특정 주파수에서 샘플링된다.
예 793은 예 792의 청구 대상을 포함하며, 특정 주파수는 능동적으로(proactively) 선택된다.
예 794는 예 792의 청구 대상을 포함하며, 특정 주파수는 이벤트에 기초해서 선택된다.
예 795는 예 791의 청구 대상을 포함하며, 교통 차량의 존재 검출에 응답해서 변조된 광 신호가 샘플링된다.
예 796은 예 791의 청구 대상을 포함하며, 위치 정보는 도 분 및 초 형식(Degree Minute and Second)의 교통 차량의 지리 좌표를 포함한다.
예 797은 예 791의 청구 대상을 포함하며, 변조되는 광은 복조되어서 교통 차량에 대한 크기 정보를 추가로 획득하며, 크기 정보는 교통 차량의 길이, 폭 또는 높이 중 하나 이상을 포함한다.
예 798은 예 791 내지 예 797 중 어느 하나의 예의 청구 대상을 포함하며, 변조된 광은 Li-Fi 프로토콜에 따라 전송된다.
예 799는 예 791 내지 예 797 중 어느 하나의 예의 청구 대상을 포함하며, 변조된 광 신호는 OOK(On-Off Keying), ASK(Amplitude Shift Keying), 가변 펄스 위치 변조(VPPM) 또는 CSK(Color-Shift Keying)에 따라 변조된다.
실시예 800은 실시예 791 내지 예 797 중 어느 하나의 청구 대상을 포함하며, 여기서 변조된 광은 375nm 내지 780nm의 파장을 갖는 가시 광선, 적외선 및 자외선 중 하나 이상을 포함한다.
예 801은 예 791 내지 예 800의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 802는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 주체 자율 차량에서, 교통 차량으로부터 변조된 광 신호를 수신하고, 변조된 광 신호를 샘플링하며, 샘플링된 광 신호를 복조해서 교통 차량에 대한 위치 정보를 획득하고, 주체 자율 차량의 센서 융합 프로세스에서 교통 차량의 위치 정보를 사용하도록 한다.
예 803은 예 802의 청구 대상을 포함하며, 변조된 광 신호는 특정 주파수에서 샘플링된다.
예 804는 예 803의 청구 대상을 포함하며, 특정 주파수는 능동적으로 선택된다.
예 805는 예 803의 청구 대상을 포함하며, 특정 주파수는 이벤트에 기초해서 선택된다.
예 806은 예 802의 청구 대상을 포함하며, 교통 차량의 존재 검출에 응답해서 변조된 광 신호가 샘플링된다.
예 807은 예 802의 청구 대상을 포함하며, 위치 정보는 도 분 및 초 형식(Degree Minute and Second)의 교통 차량의 지리 좌표를 포함한다.
예 808은 예 802의 청구 대상을 포함하며, 변조되는 광은 복조되어서 교통 차량에 대한 크기 정보를 추가로 획득하며, 크기 정보는 교통 차량의 길이, 폭 또는 높이 중 하나 이상을 포함한다.
예 809는 예 802 내지 예 808 중 어느 하나의 예의 청구 대상을 포함하며, 변조된 광은 Li-Fi 프로토콜에 따라 전송된다.
예 810는 예 802 내지 예 808 중 어느 하나의 예의 청구 대상을 포함하며, 변조된 광 신호는 OOK(On-Off Keying), ASK(Amplitude Shift Keying), 가변 펄스 위치 변조(VPPM) 또는 CSK(Color-Shift Keying)에 따라 변조된다.
실시예 811은 실시예 802 내지 예 808 중 어느 하나의 청구 대상을 포함하며, 여기서 변조된 광은 375nm 내지 780nm의 파장을 갖는 가시 광선, 적외선 및 자외선 중 하나 이상을 포함한다.
예 812는 방법으로서, 자율 차량에 연결된 센서로부터 센서 데이터를 획득하는 단계와, 센서 데이터에 센서 추상화 프로세스를 적용해서 추상화된 장면 데이터를 생성하는 단계 - 센서 추상화 프로세스는, 센서 데이터에 응답 정규화 프로세스를 적용하는 것과, 센서 데이터에 워프(warp) 프로세스를 적용하는 것과, 센서 데이터에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함함 - 와, 추상화된 장면 데이터를 자율 차량에 대한 제어 프로세스의 인식 단계에서 사용하는 단계를 포함한다.
예 813은 예 812의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 동일한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터의 조합에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함한다.
예 814는 예 812의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 서로 상이한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 필터링 프로세스를 적용해서 제 1 센서 데이터에 대응하는 제 1 추상화된 장면 데이터 및 제 2 센서 데이터에 대응하는 제 2 추상화된 장면 데이터를 생성하는 것 중 하나 이상을 포함하며, 이 방법은 제 1 및 제 2 추상화된 장면 데이터에 융합 프로세스를 적용하는 단계를 더 포함하고, 융합된 제 1 및 제 2 추상화된 장면 데이터는 인식 단계에서 사용된다.
예 815는 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 응답 정규화 프로세스를 적용하는 것은, 이미지의 픽셀 값을 정규화하는 것, 이미지의 비트 심도를 정규화하는 것, 이미지의 색 공간을 정규화하는 것, 및 LIDAR 데이터의 깊이 또는 거리 값 범위를 정규화하는 것 중 하나 이상을 포함한다.
예 816는 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 여기서 응답 정규화 프로세스를 적용하는 것은 센서 응답의 모델에 기초한다.
예 817은 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 워프 프로세스를 적용하는 것은, 공간적 업스케일링 동작, 다운스케일링 동작, 센서와 관련된 기하학적 효과에 대한 보정 프로세스, 및 센서의 모션에 대한 보정 프로세스 중 하나 이상을 수행하는 것을 포함한다.
예 818은 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 여기서 워프 프로세스를 적용하는 것은 센서 구성 정보에 기초한다.
예 819는 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 칼만 필터, 칼만 필터의 변형, 입자 필터, 히스토그램 필터, 정보 필터, 베이즈 필터 및 가우시안 필터 중 하나 이상을 적용하는 것을 포함한다.
예 820는 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 및 장면 모델에 대한 모델 중 하나 이상에 기초한다.
예 821은 예 812 내지 예 814 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 데이터의 유효성을 결정하고, 센서 데이터가 유효하지 않다는 결정에 응답해서 센서 데이터를 폐기하는 것을 포함한다.
예 822는 예 812 내지 예 821의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 823은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량에 연결된 센서로부터 센서 데이터를 획득하고, 센서 데이터에 센서 추상화 프로세스를 적용해서 추상화된 장면 데이터를 생성하며 - 센서 추상화 프로세스는, 센서 데이터에 응답 정규화 프로세스를 적용하는 것과, 센서 데이터에 워프(warp) 프로세스를 적용하는 것과, 센서 데이터에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함함 - , 추상화된 장면 데이터를 자율 차량에 대한 제어 프로세스의 인식 단계에서 사용하도록 한다.
예 824는 예 823의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 동일한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터의 조합에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함한다.
예 825는 예 823의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 서로 상이한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 필터링 프로세스를 적용해서 제 1 센서 데이터에 대응하는 제 1 추상화된 장면 데이터 및 제 2 센서 데이터에 대응하는 제 2 추상화된 장면 데이터를 생성하는 것 중 하나 이상을 포함하며, 명령어는 머신으로 하여금 또한, 제 1 및 제 2 추상화된 장면 데이터에 융합 프로세스를 적용하도록 하고, 융합된 제 1 및 제 2 추상화된 장면 데이터는 인식 단계에서 사용된다.
예 825는 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 응답 정규화 프로세스를 적용하는 것은, 이미지의 픽셀 값을 정규화하는 것, 이미지의 비트 심도를 정규화하는 것, 이미지의 색 공간을 정규화하는 것, 및 LIDAR 데이터의 깊이 또는 거리 값 범위를 정규화하는 것 중 하나 이상을 포함한다.
예 827은 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 여기서 응답 정규화 프로세스를 적용하는 것은 센서 응답의 모델에 기초한다.
예 828은 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 워프 프로세스를 적용하는 것은, 공간적 업스케일링 동작, 다운스케일링 동작, 센서와 관련된 기하학적 효과에 대한 보정 프로세스, 및 센서의 모션에 대한 보정 프로세스 중 하나 이상을 수행하는 것을 포함한다.
예 829는 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 여기서 워프 프로세스를 적용하는 것은 센서 구성 정보에 기초한다.
예 830은 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 칼만 필터, 칼만 필터의 변형, 입자 필터, 히스토그램 필터, 정보 필터, 베이즈 필터 및 가우시안 필터 중 하나 이상을 적용하는 것을 포함한다.
예 831은 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 및 장면 모델에 대한 모델 중 하나 이상에 기초한다.
예 832는 예 823 내지 예 825 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 데이터의 유효성을 결정하고, 센서 데이터가 유효하지 않다는 결정에 응답해서 센서 데이터를 폐기하는 것을 포함한다.
예 833은 방법으로서, 차량의 제 1 센서에 의해 제 1 해상도를 가진 제 1 이미지 데이터를 캡처하는 단계와, 머신 학습 모델을 사용해서, 제 1 이미지 데이터를, 제 1 해상도보다 높은 제 2 해상도를 갖는 제 2 이미지 데이터로 변환하는 단계와, 제 2 이미지 데이터에 기초해서 차량에 대한 개체 검출 동작을 수행하는 단계를 포함한다.
예 834는 예 833의 청구 대상을 포함하며, 여기서 차량의 제 1 센서는 카메라를 포함한다.
예 835는 예 833의 청구 대상을 포함하며, 여기서 차량의 제 1 센서는 LiDAR을 포함한다.
예 836은 예 833 내지 예 835의 청구 대상을 포함하며, 머신 학습 모델은 제 2 센서에 의해 캡처된 제 3 이미지 및 제 3 이미지를 왜곡해서 제 3 이미지보다 낮은 해상도를 갖는 것처럼 보이도록 생성된 제 4 이미지를 포함하는 트레이닝 세트를 사용해서 트레이닝된다.
예 837은 예 836의 청구 대상을 포함하며, 제 4 이미지는 제 3 이미지에 저역 통과 필터를 적용하는 것과, 제 3 이미지를 서브샘플링하는 것과, 제 3 이미지를 다운샘플링하는 것과, 제 3 이미지에 노이즈를 주입하는 것과, 제 3 이미지의 채널을 랜덤화하는 것 중 어느 하나 이상을 사용해서, 제 3 이미지를 왜곡함으로써 생성된다.
예 838은 예 833 내지 예 836 중 어느 하나의 청구 대상을 포함하며, 머신 학습 모델은 제 2 센서에 의해 캡처된 제 1 해상도를 갖는 제 3 이미지 및 제 3 센서에 의해 캡처된 제 2 해상도를 갖는 제 4 이미지를 포함하는 트레이닝 세트를 사용해서 트레이닝된다.
예 839는 예 833 내지 예 838 중 어느 하나의 청구 대상을 포함하며, 여기서 머신 학습 모델은 컨볼루션 신경망 아키텍처를 포함한다.
예 840은 예 833 내지 예 839 중 어느 하나의 청구 대상을 포함하며, 머신 학습 모델은 생성 신경망을 포함한다.
예 841은 예 833 내지 예 840의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 842는 방법으로서, 자율 차량 스택의 태스크를 수행하도록 머신 학습 모델의 앙상블을 트레이닝하는 단계 - 앙상블은 제 1 해상도를 가진 이미지 데이터를 사용해서 트레이닝된 제 1 머신 학습 모델 및 제 2 머신 학습 모델을 포함함 - 와, 융합된 머신 학습 모델의 앙상블의 소프트 예측 타깃과 제 3 머신 학습 모델의 소프트 예측 타깃 사이의 증류 손실에 적어도 부분적으로 기초해서 제 3 머신 학습 모델을 트레이닝하는 단계를 포함한다.
예 843은 예 842의 청구 대상을 포함하며, 이 방법은 제 3 머신 학습 모델의 실측 자료 레이블과 하드 예측 타깃 사이의 차이를 나타내는 손실에 더 기초해서 제 3 머신 학습 모델을 트레이닝하는 단계를 더 포함한다.
예 844는 예 842 또는 예 843의 청구 대상을 포함하며, 여기서 제 1 해상도를 갖는 이미지 데이터는 하나 이상의 LiDAR에 의해 캡처된 데이터이다.
예 845는 예 842 또는 예 843의 청구 대상을 포함하며, 여기서 제 1 해상도를 갖는 이미지 데이터는 하나 이상의 카메라에 의해 캡처된 데이터이다.
예 846은 예 842 내지 예 845 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 제 1 해상도보다 낮은 제 2 해상도를 갖는 이미지 데이터를 사용해서 트레이닝된다.
예 847은 예 842 내지 예 846 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 카메라에 의해 캡처된 이미지 데이터를 사용해서 트레이닝된다.
예 848은 예 842 내지 예 846 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 LiDAR에 의해 캡처된 이미지 데이터를 사용하여 트레이닝된다.
예 849는 예 842 내지 예 848 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 LiDAR에 의해 캡처된 이미지 데이터를 사용하여 트레이닝된 제 4 머신 학습 모델과 하나 이상의 카메라에 의해 캡처된 이미지 데이터를 사용해서 트레이닝된 제 4 머신 학습 모델의 조합이다.
예 850은 예 842 내지 예 849의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 851은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 제 1 센서에 의해 제 1 해상도를 가진 제 1 이미지 데이터를 캡처하는 단계와, 머신 학습 모델을 사용해서, 제 1 이미지 데이터를, 제 1 해상도보다 높은 제 2 해상도를 갖는 제 2 이미지 데이터로 변환하는 단계와, 제 2 이미지 데이터에 기초해서 차량에 대한 개체 검출 동작을 수행하는 단계를 포함한다.
예 852는 예 851의 청구 대상을 포함하며, 여기서 차량의 제 1 센서는 카메라를 포함한다.
예 853은 예 851의 청구 대상을 포함하며, 여기서 차량의 제 1 센서는 LiDAR을 포함한다.
예 854는 예 851 내지 예 853의 청구 대상을 포함하며, 머신 학습 모델은 제 2 센서에 의해 캡처된 제 3 이미지 및 제 3 이미지를 왜곡해서 제 3 이미지보다 낮은 해상도를 갖는 것처럼 보이도록 생성된 제 4 이미지를 포함하는 트레이닝 세트를 사용해서 트레이닝된다.
예 855는 예 854의 청구 대상을 포함하며, 제 4 이미지는 제 3 이미지에 저역 통과 필터를 적용하는 것과, 제 3 이미지를 서브샘플링하는 것과, 제 3 이미지를 다운샘플링하는 것과, 제 3 이미지에 노이즈를 주입하는 것과, 제 3 이미지의 채널을 랜덤화하는 것 중 어느 하나 이상을 사용해서, 제 3 이미지를 왜곡함으로써 생성된다.
예 856은 예 851 내지 예 854 중 어느 하나의 청구 대상을 포함하며, 머신 학습 모델은 제 2 센서에 의해 캡처된 제 1 해상도를 갖는 제 3 이미지 및 제 3 센서에 의해 캡처된 제 2 해상도를 갖는 제 4 이미지를 포함하는 트레이닝 세트를 사용해서 트레이닝된다.
예 857은 예 851 내지 예 855 중 어느 하나의 청구 대상을 포함하며, 여기서 머신 학습 모델은 컨볼루션 신경망 아키텍처를 포함한다.
예 858은 예 851 내지 예 856 중 어느 하나의 청구 대상을 포함하며, 머신 학습 모델은 생성 신경망을 포함한다.
예 859는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 자율 차량 스택의 태스크를 수행하도록 머신 학습 모델의 앙상블을 트레이닝하고 - 앙상블은 제 1 해상도를 가진 이미지 데이터를 사용해서 트레이닝된 제 1 머신 학습 모델 및 제 2 머신 학습 모델을 포함함 - , 융합된 머신 학습 모델의 앙상블의 소프트 예측 타깃과 제 3 머신 학습 모델의 소프트 예측 타깃 사이의 증류 손실에 적어도 부분적으로 기초해서 제 3 머신 학습 모델을 트레이닝하도록 한다.
예 860은 예 859의 청구 대상을 포함하며, 이 방법은 제 3 머신 학습 모델의 실측 자료 레이블과 하드 예측 타깃 사이의 차이를 나타내는 손실에 더 기초해서 제 3 머신 학습 모델을 트레이닝하는 단계를 더 포함한다.
예 861는 예 859 또는 예 860의 청구 대상을 포함하며, 여기서 제 1 해상도를 갖는 이미지 데이터는 하나 이상의 LiDAR에 의해 캡처된 데이터이다.
예 862는 예 859 또는 예 860의 청구 대상을 포함하며, 여기서 제 1 해상도를 갖는 이미지 데이터는 하나 이상의 카메라에 의해 캡처된 데이터이다.
예 863은 예 859 내지 예 862 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 제 1 해상도보다 낮은 제 2 해상도를 갖는 이미지 데이터를 사용해서 트레이닝된다.
예 864는 예 859 내지 예 863 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 카메라에 의해 캡처된 이미지 데이터를 사용해서 트레이닝된다.
예 865은 예 859 내지 예 863 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 LiDAR에 의해 캡처된 이미지 데이터를 사용하여 트레이닝된다.
예 866은 예 859 내지 예 865 중 어느 하나의 청구 대상을 포함하며, 여기서 제 3 머신 학습 모델은 하나 이상의 LiDAR에 의해 캡처된 이미지 데이터를 사용하여 트레이닝된 제 4 머신 학습 모델과 하나 이상의 카메라에 의해 캡처된 이미지 데이터를 사용해서 트레이닝된 제 4 머신 학습 모델의 조합이다.
예 867은 시스템으로서, 검지된 데이터를 저장하는 메모리와, 제 1 자율 차량의 내부 검지 모듈 - 내부 검지 모듈은 제 1 자율 차량에 의해 검지된 데이터의 제 2 자율 차량의 외부 검지 모듈로의 통신을 개시하기 위한 회로를 포함함 - 과, 제 1 자율 차량의 외부 검지 모듈 - 제 2 자율 차량의 내부 검지 모듈로부터 데이터를 수신하는 제 1 자율 차량의 외부 검지 모듈과, 제 1 자율 차량의 연계 의사 결정기 - 연계 의사 결정기는 제 2 자율 차량의 연계 의사 결정기와의 통신에 기초해서 운전 동작을 결정하는 회로를 포함함 - 포함한다.
예 868은 예 867의 청구 대상을 포함하는데, 여기서 제 1 자율 차량의 내부 검지 모듈은 시멘틱 언어를 사용해서 제 2 자율 차량의 외부 검지 모듈과 통신하는 것이다.
예 869는 예 867 또는 예 868의 청구 대상을 포함하며, 여기서 제 1 자율 차량의 외부 검지 모듈은 시멘틱 언어를 사용해서 제 2 자율 차량의 내부 검지 모듈과 통신하는 것이다.
예 870는 예 867 내지 예 869 중 어느 하나의 청구 대상을 포함하며, 여기서 제 1 자율 차량의 연계 의사 결정기는 시멘틱 언어를 사용해서 제 2 자율 차량의 연계 의사 결정기 모듈과 통신한다.
예 871은 예 867 내지 예 870 중 어느 하나의 청구 대상을 포함하며, 여기서 시스템은 제 1 자율 차량의 증강 검지 모듈을 포함한다.
예 872는 예 867 내지 예 871 중 어느 하나의 청구 대상을 포함하며, 여기서 제 1 자율 차량의 연계 의사 결정기와 제 2 자율 차량의 연계 의사 결정기 사이에 통신되는 데이터는, 제 1 자율 차량 또는 제 2 자율 차량의 액션 계획과 관련된 데이터를 포함한다.
예 873은 예 867 내지 예 872 중 어느 하나의 청구 대상을 포함하는데, 여기서 제 1 자율 차량의 내부 검지 모듈은 제 1 자율 차량에 의해 검지된 데이터를 분석한다.
예 874는 예 867 내지 예 873 중 어느 하나의 청구 대상을 포함하며, 여기서 시스템은 하나 이상의 외부 에이전트로부터 검지된 데이터를 사용해서 제 1 자율 차량의 주변을 보도록 하나 이상의 외부 에이전트로부터 검지된 데이터를 수신하는 회로를 포함하는 가상 현실 인식 모듈을 더 포함한다.
예 875는 방법으로서, 시멘틱 언어를 사용해서 제 1 자율 차량으로부터 제 2 자율 차량으로 데이터를 공유하는 단계를 포함한다.
예 876은 예 875의 청구 대상을 포함하며, 데이터는 하나 이상의 교통 상황과 관련된 중요한 데이터를 포함한다.
예 877은 예 875 또는 예 876 중 어느 하나의 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 878은 예 877의 청구 대상을 포함하며, 여기서 수단은 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 명령어는 실행될 때 예 875 또는 예 876의 방법을 구현한다.
예 879는 방법으로서, 회로를 포함하는 제어 유닛에 의해, 차량의 이미지 센서에 대한 위치 조정 명령을 생성하는 단계와, 제어부에서, 차량의 이미지 센서로부터 이미지 데이터를 수신하는 단계와, 이미지 데이터 내에서 차량 마커의 위치 및 크기를 검출하는 단계와, 제어 유닛에 의해, 이미지 데이터 내의 차량 마커의 위치 및 크기에 기초해서, 차량의 이미지 센서에 대한 제 2 위치 조정 명령을 생성하는 단계를 포함한다.
예 880는 예 879의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수평 회전 각도를 명시한다.
예 881은 예 879 또는 예 880의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수직 회전 각도를 명시한다.
예 882는 예 879 내지 예 881 중 어느 하나의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수평 이동 거리를 명시한다.
예 883는 예 879 내지 예 882 중 어느 하나의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수직 이동 거리를 명시한다.
예 884는 청구항 879 내지 예 883 중 어느 하나의 청구 대상을 포함하며, 방법은 차량과 연관된 검출된 조건에 응답해서 이미지 센서에 대한 위치 조정 명령을 생성하는 단계를 더 포함한다.
예 885는 예 879 내지 예 884 중 어느 하나의 청구 대상을 포함하며, 여기서 위치 조정 명령은 차량의 이미지 센서의 일련의 주기적 위치 조정 명령의 일부이다.
예 886은 예 879 내지 예 885 중 어느 하나의 청구 대상을 포함하며, 여기서 차량의 마커는 차량의 외부에 배치되고, 차량의 외부와는 다른 색상이다.
예 887은 예 879 또는 예 886 중 어느 하나의 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 888은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 회로를 포함하는 제어 유닛에 의해, 차량의 이미지 센서에 대한 위치 조정 명령을 생성하고, 제어 유닛에서, 차량의 이미지 센서로부터 이미지 데이터를 수신하며, 이미지 데이터 내에서 차량 마커의 위치 및 크기를 검출하며, 제어 유닛에 의해, 이미지 데이터 내의 차량 마커의 위치 및 크기에 기초해서, 차량의 이미지 센서에 대한 제 2 위치 조정 명령을 생성하도록 한다.
예 889는 예 888의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수평 회전 각도를 명시한다.
예 890은 예 888 또는 예 889의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수직 회전 각도를 명시한다.
예 891은 예 888 내지 예 890 중 어느 하나의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수평 이동 거리를 명시한다.
예 892는 예 888 내지 예 891 중 어느 하나의 청구 대상을 포함하며, 위치 조정 명령은 차량의 이미지 센서의 수직 이동 거리를 명시한다.
예 893은 청구항 888 내지 예 892 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량과 연관된 검출된 조건에 응답해서 이미지 센서에 대한 위치 조정 명령을 생성하도록 한다.
예 894는 예 888 내지 예 893 중 어느 하나의 청구 대상을 포함하며, 여기서 위치 조정 명령은 차량의 이미지 센서의 일련의 주기적 위치 조정 명령의 일부이다.
예 895는 예 888 내지 예 894 중 어느 하나의 청구 대상을 포함하며, 여기서 차량의 마커는 차량의 외부에 배치되고, 차량의 외부와는 다른 색상이다.
예 896은 방법으로서, 루트 상에서 운전자로의 자율 차량의 적어도 하나의 핸드오프 위치를 결정하는 단계와, 운전자의 특성에 관한 정보를 수신하는 단계와, 운전자의 현재주의 상태에 관한 정보를 수신하는 단계와, 적어도 하나의 핸드오프 위치 각각 동안 예상되는 운전자 거동을 결정하는 단계를 포함한다.
예 897은 예 896의 청구 대상을 포함하며, 운전자의 특성에 관계된 정보는 일반 정보를 포함한다.
예 898은 예 896 내지 예 897 중 어느 하나의 청구 대상을 포함하며, 운전자의 특성에 관한 정보는 운전자에 특정된 정보를 포함한다.
예 899는 예 896 내지 예 898 중 어느 하나의 청구 대상을 포함하며, 운전자가 핸드오프 준비가 되었는지 여부를 결정하는 단계를 더 포함한다.
예 900은 예 899의 청구 대상을 포함하며, 운전자가 핸드오프할 준비가 되었다는 결정에 응답해서 차량의 제어를 운전자에게 핸드오버하는 단계를 더 포함한다.
예 901은 예 899의 청구 대상을 포함하며, 운전자가 핸드오프할 준비가 되어 있지 않은 경우 핸드오프의 대안을 계산하는 단계를 더 포함한다.
예 902는 예 901의 청구 대상을 포함하며, 이 대안은 대안의 루트를 찾는 것을 포함한다.
예 903은 예 901의 청구 대상을 포함하며, 대안은 차량을 정지시키는 것을 포함한다.
예 904는 예 896 내지 예 903 중 어느 하나의 청구 대상을 포함하고, 운전자의 특성에 관계된 정보를 업데이트하는 단계를 더 포함한다.
예 905는 예 896 내지 예 904 중 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 906은 예 905의 청구 대상을 포함하며, 수단은 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 명령어는 실행될 때 예 896 내지 예 904 중 어느 하나의 방법을 구현한다.
예 907은 시스템으로서, 탑승자 활동 모니터링 모듈, 개인 맞춤된 탑승자 능력(personalized occupant capability) 데이터베이스, 일반 탑승자 능력(generic occupant capability) 데이터베이스(14720), 핸드오프 예측(handoff forecast) 모듈, 실행 평가 및 최적화 모듈 및 핸드오프 핸들링 모듈을 포함한다.
예 908은, 시스템으로서, 메모리, 메모리에 연결된 프로세서, 안전 모듈, 및 차량의 센서의 상태(health)에 적어도 부분적으로 기초해서 차량의 자율성 레벨 스코어를 결정하는 스코어 모듈을 포함한다.
예 909는 예 908의 청구 대상을 포함하며, 자율성 레벨 스코어를 표시하기 위한 자동화 레벨 표시자를 더 포함한다.
예 910은 예 908 또는 예 909의 청구 대상을 포함하며, 적어도 하나의 입력은 하나 이상의 센서와 관련된 데이터를 포함한다.
예 911은 예 908 내지 예 910 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 입력은 기상 상태와 관련된 데이터를 포함한다.
예 912는 예 908 내지 예 911 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 입력은 차량이 이용 가능한 계산 능력과 관련된 데이터를 포함한다.
예 913은 예 908 내지 예 912 중 어느 하나 이상의 청구 대상을 포함하며, 적어도 하나의 입력은 차량 커스토마이제이션과 관련된 데이터를 포함한다.
예 914는 예 908 내지 예 913 중 어느 하나의 청구 대상을 포함하며, 적어도 하나의 입력은 사용자 경험과 관련된 데이터를 포함한다.
예 915는 방법으로서, 차량과 관련된 복수의 입력을 수신하는 단계와, 복수의 입력에 가중치를 부여하는 단계와, 복수의 가중 입력을 결합하는 단계와, 결합된 가중 입력을 사용해서 차량에 대한 자율성 레벨 스코어를 결정하는 단계를 포함한다.
예 916은 예 915의 청구 대상을 포함하며, 자율성 레벨 스코어를 자동화 레벨 표시자에 표시하는 단계를 더 포함한다.
예 917은 예 915 또는 예 916의 청구 대상을 포함하며, 운전자의 특성에 관한 정보를 업데이트하는 단계를 더 포함한다.
예 918은 예 915 내지 예 917 중 어느 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 919는 예 918의 청구 대상을 포함하며, 수단은 명령어를 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 명령어는 실행될 때 예 915 내지 예 917 중 어느 하나의 방법을 구현한다.
예 920은 방법으로서, 차량의 치수가 수정되었는지 여부를 결정하는 단계와, 새로운 차량 치수를 획득하는 단계와, 새로운 차량 치수에 기초해서 새로운 차량 모델을 생성하는 단계와, 새로운 차량 모델에 기초해서 자율 차량 스택의 하나 이상의 알고리즘을 조정하는 단계를 포함한다.
예 921은 예 920의 청구 대상을 포함하며, 차량의 치수가 수정되었는지 여부를 결정하는 단계는 센서를 사용해서 히치가 체결되어 있는지 결정하는 단계를 포함한다.
예 922는 예 920 또는 예 921의 청구 대상을 포함하며, 새로운 차량 치수를 획득하는 단계는 초음파 스캔을 수행하는 단계를 포함한다.
예 923은 예 920 또는 예 921의 청구 대상을 포함하며, 새로운 차량 치수를 획득하는 단계는 보행하면서 차량을 스캔하는 단계를 포함한다.
예 924는 예 923의 청구 대상을 포함하며, 보행하면서 차량을 스캔하는 단계는 스마트 폰을 사용하는 단계를 포함한다.
예 925는 예 920 내지 예 924 중 어느 하나의 청구 대상을 포함하며, 차량 치수가 변경될 때 운전자에게 새로운 차량 치수를 프롬프트하는 단계를 더 포함한다.
예 926은 예 920 내지 예 925 중 어느 하나의 청구 대상을 포함하며, 차량의 치수가 수정된 후 차량의 자율 레벨을 결정하는 단계를 더 포함한다.
예 927은 예 920 내지 예 926 중 어느 하나의 청구 대상을 포함하며, 센서를 사용해서 새로운 차량 치수를 검증하는 단계를 더 포함한다.
예 928은 예 920 내지 예 927 중 어느 하나 이상을 수행하는 수단을 포함하는 시스템이다.
예 929는 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 치수가 수정되었는지 여부를 결정하고, 새로운 차량 치수를 획득하며, 새로운 차량 치수에 기초해서 새로운 차량 모델을 생성하고, 새로운 차량 모델에 기초해서 자율 차량 스택의 하나 이상의 알고리즘을 조정하도록 한다.
예 930은 예 929의 청구 대상을 포함하며, 차량의 치수가 수정되었는지 여부를 결정하는 것은, 센서를 사용해서 히치가 체결되어 있는지 결정하는 것을 포함한다.
예 931은 예 929 또는 예 930의 청구 대상을 포함하며, 새로운 차량 치수를 획득하는 것은 초음파 스캔을 수행하는 것을 포함한다.
예 932는 예 929 또는 예 930의 청구 대상을 포함하며, 새로운 차량 치수를 획득하는 것은 보행하면서 차량을 스캔하는 것을 포함한다.
예 933은 예 932의 청구 대상을 포함하며, 보행하면서 차량을 스캔하는 것은스마트 폰을 사용하는 것을 포함한다.
예 934는 예 929 내지 예 933 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량 치수가 변경될 때 운전자에게 새로운 차량 치수를 프롬프트하도록 한다.
예 935은 예 929 내지 예 934 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 차량의 치수가 수정된 후 차량의 자율 레벨을 결정하도록 한다.
예 936은 예 929 내지 예 935 중 어느 하나의 청구 대상을 포함하며, 명령어는 머신으로 하여금 또한, 센서를 사용해서 새로운 차량 치수를 검증하도록 한다.
예 937은 장치로서, 차량의 복수의 센서로부터 센서 데이터를 수신하기 위한 적어도 하나의 인터페이스와, 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는, 센서 데이터에 기초한 경로 계획에 따라 차량의 주행을 자율적으로 제어하고, 차량의 자율 제어가 중단되어야 한다고 결정하며, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하고 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - , 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하고, 주행 지시 데이터에 포함된 지시에 기초해서 차량의 주행을 제어한다.
예 938은 예 937를 포함하며, 주행 지시 데이터는 원격 컴퓨팅 시스템에서의 인간 사용자의 입력에 기초해서 생성된다.
예 939는 예 937 또는 예 938를 포함하며, 하나 이상의 프로세서는 풀오버 이벤트를 검출하고, 여기서 차량은 풀오버하고 풀오버 이벤트와 관련하여 주행을 중지하며, 풀오버 이벤트에 대한 응답으로 핸드오프 요청이 송신된다.
예 940은 예 937 또는 예 938을 포함하며, 차량의 자율 제어가 중단되어야 한다고 결정하는 것은, 특정 머신 학습 모델을 사용해서, 경로 계획의 곧 있을 섹션의 상태가 곧 있을 섹션에서 자율 주행하는 데 어려움을 제시한다는 것을 예측하는 것을 포함한다.
예 941은 예 937 내지 예 940 중 어느 하나를 포함하며, 하나 이상의 프로세서는, 차량에서 하나 이상의 손상된 센서를 검출하는 것에 기초해서, 자율 제어가 중단되어야 한다고 결정된다.
예 942는 예 937 내지 예 941 중 어느 하나를 포함하며, 하나 이상의 프로세서는, 차량 내에 승인된(qualified) 승객이 존재하지 않는다고 결정하고, 승인된 승객이 존재하지 않는다는 결정에 적어도 부분적으로 기초해서 핸드오프 요청이 송신된다.
예 943은 예 937 내지 예 942 중 어느 하나를 포함하며, 하나 이상의 프로세서는, 원격 컴퓨팅 시스템의 사용자에게 차량 주변의 동적 표현을 제공하기 위해 센서 데이터를 원격 컴퓨팅 시스템에 송신한다.
예 944는 예 943의 장치를 포함하며, 센서 데이터는 비디오 데이터를 포함한다.
예 945는 예 937 또는 예 944의 청구 대상을 포함하며, 차량의 제어가 원격 발렛 서비스로 핸드오버되는 것을 식별하기 위해서, 차량의 승객에 의한 소비에 대한 경보를 통신하는 것을 더 포함한다.
예 946은 예 937 내지 예 945 중 어느 하나의 청구 대상을 포함하며, 하나 이상의 프로세서는, 경로 계획에 따른 상태의 변화를 검출하고, 원격 발렛 서비스로부터 차량의 자율 주행 로직으로 차량의 주행의 제어를 복원한다.
예 947은 방법으로서, 차량의 복수의 센서로부터 생성된 센서 데이터에 기초한 경로 계획에 따라 차량의 주행을 자율적으로 제어하는 단계와, 차량의 자율 제어가 중단되어야 한다고 결정하는 단계와, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하는 단계 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - 와, 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하는 단계와, 주행 지시 데이터에 포함된 지시에 기초해서 차량의 주행을 제어하는 단계를 포함한다.
예 948은 예 947의 방법을 포함하며, 주행 지시 데이터는 원격 컴퓨팅 시스템에서의 인간 사용자의 입력에 기초해서 생성된다.
예 949는 예 947 또는 예 948의 방법을 포함하며, 풀오버 이벤트를 검출하는 단계를 더 포함하고, 여기서 차량은 풀오버하고 풀오버 이벤트와 관련하여 주행을 중지하며, 풀오버 이벤트에 응답해서 핸드오프 요청이 송신된다.
예 950은 예 947 또는 예 948의 방법을 포함하며, 차량의 자율 제어가 중단되어야 한다고 결정하는 단계는, 특정 머신 학습 모델을 사용해서, 경로 계획의 곧 있을 섹션의 상태가 곧 있을 섹션에서 자율 주행하는 데 어려움을 제시한다는 것을 예측하는 단계를 포함한다.
예 951은 예 947 내지 예 950 중 어느 하나의 방법을 포함하며, 차량에서 하나 이상의 손상된 센서를 검출하는 것에 기초해서, 자율 제어가 중단되어야 한다고 결정된다.
예 952는 예 947 내지 예 951 중 어느 하나의 방법을 포함하며, 차량 내에 승인된(qualified) 승객이 존재하지 않는다고 결정하는 단계를 더 포함하고, 승인된 승객이 존재하지 않는다는 결정에 적어도 부분적으로 기초해서 핸드오프 요청이 송신된다.
예 953은 예 947 내지 예 952 중 어느 하나의 방법을 포함하며, 원격 컴퓨팅 시스템의 사용자에게 차량 주변의 동적 표현을 제공하기 위해 센서 데이터를 원격 컴퓨팅 시스템에 송신하는 단계를 더 포함한다.
예 954는 예 953의 방법을 포함하며, 센서 데이터는 비디오 데이터를 포함한다.
예 955는 예 947 또는 예 954를 포함하며, 차량의 제어가 원격 발렛 서비스로 핸드오버되는 것을 식별하기 위해서, 차량의 승객에 의한 소비에 대한 경보를 통신하는 단계를 더 포함한다.
예 956은 예 947 내지 예 955 중 어느 하나의 청구 대상을 포함하며, 경로 계획에 따른 상태의 변화를 검출하는 단계와, 원격 발렛 서비스로부터 차량의 자율 주행 로직으로 차량의 주행의 제어를 복원하는 단계를 더 포함한다.
예 957은 시스템으로서, 차량의 센서 세트로부터 생성된 센서 데이터에 기초한 경로 계획에 따라 차량의 주행을 자율적으로 제어하는 수단과, 차량의 자율 제어가 중단되어야 한다고 결정하는 수단과, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하는 수단 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - 과, 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하는 수단과, 주행 지시 데이터에 포함된 지시에 기초해서 차량의 주행을 제어하는 수단을 포함한다.
예 958은 예 957의 시스템을 포함하며, 주행 지시 데이터는 원격 컴퓨팅 시스템에서의 인간 사용자의 입력에 기초해서 생성된다.
예 959는 예 957 또는 예 958의 시스템을 포함하며, 풀오버 이벤트를 검출하는 수단을 더 포함하고, 여기서 차량은 풀오버하고 풀오버 이벤트와 관련하여 주행을 중지하며, 풀오버 이벤트에 대한 응답으로 핸드오프 요청이 송신된다.
예 960은 예 957의 시스템을 포함하며, 차량의 자율 제어가 중단되어야 한다고 결정하는 것은, 특정 머신 학습 모델을 사용해서, 경로 계획의 곧 있을 섹션의 상태가 곧 있을 섹션에서 자율 주행하는 데 어려움을 제시한다는 것을 예측하는 것을 포함한다.
예 961은 명령어가 저장된 비일시적 머신 판독 가능 저장 매체로서, 명령어는 머신에 의해 실행될 때 머신으로 하여금, 차량의 센서 세트로부터 생성된 센서 데이터에 기초한 경로 계획에 따라 차량의 주행을 자율적으로 제어하고, 차량의 자율 제어가 중단되어야 한다고 결정하며, 핸드오프 요청을 원격 컴퓨팅 시스템에 송신하고 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - , 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하며, 주행 지시 데이터에 포함된 지시에 기초해서 차량의 주행을 제어하도록 한다.
예 962는 방법으로서, 컴퓨팅 단말 장치에서 인간 사용자에 대한 사용자 인터페이스를 제공하는 단계와, 자율 주행하도록 구성된 차량으로부터 핸드오프 요청을 수신하는 단계와, 원격 센서 장치로부터 차량 주변 환경을 설명하는 센서 데이터를 수신하는 단계와, 센서 데이터에 기초해서 사용자 인터페이스 상에 환경의 표현을 제시하는 단계와, 표현에 응답해서 컴퓨팅 단말 장치에서 사용자 입력을 수신하는 단계 - 사용자 입력은 환경 내에서 차량을 직접 주행하기 위한 입력을 포함함 - 와, 사용자 입력에 따라 차량을 원격 주행하기 위해 사용자 입력에 대응하는 차량에 지시 데이터를 송신하는 단계를 포함한다.
예 963은 예 962의 청구 대상을 포함하며, 핸드오프 요청은 차량의 위치를 식별한다.
예 964는 예 963의 청구 대상을 포함하며, 위치에 대응하는 센서 장치를 결정하는 단계 - 센서 장치는 차량 외부에 있음 - 와, 센서 장치로부터 보충 센서 데이터에 액세스하는 단계 - 보충 센서 데이터에 적어도 부분적으로 기초해서 표현이 제공됨 - 를 포함한다.
예 965는 예 962 내지 예 964 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량의 센서 장치를 포함한다.
예 966은 예 962 내지 예 965 중 어느 하나의 청구 대상을 포함하며, 센서 장치는 차량으로부터 이격된 센서 장치를 포함한다.
예 967은 예 962 내지 예 966 중 어느 하나의 청구 대상을 포함하며, 차량으로부터 차량의 주행 제어를 차량에 반환하는 요청을 수신하는 단계와, 제어의 반환에 대한 확인을 차량에 송신하는 단계와, 지시 데이터를 차량에 송신하는 것을 중단하는 단계를 포함한다.
예 968은 예 962 내지 예 966 중 어느 하나의 청구 대상을 포함하며, 원격 발렛 서비스에 의한 차량의 제어 동안 사용자 입력에 기초해서 차량의 환경 및 성능을 설명하는 보고 데이터를 생성하는 단계와, 보고 데이터를 클라우드 기반 시스템으로 송신하는 단계를 더 포함한다.
예 969는 예 962 내지 예 968 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 970은 예 969의 시스템을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 962 내지 예 968 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 971은 방법으로서, 차량의 센서 세트로부터 센서 데이터를 생성하는 단계와, 차량에 대한 경로 계획을 결정하는 단계와, 하나 이상의 머신 학습 모델 및 센서 데이터에 기초해서 경로 계획에 따라 차량의 주행을 자율적으로 제어하는 단계와, 경로 계획의 곧 있을 부분의 상태를 식별하는 단계와, 상태에 기초해서 차량의 주행 제어를 원격 발렛 서비스로 핸드오프할 기회를 결정하는 단계와, 이 기회에 기초해서 원격 컴퓨팅 시스템에 핸드오프 요청을 송신하는 단계 - 원격 컴퓨팅 시스템은 원격 발렛 서비스를 제공함 - 와, 원격 컴퓨팅 시스템으로부터 주행 지시 데이터를 수신하는 단계와, 지시 데이터에 포함된 지시에 응답해서 차량의 주행을 자동화하는 단계를 포함한다.
예 972는 예 971의 방법을 포함하며, 핸드오프 및 핸드오프에 대응하는 상태를 식별하는 보고 데이터를 다른 컴퓨팅 시스템에 송신하는 단계를 더 포함한다.
예 973은 예 972의 방법을 포함하며, 보고 데이터는 클라우드 기반 애플리케이션으로 송신된다.
예 974는 예 972 또는 예 973의 방법을 포함하며, 보고 데이터는 도로변 유닛으로 송신된다.
예 975는 예 971 내지 예 974 중 어느 하나의 방법을 포함하며, 상태는 다른 컴퓨팅 시스템으로부터 수신된 데이터로부터 식별된다.
예 976은 예 975의 청구 대상을 포함하며, 상태는 머신 학습 모델의 적용을 통해 식별되고, 다른 시스템으로부터의 데이터가 머신 학습 모델에 대한 입력으로 제공된다.
예 977은 예 976의 방법을 포함하며, 머신 학습 모델은 원격 발렛 서비스로의 핸드오프 또는 풀오버 이벤트의 다른 인스턴스를 보고하는 데이터에 기초해서 트레이닝된다.
예 979는 예 971 내지 예 977 중 어느 하나의 방법을 포함하며, 핸드오프 요청은 풀오버 이벤트를 피하기 위해 송신된다.
예 979는 예 971 내지 예 978 중 어느 하나의 방법을 포함하며, 기회는 차량의 자율 주행 기능이 상태의 관점에서 제대로 수행되지 않을 것이라는 예측에 대응한다.
예 980은 예 971 내지 예 979 중 어느 하나의 방법을 포함하며, 기회는 센서 데이터에 포함된 정보에 적어도 부분적으로 기초해서 결정된다.
예 981은 예 971 내지 예 980 중 어느 하나의 방법을 포함하며, 추가 데이터에 액세스하는 단계와, 추가 데이터에 기초해서 곧 있을 경로에 이어지는 경로 계획의 다른 부분에 대한 상태의 개선을 예측하는 단계와, 예측된 상태 개선에 기초해서 제어가 차량으로 반환되도록 요청하는 요청 데이터를 원격 컴퓨팅 시스템으로 송신하는 단계와, 차량의 주행의 자율 제어를 재개하는 단계를 포함한다.
예 982는 예 971 내지 예 981 중 어느 하나의 방법을 포함하며, 제어를 핸드오프할 기회를 결정하는 단계는 풀오버 이벤트를 검출하는 단계를 포함한다.
예 983은 예 982의 방법을 포함하며, 풀오버 이벤트와 관련된 센서 데이터로부터 상태를 결정하는 단계와, 상태를 설명하는 데이터를 원격 컴퓨팅 시스템으로 업로드하는 단계를 포함한다.
예 984는 예 971 내지 예 983 중 어느 하나의 방법을 수행하는 수단을 포함하는 시스템이다.
예 985는 예 984의 시스템을 포함하며, 수단은 명령어를 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 명령어는 머신에 의해 실행될 때 머신으로 하여금 예 971 내지 예 983 중 어느 하나의 방법의 적어도 일부를 수행하게 한다.
예 986은 방법으로서, 자율 차량에 연결된 센서로부터 센서 데이터를 획득하는 단계와, 센서 데이터에 센서 추상화 프로세스를 적용해서 추상화된 장면 데이터를 생성하는 단계 - 센서 추상화 프로세스는, 센서 데이터에 응답 정규화 프로세스를 적용하는 것과, 센서 데이터에 워프(warp) 프로세스를 적용하는 것과, 센서 데이터에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함함 - 와, 추상화된 장면 데이터를 자율 차량에 대한 제어 프로세스의 인식 단계에서 사용하는 단계를 포함한다.
예 987은 예 986의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 동일한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터의 조합에 필터링 프로세스를 적용하는 것 중 하나 이상을 포함한다.
예 988은 예 986의 청구 대상을 포함하며, 센서 데이터는 제 1 센서로부터 제 1 센서 데이터 및 제 2 센서로부터의 제 2 센서 데이터를 포함하고 - 제 1 센서 및 제 2 센서는 서로 상이한 센서 타입임 - , 센서 추상화 프로세스를 적용하는 것은, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 응답 정규화 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 워프 프로세스를 적용하는 것과, 제 1 센서 데이터 및 제 2 센서 데이터 각각에 각각의 필터링 프로세스를 적용해서 제 1 센서 데이터에 대응하는 제 1 추상화된 장면 데이터 및 제 2 센서 데이터에 대응하는 제 2 추상화된 장면 데이터를 생성하는 것 중 하나 이상을 포함하며, 이 방법은 제 1 및 제 2 추상화된 장면 데이터에 융합 프로세스를 적용하는 단계를 더 포함하고, 융합된 제 1 및 제 2 추상화된 장면 데이터는 인식 단계에서 사용된다.
예 989는 예 968 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 응답 정규화 프로세스를 적용하는 것은, 이미지의 픽셀 값을 정규화하는 것, 이미지의 비트 심도를 정규화하는 것, 이미지의 색 공간을 정규화하는 것, 및 LIDAR 데이터의 깊이 또는 거리 값 범위를 정규화하는 것 중 하나 이상을 포함한다.
예 990은 예 986 내지 예 968 중 어느 하나의 청구 대상을 포함하며, 여기서 응답 정규화 프로세스를 적용하는 것은 센서 응답의 모델에 기초한다.
예 991은 예 986 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 워프 프로세스를 적용하는 것은, 공간적 업스케일링 동작, 다운스케일링 동작, 센서와 관련된 기하학적 효과에 대한 보정 프로세스, 및 센서의 모션에 대한 보정 프로세스 중 하나 이상을 수행하는 것을 포함한다.
예 992는 예 986 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 여기서 워프 프로세스를 적용하는 것은 센서 구성 정보에 기초한다.
예 993은 예 986 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 칼만 필터, 칼만 필터의 변형, 입자 필터, 히스토그램 필터, 정보 필터, 베이즈 필터 및 가우시안 필터 중 하나 이상을 적용하는 것을 포함한다.
예 994는 예 986 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 및 장면 모델에 대한 모델 중 하나 이상에 기초한다.
예 995는 예 986 내지 예 988 중 어느 하나의 청구 대상을 포함하며, 필터링 프로세스를 적용하는 것은, 센서 데이터의 유효성을 결정하고, 센서 데이터가 유효하지 않다는 결정에 응답해서 센서 데이터를 폐기하는 것을 포함한다.
예 996은 메모리 및 메모리에 연결되어서 예 986 내지 예 995의 방법 중 하나 이상을 수행하는 처리 회로를 포함하는 장치이다.
예 997은 예 986 내지 예 995의 방법 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템이다.
예 998은 컴퓨터 실행 가능 명령어를 포함하는 하나 이상의 유형의 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품으로서, 이 명령어는 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 프로세서로 하여금 예 986 내지 995 중 어느 하나의 방법의 동작을 수행하게 한다.
따라서, 청구 대상의 특정 실시예가 설명되었다. 다른 실시예는 이하의 청구항의 범주 내에 있다. 일부 경우에, 청구 범위에서 언급된 액션들은 다른 순서로 수행될 수도 있고, 여전히 바람직한 결과를 얻을 수 있다. 나아가, 첨부된 도면에 도시된 프로세스는 바람직한 결과를 얻기 위해 도시된 특정 순서로 또는 순차적인 순서로 반드시 수행되어야 하는 것은 아니다.

Claims (50)

  1. 명령어가 저장된 적어도 하나의 비일시적 머신 판독 가능 저장 매체로서,
    상기 명령어는 머신에 의해 실행될 때 상기 머신으로 하여금,
    복수의 센서로부터 센서 데이터를 수신하고 - 상기 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 상기 복수의 센서 중 적어도 일부는 차량에 연결됨 - ,
    상기 차량의 프로세서를 사용해서, 상기 제 1 센서 세트에 의해 생성된 상기 센서 데이터의 적어도 일부에 기초해서 상기 차량의 제어를 자동화하고,
    상기 차량의 프로세서를 사용해서, 상기 제 2 센서 세트에 의해 생성된 센서 데이터로부터 자율 차량 내의 한 명 이상의 승객의 승객 속성을 결정하며,
    상기 승객 속성 및 상기 제 1 센서 세트에 의해 생성된 상기 센서 데이터에 기초해서 상기 차량의 차량 속성을 수정하도록 하는
    저장 매체.
  2. 제 1 항에 있어서,
    상기 차량의 제어를 자동화하는 것은, 상기 차량의 제 1 경로를 결정하는 것과, 상기 승객 속성에 기초해서 상기 제 1 경로를 제 2 경로로 변경하고 상기 차량의 후속하는 자동화된 제어가 상기 제 2 경로에 기초하도록 상기 차량 속성을 수정하는 것을 포함하는
    저장 매체.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 차량 속성은 상기 차량의 캐빈(cabin)의 물리적 속성을 포함하고,
    상기 승객은 상기 캐빈 내에 있는
    저장 매체.
  4. 제 3 항에 있어서,
    상기 캐빈은 상기 승객의 편안함을 촉진하도록 구성된 하나 이상의 장치를 포함하고,
    상기 차량 속성을 수정하는 것은 상기 하나 이상의 장치를 자율적으로 조정하는 것을 포함하는
    저장 매체.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 차량 속성을 수정하는 것은, 상기 차량의 자동화된 제어와 관련된 내비게이션 계획 및 상기 승객 속성에 기초해서 사용자 인터페이스 장치를 사용하여 상기 승객에게 추천을 제시하는 것을 포함하는
    저장 매체.
  6. 제 5 항에 있어서,
    상기 추천은, 상기 승객 속성에 기초해서 상기 차량의 목적지 또는 루트를 변경하기 위한 추천을 포함하는
    저장 매체.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 승객 속성은, 상기 차량 내의 상기 한 명 이상의 승객의 편안함, 선호도 또는 요구에 영향을 미치는 속성을 포함하는
    저장 매체.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 차량의 자동화된 제어는 제 1 머신 학습 모델을 사용해서 결정되고,
    상기 승객 속성은 제 2 머신 학습 모델을 사용해서 결정되는
    저장 매체.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 차량 속성은 상기 차량의 상기 자동화된 제어를 통해 실현되는 주행 스타일을 포함하고,
    상기 차량 속성을 수정하는 것은 상기 승객 속성에 기초해서 상기 주행 스타일을 변경하는
    저장 매체.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제 1 센서 세트 및 상기 제 2 센서 세트는 적어도 하나의 센서를 공통으로 포함하는
    저장 매체.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 제 1 센서 세트 및 상기 제 2 센서 세트의 적어도 하나의 센서는 상기 차량의 외부(extraneous)에 있는
    저장 매체.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 명령어는 상기 머신으로 하여금, 또한
    상기 제 2 센서 세트로부터의 센서 데이터에 기초해서 상기 승객 중 하나 이상의 신원을 결정하게 하고,
    상기 하나 이상의 승객의 상기 신원에 대응하는 선호도 정보에 액세스하도록 하는 - 상기 승객 속성은 상기 선호도 정보를 포함함 -
    저장 매체.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 승객 속성은 상기 승객의 인간 속성을 기술(describe)하는
    저장 매체.
  14. 제 13 항에 있어서,
    상기 승객은 복수의 승객을 포함하고,
    상기 인간 속성은 상기 복수의 승객을 포함하는 승객 그룹의 결합된 속성을 포함하며,
    상기 차량 속성은 상기 결합된 속성에 기초해서 수정되는
    저장 매체.
  15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 명령어는 상기 머신으로 하여금, 또한
    상기 제 1 센서 세트 또는 상기 제 2 센서 세트로부터의 데이터를 포함하는 특정 센서 데이터를, 무선 통신 채널을 통해 원격 컴퓨팅 시스템으로 송신하고,
    상기 특정 센서 데이터에 기초해서 상기 원격 컴퓨팅 시스템으로부터 추천 데이터를 수신하도록 하는 - 상기 차량 속성은 상기 추천 데이터에 기초해서 수정됨 -
    저장 매체.
  16. 방법으로서,
    복수의 센서로부터 센서 데이터를 수신하는 단계 - 상기 복수의 센서는 제 1 센서 세트 및 제 2 센서 세트를 포함하고, 상기 복수의 센서 중 적어도 일부는 차량에 연결됨 - 와,
    상기 차량의 데이터 프로세서를 사용해서, 상기 제 1 센서 세트에 의해 생성된 상기 센서 데이터의 적어도 일부에 기초해서 상기 차량의 제어를 자동화하는 단계와,
    상기 차량의 데이터 프로세서를 사용해서, 상기 제 2 센서 세트에 의해 생성된 센서 데이터로부터 자율 차량 내의 한 명 이상의 승객의 승객 속성을 결정하는 단계와,
    상기 승객 속성 및 상기 제 1 센서 세트에 의해 생성된 상기 센서 데이터에 기초해서 상기 차량의 차량 속성을 수정하는 단계
    를 포함하는 방법.
  17. 제 16 항에 있어서,
    상기 차량의 제어를 자동화하는 단계는, 상기 차량의 제 1 경로를 결정하는 단계와, 상기 승객 속성에 기초해서 상기 제 1 경로가 제 2 경로로 변경되게 하고 상기 차량의 후속하는 자동화된 제어가 상기 제 2 경로에 기초하도록 상기 차량 속성을 수정하는 단계를 포함하는
    방법.
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 차량 속성은 상기 차량의 캐빈의 물리적 속성을 포함하고, 상기 승객은 상기 캐빈 내에 있는
    방법.
  19. 제 16 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 차량 속성을 수정하는 단계는, 상기 차량의 자동화된 제어와 관련해서 결정된 경로 및 상기 승객 속성에 기초해서, 프리젠테이션 장치를 사용하여 상기 승객에게 추천을 제시하는 단계를 포함하는
    방법.
  20. 제 16 항 내지 제 19 항 중 어느 한 항에 있어서,
    상기 차량 속성은 상기 차량의 상기 자동화된 제어를 통해 실현되는 주행 스타일을 포함하고,
    상기 차량 속성을 수정하는 것은, 상기 승객 속성에 기초해서 상기 주행 스타일이 변경되게 하는
    방법.
  21. 제 16 항 내지 제 20 항 중 어느 한 항의 방법을 수행하는 수단을 포함하는 시스템.
  22. 명령어가 저장된 적어도 하나의 비일시적 머신 판독 가능 저장 매체로서,
    상기 명령어는 머신에 의해 실행될 때 상기 머신으로 하여금,
    제 1 센서 세트에 의해 생성된 제 1 센서 데이터를 수신하고 - 상기 제 1 센서 데이터는 주행 환경의 속성을 식별함 - ,
    제 2 센서 세트에 의해 생성된 제 2 센서 데이터를 수신하며 - 상기 제 2 센서 데이터는 상기 주행 환경의 특정 차량 내의 승객 세트의 속성을 식별함 - ,
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터에 기초해서 추천을 결정하고,
    무선 통신 채널을 통해 추천 데이터를 상기 특정 차량의 온보드 컴퓨팅 시스템으로 송신하도록 하는 - 상기 추천 데이터는 상기 추천을 식별하고, 상기 특정 차량의 동작에 영향을 미치도록 상기 온보드 컴퓨팅 시스템에 의해 소비될 수 있음 -
    저장 매체.
  23. 제 22 항에 있어서,
    상기 제 1 센서 세트는 상기 특정 차량에 일체화된 하나 이상의 센서를 포함하는
    저장 매체.
  24. 제 22 항 또는 제 23 항에 있어서,
    상기 제 1 센서 세트는 상기 특정 차량의 외부(extraneous)에 있는 하나 이상의 센서를 포함하는
    저장 매체.
  25. 제 24 항에 있어서,
    상기 명령어는 상기 머신으로 하여금, 또한
    상기 특정 차량의 위치를 결정하고,
    상기 위치에서 하나 이상의 특정 센서를 식별하며,
    상기 특정 센서로부터 특정 센서 데이터에 액세스하도록 하는 - 상기 제 1 센서 데이터는 상기 특정 센서 데이터를 포함함 -
    저장 매체.
  26. 제 25 항에 있어서,
    상기 제 1 센서 세트는 상기 위치의 다른 차량에 장착된 하나 이상의 센서를 포함하는
    저장 매체.
  27. 제 25 항 또는 제 26 항에 있어서,
    상기 제 1 센서 세트는 상기 위치의 도로변 유닛을 포함하는
    저장 매체.
  28. 제 22 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 명령어는 상기 머신으로 하여금, 또한
    상기 제 2 센서 데이터로부터 상기 승객 세트와 관련된 하나 이상의 프로파일을 결정하게 하는 - 상기 추천은 상기 하나 이상의 프로파일에 기초함 -
    저장 매체.
  29. 제 22 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 추천은, 상기 온보드 컴퓨팅 시스템이 상기 추천에 기초해서 상기 특정 차량의 자동화된 제어를 변경하게 하도록 상기 온보드 컴퓨팅 시스템에 의해 소비될 수 있는
    저장 매체.
  30. 제 29 항에 있어서,
    상기 자동화된 제어의 변경은, 상기 차량이 이전에 결정된 경로를 벗어나게 하는
    저장 매체.
  31. 제 29 항 또는 제 30 항에 있어서,
    상기 자동화된 제어의 변경은, 상기 차량이 상기 추천에 기초해서 제 1 주행 스타일로부터 제 2 주행 스타일로 변경하게 하는
    저장 매체.
  32. 방법으로서,
    제 1 센서 세트에 의해 생성된 제 1 센서 데이터를 수신하는 단계 - 상기 제 1 센서 데이터는 주행 환경의 속성을 식별함 - 와,
    제 2 센서 세트에 의해 생성된 제 2 센서 데이터를 수신하는 단계 - 상기 제 2 센서 데이터는 상기 주행 환경의 특정 차량 내의 승객 세트의 속성을 식별함 - 와,
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터에 기초해서 추천을 결정하는 단계와,
    무선 통신 채널을 통해 추천 데이터를 상기 특정 차량의 온보드 컴퓨팅 시스템으로 송신하는 단계 - 상기 추천 데이터는 상기 추천을 식별하고, 상기 특정 차량의 동작에 영향을 미치도록 상기 온보드 컴퓨팅 시스템에 의해 소비될 수 있음 -
    를 포함하는 방법.
  33. 제 32 항의 방법을 수행하는 수단을 포함하는 시스템.
  34. 시스템으로서,
    차량의 온보드 컴퓨팅 시스템 - 상기 온보드 컴퓨팅 시스템은 프로세서 하드웨어를 포함하고, 상기 프로세서 하드웨어는 머신-학습 하드웨어를 포함함 - 과,
    로컬 센서의 세트와,
    액추에이터의 세트와,
    상기 프로세서 하드웨어에 의해 실행 가능한 추천 시스템
    을 포함하고,
    상기 프로세서 하드웨어는,
    환경 내의 주행 상태를 기술하는 제 1 센서 데이터를 식별하고 - 상기 차량은 환경 내에 또는 상기 환경 주변에 위치되고, 상기 온보드 컴퓨팅 시스템은 상기 제 1 센서 데이터를 사용해서 상기 차량의 제어를 자동화함 - ,
    제 2 센서 데이터를 식별하며 - 상기 제 2 센서 데이터의 적어도 일부는 상기 로컬 센서 세트에 의해 생성됨 - ,
    상기 제 2 센서 데이터로부터 상기 차량 내의 승객 세트의 하나 이상의 승객 속성을 결정하고,
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터에 기초해서 상기 온보드 컴퓨팅 시스템에 대한 추천을 결정하며,
    상기 온보드 컴퓨팅 시스템은 상기 차량의 상태를 변경하기 위해 상기 액추에이터의 세트 중 하나 이상을 가동하는데 상기 추천을 소비하는
    시스템.
  35. 제 34 항에 있어서,
    상기 하나 이상의 액추에이터는 상기 차량의 조향, 가속 또는 제동 중 하나를 제어하는 액추에이터를 포함하는
    시스템.
  36. 제 35 항에 있어서,
    상기 온보드 컴퓨팅 시스템은 경로 계획 엔진을 포함하고,
    상기 경로 계획 엔진은,
    상기 차량에 대한 제 1 경로 계획을 결정하고,
    상기 추천에 기초해서, 상기 제 1 경로 계획을 보강해서 상기 차량에 대한 다른 제 2 경로 계획을 형성하는
    시스템.
  37. 제 34 항에 있어서,
    상기 하나 이상의 액추에이터는 상기 차량의 캐빈 내의 물리적인 상태를 조정하기 위한 액추에이터를 포함하고, 상기 승객은 상기 차량의 상기 캐빈 내에 승차하는
    시스템.
  38. 제 34 항에 있어서,
    상기 제 1 센서 데이터의 적어도 일부는 상기 로컬 센서 세트에 의해 생성되는
    시스템.
  39. 제 34 항에 있어서,
    상기 추천 시스템은,
    원격 컴퓨팅 시스템과 무선 통신 채널을 통해 통신하고,
    상기 원격 컴퓨팅 시스템으로부터 추천 데이터를 수신하는 - 상기 추천은 상기 추천 데이터에 더 기초해서 결정됨 -
    시스템.
  40. 제 34 항에 있어서,
    상기 제 1 센서 데이터 또는 상기 제 2 센서 데이터의 일부는 상기 차량의 외부에 있는 센서로부터 수신되는
    시스템.
  41. 방법으로서,
    자율 차량에 연결된 센서로부터 센서 데이터를 획득하는 단계와,
    상기 센서 데이터에 센서 추상화 프로세스를 적용해서 추상화된 장면 데이터를 생성하는 단계 - 상기 센서 추상화 프로세스는, 상기 센서 데이터에 응답 정규화(response normalization) 프로세스를 적용하는 것, 상기 센서 데이터에 워프(warp) 프로세스를 적용하는 것, 상기 센서 데이터에 필터링 처리를 적용하는 것 중 하나 이상을 포함함 - 와,
    상기 추상화된 장면 데이터를 상기 자율 차량의 제어 프로세스의 인식 단계에서 사용하는 단계
    를 포함하는 방법.
  42. 방법으로서,
    차량의 제 1 센서에 의해, 제 1 해상도를 가진 제 1 이미지 데이터를 캡처하는 단계와,
    머신 학습 모델을 사용해서, 상기 제 1 이미지 데이터를 제 2 해상도를 가진 제 2 이미지 데이터로 변환하는 단계 - 상기 제 2 해상도는 상기 제 1 해상도보다 높음 - 와,
    상기 제 2 이미지 데이터에 기초해서 상기 차량에 대한 물체 검출 동작을 수행하는 단계
    를 포함하는 방법.
  43. 방법으로서,
    자율 차량(AV)의 제어기에 의해, 상기 AV를 자율 주행 모드로 동작시키는 단계와,
    상기 제어기가 아닌 엔티티에 의한 상기 AV의 제어를 인수하는 요청을 수신하는 단계와,
    상기 AV의 제어를 인수하는 요청을 수신하는 것에 응답해서, 요청하는 엔티티에 인증서를 프롬프트하는 단계와,
    상기 프롬프트에 대한 응답으로 입력을 수신하는 단계와,
    상기 수신된 입력에 기초해서 상기 요청하는 엔티티를 인증하는 것에 응답해서 상기 AV의 제어를 인수하는 요청을 허용하는 단계
    를 포함하는 방법.
  44. 방법으로서,
    자율 차량(AV)의 제어 시스템에 의해, 상기 AV에 연결된 복수의 센서로부터 획득된 센서 데이터에 기초해서 상기 AV를 자율 동작 모드 동작시키는 단계와,
    상기 AV의 상기 제어 시스템에 의해, 상기 AV의 승객에 의한 인수 요청을 검출하는 단계와,
    상기 센서 데이터에 기초해서 상기 AV의 상기 제어 시스템에 의해, 상기 요청된 인수가 안전한지 여부를 결정하는 단계와,
    상기 요청된 인수가 안전하지 않다는 결정에 응답해서, 상기 요청된 인수를 차단하는 단계
    를 포함하는 방법.
  45. 도로의 일부에서 차량의 자율 레벨을 제한하는 방법으로서,
    차량의 안전 스코어를 결정하는 단계와,
    도로의 적어도 일부에 대한 도로 스코어를 결정하는 단계와,
    상기 도로 스코어와 상기 안전 스코어를 비교하는 단계와,
    상기 도로의 적어도 일부에서 상기 차량의 수용 가능한 자율 레벨을 결정하는 단계
    를 포함하는 방법.
  46. 방법으로서,
    차량과 관련된 이미지 캡처 장치에 의해 캡처된 이미지를 수신하는 단계와,
    상기 캡처된 이미지에서 얼굴을 검출하는 단계와,
    GAN(Generative Adversarial Network)의 제 1 신경망에 대한 입력 이미지를 생성하는 단계 - 상기 입력 이미지는 상기 캡처된 이미지에서 검출된 상기 얼굴을 묘사함 - 와,
    상기 제 1 신경망을 상기 입력 이미지에 적용하는 것에 적어도 부분적으로 기초해서, 위장 이미지(disguised image)를 생성하는 단계 - 상기 위장된 이미지에는 상기 입력 이미지에 묘사된 상기 얼굴의 시선 속성이 포함되고, 상기 입력 이미지에 묘사된 상기 얼굴의 하나 이상의 다른 속성은 상기 위장된 이미지에서 수정됨 -
    를 포함하는 방법.
  47. 방법으로서,
    자율 차량(AV)에 연결된 센서로부터 센서 데이터를 수신하는 단계와,
    상기 센서 데이터에 디지털 서명을 적용하는 단계와,
    상기 센서 데이터 및 상기 디지털 서명을 포함하는 새로운 블록을, 블록 기반 토폴로지에 추가하는 단계와,
    상기 디지털 서명을 검증하는 단계와,
    상기 디지털 서명이 검증되는 것에 기초해서, 상기 블록을 상기 AV의 논리 유닛에 통신하는 단계
    를 포함하는 방법.
  48. 방법으로서,
    루트 상의 운전자에게 자율 차량의 적어도 하나의 핸드오프 위치를 결정하는 단계와,
    운전자의 특성에 관한 정보를 수신하는 단계와,
    상기 운전자의 현재의 주의 상태에 관한 정보를 수신하는 단계와,
    상기 적어도 하나의 핸드오프 위치 각각에 있는 동안 예상되는 운전자 거동을 결정하는 단계
    를 포함하는 방법.
  49. 방법으로서,
    차량의 컴퓨팅 시스템에 의해, 센서 데이터 및 상기 센서 데이터의 컨텍스트에 기초해서 신호 품질 메트릭을 결정하는 단계와,
    상기 신호 품질 메트릭에 기초해서, 상기 차량의 제어의 핸드오프와 관련된 안전 가능성을 결정하는 단계와,
    상기 안전 가능성에 기초해서, 상기 차량의 제어의 핸드오프를 방지하거나 혹은 핸드오프를 시작하는 단계
    를 포함하는 방법.
  50. 방법으로서,
    자율 차량의 시스템 오류를 결정하는 단계와,
    상기 자율 차량의 자율 레벨이 운전자의 인수(takeover)를 요청하지 않는 제 1 레벨로 감소될 수 있다고 결정하는 단계와,
    상기 자율성 레벨이 상기 제 1 레벨로 감소될 것이라는 것을 상기 운전자에게 경고하는 단계와,
    상기 자율성 레벨을 상기 제 1 레벨로 감소하는 단계
    를 포함하는 방법.
KR1020217027324A 2019-03-29 2020-03-27 자율 차량 시스템 KR20210134317A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962826955P 2019-03-29 2019-03-29
US62/826,955 2019-03-29
PCT/US2020/025404 WO2020205597A1 (en) 2019-03-29 2020-03-27 Autonomous vehicle system

Publications (1)

Publication Number Publication Date
KR20210134317A true KR20210134317A (ko) 2021-11-09

Family

ID=72666352

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217027324A KR20210134317A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027299A KR20210134638A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027159A KR20210134635A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템
KR1020217027157A KR20210134634A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020217027299A KR20210134638A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027159A KR20210134635A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템
KR1020217027157A KR20210134634A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템

Country Status (7)

Country Link
US (4) US20220126878A1 (ko)
EP (4) EP3947080A4 (ko)
JP (4) JP2022525391A (ko)
KR (4) KR20210134317A (ko)
CN (4) CN113508066A (ko)
DE (4) DE112020001643T5 (ko)
WO (4) WO2020205597A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods
KR20240084860A (ko) * 2022-12-07 2024-06-14 주식회사 에스더블유엠 딥러닝을 위한 폴리곤 매시 기반 3차원 객체 모델 및 주석데이터 생성장치 및 그 방법

Families Citing this family (440)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220018906A1 (en) * 2014-02-27 2022-01-20 Invently Automotive Inc. Predicting An Outcome Associated With A Driver Of A vehicle
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
CN113778114A (zh) * 2014-11-07 2021-12-10 索尼公司 控制系统、控制方法以及存储介质
WO2016126317A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure of other vehicles
US11231287B2 (en) * 2016-12-22 2022-01-25 Nissan North America, Inc. Autonomous vehicle service system
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10569784B2 (en) * 2017-09-28 2020-02-25 Waymo Llc Detecting and responding to propulsion and steering system errors for autonomous vehicles
US11215984B2 (en) * 2018-01-09 2022-01-04 Uatc, Llc Systems and methods for controlling an autonomous vehicle
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN112106001B (zh) * 2018-05-09 2024-07-05 上海丰豹商务咨询有限公司 一种车路驾驶任务智能化分配系统和方法
WO2019220235A1 (en) * 2018-05-14 2019-11-21 3M Innovative Properties Company Autonomous navigation systems for temporary zones
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11167836B2 (en) 2018-06-21 2021-11-09 Sierra Nevada Corporation Devices and methods to attach composite core to a surrounding structure
JP7199545B2 (ja) 2018-07-20 2023-01-05 メイ モビリティー，インコーポレイテッド 自律エージェントによる行動方針選択のための多視点システムおよび方法
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US10768629B2 (en) * 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
JP7326667B2 (ja) 2018-07-31 2023-08-16 マーベル アジア ピーティーイー、リミテッド ストレージエッジにおけるメタデータ生成
DE102018118761A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020055910A1 (en) 2018-09-10 2020-03-19 Drisk, Inc. Systems and methods for graph-based ai training
US11618400B2 (en) * 2018-09-24 2023-04-04 Robert Bosch Gmbh Method and device for monitoring a motorcycle
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11953333B2 (en) * 2019-03-06 2024-04-09 Lyft, Inc. Systems and methods for autonomous vehicle performance evaluation
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技（北京）有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
US11440471B2 (en) * 2019-03-21 2022-09-13 Baidu Usa Llc Automated warning system to detect a front vehicle slips backwards
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
DE102019205520A1 (de) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Verfahren zum Ermitteln von Fahrverläufen
US11288111B2 (en) 2019-04-18 2022-03-29 Oracle International Corporation Entropy-based classification of human and digital entities
US11417212B1 (en) * 2019-04-29 2022-08-16 Allstate Insurance Company Risk management system with internet of things
EP3739521A1 (en) * 2019-05-14 2020-11-18 Robert Bosch GmbH Training system for training a generator neural network
US11775770B2 (en) * 2019-05-23 2023-10-03 Capital One Services, Llc Adversarial bootstrapping for multi-turn dialogue model training
EP3748455B1 (en) * 2019-06-07 2022-03-16 Tata Consultancy Services Limited A method and a system for hierarchical network based diverse trajectory proposal
DE102019208735B4 (de) * 2019-06-14 2021-12-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
US11287829B2 (en) * 2019-06-20 2022-03-29 Cisco Technology, Inc. Environment mapping for autonomous vehicles using video stream sharing
US20200410368A1 (en) * 2019-06-25 2020-12-31 International Business Machines Corporation Extended rule generation
US10832294B1 (en) * 2019-06-26 2020-11-10 Lyft, Inc. Dynamically adjusting transportation provider pool size
US11727265B2 (en) * 2019-06-27 2023-08-15 Intel Corporation Methods and apparatus to provide machine programmed creative support to a user
US20190318265A1 (en) * 2019-06-28 2019-10-17 Helen Adrienne Frances Gould Decision architecture for autonomous systems
CN110300175B (zh) * 2019-07-02 2022-05-17 腾讯科技（深圳）有限公司 消息推送方法、装置、存储介质及服务器
US12002361B2 (en) * 2019-07-03 2024-06-04 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
US11386229B2 (en) * 2019-07-04 2022-07-12 Blackberry Limited Filtering personally identifiable information from vehicle data
CN110281950B (zh) * 2019-07-08 2020-09-04 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
WO2021010383A1 (ja) * 2019-07-16 2021-01-21 キヤノン株式会社 光学装置、それを備える車載システム及び移動装置
JP2021015565A (ja) * 2019-07-16 2021-02-12 トヨタ自動車株式会社 車両制御装置
JP7310403B2 (ja) * 2019-07-23 2023-07-19 トヨタ自動車株式会社 車両制御装置及び自動運転禁止システム
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
CN110415543A (zh) * 2019-08-05 2019-11-05 北京百度网讯科技有限公司 车辆信息的交互方法、装置、设备以及存储介质
US11482015B2 (en) * 2019-08-09 2022-10-25 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
EP3990862A4 (en) * 2019-08-31 2023-07-05 Cavh Llc DISTRIBUTED DRIVING SYSTEMS AND METHODS FOR AUTOMATED VEHICLES
DE112019007681T5 (de) * 2019-09-02 2022-06-09 Mitsubishi Electric Corporation Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
US11577756B2 (en) * 2019-09-13 2023-02-14 Ghost Autonomy Inc. Detecting out-of-model scenarios for an autonomous vehicle
US11460856B2 (en) * 2019-09-13 2022-10-04 Honda Motor Co., Ltd. System and method for tactical behavior recognition
US10768620B1 (en) * 2019-09-17 2020-09-08 Ha Q Tran Smart vehicle
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
DE102019214482A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum sicheren zumindest teilautomatisierten Führen eines Kraftfahrzeugs
US11455515B2 (en) * 2019-09-24 2022-09-27 Robert Bosch Gmbh Efficient black box adversarial attacks exploiting input data structure
US11780460B2 (en) * 2019-09-30 2023-10-10 Ghost Autonomy Inc. Determining control operations for an autonomous vehicle
US11645518B2 (en) * 2019-10-07 2023-05-09 Waymo Llc Multi-agent simulations
US11210952B2 (en) * 2019-10-17 2021-12-28 Verizon Patent And Licensing Inc. Systems and methods for controlling vehicle traffic
US20220383748A1 (en) * 2019-10-29 2022-12-01 Sony Group Corporation Vehicle control in geographical control zones
US20210133493A1 (en) * 2019-10-30 2021-05-06 safeXai, Inc. Disrupting object recognition functionality
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
TWI762828B (zh) * 2019-11-01 2022-05-01 緯穎科技服務股份有限公司 高速序列電腦匯流排的訊號調整方法及其相關電腦系統
CN110764509A (zh) * 2019-11-11 2020-02-07 北京百度网讯科技有限公司 任务调度方法、装置、设备及计算机可读存储介质
KR20210059574A (ko) * 2019-11-15 2021-05-25 한국전자통신연구원 릴레이 노드, 릴레이 네트워크 시스템 및 이의 동작 방법
US11838400B2 (en) * 2019-11-19 2023-12-05 International Business Machines Corporation Image encoding for blockchain
US11454967B2 (en) * 2019-11-20 2022-09-27 Verizon Patent And Licensing Inc. Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue
US11433892B2 (en) * 2019-12-02 2022-09-06 Gm Cruise Holdings Llc Assertive vehicle detection model generation
KR20210070029A (ko) * 2019-12-04 2021-06-14 삼성전자주식회사 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램
EP3832420B1 (en) * 2019-12-06 2024-02-07 Elektrobit Automotive GmbH Deep learning based motion control of a group of autonomous vehicles
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
EP4073665A1 (en) * 2019-12-13 2022-10-19 Marvell Asia Pte, Ltd. Automotive data processing system with efficient generation and exporting of metadata
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11748488B2 (en) * 2019-12-24 2023-09-05 Sixgill Ltd. Information security risk management
JPWO2021131474A1 (ko) * 2019-12-26 2021-07-01
US20210221390A1 (en) * 2020-01-21 2021-07-22 Qualcomm Incorporated Vehicle sensor calibration from inter-vehicle communication
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) * 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11511771B2 (en) * 2020-02-17 2022-11-29 At&T Intellectual Property I, L.P. Enhanced navigation and ride hailing
US11873000B2 (en) * 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
US11531865B2 (en) * 2020-02-28 2022-12-20 Toyota Research Institute, Inc. Systems and methods for parallel autonomy of a vehicle
US20210279640A1 (en) * 2020-03-05 2021-09-09 Uber Technologies, Inc. Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations
US11768958B2 (en) * 2020-03-09 2023-09-26 Truata Limited System and method for objective quantification and mitigation of privacy risk
US20210286924A1 (en) * 2020-03-11 2021-09-16 Aurora Innovation, Inc. Generating autonomous vehicle simulation data from logged data
EP3885237A1 (en) * 2020-03-24 2021-09-29 Aptiv Technologies Limited Vehicle, system, and method for determining a position of a moveable element in a vehicle
JP2021157343A (ja) * 2020-03-25 2021-10-07 京セラドキュメントソリューションズ株式会社 データ連携システムおよび匿名化制御システム
EP4120215A4 (en) * 2020-04-02 2023-03-22 Huawei Technologies Co., Ltd. PROCEDURE FOR IDENTIFYING ABNORMAL DRIVING BEHAVIOR
US11493354B2 (en) * 2020-04-13 2022-11-08 At&T Intellectual Property I, L.P. Policy based navigation control
US12018980B2 (en) * 2020-04-20 2024-06-25 Schlumberger Technology Corporation Dynamic systems and processes for determining a condition thereof
US20210331686A1 (en) * 2020-04-22 2021-10-28 Uatc, Llc Systems and Methods for Handling Autonomous Vehicle Faults
US11790458B1 (en) * 2020-04-23 2023-10-17 State Farm Mutual Automobile Insurance Company Systems and methods for modeling telematics, positioning, and environmental data
US11945404B2 (en) * 2020-04-23 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking and video information for detecting vehicle break-in
CN111413892A (zh) * 2020-04-29 2020-07-14 卡斯柯信号有限公司 面向轨交全自动无人驾驶场景验证的云仿真装置与方法
EP4144065A4 (en) * 2020-04-30 2024-08-28 Intel Corp INTEGRATION OF ARTIFICIAL INTELLIGENCE INTO VEHICLES
KR20210135389A (ko) * 2020-05-04 2021-11-15 현대자동차주식회사 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
US20210347376A1 (en) * 2020-05-07 2021-11-11 Steering Solutions Ip Holding Corporation Autonomous driver-feedback system and method
US11318960B1 (en) * 2020-05-15 2022-05-03 Gm Cruise Holdings Llc Reducing pathogen transmission in autonomous vehicle fleet
KR20210144076A (ko) * 2020-05-21 2021-11-30 현대자동차주식회사 차량 및 그의 안전 운전 지원 방법
CN113763693B (zh) * 2020-06-05 2023-07-14 北京图森未来科技有限公司 一种车辆数据处理方法、装置、介质和设备
US11760361B2 (en) 2020-06-11 2023-09-19 Waymo Llc Extracting agent intent from log data for running log-based simulations for evaluating autonomous vehicle software
US11769332B2 (en) * 2020-06-15 2023-09-26 Lytx, Inc. Sensor fusion for collision detection
CN113835420A (zh) * 2020-06-23 2021-12-24 上海丰豹商务咨询有限公司 一种用于自动驾驶系统的功能分配系统
US11807240B2 (en) * 2020-06-26 2023-11-07 Toyota Research Institute, Inc. Methods and systems for evaluating vehicle behavior
WO2021261680A1 (ko) 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
JP2022007246A (ja) * 2020-06-26 2022-01-13 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 鞍乗型車両の制御装置、ライダー支援システム、及び、鞍乗型車両の制御方法
US20230234599A1 (en) * 2020-06-26 2023-07-27 Sony Group Corporation Information processing system, information processing device, and information processing method
US11605306B2 (en) * 2020-06-30 2023-03-14 Toyota Research Institute, Inc. Systems and methods for driver training during operation of automated vehicle systems
US11588830B1 (en) * 2020-06-30 2023-02-21 Sequoia Benefits and Insurance Services, LLC Using machine learning to detect malicious upload activity
WO2022006418A1 (en) 2020-07-01 2022-01-06 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
DE102020208642A1 (de) * 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen
WO2022015235A1 (en) * 2020-07-13 2022-01-20 Grabtaxi Holdings Pte. Ltd. System and method for handling events of a fleet of personal mobility devices
US20220017095A1 (en) * 2020-07-14 2022-01-20 Ford Global Technologies, Llc Vehicle-based data acquisition
CA3182998A1 (en) * 2020-07-15 2022-01-20 Paul R. Hallen Digital image optimization for ophthalmic surgery
DE102020209538A1 (de) * 2020-07-29 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts
CA3126236A1 (en) * 2020-07-29 2022-01-29 Uatc, Llc Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms
US20220031208A1 (en) * 2020-07-29 2022-02-03 Covidien Lp Machine learning training for medical monitoring systems
US11915122B2 (en) * 2020-07-29 2024-02-27 Micron Technology, Inc. Gateway for distributing an artificial neural network among multiple processing nodes
JP2022026320A (ja) * 2020-07-30 2022-02-10 株式会社Subaru 運転交代制御装置
US20220036094A1 (en) * 2020-08-03 2022-02-03 Healthcare Integrated Technologies Inc. Method and system for monitoring subjects for conditions or occurrences of interest
US12054164B2 (en) * 2020-08-14 2024-08-06 Nvidia Corporation Hardware fault detection for feedback control systems in autonomous machine applications
JP7010343B1 (ja) * 2020-08-20 2022-01-26 トヨタ自動車株式会社 機械学習装置
JP6935837B1 (ja) 2020-08-20 2021-09-15 トヨタ自動車株式会社 機械学習装置及び機械学習システム
US20220068053A1 (en) * 2020-08-25 2022-03-03 ANI Technologies Private Limited Determination of health status of vehicular systems in vehicles
CL2021002230A1 (es) * 2020-08-27 2022-04-18 Tech Resources Pty Ltd Método y aparatos para coordinar múltiples trayectorias cooperativas de vehículos en redes de carreteras compartidas
US20220063660A1 (en) * 2020-08-31 2022-03-03 Nissan North America, Inc. Drive Mode Selection
US11670120B2 (en) * 2020-08-31 2023-06-06 Toyota Research Institute, Inc. System and method for monitoring test data for autonomous operation of self-driving vehicles
US11769410B2 (en) * 2020-09-01 2023-09-26 Qualcomm Incorporated Techniques for sharing sensor messages in sidelink communications
US20220073085A1 (en) * 2020-09-04 2022-03-10 Waymo Llc Knowledge distillation for autonomous vehicles
US20220076074A1 (en) * 2020-09-09 2022-03-10 Beijing Didi Infinity Technology And Development Co., Ltd. Multi-source domain adaptation with mutual learning
US11615702B2 (en) * 2020-09-11 2023-03-28 Ford Global Technologies, Llc Determining vehicle path
EP3967565B1 (en) * 2020-09-14 2022-09-28 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for estimating an environmental condition
US12091303B2 (en) * 2020-09-14 2024-09-17 Lance A. Stacy Motorized vehicles having sensors and methods of operating the same
US20220086175A1 (en) * 2020-09-16 2022-03-17 Ribbon Communications Operating Company, Inc. Methods, apparatus and systems for building and/or implementing detection systems using artificial intelligence
KR20220037025A (ko) * 2020-09-16 2022-03-24 현대자동차주식회사 차량의 위치 판단 장치 및 방법
US11610412B2 (en) * 2020-09-18 2023-03-21 Ford Global Technologies, Llc Vehicle neural network training
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
CN114283606A (zh) * 2020-09-27 2022-04-05 阿波罗智联(北京)科技有限公司 用于车辆导航的方法、装置、设备、系统和云控平台
US11866070B2 (en) * 2020-09-28 2024-01-09 Guangzhou Automobile Group Co., Ltd. Vehicle control method and apparatus, storage medium, and electronic device
US12100180B2 (en) * 2020-09-28 2024-09-24 Griffyn Robotech Pvt. Ltd. Automated tuning and calibration of a computer vision system
US20220101184A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Mobile ai
US20220101336A1 (en) * 2020-09-30 2022-03-31 EMC IP Holding Company LLC Compliant and auditable data handling in a data confidence fabric
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
DE102020212565A1 (de) * 2020-10-06 2022-04-07 Volkswagen Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm und Verfahren zur Durchführung in einem Fahrzeug
US20220108569A1 (en) * 2020-10-06 2022-04-07 Ford Global Technologies, Llc Automated detection of vehicle data manipulation and mechanical failure
KR20220045846A (ko) * 2020-10-06 2022-04-13 현대자동차주식회사 트랙렛의 사전분포모델을 활용한 표적차량의 운동 및 형상 동시 추정방법
JP2022061874A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両自動走行システム
US20220114433A1 (en) * 2020-10-08 2022-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for enhanced scene perception using vehicle platoon
US20220114888A1 (en) * 2020-10-14 2022-04-14 Deka Products Limited Partnership System and Method for Intersection Navigation
US20220119004A1 (en) * 2020-10-15 2022-04-21 Atieva, Inc. Defining driving envelope for assisted-driving system
US11927962B2 (en) * 2020-10-15 2024-03-12 Ford Global Technologies, Llc System and method for detecting and addressing errors in a vehicle localization
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
KR20220052430A (ko) * 2020-10-20 2022-04-28 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
CN112567374A (zh) * 2020-10-21 2021-03-26 华为技术有限公司 一种仿真交通场景文件生成方法及装置
US20220122363A1 (en) * 2020-10-21 2022-04-21 Motional Ad Llc IDENTIFYING OBJECTS USING LiDAR
US11516613B1 (en) * 2020-10-22 2022-11-29 Zoox, Inc. Emergency sound localization
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质
CN112257850B (zh) * 2020-10-26 2022-10-28 河南大学 一种基于生成对抗网络的车辆轨迹预测方法
JP7294301B2 (ja) * 2020-10-28 2023-06-20 トヨタ自動車株式会社 移動体、サーバおよび判定プログラム
US20220138325A1 (en) * 2020-10-29 2022-05-05 EMC IP Holding Company LLC Secure enclave pathing configuration for data confidence fabrics
US11500374B2 (en) * 2020-11-03 2022-11-15 Kutta Technologies, Inc. Intelligent multi-level safe autonomous flight ecosystem
KR20220063856A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US12026621B2 (en) * 2020-11-30 2024-07-02 Robert Bosch Gmbh Method and system for low-query black-box universal attacks
US20220173889A1 (en) * 2020-11-30 2022-06-02 Motional Ad Llc Secure Safety-Critical System Log
US20220169286A1 (en) * 2020-12-01 2022-06-02 Scott L. Radabaugh Techniques for detecting and preventing vehicle wrong way driving
US11671857B2 (en) * 2020-12-03 2023-06-06 Mitsubishi Electric Corporation Roadside communication system for monitoring and maintaining sensor data transmission
EP4009001A1 (en) * 2020-12-04 2022-06-08 Zenuity AB Road segment selection along a route to be travelled by a vehicle
US11734017B1 (en) * 2020-12-07 2023-08-22 Waymo Llc Methods and systems for processing vehicle sensor data across multiple digital signal processing cores virtually arranged in segments based on a type of sensor
US12033445B1 (en) * 2020-12-07 2024-07-09 Amazon Technologies, Inc. Systems and methods for causal detection and diagnosis of vehicle faults
CN112455465B (zh) * 2020-12-08 2022-02-01 广州小鹏自动驾驶科技有限公司 一种行驶环境感知方法、装置、电子设备和存储介质
DE102020215852B4 (de) * 2020-12-14 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Robuste Ankunftszeitschätzung unter Verwendung von faltenden neuronalen Netzerken (oder anderen Funktionsapproximationen) auf randomisierten Kanalmodellen
JP7363756B2 (ja) * 2020-12-16 2023-10-18 トヨタ自動車株式会社 自動運転システム、自動運転車の制御方法
US20210101619A1 (en) * 2020-12-16 2021-04-08 Mobileye Vision Technologies Ltd. Safe and scalable model for culturally sensitive driving by automated vehicles
US20220198351A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Contextually defining an interest index for shared and autonomous vehicles
US20220197236A1 (en) * 2020-12-18 2022-06-23 Rockwell Collins, Inc. Hierarchical high integrity automation system
US12082082B2 (en) 2020-12-22 2024-09-03 Intel Corporation Validation and training service for dynamic environment perception based on local high confidence information
US11995991B2 (en) * 2020-12-22 2024-05-28 Stack Av Co. Shared control for vehicles travelling in formation
KR102622243B1 (ko) * 2020-12-23 2024-01-08 네이버 주식회사 리스크 척도를 나타내는 파라미터에 기반하여 훈련된 모델을 사용하여, 주어진 상황에 대한 디바이스의 행동을 결정하는 방법 및 시스템
US20220198921A1 (en) * 2020-12-23 2022-06-23 Sensible 4 Oy Data collection and modeling systems and methods for autonomous vehicles
US20220324421A1 (en) * 2020-12-23 2022-10-13 ClearMotion, Inc. Systems and methods for terrain-based insights for advanced driver assistance systems
US20220281456A1 (en) * 2020-12-23 2022-09-08 ClearMotion, Inc. Systems and methods for vehicle control using terrain-based localization
CN112712719B (zh) * 2020-12-25 2022-05-03 阿波罗智联(北京)科技有限公司 车辆控制方法、车路协同系统、路侧设备和自动驾驶车辆
JP7196149B2 (ja) * 2020-12-28 2022-12-26 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
WO2022147445A1 (en) * 2020-12-30 2022-07-07 Koireader Technologies, Inc. System for monitoring transportation, logistics, and distribution facilities
CN112686161A (zh) * 2020-12-31 2021-04-20 遵义师范学院 基于神经网络的疲劳驾驶检测方法
US11978289B2 (en) * 2021-01-04 2024-05-07 Guangzhou Automobile Group Co., Ltd. Method, apparatus and non-transitory computer readable storage medium for driving evaluation
FR3118671A1 (fr) * 2021-01-06 2022-07-08 Psa Automobiles Sa Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite
US11858507B2 (en) * 2021-01-13 2024-01-02 GM Global Technology Operations LLC Methods for cognitive situation awareness using an attention-based event structure
US20220219731A1 (en) * 2021-01-14 2022-07-14 Cavh Llc Intelligent information conversion for automatic driving
US12003966B2 (en) * 2021-01-19 2024-06-04 Qualcomm Incorporated Local misbehavior prevention system for cooperative intelligent transportation systems
US20220237309A1 (en) * 2021-01-26 2022-07-28 EMC IP Holding Company LLC Signal of risk access control
WO2022165525A1 (en) * 2021-01-28 2022-08-04 Drisk, Inc. Systems and methods for autonomous vehicle control
EP4036891B1 (en) * 2021-01-29 2024-10-09 Zenseact AB Unforeseen vehicle driving scenarios
US11975725B2 (en) * 2021-02-02 2024-05-07 Toyota Research Institute, Inc. Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning
JP2022119498A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置
CN114913501A (zh) * 2021-02-10 2022-08-16 通用汽车环球科技运作有限责任公司 注意力驱动的串流系统
DE102021201522A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102021201512A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs
DE102021104220A1 (de) * 2021-02-23 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft Erhöhen eines Automatisierungsgrads eines Fahrerassistenzsystems eines Kraftfahrzeugs
EP4052983B1 (en) * 2021-03-04 2023-08-16 Volvo Car Corporation Method for transitioning a drive mode of a vehicle, drive control system for vehice and vehicle
US11727694B2 (en) * 2021-03-04 2023-08-15 Tangerine Innovation Holding Inc. System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident
US11827245B2 (en) 2021-03-09 2023-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for estimating motion of an automated vehicle for cooperative driving
EP4063222A1 (en) * 2021-03-24 2022-09-28 Zenseact AB Precautionary vehicle path planning
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US20220318602A1 (en) * 2021-03-31 2022-10-06 Fujitsu Limited Provision of semantic feedback on deep neural network (dnn) prediction for decision making
US11472436B1 (en) 2021-04-02 2022-10-18 May Mobility, Inc Method and system for operating an autonomous agent with incomplete environmental information
US20220317635A1 (en) * 2021-04-06 2022-10-06 International Business Machines Corporation Smart ecosystem curiosity-based self-learning
US12046046B2 (en) * 2021-04-09 2024-07-23 Magna Electronics, Llc Tagging objects with fault override patterns during calibration of vehicle sensing systems
US20220327930A1 (en) * 2021-04-12 2022-10-13 International Business Machines Corporation Cooperative operation of vehicles
CN113033471A (zh) * 2021-04-15 2021-06-25 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品
CN114084170A (zh) * 2021-04-15 2022-02-25 上海丰豹商务咨询有限公司 一种服务于cvcs的车载智能单元及其控制方法
US11983933B1 (en) * 2021-04-16 2024-05-14 Zoox, Inc. Boundary aware top-down trajectory prediction
US20220340153A1 (en) * 2021-04-22 2022-10-27 Gm Cruise Holdings Llc Simulated test creation
US11854280B2 (en) * 2021-04-27 2023-12-26 Toyota Research Institute, Inc. Learning monocular 3D object detection from 2D semantic keypoint detection
US11661077B2 (en) 2021-04-27 2023-05-30 Toyota Motor Engineering & Manufacturing North America. Inc. Method and system for on-demand roadside AI service
US20220348223A1 (en) * 2021-04-29 2022-11-03 Tusimple, Inc. Autonomous vehicle to oversight system communications
US11767032B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Direct autonomous vehicle to autonomous vehicle communications
US11767031B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Oversight system to autonomous vehicle communications
US11511772B2 (en) * 2021-04-30 2022-11-29 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
WO2022235353A1 (en) * 2021-05-07 2022-11-10 Oracle International Corporation Variant inconsistency attack (via) as a simple and effective adversarial attack method
US11892314B2 (en) * 2021-05-17 2024-02-06 International Business Machines Corporation Thermally efficient route selection
JP2022181267A (ja) * 2021-05-26 2022-12-08 株式会社日立製作所 計算システム、計算方法
US12077177B2 (en) * 2021-05-26 2024-09-03 Nissan North America, Inc. Autonomous vehicle control and map accuracy determination based on predicted and actual trajectories of surrounding objects and vehicles
WO2022256249A1 (en) * 2021-06-02 2022-12-08 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
JP7521490B2 (ja) * 2021-06-04 2024-07-24 トヨタ自動車株式会社 情報処理サーバ、情報処理サーバの処理方法、プログラム
US20220388530A1 (en) * 2021-06-07 2022-12-08 Toyota Motor North America, Inc. Transport limitations from malfunctioning sensors
US20220388538A1 (en) * 2021-06-07 2022-12-08 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
US11955020B2 (en) 2021-06-09 2024-04-09 Ford Global Technologies, Llc Systems and methods for operating drone flights over public roadways
US11624831B2 (en) * 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
WO2022271750A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
KR20220170151A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 내부 네트워크에 대한 침입 대응 방법 및 장치
US20220413502A1 (en) * 2021-06-25 2022-12-29 Here Global B.V. Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot
US20220410938A1 (en) * 2021-06-29 2022-12-29 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a moving object
US20230004170A1 (en) * 2021-06-30 2023-01-05 Delta Electronics Int'l (Singapore) Pte Ltd Modular control system and method for controlling automated guided vehicle
US12057016B2 (en) * 2021-07-20 2024-08-06 Autobrains Technologies Ltd Environmental model based on audio
US20230029093A1 (en) * 2021-07-20 2023-01-26 Nissan North America, Inc. Computing Framework for Vehicle Decision Making and Traffic Management
JP7548149B2 (ja) * 2021-07-21 2024-09-10 トヨタ自動車株式会社 遠隔運転タクシーシステム、モビリティサービス管理方法、及び遠隔運転タクシー管理装置
US20230027496A1 (en) * 2021-07-22 2023-01-26 Cnh Industrial America Llc Systems and methods for obstacle detection
JP2023018693A (ja) * 2021-07-28 2023-02-09 株式会社Subaru 車両の制御装置
CN115884911A (zh) * 2021-07-30 2023-03-31 华为技术有限公司 故障检测方法、故障检测装置、服务器和车辆
US12012125B2 (en) * 2021-07-30 2024-06-18 Nvidia Corporation Communicating faults to an isolated safety region of a system on a chip
US11657701B2 (en) 2021-08-03 2023-05-23 Toyota Motor North America, Inc. Systems and methods for emergency alert and call regarding driver condition
US11919534B2 (en) * 2021-08-03 2024-03-05 Denso Corporation Driver state guide device and driver state guide method
US12110075B2 (en) 2021-08-05 2024-10-08 AutoBrains Technologies Ltd. Providing a prediction of a radius of a motorcycle turn
US20230053243A1 (en) * 2021-08-11 2023-02-16 Baidu Usa Llc Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles
US11769227B2 (en) 2021-08-12 2023-09-26 Adobe Inc. Generating synthesized digital images utilizing a multi-resolution generator neural network
US11861762B2 (en) * 2021-08-12 2024-01-02 Adobe Inc. Generating synthesized digital images utilizing class-specific machine-learning models
US20230052436A1 (en) * 2021-08-12 2023-02-16 International Business Machines Corporation Intelligent advanced engine braking system
US12030479B1 (en) 2021-08-13 2024-07-09 Oshkosh Defense, Llc Prioritized charging of an energy storage system of a military vehicle
US11608050B1 (en) 2021-08-13 2023-03-21 Oshkosh Defense, Llc Electrified military vehicle
US11498409B1 (en) 2021-08-13 2022-11-15 Oshkosh Defense, Llc Electrified military vehicle
US12083995B1 (en) 2021-08-13 2024-09-10 Oshkosh Defense, Llc Power export system for a military vehicle
US12060053B1 (en) 2021-08-13 2024-08-13 Oshkosh Defense, Llc Military vehicle with control modes
US20230058508A1 (en) * 2021-08-19 2023-02-23 GM Global Technology Operations LLC System amd method for providing situational awareness interfaces for a vehicle occupant
US11988749B2 (en) 2021-08-19 2024-05-21 Argo AI, LLC System and method for hybrid LiDAR segmentation with outlier detection
JP7407152B2 (ja) * 2021-08-20 2023-12-28 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20230056233A1 (en) * 2021-08-20 2023-02-23 Motional Ad Llc Sensor attack simulation system
JP2023031631A (ja) * 2021-08-25 2023-03-09 トヨタ自動車株式会社 運転引継ぎシステム、運転引継ぎ方法
CN113434355B (zh) * 2021-08-26 2021-12-17 苏州浪潮智能科技有限公司 模块验证方法、uvm验证平台、电子设备及存储介质
US20230060261A1 (en) * 2021-09-01 2023-03-02 State Farm Mutual Automobile Insurance Company High Efficiency Isolation of Intersection and Road Crossings for Driving Analytics
US20230061830A1 (en) * 2021-09-02 2023-03-02 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
US20230073933A1 (en) * 2021-09-07 2023-03-09 Argo AI, LLC Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components
US11989853B2 (en) * 2021-09-08 2024-05-21 Qualcomm Incorporated Higher-resolution terrain elevation data from low-resolution terrain elevation data
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management
WO2023043684A1 (en) * 2021-09-14 2023-03-23 University Of Washington Safe occlusion-aware cooperative adaptive cruise control under environmental interference
CN113747500B (zh) * 2021-09-15 2023-07-14 北京航空航天大学 复杂异构移动边缘计算中基于生成对抗式网络的高能效低延迟工作流应用迁移方法
US20230102929A1 (en) * 2021-09-24 2023-03-30 Embark Trucks, Inc. Autonomous vehicle automated scenario characterization
US20230117467A1 (en) * 2021-10-14 2023-04-20 Lear Corporation Passing assist system
DE102021126820A1 (de) * 2021-10-15 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem
CN113963200A (zh) * 2021-10-18 2022-01-21 郑州大学 模态数据融合处理方法、装置、设备及存储介质
US11760368B2 (en) * 2021-10-19 2023-09-19 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統
US12088717B2 (en) * 2021-10-25 2024-09-10 Verizon Patent And Licensing Inc. Systems and methods for AI/machine learning-based blockchain validation and remediation
CN114115230B (zh) * 2021-10-25 2023-10-03 武汉理工大学 人机协同的船舶远程驾驶控制方法、系统、装置及介质
US20230130814A1 (en) * 2021-10-27 2023-04-27 Nvidia Corporation Yield scenario encoding for autonomous systems
US11753017B2 (en) * 2021-11-01 2023-09-12 Ford Global Technologies, Llc Systems and methods for providing off-track drivability guidance
US20230138610A1 (en) * 2021-11-02 2023-05-04 Robert Bosch Gmbh Customizing Operational Design Domain of an Autonomous Driving System for a Vehicle Based on Driver's Behavior
US11781878B2 (en) * 2021-11-04 2023-10-10 International Business Machines Corporation Recommend routes in enhanced navigation system
DE102021129085B3 (de) * 2021-11-09 2023-02-02 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Erzeugung eines Modells zur automatisierten Vorhersage von Interaktionen eines Benutzers mit einer Benutzerschnittstelle eines Kraftfahrzeugs, außerdem Datenverarbeitungseinheit für ein Kraftfahrzeug und Kraftfahrzeug
US20230153943A1 (en) * 2021-11-16 2023-05-18 Adobe Inc. Multi-scale distillation for low-resolution detection
US12057013B2 (en) 2021-11-17 2024-08-06 Here Global B.V. Method, apparatus and computer program product for suppressing false positives of road work detection within a road network
WO2023096632A1 (en) * 2021-11-23 2023-06-01 Hitachi, Ltd. Method for false alarm prediction and severity classification in event sequences
US11804080B2 (en) * 2021-11-29 2023-10-31 Institute For Information Industry Method and system for inspecting and scoring vehicle transportation
DE102021213418A1 (de) * 2021-11-29 2023-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens
US20230166766A1 (en) * 2021-12-01 2023-06-01 International Business Machines Corporation Hybrid challenger model through peer-peer reinforcement for autonomous vehicles
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
US20230171275A1 (en) * 2021-12-01 2023-06-01 Gm Cruise Holdings Llc Anomaly detection and onboard security actions for an autonomous vehicle
EP4191451A1 (en) * 2021-12-01 2023-06-07 Nxp B.V. Architecture for monitoring, analyzing, and reacting to safety and cybersecurity events
US20230180018A1 (en) * 2021-12-03 2023-06-08 Hewlett Packard Enterprise Development Lp Radio frequency plan generation for network deployments
DE102021132466B3 (de) 2021-12-09 2023-06-15 Joynext Gmbh Erkennen eines Objekts in der Nähe eines Verkehrsteilnehmers
US11887200B2 (en) * 2021-12-10 2024-01-30 GM Global Technology Operations LLC Systems and methods for enabling yielding decisions, conflict resolution, and user profile generation
US20230185621A1 (en) * 2021-12-15 2023-06-15 Coupang Corp. Computer resource allocation systems and methods for optimizing computer implemented tasks
CN114385113B (zh) * 2021-12-20 2024-07-23 同济大学 基于自适应驾驶风格动态切换模型的测试场景生成方法
KR102418566B1 (ko) * 2021-12-22 2022-07-08 재단법인 지능형자동차부품진흥원 엣지 인프라 기반의 자율 주행 안전 제어 시스템 및 방법
US20230192130A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc System and method of using a machine learning model to aid a planning stack to choose a route
CN114283619A (zh) * 2021-12-25 2022-04-05 重庆长安汽车股份有限公司 一种基于v2x的车辆避障系统、平台构架、方法及车辆
US20230202470A1 (en) * 2021-12-28 2023-06-29 Argo AI, LLC Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
WO2023127654A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US11973847B2 (en) 2022-01-10 2024-04-30 Ford Global Technologies, Llc Intelligent ticketing and data offload planning for connected vehicles
US20230228860A1 (en) * 2022-01-14 2023-07-20 Honeywell International Inc. Ground map monitor for map-based, vision navigation systems
US20230237802A1 (en) * 2022-01-24 2023-07-27 Tomahawk Robotics Architecture for distributed artificial intelligence augmentation
US11999386B2 (en) 2022-01-31 2024-06-04 Stack Av Co. User interfaces for autonomy state control and alerts
EP4224288A1 (en) * 2022-02-07 2023-08-09 Robert Ohrenstein Gaze direction determination apparatus
US11954916B2 (en) * 2022-02-07 2024-04-09 GM Global Technology Operations LLC Systems and methods for classifying detected objects in an image at an automated driving system
WO2023152638A1 (en) * 2022-02-08 2023-08-17 Mobileye Vision Technologies Ltd. Knowledge distillation techniques
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
US20230260387A1 (en) * 2022-02-15 2023-08-17 Johnson Controls Tyco IP Holdings LLP Systems and methods for detecting security events in an environment
US12005914B2 (en) * 2022-02-22 2024-06-11 Mitsubishi Electric Research Laboratories, Inc. Method and system for driving condition-agnostic adaptation of advanced driving assistance systems
US12038870B2 (en) * 2022-02-24 2024-07-16 GM Global Technology Operations LLC System and apparatus for on-demand, feature focused data collection in autonomous vehicles and autonomous driving systems
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
US20230289672A1 (en) * 2022-03-14 2023-09-14 Gm Cruise Holdings Llc Adaptive social activities for autonomous vehicle (av) passengers
CN116811908A (zh) * 2022-03-21 2023-09-29 通用汽车环球科技运作有限责任公司 与恶意v2v消息检测相关联的信誉分数管理系统和方法
CN114596574A (zh) * 2022-03-22 2022-06-07 北京百度网讯科技有限公司 文本识别方法、装置、电子设备和介质
TWI812102B (zh) * 2022-03-23 2023-08-11 國立高雄大學 二無人載具協同導航方法與系統
JP2023142475A (ja) * 2022-03-25 2023-10-05 ロジスティード株式会社 運行支援方法、運行支援システム及びサーバ
CN114780655A (zh) * 2022-03-28 2022-07-22 阿波罗智联(北京)科技有限公司 模型训练和地图数据处理方法、装置、设备及存储介质
US20230315899A1 (en) * 2022-03-30 2023-10-05 Amazon Technologies, Inc. Synthetic data generation
US20230311898A1 (en) * 2022-03-30 2023-10-05 Rivian Ip Holdings, Llc Recommending activities for occupants during vehicle servicing
US12026996B2 (en) * 2022-04-04 2024-07-02 Ford Global Technologies, Llc Vehicle data storage activation
EP4258140A1 (en) * 2022-04-06 2023-10-11 Elektrobit Automotive GmbH Face anonymization using a generative adversarial network
US11889351B2 (en) * 2022-04-13 2024-01-30 James Tagg Blockchain-based dynamic cellular network with proof-of-service
US20230329612A1 (en) * 2022-04-14 2023-10-19 Micron Technology, Inc. Determining driver capability
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
US12091001B2 (en) * 2022-04-20 2024-09-17 Gm Cruise Holdings Llc Safety measurement of autonomous vehicle driving in simulation
CN114779752B (zh) * 2022-04-21 2024-06-07 厦门大学 网络攻击下智能电动车辆轨迹跟踪控制方法
CN114973707B (zh) * 2022-04-25 2023-12-01 天地（常州）自动化股份有限公司 煤矿井下巷道岔路口的联合管控方法
US12062281B1 (en) * 2022-05-02 2024-08-13 John Gregory Baker Roadway sight restriction early warning alarm system
US11507041B1 (en) * 2022-05-03 2022-11-22 The Florida International University Board Of Trustees Systems and methods for boosting resiliency of a power distribution network
DE102022204557A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes verfahren zur verhinderung von funktionsverlust bei verbindungsstörung zu einem backend in einem kommunikationssystem
DE102022204862A1 (de) * 2022-05-17 2023-11-23 Robert Bosch Gesellschaft mit beschränkter Haftung Update einer Software eines Fahrzeugs auf Basis von Fahrzeugfelddaten
US11623658B1 (en) * 2022-05-19 2023-04-11 Aurora Operations, Inc. System and method for generating information on remainder of measurement using sensor data
US12115974B2 (en) * 2022-05-25 2024-10-15 GM Global Technology Operations LLC Data fusion-centric method and system for vehicle motion control
CN114839998B (zh) * 2022-05-26 2024-09-10 四川轻化工大学 面向供能有限的移动机器人节能路径规划方法
CN114973676B (zh) * 2022-05-27 2023-08-29 重庆大学 一种快速路车道缩减区的混合交通众从牵制控制方法
DE102022113992A1 (de) 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
US20230399016A1 (en) * 2022-06-14 2023-12-14 Gm Cruise Holdings Llc Multi-mode vehicle controller
FR3136882A1 (fr) * 2022-06-21 2023-12-22 Psa Automobiles Sa Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident
DE102022206280B4 (de) * 2022-06-23 2024-01-18 Zf Friedrichshafen Ag Computer-implementiertes Verfahren und Vorrichtung zum Bestimmen eines Steuerbefehls zum Steuern eines Fahrzeugs
US20230419271A1 (en) * 2022-06-24 2023-12-28 Gm Cruise Holdings Llc Routing field support to vehicles for maintenance
CN115042783A (zh) * 2022-06-28 2022-09-13 重庆长安汽车股份有限公司 一种车辆速度规划方法、装置、电子设备及介质
US12116003B2 (en) * 2022-06-30 2024-10-15 Nissan North America, Inc. Vehicle notification system
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
US12071161B1 (en) * 2022-07-06 2024-08-27 Waymo Llc Intervention behavior prediction
EP4307079A1 (en) * 2022-07-12 2024-01-17 Koa Health Digital Solutions S.L.U. Method and system for optimizing model accuracy, battery consumption and data storage amounts
DE102022117683A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
DE102022117676A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
US11698910B1 (en) * 2022-07-21 2023-07-11 Plusai, Inc. Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system
DE102022207506A1 (de) * 2022-07-22 2024-01-25 Continental Automotive Technologies GmbH Vorrichtung und Verfahren zum Bereitstellen von Informationen und Unterhaltung in einem Kraftfahrzeug
CN115378653B (zh) * 2022-07-25 2024-04-23 中国电子科技集团公司第三十研究所 一种基于lstm和随机森林的网络安全态势感知与预测方法及系统
CN115114338B (zh) * 2022-07-26 2022-12-20 成都秦川物联网科技股份有限公司 智慧城市公共场所人流量统计与调控方法及物联网系统
EP4316937A1 (en) * 2022-08-04 2024-02-07 e.solutions GmbH Electronic apparatus for trainable vehicle component setting and vehicle
KR20240021580A (ko) * 2022-08-10 2024-02-19 현대자동차주식회사 자율주행 데이터 관리 장치 및 그 방법
US20240051581A1 (en) * 2022-08-15 2024-02-15 Motional Ad Llc Determination of an action for an autonomous vehicle in the presence of intelligent agents
DE102022122110A1 (de) 2022-09-01 2024-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum fahren in einem parkbereich
CN117697733A (zh) * 2022-09-09 2024-03-15 北京极智嘉科技股份有限公司 一种机器人调度方法和装置
JPWO2024053116A1 (ko) * 2022-09-11 2024-03-14
TWI807997B (zh) * 2022-09-19 2023-07-01 財團法人車輛研究測試中心 感測器融合之時序同步方法
WO2024059925A1 (en) * 2022-09-20 2024-03-28 Huawei Technologies Canada Co., Ltd. Systems and methods for cooperative perception
CN115489597B (zh) * 2022-09-27 2024-08-23 吉林大学 一种适用于线控四轮转向智能汽车的转角控制系统
DE102022125227A1 (de) 2022-09-29 2024-04-04 Cariad Se Verfahren und System zum Abgleichen von Fahrzeugmodellen zwischen Recheneinrichtungen bei einer Zugangskontrolle in eine Zone, in welche ein Fahrzeug einzufahren versucht, sowie entsprechenden Recheneinrichtungen
DE102022125794A1 (de) 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem
US20240116507A1 (en) * 2022-10-06 2024-04-11 Ford Global Technologies, Llc Adaptive control systems and methods using wheel sensor data
US20240116512A1 (en) * 2022-10-06 2024-04-11 Ford Global Technologies, Llc Drive mode adaptation systems and methods using wheel sensor data
US20240124020A1 (en) * 2022-10-13 2024-04-18 Zoox, Inc. Stopping action of an autonomous vehicle
US20240227854A9 (en) * 2022-10-20 2024-07-11 Industry-Academic Cooperation Foundation, Dankook University System for providing autonomous driving safety map service
EP4357212A1 (en) * 2022-10-21 2024-04-24 Zenseact AB Ads development
CN115439719B (zh) * 2022-10-27 2023-03-28 泉州装备制造研究所 一种针对对抗攻击的深度学习模型防御方法及模型
US20240149881A1 (en) * 2022-11-04 2024-05-09 Gm Cruise Holdings Llc Using mapping data for generating perception-impacting environmental features for autonomous vehicles
US20240157977A1 (en) * 2022-11-16 2024-05-16 Toyota Research Institute, Inc. Systems and methods for modeling and predicting scene occupancy in the environment of a robot
US20240166236A1 (en) * 2022-11-17 2024-05-23 Gm Cruise Holdings Llc Filtering autonomous driving simulation scenarios
US12105205B2 (en) * 2022-11-23 2024-10-01 Gm Cruise Holdings Llc Attributing sensor realism gaps to sensor modeling parameters
KR102533711B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
KR102533710B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
US11691632B1 (en) * 2022-12-06 2023-07-04 Mercedes-Benz Group AG Vehicle simulating method and system
US20240190481A1 (en) * 2022-12-08 2024-06-13 Honda Motor Co., Ltd. Adaptive trust calibration
CN116152887B (zh) * 2022-12-08 2023-09-26 山东省人工智能研究院 一种基于ds证据理论的动态人脸表情识别方法
US11697435B1 (en) * 2022-12-09 2023-07-11 Plusai, Inc. Hierarchical vehicle action prediction
US12027053B1 (en) 2022-12-13 2024-07-02 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle
DE102022133370A1 (de) 2022-12-15 2024-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Neukalibrieren eines Sensors einer Vorrichtung
CN115907591B (zh) * 2022-12-15 2024-07-02 浙江蓝景科技有限公司杭州分公司 一种海洋云仓污染物运输车辆异常行为预警方法和系统
US20240202854A1 (en) * 2022-12-16 2024-06-20 Here Global B.V. Method to compute pedestrian real-time vulnerability index
US20240214812A1 (en) * 2022-12-21 2024-06-27 Qualcomm Incorporated Mitigating the effects of disinforming rogue actors in perceptive wireless communications
DE102023100418A1 (de) 2023-01-10 2024-07-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Nachverfolgung des lateralen Abstands eines Objektes
CN115933412B (zh) * 2023-01-12 2023-07-14 中国航发湖南动力机械研究所 基于事件触发预测控制的航空发动机控制方法及装置
US20240248983A1 (en) * 2023-01-25 2024-07-25 Crowdstrike, Inc. Data-only decision validation models to update false predictions
CN116030418B (zh) * 2023-02-14 2023-09-12 北京建工集团有限责任公司 一种汽车吊运行状态监测系统及方法
WO2024176438A1 (ja) * 2023-02-24 2024-08-29 三菱電機株式会社 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法
WO2024179669A1 (en) * 2023-02-28 2024-09-06 Siemens Aktiengesellschaft Method and apparatus for determine a risk profile of a traffic participant of a traffic scenario
US20240294177A1 (en) * 2023-03-01 2024-09-05 Continental Automotive Systems, Inc. Crash avoidance via intelligent infrastructure
US20240294189A1 (en) * 2023-03-01 2024-09-05 Continental Automotive Systems, Inc. Crash avoidance via intelligent infrastructure
CN115991186B (zh) * 2023-03-06 2023-08-11 郑州轻工业大学 一种防晕车自动驾驶车辆纵横向控制方法
CN116067434B (zh) * 2023-03-07 2023-07-04 中铁大桥局集团有限公司 一种大节段桥梁的可视化安装系统和安装方法
WO2024187273A1 (en) * 2023-03-10 2024-09-19 LoopX Innovation Inc. Systems and methods for estimating a state for positioning autonomous vehicles transitioning between different environments
CN115951325B (zh) * 2023-03-15 2023-06-02 中国电子科技集团公司第十五研究所 基于BiGRU的多舰船目标跟踪方法、存储介质及产品
CN116545890A (zh) * 2023-04-26 2023-08-04 苏州维格纳信息科技有限公司 一种基于区块链的信息传输管理系统
CN116226788B (zh) * 2023-05-06 2023-07-25 鹏城实验室 一种融合多种数据类型的建模方法及相关设备
CN116546458B (zh) * 2023-05-09 2024-08-13 西安电子科技大学 混合交通场景下的车联网双向多跳通信的方法
CN116665064B (zh) * 2023-07-27 2023-10-13 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
US12046137B1 (en) * 2023-08-02 2024-07-23 Plusai, Inc. Automatic navigation based on traffic management vehicles and road signs
CN117152093B (zh) * 2023-09-04 2024-05-03 山东奇妙智能科技有限公司 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN117278328B (zh) * 2023-11-21 2024-02-06 广东车卫士信息科技有限公司 基于车联网的数据处理方法及系统
CN117395726B (zh) * 2023-12-12 2024-03-01 江西师范大学 一种基于路径规划的移动边缘计算服务迁移方法
CN118450404A (zh) * 2024-07-02 2024-08-06 北京邮电大学 一种合同激励的异构数据传输方法与装置

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374042B2 (ja) * 1997-05-16 2003-02-04 本田技研工業株式会社 車車間通信方法
US9075136B1 (en) * 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5278667B2 (ja) * 2008-08-06 2013-09-04 株式会社デンソー 車両用シート空調システム
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US11067405B2 (en) * 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
JP2014167438A (ja) * 2013-02-28 2014-09-11 Denso Corp 情報通知装置
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US20210118249A1 (en) * 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
WO2016109540A1 (en) * 2014-12-29 2016-07-07 Robert Bosch Gmbh Systems and methods for operating autonomous vehicles using personalized driving profiles
JP6237725B2 (ja) * 2015-07-27 2017-11-29 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
US20180208209A1 (en) * 2015-09-08 2018-07-26 Apple Inc. Comfort profiles
US9738287B2 (en) * 2015-09-15 2017-08-22 Ford Global Technologies, Llc Preconditioning for vehicle subsystems
US10139828B2 (en) * 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
JP2017062700A (ja) * 2015-09-25 2017-03-30 株式会社デンソー 制御装置、及び車両制御システム
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
JP2017081195A (ja) * 2015-10-22 2017-05-18 株式会社デンソー 車両用空調装置
US10620635B2 (en) * 2015-11-05 2020-04-14 Hitachi, Ltd. Moving object movement system and movement path selection method
CN108432209A (zh) * 2015-11-30 2018-08-21 法拉第未来公司 基于车辆导航数据的信息娱乐
US10308246B1 (en) * 2016-01-22 2019-06-04 State Farm Mutual Automobile Insurance Company Autonomous vehicle signal control
US10035519B2 (en) * 2016-03-15 2018-07-31 GM Global Technology Operations LLC System and method for autonomous vehicle driving behavior modification
DE102016205153A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers
US10872379B1 (en) * 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US9877470B2 (en) * 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10059346B2 (en) * 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
KR102521934B1 (ko) * 2016-06-13 2023-04-18 삼성디스플레이 주식회사 터치 센서 및 이를 이용한 터치 감지 방법
US20180003511A1 (en) * 2016-07-01 2018-01-04 Uber Technologies, Inc. Autonomous vehicle localization using submaps
US20180012197A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
US11443395B2 (en) * 2016-07-19 2022-09-13 Redmon Jeang LLC Mobile legal counsel system and method
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
CN109564102A (zh) * 2016-08-22 2019-04-02 三菱电机株式会社 信息提示装置、信息提示系统及信息提示方法
KR101891599B1 (ko) 2016-09-30 2018-08-24 엘지전자 주식회사 자율 주행 차량의 제어방법과 서버
US9823657B1 (en) * 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle
US11267461B2 (en) 2016-11-18 2022-03-08 Mitsubishi Electric Corporation Driving assistance apparatus and driving assistance method
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
DE102016225606B4 (de) 2016-12-20 2022-12-29 Audi Ag Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs
JP6513069B2 (ja) 2016-12-27 2019-05-15 本田技研工業株式会社 運転支援装置および運転支援方法
US10268195B2 (en) * 2017-01-06 2019-04-23 Qualcomm Incorporated Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria
JP7012933B2 (ja) * 2017-03-23 2022-01-31 東芝情報システム株式会社 運転支援装置および運転支援システム
JP6524144B2 (ja) 2017-06-02 2019-06-05 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ
US10831190B2 (en) * 2017-08-22 2020-11-10 Huawei Technologies Co., Ltd. System, method, and processor-readable medium for autonomous vehicle reliability assessment
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US20180022348A1 (en) * 2017-09-15 2018-01-25 GM Global Technology Operations LLC Methods and systems for determining lane health from an autonomous vehicle
US20200228988A1 (en) * 2017-09-29 2020-07-16 Lg Electronics Inc. V2x communication device and method for inspecting forgery/falsification of key thereof
US11086317B2 (en) * 2018-03-30 2021-08-10 Intel Corporation Emotional adaptive driving policies for automated driving vehicles
JP7087623B2 (ja) * 2018-04-19 2022-06-21 トヨタ自動車株式会社 車両の制御装置
US11104334B2 (en) * 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals
US10902726B2 (en) * 2018-08-23 2021-01-26 Intel Corporation Rogue vehicle detection and avoidance
US11192543B2 (en) * 2018-12-21 2021-12-07 Ford Global Technologies, Llc Systems and methods for automated stopping and/or parking of autonomous vehicles
US10960838B2 (en) * 2019-01-30 2021-03-30 Cobalt Industries Inc. Multi-sensor data fusion for automotive systems
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248915A1 (en) * 2018-07-20 2021-08-12 Cybernet Systems Corp. Autonomous transportation system and methods
US12046145B2 (en) * 2018-07-20 2024-07-23 Cybernet Systems Corporation Autonomous transportation system and methods
US12094355B2 (en) * 2018-07-20 2024-09-17 Cybernet Systems Corporation Autonomous transportation system and methods
KR20240084860A (ko) * 2022-12-07 2024-06-14 주식회사 에스더블유엠 딥러닝을 위한 폴리곤 매시 기반 3차원 객체 모델 및 주석데이터 생성장치 및 그 방법

Also Published As

Publication number Publication date
JP2022524920A (ja) 2022-05-11
DE112020001649T5 (de) 2022-04-21
US20220126878A1 (en) 2022-04-28
WO2020205597A1 (en) 2020-10-08
WO2020205629A1 (en) 2020-10-08
CN113508066A (zh) 2021-10-15
EP3947080A1 (en) 2022-02-09
EP3947095A1 (en) 2022-02-09
KR20210134638A (ko) 2021-11-10
KR20210134635A (ko) 2021-11-10
US20220161815A1 (en) 2022-05-26
JP2022524932A (ja) 2022-05-11
EP3947081A1 (en) 2022-02-09
US20220126864A1 (en) 2022-04-28
JP2022525586A (ja) 2022-05-18
KR20210134634A (ko) 2021-11-10
EP3947095A4 (en) 2023-10-18
DE112020001642T5 (de) 2022-03-10
EP3947094A4 (en) 2022-12-14
EP3947081A4 (en) 2023-06-21
DE112020001643T5 (de) 2022-06-15
EP3947094A1 (en) 2022-02-09
US20220126863A1 (en) 2022-04-28
JP7460044B2 (ja) 2024-04-02
WO2020205648A1 (en) 2020-10-08
CN113811474A (zh) 2021-12-17
CN113825689A (zh) 2021-12-21
CN113811473A (zh) 2021-12-17
WO2020205655A1 (en) 2020-10-08
DE112020001663T5 (de) 2022-03-24
EP3947080A4 (en) 2023-06-21
JP2022525391A (ja) 2022-05-13

Similar Documents

Publication Publication Date Title
US20220126864A1 (en) Autonomous vehicle system
US20230095384A1 (en) Dynamic contextual road occupancy map perception for vulnerable road user safety in intelligent transportation systems
US10186155B2 (en) Method and system for providing interactive parking management via artificial intelligence analytic (AIA) services using cloud network
KR102366795B1 (ko) 차량 플랫폼을 위한 장치 및 방법
US10540557B2 (en) Method and apparatus for providing driver information via audio and video metadata extraction
US20220240168A1 (en) Occupancy grid map computation, v2x complementary sensing, and coordination of cooperative perception data transmission in wireless networks
US20240214786A1 (en) Vulnerable road user basic service communication protocols framework and dynamic states
US20210117864A1 (en) Optimizing ai/ml model training for individual autonomous agents
CN114662378A (zh) 运输环境数据服务
Rajkumar et al. A comprehensive survey on communication techniques for the realization of intelligent transportation systems in IoT based smart cities
US20230048359A1 (en) Message construction based on potential for collision
US20240308525A1 (en) Recommended following gap distance based on context
US20240308514A1 (en) Inverse reinforcement learning for adaptive cruise control
Karpagalakshmi et al. Protecting Vulnerable Road users using IoT-CNN for Safety Measures