KR20210134634A - 자율 주행 차량 시스템 - Google Patents

자율 주행 차량 시스템 Download PDF

Info

Publication number
KR20210134634A
KR20210134634A KR1020217027157A KR20217027157A KR20210134634A KR 20210134634 A KR20210134634 A KR 20210134634A KR 1020217027157 A KR1020217027157 A KR 1020217027157A KR 20217027157 A KR20217027157 A KR 20217027157A KR 20210134634 A KR20210134634 A KR 20210134634A
Authority
KR
South Korea
Prior art keywords
vehicle
autonomous
driving
driver
control
Prior art date
Application number
KR1020217027157A
Other languages
English (en)
Inventor
하스나 모스타파
슈헬 제이버
다샨 아이어
메르나즈 코담 하즈라티
프라그야 아그라왈
나빈 애라보투
페트루스 제이. 반 비크
모니카 루시아 마르티네즈-카날레스
패트리샤 앤 롭
리타 챠토파디아이
소일라 피. 카브랴
카틱 레디 스리파티
이고르 타토리안
리타 에이치. 와우하이비
이그나시오 제이. 알바레즈
파테마 에스. 아덴왈라
카그리 씨. 탠리오버
마리아 에스. 엘리
데이비드 제이. 자게
지틴 산카르 산카란 쿠티
크리스토퍼 이. 로페즈-아라이자
마그디엘 에프. 가란-올리베라스
리 첸
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20210134634A publication Critical patent/KR20210134634A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0057—Estimation of the time available or required for the handover
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/047—Prioritizing desires of multiple occupants, e.g. when setting climate control or driving behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

차량의 복수의 센서들로부터 센서 데이터를 수신하기 위한 적어도 하나의 인터페이스; 및 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하고; 차량의 자율 제어가 중지되어야 한다고 결정하며; 원격 컴퓨팅 시스템이 원격으로 차량의 운전을 제어하도록 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하고; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하며; 운전 지시 데이터에 포함된 지시들에 기초하여 차량의 운전을 제어하는 하나 이상의 프로세서를 포함하는 장치.

Description

자율 주행 차량 시스템
관련 출원에 대한 상호 참조
본 출원은 2019년 3월 29일에 출원된, 발명의 명칭이 "Autonomous Vehicle System"인 미국 가특허 출원 제62/826,955호의 이익 및 우선권을 주장하며, 이 미국 가특허 출원의 전체 개시는 본 명세서에 참고로 포함된다.
기술 분야
본 개시는 일반적으로 컴퓨터 시스템 분야, 보다 상세하게는 자율 주행 차량(autonomous vehicle)을 가능하게 하는 컴퓨팅 시스템에 관한 것이다.
일부 차량들은 차량이 환경에서 운전자로부터의 입력을 거의 또는 전혀 사용하지 않고 운행하는 자율 주행 모드(autonomous mode)에서 동작하도록 구성된다. 그러한 차량은 전형적으로 환경에 관한 정보를 감지하도록 구성된 하나 이상의 센서를 포함한다. 차량은 감지된 정보를 사용하여 환경에서 운행할 수 있다. 예를 들어, 차량이 장애물에 접근하고 있음을 센서들이 감지하는 경우, 차량은 장애물을 피하여 운행할 수 있다.
도 1은 특정 실시예들에 따른 예시적인 자율 주행 운전 환경을 보여주는 단순화된 예시이다.
도 2는 특정 실시예들에 따른 자율 주행 운전 기능성을 갖춘 차량(및 대응하는 차량 내 컴퓨팅 시스템)의 예시적인 구현을 예시하는 단순화된 블록 다이어그램이다.
도 3은 특정 실시예들에 따른 신경 네트워크의 예시적인 부분을 예시한다.
도 4는 특정 실시예들에 따른 다양한 차량들에서, 예를 들면, 그들의 대응하는 차량 내 컴퓨팅 시스템들에 의해 지원될 수 있는 자율 주행 운전의 예시적인 레벨들을 예시하는 단순화된 블록 다이어그램이다.
도 5는 특정 실시예들에 따른 일부 자율 주행 운전 시스템들에서 구현될 수 있는 예시적인 자율 주행 운전 흐름을 예시하는 단순화된 블록 다이어그램이다.
도 6은 특정 실시예들에 따른 자율 주행 차량 및 다양한 센서들을 예시하는 단순화된 블록 다이어그램이다.
도 7은 특정 실시예들에 따른 예시적인 원격 발레 서비스(remote valet service)의 제공(delivery) 동안 시스템들 간의 통신을 예시하는 단순화된 블록 다이어그램이다.
도 8은 특정 실시예들에 따른 원격 발레 서비스들을 개시(launch)하기 위해 활용될 수 있는 풀오버(pull-over) 이벤트 위험 및 도로 조건 경고에 관련된 정보의 협력적 보고를 예시하는 단순화된 블록 다이어그램이다.
도 9는 특정 실시예들에 따른 차량 센서들, 인공 지능/머신 러닝 기반 자율 주행 운전 스택, 및 원격 발레 서비스를 제공할 수 있는 시스템들로의 핸드오프 요청들을 트리거 및 생성하는 것을 지원하는 로직을 포함하는 예시적인 자율 주행 차량 기능부들을 예시하는 단순화된 블록 다이어그램이다.
도 10은 특정 실시예들에 따른 예시적인 안전 모델 운전 페이즈들을 예시한다.
도 11은 특정 실시예들에 따른 안전 모델 준수 가속도들을 보장하기 위해 운전자 입력들을 수정하기 위한 시스템의 다이어그램이다.
도 12는 특정 실시예들에 따른 제어-가속도 변환기(control-to-acceleration converter)에 대한 트레이닝 페이즈를 묘사한다.
도 13은 특정 실시예들에 따른 제어-가속도 변환기의 추론 페이즈를 묘사한다.
도 14는 특정 실시예들에 따른 허용 가능한 제어 신호들을 차량 작동 시스템에 제공하기 위한 흐름을 묘사한다.
도 15는 특정 실시예들에 따른 콘텍스트 모델을 구축하는 트레이닝 페이즈를 묘사한다.
도 16은 특정 실시예들에 따른 신호 품질 메트릭 모델을 구축하는 트레이닝 페이즈를 묘사한다.
도 17은 특정 실시예들에 따른 핸드오프 준비도 모델(handoff readiness model)을 구축하는 트레이닝 페이즈를 묘사한다.
도 18은 특정 실시예들에 따른 센서 데이터에 기초하여 핸드오프 의사 결정을 결정하는 추론 페이즈를 묘사한다.
도 19는 특정 실시예들에 따른 차량의 제어권을 핸드오프할지 여부를 결정하기 위한 흐름을 묘사한다.
도 20은 특정 실시예들에 따른 운전자 상태 모델에 대한 트레이닝 페이즈를 묘사한다.
도 21은 특정 실시예들에 따른 핸드오프 의사 결정 모델에 대한 트레이닝 페이즈를 묘사한다.
도 22는 특정 실시예들에 따른 핸드오프 의사 결정을 결정하기 위한 추론 페이즈를 묘사한다.
도 23은 특정 실시예들에 따른 핸드오프 의사 결정을 생성하기 위한 흐름을 묘사한다.
도 24는 특정 실시예들에 따른 자율 주행 차량의 제어를 위한 프레임워크의 상위 레벨 블록 다이어그램을 예시한다.
도 25는 특정 실시예들에 따른 자율 주행 차량의 인계(takeover)를 제어하는 예시적인 프로세스의 다이어그램이다.
도 26은 특정 실시예들에 따른 자율 주행 차량의 인계를 제어하는 추가의 예시적인 프로세스의 다이어그램이다.
도 27은 특정 실시예들에 따른 자율 주행 차량에 대한 예시적인 인지(perception), 계획(plan) 및 실행(act) 자율 주행 운전 파이프라인(2800)의 다이어그램이다.
도 28은 특정 실시예들에 따른 자율 주행 차량의 인간 운전자들에 의한 인계 요청들을 제어하는 예시적인 프로세스의 다이어그램이다.
도 29는 특정 실시예들에 따른 다양한 자동화 레벨 및 인간 운전자에게 요구되는 연관된 참여 정도를 묘사한다.
도 30은 특정 실시예들에 따른 포괄적 인지 관리 시스템(comprehensive cognitive supervisory system)을 예시한다.
도 31은 특정 실시예들에 따른 예시적인 자율 레벨 전환들을 도시한다.
도 32는 특정 실시예들에 따른 L4 자율성 레벨(autonomy level)에서 동작하는 자율 주행 차량의 구조적 데이터 흐름의 예를 예시한다.
도 33은 특정 실시예들에 따른 운전자에 대한 비디오 신호의 예를 예시한다.
도 34는 특정 실시예들에 따른 예시적인 자율 주행 차량 핸드오프 상황의 흐름을 예시한다.
도 35는 특정 실시예들에 따른 자율 주행 차량의 제어권을 인간 운전자에게 핸드오프하기 위한 흐름의 예를 예시한다.
도 36은 특정 실시예들에 따른 자율 주행 차량을 인간 운전자에게 핸드오프하기 위한 예시적인 시스템(3600)을 예시한다.
도 37은 특정 실시예들에 따른 차량이 A 지점으로부터 B 지점에 도착하기 위해 취할 수 있는 예시적인 루트(route)를 예시한다.
도 38은 특정 실시예들에 따른 핸드오프 처리 모듈(handoff handling module)에 의해 적어도 부분적으로 수행될 수 있는 흐름을 예시한다.
도 39 및 도 40은 본 명세서에 개시된 실시예들에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처들의 블록 다이어그램들이다.
도 1은 예시적인 자율 주행 운전 환경을 보여주는 단순화된 예시(100)이다. 차량들(예를 들면, 105, 110, 115 등)은 각자의 자율 주행 운전 스택들을 가능하게 하는 로직이 하드웨어, 펌웨어 및/또는 소프트웨어로 구현되어 있는 차량 내 컴퓨팅 시스템들을 통해 용이하게 되는 다양한 레벨의 자율 주행 운전 능력을 구비할 수 있다. 그러한 자율 주행 운전 스택들은 차량들이 자가 제어를 할 수 있게 하거나 또는 도로들을 검출하고, 한 지점에서 다른 지점으로 운행하며, 다른 차량들 및 도로 행위자들(예를 들면, 보행자(예를 들면, 135), 자전거 타는 사람 등)을 검출하고, 장애물과 위험물(예를 들면, 120) 및 도로 조건(예를 들면, 교통, 도로 조건, 기상 조건 등)을 검출하며, 그에 따라 차량의 제어 및 안내를 조정하는 운전자 보조를 제공할 수 있게 한다. 본 개시 내에서, "차량"은 한 명 이상의 인간 승객을 운반하도록 설계된 유인 차량(예를 들면, 자동차, 트럭, 밴, 버스, 모터사이클, 기차, 항공 운송 차량, 구급차 등), 인간 승객들이 있거나 없는 상태로 운전하는 무인 차량(예를 들면, 화물 차량(예를 들면, 트럭, 레일 기반 차량 등)), 비인간 승객들을 운송하기 위한 차량(예를 들면, 가축 운송 수단 등), 및/또는 드론(예를 들면, (예를 들면, 운전 환경에 관한 정보를 수집하고, 다른 차량들의 자동화에 도움을 제공하며, 도로 유지 관리 작업을 수행하고, 산업 작업을 제공하며, 공공 안전 및 비상 대응 작업을 제공하는 등을 위해) 운전 환경 내에서 이동해야 하는 지상 기반 또는 공중 드론 또는 로봇)일 수 있다. 일부 구현들에서, 차량은, 예들 중에서도, 다수의 상이한 모드들(예를 들면, 승용 차량, 무인 차량 또는 드론 차량)에서 번갈아 동작하도록 구성된 시스템일 수 있다. 차량은 지상(예를 들면, 포장 또는 비포장 도로, 경로 또는 지형)을 따라, 물을 통해 또는 공중을 통해 차량을 이동시키기 위해 환경 내에서 "운전"할 수 있다. 이러한 의미에서, "도로(road)" 또는 "도로(roadway)"는, 구현에 따라, 실외 또는 실내 지상 기반 경로, 수로 또는 규정된 공중 경계를 포함할 수 있다. 그에 따라, 이하의 개시 및 관련 실시예들이 다양한 콘텍스트들 및 차량 구현 예들에 동일하게 적용될 수 있음을 이해해야 한다.
일부 구현들에서, 차량 내 컴퓨팅 시스템들이 하나 이상의 기술(예를 들면, IEEE 802.11 통신(예를 들면, WiFi), 셀룰러 데이터 네트워크들(예를 들면, 3GPP(3rd Generation Partnership Project) 네트워크, GSM(Global System for Mobile Communication), 일반 패킷 무선 서비스, CDMA(code division multiple access) 등), 4G, 5G, 6G, 블루투스, 밀리미터 파(mmWave), ZigBee, Z-Wave 등)을 사용하여 차량 내 컴퓨팅 시스템들이, 다른 차량들의 차량 내 컴퓨팅 시스템들, 도로변 유닛들, 클라우드 기반 컴퓨팅 시스템들 또는 다른 지원 인프라스트럭처와 같은, 다른 컴퓨팅 시스템들에 연결하여 그와 통신할 수 있게 하는 무선 통신을 지원하는 통신 모듈들을 포함한다는 점에서 환경 내의 차량들(예를 들면, 105, 110, 115)은 "커넥티드(connected)"되어 있을 수 있다. 예를 들어, 일부 구현들에서, 차량들(예를 들면, 105, 110, 115)은 차량들의 자체 자율 주행 운전 능력을 지원하는 센서들, 데이터 및 서비스들을 제공하는 컴퓨팅 시스템들과 통신할 수 있다. 예를 들어, 도 1의 예시적인 예에 도시된 바와 같이, 예들 중에서도, 차량들을 통해 제공되는 자율 주행 운전 결과들을 지원하고 개선시키기 위해 차량들(예를 들면, 105, 110, 115)에 구현되는 컴퓨팅 시스템들, 센서들 및 로직과 별도로 지원 드론들(180)(예를 들면, 지상 기반 및/또는 공중), 도로변 컴퓨팅 디바이스들(예를 들면, 140), 다양한 외부(차량에 대해 외부에 있거나 "외재적(extraneous)"인) 센서 디바이스들(예를 들면, 160, 165, 170, 175 등) 및 다른 디바이스들이 자율 주행 운전 인프라스트럭처로서 제공될 수 있다. 차량들은 또한, 예시적인 통신들 중에서도, 자율 주행 운전 환경 내에서 데이터를 공유하고 움직임을 조율하기 위해 무선 통신 채널들을 통해 다른 커넥티드 차량들과 통신할 수 있다.
도 1의 예에 예시된 바와 같이, 자율 주행 운전 인프라스트럭처는 각종의 상이한 시스템들을 포함할 수 있다. 그러한 시스템들은 위치에 따라 달라질 수 있으며, 보다 많이 발달된 도로들(예를 들면, 특정 지방 자치 단체 또는 통행료 당국에 의해 통제되는 도로, 도시 지역에 있는 도로, 자율 주행 차량에 문제가 되는 것으로 알려진 도로 섹션 등)은 다른 도로 섹션들보다 더 많은 수의 또는 더 진보된 지원 인프라스트럭처 디바이스들 등을 갖는다. 예를 들어, 도로들의 부분들 및 환경 내에서 이동하는 차량들을 관측하고 센서들의 관측치들을 기술하거나 포함하는 대응하는 데이터를 생성하는 센서들을 포함하는 추가 센서 디바이스들(예를 들면, 160, 165, 170, 175)이 제공될 수 있다. 예로서, 센서 디바이스들은, 예들 중에서도, 도로 자체 내에 매립된 것(예를 들면, 센서(160)), 도로변 또는 오버헤드 사이니지(overhead signage) 상에 매립된 것(예를 들면, 표지판(125) 상의 센서(165)), 전자 도로변 장비 또는 장치물(예를 들면, 교통 신호등(예를 들면, 130), 전자 도로 표지판, 전자 광고판 등)에 부착된 센서(예를 들면, 170, 175), 전용 도로변 유닛(예를 들면, 140) 내에 내장된 것일 수 있다. 센서 디바이스들은 그들의 수집된 센서 데이터를 인근의 커넥티드 차량들에 또는 포그 기반 또는 클라우드 기반 컴퓨팅 시스템들(예를 들면, 140, 150)에 직접 통신하는 통신 능력을 또한 포함할 수 있다. 차량들은 외부 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)에 의해 수집되는 센서 데이터, 또는 이러한 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)로부터의 센서 데이터에 기초하여 다른 시스템들(예를 들면, 140, 150)에 의해 생성되는 관측치들 또는 권고사항들을 포함하는 데이터를 획득할 수 있고, 센서 융합, 추론, 경로 계획, 및 차량 내 자율 주행 운전 시스템에 의해 수행되는 다른 작업들에서 이 데이터를 사용할 수 있다. 일부 경우에, 그러한 외부 센서들 및 센서 데이터는, 실제로는, 예컨대, 차량에 부착된 애프터 마켓(after-market) 센서, 차량의 승객들에 의해 휴대되거나 착용된 개인용 컴퓨팅 디바이스(예를 들면, 스마트 폰, 웨어러블 등) 등의 형태로, 차량 내에 있을 수 있다. 보행자, 자전거, 드론, 무인 항공 차량, 로봇, 전자 스쿠터 등을 포함한 다른 도로 행위자들이 또한, 예들 중에서도, 자율 주행 차량들, 클라우드 기반 또는 포그 기반 지원 시스템들(예를 들면, 140, 150), 다른 센서 디바이스들(예를 들면, 160, 165, 170, 175, 180)에 의해 사용되고 소비될 수 있는, 자율 주행 운전 환경을 기술하는 센서 데이터를 생성하기 위해 센서들을 구비하거나 휴대할 수 있다.
자율 주행 차량 시스템들이 다양한 레벨의 기능성과 복잡성(sophistication)을 가질 수 있으므로, 일부 차량들의 감지 능력뿐만 아니라 일부 차량들의 자율 주행 운전 기능성을 가능하게 하는 컴퓨터 및 머신 러닝 기능성을 보완하기 위해 지원 인프라스트럭처가 요구될 수 있다. 예를 들어, 머신 러닝 모델 트레이닝 및 그러한 머신 러닝 모델들의 사용을 용이하게 하는 데 사용되는 컴퓨팅 리소스들 및 자율 주행 운전 로직이 차량 내 시스템들 및 일부 외부 시스템들(예를 들면, 140, 150) 둘 모두에서 완전히 또는 부분적으로 차량 내 컴퓨팅 시스템들 상에 제공되어 있을 수 있다. 예를 들어, 커넥티드 차량은 도로의 특정 세그먼트에 로컬인 도로변 유닛들, 에지 시스템들 또는 클라우드 기반 디바이스들(예를 들면, 140)과 통신할 수 있으며, 그러한 디바이스들(예를 들면, 140)은 데이터(예를 들면, 로컬 센서들(예를 들면, 160, 165, 170, 175, 180)로부터 집계되는 센서 데이터 또는 다른 차량들의 센서들로부터 보고되는 데이터)를 제공하고, 차량 본래의 능력을 보완하기 위해 차량에 의해 제공되는 데이터에 대해 (서비스로서) 계산을 수행하고/하거나 (예를 들면, 디바이스(140)에서 또는 인근의 센서 디바이스들 등으로부터 수집되는 센서 데이터에 기초하여) 지나가거나 접근하는 차량들에 정보를 푸시할 수 있다. 커넥티드 차량(예를 들면, 105, 110, 115)은 또한 또는 그 대신에, 유사한 메모리, 감지 및 계산 리소스들을 제공하여 차량에서 이용 가능한 것들을 향상시킬 수 있는, 클라우드 기반 컴퓨팅 시스템들(예를 들면, 150)과 통신할 수 있다. 예를 들어, 클라우드 기반 시스템(예를 들면, 150)은 (예시적인 구현들 중에서도, 클라우드 기반 시스템(150)과 통신하는 다양한 차량들(예를 들면, 105, 110, 115)에 결과들을 제공하기 위해, 또는 차량들의 차량 내 시스템들에 의한 사용을 위해 차량들에 결과들을 푸시하기 위해) 클라우드 기반 시스템에서 사용될 수 있는 머신 러닝 모델들을 구축 및/또는 트레이닝시키기 위해 하나 이상의 위치에 있는 다양한 디바이스들로부터 센서 데이터를 수집하고 이 데이터를 활용할 수 있다. 셀 폰 타워, 도로변 유닛, 다양한 도로 인프라스트럭처에 장착된 네트워크 액세스 포인트, 이웃 차량 또는 건물에 의해 제공되는 액세스 포인트, 및 다른 액세스 포인트와 같은, 액세스 포인트들(예를 들면, 145)이 환경 내에 제공되고 클라우드 기반 시스템들(예를 들면, 150)과 다양한 차량들(예를 들면, 105, 110, 115) 사이의 하나 이상의 로컬 영역 네트워크 또는 광역 네트워크(예를 들면, 155)를 통한 통신을 용이하게 하는 데 사용될 수 있다. 그러한 인프라스트럭처 및 컴퓨팅 시스템들을 통해, 본 명세서에서 논의되는 예들, 특징들 및 해결책들이 전적으로 그러한 차량 내 컴퓨팅 시스템들, 포그 기반 또는 에지 컴퓨팅 디바이스들, 또는 클라우드 기반 컴퓨팅 시스템들 중 하나 이상에 의해 또는 시스템들 간의 통신 및 협력을 통해 전술한 것들의 조합들에 의해 수행될 수 있음을 이해해야 한다.
일반적으로, 본 명세서에서 논의되는 "서버", "클라이언트", "컴퓨팅 디바이스", "네트워크 요소", "호스트", "플랫폼", "센서 디바이스", "에지 디바이스", "자율 주행 운전 시스템", "자율 주행 차량", "포그 기반 시스템", "클라우드 기반 시스템" 및 "시스템" 등은 일반적으로 자율 주행 운전 환경과 연관된 데이터 및 정보를 수신, 전송, 프로세싱, 저장 또는 관리하도록 동작 가능한 전자 컴퓨팅 디바이스들을 포함할 수 있다. 본 문서에서 사용되는 바와 같이, 용어 "컴퓨터", "프로세서", "프로세서 디바이스" 또는 "프로세싱 디바이스"는, 예들 중에서도, CPU(central processing unit)들, GPU(graphical processing unit)들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, DSP(digital signal processor)들, 텐서 프로세서들 및 다른 행렬 산술 프로세서들을 포함한, 임의의 적합한 프로세싱 장치를 포함하는 것으로 의도된다. 예를 들어, 환경 내에서 단일 디바이스로서 도시되어 있는 요소들은, 다수의 서버 컴퓨터들을 포함하는 서버 풀과 같은, 복수의 컴퓨팅 디바이스들 및 프로세서들을 사용하여 구현될 수 있다. 게다가, 컴퓨팅 디바이스들 중 임의의 것, 전부 또는 일부는, Linux, UNIX, Microsoft Windows, Apple OS, Apple iOS, Google Android, Windows Server 등을 포함한, 임의의 운영 체제는 물론, 맞춤형 및 독점 운영 체제들을 포함한, 특정 운영 체제의 실행을 가상화하도록 적응된 가상 머신을 실행하도록 적응될 수 있다.
아래에 기술되거나 도면들에 예시되는 다양한 컴포넌트들 중 임의의 것의 흐름, 방법, 프로세스(또는 그의 부분) 또는 기능성 중 임의의 것이, 하나 이상의 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 다른 적합한 컴퓨팅 로직과 같은, 임의의 적합한 컴퓨팅 로직에 의해 수행될 수 있다. "모듈", "엔진", "블록", "유닛", "모델", "시스템" 또는 "로직"에 대한 본 명세서에서의 언급은 하나 이상의 기능을 수행하는 하드웨어, 펌웨어, 소프트웨어 및/또는 각각의 조합들을 지칭할 수 있다. 일 예로서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 마이크로컨트롤러 또는 프로세서에 의해 실행되도록 적응된 코드를 저장하는 비일시적 매체와 연관된, 마이크로컨트롤러 또는 프로세서와 같은, 하나 이상의 하드웨어 컴포넌트를 포함할 수 있다. 따라서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직에 대한 언급은, 일 실시예에서, 비일시적 매체에 보유되는 코드를 인식 및/또는 실행하도록 특별히 구성된 하드웨어를 지칭할 수 있다. 게다가, 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직의 사용은 미리 결정된 동작들을 수행하기 위해 마이크로컨트롤러 또는 프로세서에 의해 실행되도록 특별히 적응된 코드를 포함하는 비일시적 매체를 지칭한다. 그리고 추론될 수 있는 바와 같이, 또 다른 실시예에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 하드웨어와 비일시적 매체의 조합을 지칭할 수 있다. 다양한 실시예들에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 소프트웨어 명령어들을 실행하도록 동작 가능한 마이크로프로세서 또는 다른 프로세싱 요소, ASIC(application specific integrated circuit)과 같은 이산 로직, FPGA(field programmable gate array)와 같은 프로그래밍된 로직 디바이스, 명령어들을 포함하는 메모리 디바이스, (예를 들면, 인쇄 회로 기판에서 발견되는 바와 같은) 로직 디바이스들의 조합들, 또는 다른 적합한 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은, 예를 들면, 트랜지스터들에 의해 구현될 수 있는, 하나 이상의 게이트 또는 다른 회로 컴포넌트를 포함할 수 있다. 일부 실시예들에서, 모듈, 엔진, 블록, 유닛, 모델, 시스템 또는 로직은 소프트웨어로서 완전히 구체화될 수 있다. 소프트웨어는 비일시적 컴퓨터 판독 가능 저장 매체에 기록된 소프트웨어 패키지, 코드, 명령어들, 명령어 세트들 및/또는 데이터로서 구체화될 수 있다. 펌웨어는 메모리 디바이스들에 하드 코딩된(예를 들면, 비휘발성인) 코드, 명령어들 또는 명령어 세트들 및/또는 데이터로서 구체화될 수 있다. 게다가, 별개인 것으로서 예시되는 로직 경계들이 통상적으로 달라지고 잠재적으로 중첩한다. 예를 들어, 제1 모듈과 제2 모듈(또는 다수의 엔진들, 블록들, 유닛들, 모델들, 시스템들 또는 로직들)이 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합을 공유할 수 있지만 잠재적으로 어떤 독립적인 하드웨어, 소프트웨어 또는 펌웨어를 보유할 수 있다.
아래에서 및 첨부 도면들에 기술되는 흐름들, 방법들 및 프로세스들은 단지 특정 실시예들에서 수행될 수 있는 기능들을 나타낸다. 다른 실시예들에서, 흐름들, 방법들 및 프로세스들에서 추가 기능들이 수행될 수 있다. 본 개시의 다양한 실시예들은 본 명세서에서 기술된 기능들을 달성하기 위한 임의의 적합한 시그널링 메커니즘들을 고려한다. 본 명세서에서 예시되는 기능들 중 일부가 적절한 경우 흐름들, 방법들 및 프로세스들 내에서 반복, 결합, 수정 또는 삭제될 수 있다. 추가적으로, 기능들이 특정 실시예들의 범위를 벗어나지 않으면서 흐름들, 방법들 및 프로세스들 내에서 임의의 적합한 순서로 수행될 수 있다.
이제 도 2를 참조하면, 자율 주행 운전 기능성을 갖춘 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)의 예시적인 구현을 예시하는 단순화된 블록 다이어그램(200)이 도시되어 있다. 일 예에서, 차량(105)은, 예들 중에서도, CPU(central processing unit)들, GPU(graphical processing unit)들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, DSP(digital signal processor)들, 텐서 프로세서들 및 다른 행렬 산술 프로세서들과 같은, 하나 이상의 프로세서(202)를 갖추고 있을 수 있다. 그러한 프로세서들(202)은, 예들 중에서도, 머신 러닝 추론 또는 트레이닝(아래에서 기술되는 머신 러닝 추론 또는 트레이닝 중 임의의 것을 포함함), 특정 센서 데이터(예를 들면, 카메라 이미지 데이터, LIDAR 포인트 클라우드 등)의 프로세싱, 자율 주행 운전에 관한 특정 산술 기능들(예를 들면, 행렬 산술, 콘볼루션 산술 등)을 수행하는 것에 관련된 기능들과 같은, 특정 프로세싱 및 메모리 액세스 기능들을 가속화하는 하드웨어를 구비할 수 있는 통합 하드웨어 가속기 디바이스들(예를 들면, 204)에 결합되거나 이를 가질 수 있다. 차량에 구현되는 자율 주행 운전 스택의 모듈들 또는 서브 모듈들 중 임의의 것의 전부 또는 일부를 구현하는 머신 실행 가능 명령어들을 저장하는 것은 물론, 머신 러닝 모델들(예를 들면, 256), 센서 데이터(예를 들면, 258), 및 차량에 의해 수행될 자율 주행 운전 기능성과 관련하여 수신, 생성 또는 사용되는(또는 본 명세서에서 논의되는 예들 및 해결책들과 관련하여 사용되는) 다른 데이터를 저장하기 위해 하나 이상의 메모리 요소(예를 들면, 206)가 제공될 수 있다. 하나 이상의 네트워크 통신 기술을 이용하는 하나 이상의 네트워크 채널을 통해 다른 외부 컴퓨팅 시스템들과 통신하기 위해 차량의 시스템에 의해 사용되는 통신 능력을 구현하기 위해 하드웨어 회로부 및/또는 소프트웨어로 구현되는 다양한 통신 모듈들(예를 들면, 212)이 또한 제공될 수 있다. 이러한 다양한 프로세서들(202), 가속기들(204), 메모리 디바이스들(206) 및 네트워크 통신 모듈들(212)은, 그 중에서도, 패브릭 이용 기술들 예컨대 PCIe(Peripheral Component Interconnect Express), 이더넷, OpenCAPITM, Gen-ZTM, UPI, USB(Universal Serial Bus), CCIXTM(Cache Coherent Interconnect for Accelerators), AMDTM(Advanced Micro DeviceTM)의 InfinityTM, CCI(Common Communication Interface), 또는 QualcommTM의 CentriqTM 인터커넥트와 같은, 하나 이상의 상호연결 패브릭 또는 링크(예를 들면, 208)를 통해 차량 시스템 상에서 상호연결될 수 있다.
도 2의 예를 계속하면, 예시적인 차량(및 대응하는 차량 내 컴퓨팅 시스템)(105)은, 하드웨어 및/또는 소프트웨어로 자율 주행 차량의 기능성을 구현한 예시적인 모듈들 중에서도, 차량 내 프로세싱 시스템(210), 운전 컨트롤들(예를 들면, 220), 센서들(예를 들면, 225) 및 사용자/승객 인터페이스(들)(예를 들면, 230)를 포함할 수 있다. 예를 들어, 차량 내 프로세싱 시스템(210)은, 일부 구현들에서, (예를 들면, 도 5의 예에서 도시되고 논의된 바와 같이) 자율 주행 운전 스택과 프로세스 흐름의 전부 또는 일부를 구현할 수 있다. 자율 주행 운전 스택은 하드웨어, 펌웨어 또는 소프트웨어로 구현될 수 있다. 본 명세서에서의 예들에서 논의된 것과 같은, 차량에서 또는 차량에 대해 제공 및 구현되는 하나 이상의 자율 주행 기능 및 특징과 관련하여 차량(105)에서 제공되는 다양한 머신 러닝 모델들(예를 들면, 256)을 활용하기 위해 머신 러닝 엔진(232)이 제공될 수 있다. 그러한 머신 러닝 모델들(256)은 인공 신경 네트워크 모델들, 콘볼루션 신경 네트워크들, 의사 결정 트리 기반 모델들, 서포트 벡터 머신들(SVM들), 베이지안 모델들, 딥 러닝 모델들, 및 다른 예시적인 모델들을 포함할 수 있다. 일부 구현들에서, 예시적인 머신 러닝 엔진(232)은 머신 러닝 모델들(256) 중 하나 이상의 트레이닝(예를 들면, 초기 트레이닝, 지속적 트레이닝 등)에 참여하는 하나 이상의 모델 트레이너 엔진(252)을 포함할 수 있다. 다양한 추론들, 예측들, 분류들 및 다른 결과들을 도출하는 데 트레이닝된 머신 러닝 모델들(256)을 활용하기 위해 하나 이상의 추론 엔진(254)이 또한 제공될 수 있다. 일부 실시예들에서, 본 명세서에서 기술된 머신 러닝 모델 트레이닝 또는 추론은 차량 외부에서(off-vehicle), 예컨대, 컴퓨팅 시스템(140 또는 150)에 의해 수행될 수 있다.
차량에 제공되는 머신 러닝 엔진(들)(232)은 자율 주행 운전 스택 및 다른 자율 주행 운전 관련 기능부들을 구현하는 차량 내 프로세싱 시스템(210)의 다른 논리 컴포넌트들 및 모듈들에 의한 사용을 위한 결과들을 지원 및 제공하기 위해 활용될 수 있다. 예를 들어, 데이터 수집 모듈(234)은 (예를 들면, 차량에 의해 사용되는 다양한 머신 러닝 모델들(256)의 트레이닝 또는 사용에서의 입력들에 대한) 데이터가 수집될 소스들을 결정하는 로직을 구비할 수 있다. 예를 들어, 특정 소스(예를 들면, 내부 센서들(예를 들면, 225) 또는 외부 소스들(예를 들면, 115, 140, 150, 180, 215 등))가 선택될 수 있는 것은 물론, 데이터가 샘플링될 수 있는 주파수 및 충실도(fidelity)가 선택된다. 일부 경우에, 그러한 선택들 및 구성들은 (예를 들면, 특정의 검출된 시나리오가 주어진 경우 적절하게 데이터를 수집하기 위해) 하나 이상의 대응하는 머신 러닝 모델을 사용하여 데이터 수집 모듈(234)에 의해 적어도 부분적으로 자율적으로 이루어질 수 있다.
차량 내 프로세싱 시스템의 머신 러닝 엔진(232) 및 다른 모듈들(예를 들면, 238, 240, 242, 244, 246 등)에 의해 활용되는 다양한 센서 입력들의 사용 및 프로세싱을 통제하기 위해 센서 융합 모듈(236)이 또한 사용될 수 있다. (예를 들면, 차량 상에 또는 차량 외부에 있는) 다수의 센서 데이터 소스들로부터 출력을 도출할 수 있는, 하나 이상의 센서 융합 모듈(예를 들면, 236)이 제공될 수 있다. 소스들은 동종 또는 이종 유형의 소스들(예를 들면, 공통 유형의 센서의 다수의 인스턴스들로부터의 다수의 입력들, 또는 다수의 상이한 유형의 센서들의 인스턴스들로부터의 다수의 입력들)일 수 있다. 예시적인 센서 융합 모듈(236)은, 예시적인 센서 융합 기술들 중에서도, 직접 융합(direct fusion), 간접 융합(indirect fusion)을 적용할 수 있다. 센서 융합의 출력은, 일부 경우에, 자율 주행 운전 기능성 또는, 본 명세서에서 논의되는 예시적인 해결책들에서 기술된 것과 같은, 다른 기능성을 제공하는 것과 관련하여 차량 내 프로세싱 시스템의 다른 모듈 및/또는 하나 이상의 머신 러닝 모델에 (잠재적으로 추가 입력들과 함께) 입력으로서 공급될 수 있다.
일부 예들에서, 차량(105)이 직면하는(또는 직면하게 될) 환경의 자율 인지에 대응하는 예시적인 기능들 중에서도, 검출된 대상체들의 대상체 인식 및/또는 추적을 수행하기 위해, 일부 경우에, 외부 소스들 및/또는 센서 융합 모듈(236)로부터의 데이터를 포함한 다양한 센서 데이터(예를 들면, 258)를 입력으로서 취할 수 있는, 인지 엔진(238)이 제공될 수 있다. 인지 엔진(238)은 딥 러닝을 사용하여, 예컨대, 하나 이상의 콘볼루션 신경 네트워크 및 다른 머신 러닝 모델(256)을 통해, 센서 데이터 입력들에 근거하여 대상체 인식을 수행할 수 있다. 센서 데이터 입력들에 근거하여, 대상체가 이동하고 있는지, 및, 만약 그렇다면, 어떤 궤적을 따라 이동하고 있는지를 자율적으로 추정하기 위해 대상체 추적이 또한 수행될 수 있다. 예를 들어, 주어진 대상체가 인식된 후에, 인지 엔진(238)은 주어진 대상체가 차량과 관련하여 어떻게 이동하는지를 검출할 수 있다. 그러한 기능성은, 예를 들어, 예시적인 사용들 중에서도, 도로 상의 차량의 경로에 영향을 미칠 수 있는, 환경 내에서 이동하는 다른 차량들, 보행자들, 야생 동물, 자전거 타는 사람들 등과 같은 대상체들을 검출하는 데 사용될 수 있다.
일부 구현들에서 차량 내 프로세싱 시스템(210) 내에 로컬화(localization) 엔진(240)이 또한 포함될 수 있다. 일부 경우에, 로컬화 엔진(240)은 인지 엔진(238)의 서브컴포넌트로서 구현될 수 있다. 로컬화 엔진(240)은 또한 차량의 고신뢰도 위치 및 주어진 물리적 공간(또는 "환경") 내에서 차량이 점유하는 공간을 결정하기 위해 하나 이상의 머신 러닝 모델(256) 및 (예를 들면, LIDAR와 GPS 데이터 등의) 센서 융합을 사용할 수 있다.
차량(105)은 환경 내에서의 차량(105)의 운전을 제어하기 위해 운전 컨트롤들(예를 들면, 220)에 의해 사용될 수 있는 차량에 대한 경로 계획 및/또는 실행 계획(action plan)을 결정하기 위해, 그 중에서도, 데이터 수집(234), 센서 융합(236), 인지 엔진(238) 및 로컬화 엔진(예를 들면, 240)과 같은 다양한 다른 모듈들(예를 들면, 추천 엔진(244))의 결과들을 사용할 수 있는, 경로 플래너(242)를 더 포함할 수 있다. 예를 들어, 경로 플래너(242)는 환경 내에서 실행할 효과적인 실시간 계획들을 결정하기 위해 운전 환경 내에서의 다양한 이벤트들의 확률들을 결정하는 데 이러한 입력들 및 하나 이상의 머신 러닝 모델을 활용할 수 있다.
일부 구현들에서, 차량(105)은 차량(105)의 자체 센서들(예를 들면, 225)에 의해 생성되는 센서 데이터는 물론 (예를 들면, 센서 디바이스들(115, 180, 215 등) 상의 외부 센서들로부터의 센서 데이터에 근거하여 다양한 추천들을 생성하는 하나 이상의 추천 엔진(244)을 포함할 수 있다. 차량의 자율 주행 운전 스택의 다른 컴포넌트들에 의해 행해지는 결정들에 영향을 미치기 위해 이러한 컴포넌트들에 대한 입력들로서 제공될 수 있는 일부 추천들이 추천 엔진(244)에 의해 결정될 수 있다. 예를 들어, 추천이 결정될 수 있고, 이 추천은, 경로 플래너(242)에 의해 고려될 때, 추천이 없었더라면 경로 플래너(242)로 하여금 통상적으로 다른 방식으로 결정할 결정들 또는 계획들로부터 벗어나게 한다. 추천들이 또한 승객 편안함 및 경험의 고려사항들에 기초하여 추천 엔진들(예를 들면, 244)에 의해 생성될 수 있다. 일부 경우에, 차량 내의 내부 기능부들이 (차량의 센서들 및/또는 외부 센서들 등에 의해 캡처되는 센서 데이터(예를 들면, 258)에 근거하여 결정되는) 이러한 추천들에 기초하여 예측적으로 및 자율적으로 조작될 수 있다.
위에서 소개된 바와 같이, 일부 차량 구현들은, 센서 데이터(예를 들면, 258)에 의해 캡처되는 관측치들에 기초하여 차량 내의 승객들의 경험을 향상시키기 위해 운전 기동들을 변경하고 차량의 객실 환경에 대한 변경들을 실시하도록 차량의 제어 유닛을 제어하기 위해 센서 데이터 및 차량의 자율 주행 운전 스택 내의 다른 모듈들의 출력들을 활용할 수 있는, 사용자/승객 경험 엔진들(예를 들면, 246)을 포함할 수 있다. 일부 경우에, 사용자들이 차량 및 그의 자율 주행 운전 시스템과 상호작용할 수 있게 하기 위해 차량 상에 제공되는 사용자 인터페이스들(예를 들면, 230)의 측면들이 향상될 수 있다. 일부 경우에, 예시적인 사용들 중에서도 차량(예를 들면, 105) 내에서의 승객 경험들에 영향을 미치고 개선시키는 데 도움을 주기 위해 정보 제공적 프레젠테이션들(예를 들면, 오디오, 시각적 및/또는 촉각적 프레젠테이션들)이 생성되고 사용자 디스플레이들을 통해 제공될 수 있다.
일부 경우에, 차량의 자율 주행 운전 시스템의 성능에 관련된 이슈들을 검출하기 위해 차량 상의 다양한 센서들에 의해 수집되는 정보를 모니터링하는, 시스템 관리자(250)가 또한 제공될 수 있다. 예를 들어, 계산 오류, 센서 사용 불능(outage) 및 이슈, (예를 들면, 통신 모듈들(212)을 통해 제공되는) 통신 채널의 이용 가능성 및 품질, 차량 시스템 검사(예를 들면, 모터, 변속기, 배터리, 냉방 시스템, 전기 시스템, 타이어 등에 관련된 이슈) 또는 다른 동작 이벤트들이 시스템 관리자(250)에 의해 검출될 수 있다. 그러한 이슈들은 시스템 관리자(250)에 의해 생성되는 시스템 보고 데이터에서 식별될 수 있으며, 이 시스템 보고 데이터는, 일부 경우에, 차량(105)의 자율 주행 운전 기능성에서 센서 데이터(258)에 수집되는 다른 정보와 함께 차량 시스템 건강(health) 및 이슈들이 또한 고려될 수 있게 하기 위해 머신 러닝 모델들(256) 및 관련 자율 주행 운전 모듈들(예를 들면, 232, 234, 236, 238, 240, 242, 244, 246 등)에 대한 입력들로서 활용될 수 있다.
일부 구현들에서, 차량(105)의 자율 주행 운전 스택은, 예들 중에서도, 조향 컨트롤들(예를 들면, 260), 액셀러레이터/스로틀 컨트롤들(예를 들면, 262), 제동 컨트롤들(예를 들면, 264), 시그널링 컨트롤들(예를 들면, 266)을 포함한, 차량이 어떻게 운전되는지에 영향을 미치는 운전 컨트롤들(220)과 결합될 수 있다. 일부 경우에, 차량은 또한 사용자 입력들에 전체적으로 또는 부분적으로 기초하여 제어될 수 있다. 예를 들어, 사용자 인터페이스들(예를 들면, 230)은 인간 운전자가 (예를 들면, 핸드오버(handover) 시에 또는 운전자 보조 실행(driver assist action) 이후에) 자율 주행 운전 시스템으로부터 제어권을 받을 수 있게 하는 운전 컨트롤들(예를 들면, 물리 또는 가상 조향 휠, 액셀러레이터, 브레이크, 클러치 등)을 포함할 수 있다. 음성 검출(292), 제스처 검출 카메라들(294) 및 다른 예들과 같은, 다른 센서들이 사용자/승객 입력들을 수용하기 위해 활용될 수 있다. 사용자 인터페이스들(예를 들면, 230)은 승객 사용자들의 욕구 및 의도를 포착할 수 있고, 차량(105)의 자율 주행 운전 스택은 이들을 차량의 운전을 제어하는 데 있어서의(예를 들면, 운전 컨트롤들(220)에서의) 추가 입력들로서 간주할 수 있다. 일부 구현들에서, 운전 컨트롤들은, 예컨대, 예시적인 구현들 중에서도, 승객이 운전 방향 또는 제어를 제공하기 위해 외부 디바이스(예를 들면, 스마트 폰 또는 태블릿)를 활용하는 경우에, 또는 외부 운전자 또는 시스템이 (예를 들면, 비상 이벤트에 기초하여) 차량의 제어권을 인계받는 원격 발레 서비스의 경우에, 외부 컴퓨팅 시스템들에 의해 통제될 수 있다.
위에서 논의된 바와 같이, 차량의 자율 주행 운전 스택은 차량 상에 및 차량 외부에 제공되는 다양한 센서들에 의해 생성되는 다양한 센서 데이터(예를 들면, 258)를 활용할 수 있다. 일 예로서, 차량(105)은 차량의 외부 및 주변 환경, 차량 시스템 상태, 차량 내의 조건, 및 차량의 프로세싱 시스템(210)의 모듈들에 의해 사용 가능한 다른 정보에 관련된 다양한 정보를 수집하기 위해 센서들(225)의 어레이를 가질 수 있다. 예를 들어, 그러한 센서들(225)은, 예시적인 센서들 중에서도, GPS(global positioning) 센서(268), LIDAR(light detection and ranging) 센서(270), 2D(two-dimensional) 카메라(272), 3D(three-dimensional) 또는 스테레오 카메라(274), 음향 센서(276), IMU(inertial measurement unit) 센서(278), 열 센서(280), 초음파 센서(282), 바이오 센서(284)(예를 들면, 얼굴 인식, 음성 인식, 심박수 센서, 체온 센서, 감정 검출 센서 등), 레이더 센서(286), 날씨 센서(도시되지 않음)를 포함할 수 있다. 그러한 센서들은, 예들 중에서도, 차량이 동작하는 환경(예를 들면, 날씨, 장애물, 교통, 도로 조건 등), 차량 내의 승객(예를 들면, 승객 또는 운전자 인식(awareness) 또는 각성(alertness), 승객 편안함 또는 기분, 승객 건강 또는 생리학적 조건 등), 차량의 다른 내용물(예를 들면, 소포, 가축, 화물, 수하물 등), 차량의 서브시스템의 다양한 속성들 및 조건들을 결정하기 위해 조합하여 활용될 수 있다. 센서 데이터(258)는 또한(또는 그 대신에), (차량 간 통신(vehicle-to-vehicle communications) 또는 다른 기술들을 통해 차량(105)과 통신할 수 있는) 다른 차량들(예를 들면, 115) 상의 센서들, 지상 기반 또는 공중 드론들(180) 상의 센서들, 차량(105) 내부 또는 외부의 인간 사용자들에 의해 휴대되는 사용자 디바이스들(215)(예를 들면, 스마트 폰 또는 웨어러블)의 센서들, 및 도로변 유닛(예를 들면, 140), 도로 표지판, 교통 신호등, 가로등 등과 같은, 다른 도로변 요소들에 장착되거나 구비된 센서들을 포함한, 차량에 일체로 결합되지 않은 센서들에 의해 생성될 수 있다. 그러한 외부 센서 디바이스들로부터의 센서 데이터는, 예시적인 구현들 중에서도, 센서 디바이스들로부터 차량에 직접 제공될 수 있거나 또는 데이터 집계 디바이스들을 통해 또는 다른 컴퓨팅 시스템들(예를 들면, 140, 150)에 의해 이러한 센서들에 기초하여 생성된 결과로서 제공될 수 있다.
일부 구현들에서, 자율 주행 차량 시스템(105)은 디바이스(105)의 자율 주행 운전 기능성을 향상시키거나, 인에이블시키거나 또는 다른 방식으로 지원하기 위해 다른 컴퓨팅 시스템들과 인터페이싱하고 그들에 의해 제공되는 정보 및 서비스들을 활용할 수 있다. 일부 경우에, 일부 자율 주행 운전 기능부들(본 명세서에서 논의된 예시적인 해결책들 중 일부를 포함함)이 차량 외부의 컴퓨팅 시스템들의 서비스들, 컴퓨팅 로직, 머신 러닝 모델들, 데이터 또는 다른 리소스들을 통해 인에이블될 수 있다. 그러한 외부 시스템들이 차량에 이용 불가능할 때, 이러한 기능부들이 적어도 일시적으로 디스에이블될 수 있다. 예를 들어, 도로변 유닛들 또는 포그 기반 에지 디바이스들(예를 들면, 140), 다른(예를 들면, 상위 레벨) 차량들(예를 들면, 115) 및 클라우드 기반 시스템들(150)(예를 들면, 다양한 네트워크 액세스 포인트들(예를 들면, 145)을 통해 액세스 가능함)에서 호스팅되는, 외부 컴퓨팅 시스템들이 제공되고 활용될 수 있다. 차량(예를 들면, 105)과 상호작용하는 도로변 유닛(140) 또는 클라우드 기반 시스템(150)(또는 다른 협력 시스템)은, 잠재적으로 추가 기능성 및 로직과 함께, 예시적인 차량 내 프로세싱 시스템(예를 들면, 210)에 속하는 것으로 예시된 로직의 전부 또는 일부를 포함할 수 있다. 예를 들어, 클라우드 기반 컴퓨팅 시스템, 도로변 유닛(140), 또는 다른 컴퓨팅 시스템은 모델 트레이닝 및 추론 엔진 로직 중 어느 하나 또는 둘 모두를 지원하는 머신 러닝 엔진을 포함할 수 있다. 예를 들어, 그러한 외부 시스템들은 보다 고급의 컴퓨팅 리소스들 및 보다 발달되거나 최신의 머신 러닝 모델들을 가질 수 있어, 이러한 서비스들이 차량의 프로세싱 시스템(210)에서 기본적으로 생성되는 것보다 우수한 결과를 제공할 수 있게 한다. 예를 들어, 차량 내 프로세싱 시스템(210)은 특정 작업들 및 특정 시나리오들을 처리하는 것을 위해 클라우드 기반 서비스를 통해 제공되는 머신 러닝 트레이닝, 머신 러닝 추론 및/또는 머신 러닝 모델들에 의존할 수 있다. 실제로, 차량(105)에 속하는 것으로 논의되고 예시된 모듈들 중 하나 이상이, 일부 구현들에서, 자율 주행 운전 환경을 지원하는 클라우드 기반, 포그 기반 또는 다른 컴퓨팅 시스템 내에서 대안적으로 또는 중복적으로 제공될 수 있음을 이해해야 한다.
본 명세서에서의 다양한 실시예들은 자율 주행 차량 스택의 기능들(또는 본 명세서에서 기술된 다른 기능들)을 수행하기 위해 하나 이상의 머신 러닝 모델을 활용할 수 있다. 특정 작업의 성능을 점진적으로 개선시키기 위해 컴퓨팅 시스템에 의해 머신 러닝 모델이 실행될 수 있다. 일부 실시예들에서, 머신 러닝 모델의 파라미터들이 트레이닝 페이즈 동안 트레이닝 데이터에 기초하여 조정될 수 있다. 이어서 트레이닝된 머신 러닝 모델이 입력 데이터에 기초하여 예측 또는 결정을 하기 위해 추론 페이즈 동안 사용될 수 있다.
본 명세서에서 기술된 머신 러닝 모델들은 임의의 적합한 형태를 취하거나 임의의 적합한 기술들을 활용할 수 있다. 예를 들어, 머신 러닝 모델들 중 임의의 것은 지도 학습, 준지도 학습, 비지도 학습 또는 강화 학습 기술들을 활용할 수 있다.
지도 학습에서는, 모델이 입력들 및 대응하는 원하는 출력들 둘 모두를 포함하는 트레이닝 데이터 세트를 사용하여 구축될 수 있다. 각각의 트레이닝 인스턴스는 하나 이상의 입력 및 원하는 출력을 포함할 수 있다. 트레이닝은 트레이닝 인스턴스들을 통해 반복하는 것 및 새로운 입력들에 대한 출력을 예측하도록 모델을 가르치기 위해 목적 함수를 사용하는 것을 포함할 수 있다. 준지도 학습에서는, 트레이닝 세트의 입력들 중 일부가 원하는 출력들을 누락할 수 있다.
비지도 학습에서는, 모델이 입력들만을 포함하고 원하는 출력들을 포함하지 않는 데이터 세트로부터 구축될 수 있다. 비지도 모델은 데이터에서 패턴들을 발견하는 것에 의해 데이터에서의 구조(예를 들면, 데이터 포인트들의 그룹화 또는 클러스터링)를 찾는 데 사용될 수 있다. 비지도 학습 모델에서 구현될 수 있는 기술들은, 예를 들면, 자기 조직화 맵, 최근접 이웃 매핑, k 평균 클러스터링 및 특이값 분해를 포함한다.
강화 학습 모델들은 정확도를 개선시키기 위해 긍정적 피드백 또는 부정적 피드백을 제공받을 수 있다. 강화 학습 모델은 하나 이상의 목적/보상을 최대화하려고 시도할 수 있다. 강화 학습 모델에서 구현될 수 있는 기술들은, 예를 들면, Q 러닝, 시간차(TD) 및 심층 적대 네트워크들을 포함할 수 있다.
본 명세서에서 기술된 다양한 실시예들은 하나 이상의 분류 모델을 활용할 수 있다. 분류 모델에서, 출력들은 제한된 값 세트로 제한될 수 있다. 분류 모델은 하나 이상의 입력 값의 입력 세트에 대한 클래스를 출력할 수 있다. 분류 모델에 대한 본 명세서에서의 언급들은, 예를 들면, 다음과 같은 기술들: 선형 분류기(예를 들면, 로지스틱 회귀 또는 나이브 베이즈 분류기), 서포트 벡터 머신, 의사 결정 트리, 부스티드 트리(boosted tree), 랜덤 포레스트, 신경 네트워크 또는 최근접 이웃 중 임의의 하나 이상을 구현하는 모델을 고려할 수 있다.
본 명세서에서 기술된 다양한 실시예들은 하나 이상의 회귀 모델을 활용할 수 있다. 회귀 모델은 하나 이상의 값의 입력 세트에 기초하여 연속적인 범위로부터의 숫자 값을 출력할 수 있다. 회귀 모델에 대한 본 명세서에서의 언급들은, 예를 들면, 다음과 같은 기술들(또는 다른 적합한 기술들): 선형 회귀, 의사 결정 트리, 랜덤 포레스트 또는 신경 네트워크들 중 임의의 하나 이상을 구현하는 모델을 고려할 수 있다.
다양한 실시예들에서, 본 명세서에서 논의되는 머신 러닝 모델들 중 임의의 것은 하나 이상의 신경 네트워크를 활용할 수 있다. 신경 네트워크는 시냅스들에 의해 연결되는 대규모 뉴런 클러스터들을 포함하는, 생물학적 뇌의 구조를 따라 느슨하게 모델링된 신경 단위들의 그룹을 포함할 수 있다. 신경 네트워크에서, 신경 단위들은 연결된 신경 단위들의 활성화 상태에 대한 영향에서 흥분성(excitatory)이거나 억제성(inhibitory)일 수 있는 링크들을 통해 다른 신경 단위들에 연결된다. 신경 단위는 신경 단위의 막 전위(membrane potential)를 업데이트하기 위해 자신의 입력들의 값들을 활용하는 함수를 수행할 수 있다. 신경 단위는 신경 단위와 연관된 임계치가 초과될 때 스파이크 신호(spike signal)를 연결된 신경 단위들로 전파할 수 있다. 신경 네트워크는, 컴퓨터 비전 작업, 음성 인식 작업, 또는 다른 적합한 컴퓨팅 작업과 같은, 다양한 데이터 프로세싱 작업들(자율 주행 차량 스택에 의해 수행되는 작업들을 포함함)을 수행하도록 트레이닝되거나 다른 방식으로 적응될 수 있다.
도 3은 특정 실시예들에 따른 신경 네트워크(300)의 예시적인 부분을 예시한다. 신경 네트워크(300)는 신경 단위들(X1 내지 X9)을 포함한다. 신경 단위들(X1 내지 X4)은 제각기 (신경 네트워크(300)가 출력을 프로세싱하는 동안 일정하게 유지될 수 있는) 1차 입력들(primary inputs)(I1 내지 I4)을 수신하는 입력 신경 단위들이다. 임의의 적합한 1차 입력들이 사용될 수 있다. 일 예로서, 신경 네트워크(300)가 이미지 프로세싱을 수행할 때, 1차 입력 값은 이미지로부터의 픽셀의 값일 수 있다(그리고 1차 입력의 값은 이미지가 프로세싱되는 동안 일정하게 유지될 수 있다). 다른 예로서, 신경 네트워크(300)가 음성 프로세싱을 수행할 때, 특정 입력 신경 단위에 인가되는 1차 입력 값은 입력 음성의 변화들에 기초하여 시간에 따라 변할 수 있다.
특정 토폴로지 및 연결성 스킴이 도 3에 도시되어 있지만, 본 개시의 교시는 임의의 적합한 토폴로지 및/또는 연결성을 갖는 신경 네트워크들에서 사용될 수 있다. 예를 들어, 신경 네트워크는 피드포워드 신경 네트워크, 순환 네트워크, 또는 신경 단위들 간의 임의의 적합한 연결성을 가진 다른 신경 네트워크일 수 있다. 다른 예로서, 신경 네트워크가 입력 계층, 은닉 계층 및 출력 계층을 갖는 것으로 묘사되어 있지만, 신경 네트워크는 임의의 적합한 방식으로 배열된 임의의 적합한 계층들을 가질 수 있다. 묘사된 실시예에서, 2개의 신경 단위 사이의 각각의 링크는 2개의 신경 단위 사이의 관계의 강도를 나타내는 시냅스 가중치를 갖는다. 시냅스 가중치들은 WXY로서 묘사되며, 여기서 X는 시냅스전 신경 단위(pre-synaptic neural unit)를 나타내고 Y는 시냅스후 신경 단위(post-synaptic neural unit)를 나타낸다. 신경 단위들 사이의 링크들은 연결된 신경 단위들의 활성화 상태에 대한 영향에서 흥분성 또는 억제성일 수 있다. 예를 들어, X1으로부터 X5로 전파되는 스파이크는 W15의 값에 따라 X5의 막 전위를 증가 또는 감소시킬 수 있다. 다양한 실시예들에서, 연결들은 유향(directed)이거나 무향(undirected)일 수 있다.
다양한 실시예들에서, 신경 네트워크의 각각의 시간 스텝(time-step) 동안, 신경 단위는, 각자의 시냅스들을 통해 신경 단위에 연결되는 신경 단위들(이러한 신경 단위 세트는 신경 단위의 팬인(fan-in) 신경 단위들이라고 지칭됨) 중 하나 이상으로부터의 바이어스 값 또는 하나 이상의 입력 스파이크와 같은, 임의의 적합한 입력들을 수신할 수 있다. 신경 단위에 적용되는 바이어스 값은 입력 신경 단위에 인가되는 1차 입력 및/또는 신경 단위에 인가되는 어떤 다른 값(예를 들면, 신경 네트워크의 트레이닝 또는 다른 동작 동안 조정될 수 있는 상수 값)의 함수일 수 있다. 다양한 실시예들에서, 각각의 신경 단위는 자체 바이어스 값과 연관될 수 있거나 또는 바이어스 값이 다수의 신경 단위들에 적용될 수 있다.
신경 단위는 그의 입력들의 값들 및 그의 현재 막 전위를 활용하여 함수를 수행할 수 있다. 예를 들어, 업데이트된 막 전위를 생성하기 위해 신경 단위의 현재 막 전위에 입력들이 가산될 수 있다. 다른 예로서, 시그모이드 전달 함수와 같은, 비선형 함수가 입력들 및 현재 막 전위에 적용될 수 있다. 임의의 다른 적합한 함수가 사용될 수 있다. 이어서 신경 단위는 함수의 출력에 기초하여 그의 막 전위를 업데이트한다.
도 4를 참조하면, 다양한 차량들에서 (예를 들면, 그들의 대응하는 차량 내 컴퓨팅 시스템들에 의해) 지원될 수 있는, 예시적인 자율 주행 운전 레벨들을 예시하는 단순화된 블록 다이어그램(400)이 도시되어 있다. 예를 들어, 다양한 레벨들(예를 들면, L0(405) 내지 L5(435))이 정의될 수 있으며, 레벨 5(L5)는 최고 레벨의 자율 주행 운전 기능성(예를 들면, 완전 자동화(full automation))을 가진 차량들에 대응하고 레벨 0(L0)은 최저 레벨의 자율 주행 운전 기능성(예를 들면, 비자동화(no automation))에 대응한다. 예를 들어, L5 차량(예를 들면, 435)은, 극단적인 도로 조건 및 날씨를 포함하여, 모든 운전 시나리오에서 인간 운전자에 의해 제공되는 것과 동일하거나 더 나은 자율 주행 운전 성능을 제공할 수 있는 완전 자율 주행 컴퓨팅 시스템을 가질 수 있다. L4 차량(예를 들면, 430)도 완전 자율 주행으로 간주될 수 있으며 안전 필수(safety-critical) 운전 기능들을 자율적으로 수행할 수 있고 출발 위치로부터 목적지까지의 전체 여정에 걸쳐 도로 조건들을 효과적으로 모니터링할 수 있다. L4 차량들은, 모든 운전 시나리오들을 포함하지 않을 수 있는 차량의 "운영 설계 도메인(operational design domain)"의 한계 내에서 L4의 자율 주행 능력이 정의된다는 점에서, L5 차량들과 상이할 수 있다. L3 차량들(예를 들면, 420)은 특정 교통 및 환경 조건들의 세트에서 안전 필수 기능들을 차량으로 완전히 넘기는 자율 주행 운전 기능성을 제공하지만 여전히 모든 다른 시나리오들에서의 운전을 처리하기 위해 인간 운전자의 관여와 이용 가능성을 기대한다. 그에 따라, L3 차량들은 인간 운전자로부터 자율 주행 운전 스택으로 및 원래로의 제어권의 이전을 조율하기 위해 핸드오버 프로토콜들을 제공할 수 있다. L2 차량들(예를 들면, 415)은, 운전자의 손과 발 둘 모두가 차량의 물리적 제어로부터 주기적으로 해방될 수 있도록, 운전자가 차량을 물리적으로 동작시키는 것으로부터 때때로 해방될 수 있게 하는 운전자 보조 기능성을 제공한다. L1 차량들(예를 들면, 410)은 하나 이상의 특정 기능(예를 들면, 조향, 제동 등)의 운전자 보조를 제공하지만 여전히 차량의 대부분의 기능들에 대한 끊임없는 운전자 제어를 필요로 한다. L0 차량들은 자율 주행이 아닌 것으로 간주될 수 있다 - 인간 운전자가 차량의 운전 기능성 전부를 제어한다(그렇지만 그러한 차량들이 그럼에도 불구하고 차량 내의 GPS 및 인포테인먼트 서비스들 등을 향상시키기 위해 센서 데이터를 사용하여, 예컨대, 센서 데이터를 상위 레벨 차량들에 제공하는 것에 의해, 자율 주행 운전 환경에 수동적으로 참여할 수 있다) -. 일부 구현들에서, 단일 차량이 다수의 자율 주행 운전 레벨들에서의 동작을 지원할 수 있다. 예를 들어, 운전자는 주어진 여정 동안 어떤 지원되는 자율성 레벨(예를 들면, L4 또는 더 낮은 레벨)이 사용되는지를 제어 및 선택할 수 있다. 다른 경우에, 차량은, 예를 들어, 도로 또는 차량의 자율 주행 운전 시스템에 영향을 미치는 조건들에 기초하여, 레벨들 사이에서 자율적으로 토글할 수 있다. 예를 들어, 하나 이상의 센서가 손상되었음을 검출하는 것에 응답하여, L5 또는 L4 차량은, 예들 중에서도, 센서 이슈를 고려하여 인간 승객을 관여시키기 위해 더 낮은 모드(예를 들면, L2 이하)로 전환될 수 있다.
도 5는 일부 자율 주행 운전 시스템들에서 구현될 수 있는 예시적인 자율 주행 운전 흐름을 예시하는 단순화된 블록 다이어그램(500)이다. 예를 들어, 자율 주행(또는 반자율 주행) 차량에서 구현되는 자율 주행 운전 흐름은 감지 및 인지(sensing and perception) 스테이지(505), 계획 및 결정(planning and decision) 스테이지(510), 및 제어 및 실행(control and action) 페이즈(515)를 포함할 수 있다. 감지 및 인지 스테이지(505) 동안, 데이터가 다양한 센서들에 의해 생성되고 자율 주행 운전 시스템에 의한 사용을 위해 수집된다. 데이터 수집은, 일부 경우에, 데이터 필터링 및 외부 소스들로부터 센서를 수신하는 것을 포함할 수 있다. 이 스테이지는 센서 융합 동작들 및 하나 이상의 머신 러닝 모델을 사용하여 수행되는, 로컬화와 같은, 대상체 인식 및 다른 인지 작업들을 또한 포함할 수 있다. 계획 및 결정 스테이지(510)는 전방 도로(들)의 확률적 예측들을 수행하고 이러한 예측들에 기초하여 실시간 경로 계획을 결정하기 위해 센서 데이터 및 다양한 인지 동작들의 결과들을 활용할 수 있다. 계획 및 결정 스테이지(510)는 장애물들 및 다른 이벤트들의 검출에 반응하여 이러한 이벤트들을 고려하여 결정된 경로를 안전하게 운행하기 위해 행동을 취해야 하는지 여부 및 어떤 행동을 취해야 하는지를 결정하도록 경로 계획에 관련된 결정을 내리는 것을 추가로 포함할 수 있다. 계획 및 결정 스테이지(510)의 경로 계획 및 결정들에 기초하여, 제어 및 실행 스테이지(515)는 조향, 가속 및 제동을 포함한 운전 컨트롤들은 물론, 방향 지시등, 센서 클리너, 윈도실드 와이퍼, 헤드라이트 등과 같은 보조 컨트롤들을 조작하기 위해 액추에이터를 통해 이러한 결정들을 행동들로 변환할 수 있다.
차량이 자율적으로 기능하는 데 필요한 기능성 전부가 차량 내 컴퓨팅 시스템들을 통해 기본적으로 제공될(그리고 필요한 경우, 유선 또는 무선 홈 기반 또는 차고 기반 네트워크 연결을 통한 주기적인 통신을 통해 업데이트될) 수 있지만, 무선 통신 기술 및 속도가 진보함에 따라, 일부 자율 주행 차량 구현들은 (예를 들면, 차량 외부에 있거나 또는 차량과 기본적으로 통합되지 않은) 외부 데이터 및 컴퓨팅 리소스들로부터의 통신에 더 크게 의존할 수 있다. 예를 들어, 5G 캐리어 네트워크의 등장과 4G LTE 커버리지의 확장으로 인해, 커넥티드 자율 주행 차량들 및 V2X(vehicle-to-everything) 시스템들의 구현들이 보다 즉각적으로 달성 가능하게 된다. 예를 들어, 안전에 대한 프리미엄을 감안하여, 강화된 크라우드 소싱 인텔리전스를 제공하는 것은 물론, 예컨대, 실시간 고신뢰성 애플리케이션들을 통해, 중복성을 제공하는 것 둘 모두를 위해, 차량들 상의 자율 주행 운전 시스템들을 통해 기본적으로 제공되는 안전이 차량 외부의 시스템들을 사용하여 보완, 보강 및 향상될 수 있다.
자율 주행 차량은 외부 컴퓨팅 시스템들과 통신하고 그에 의해 지시를 받을 수 있다. 그러한 제어는, (예를 들면, 기술자를 통해 수동으로 그렇게 하기 위해 차량을 유지 관리 센터로 가져가는 것과 달리) 차량이 소프트웨어 및/또는 펌웨어 업데이트들을 (예를 들면, 차량 또는 자율 주행 운전 시스템의 OEM(original equipment manufacturer) 또는 제공업체에 속하는) 원격 제어/유지 관리 센터로부터 수신할 수 있는, OTA(over-the-air) 업데이트들의 푸시와 같은 저레벨의 제어를 포함할 수 있다. 다른 상위 제어 애플리케이션들에서, 자율 주행 차량의 완전한 제어가 외부 컴퓨팅 시스템으로 또는 원격 컴퓨팅 단말에 있는 원격 사용자/가상 운전자로 핸드오버될 수 있다. 예를 들어, 그러한 원격 제어는, 예를 들어, 자율 주행 차량으로부터 차량 내 승객으로의 제어권의 핸드오버가 실행 가능하지 않거나 바람직하지 않을 때; 자율 주행 운전 시스템이 루트의 특정 부분을 정확하게, 효율적으로 또는 안전하게 운행하는 데 어려움을 겪고 있는 차량을 돕기 위해; 또는 풀오버 이벤트 또는 달리 움직일 수 없는(immobilized) 자율 주행 차량을 돕기 위해, 온 디맨드(on-demand) "원격 발레" 서비스로서 제공될 수 있다.
일부 구현들에서, 자율 주행 차량이 안정적으로 그리고 안전하게 처리할 방법을 알지 못하는 상황 또는 이벤트에 자율 주행 차량이 직면할 때, 자율 주행 운전 시스템이 차량을 도로 밖으로(예를 들면, 도로의 갓길로, 주차 공간에 등) 유도하는, 풀오버 이벤트를 개시하도록 차량이 프로그래밍될 수 있다. 미래에는, 자율 주행 차량들이 도로에서 더 많이 발견될 때, 하나의 자율 주행 차량으로 하여금 풀오버를 개시하게 하는 이벤트가 다른 이웃 자율 주행 차량들에 유사하게 영향을 미칠 수 있으며, 이로 인해 다수의 풀오버들이 추가적인 혼잡 및 도로 정체를 유발하여 잠재적으로 이러한 도로들 상에서의 도로 및 자율 주행 운전을 마비시킬 가능성이 있다. 일부 경우가 자율 주행 운전 시스템으로부터 인간 승객으로의 핸드오버 이벤트가 풀오버를 유발하는 상황에서 운행할 수 있도록 할 수 있지만, 다른 구현들에서, 예시적인 상황들 및 구현들 중에서도, (예를 들면, 차량에 승객이 없을 때(예를 들면, 드론 차량, 원격 호출(remote summoning) 기능부를 사용하여 그의 승객들에게 가고 있는 차량 등)) 원격 발레 서비스가 트리거될 수 있다.
이상에 따르면, 자율 주행 차량의 일부 구현들은 원격 발레 모드를 지원할 수 있어, 차량의 운전이 (차량의 자율 주행 운전 시스템으로부터) 네트워크를 통해 원격 컴퓨팅 시스템으로 핸드오프되어 그에 의해 제어되도록 할 수 있다. 예를 들어, 자율 주행 차량이 자신이 처리할 수 없는 상황(예를 들면, 센서가 작동하지 않는 것, 차량에 알려지지 않은 새로운 도로 상황, 온보드 시스템이 결정을 할 수 없는 것 등)에 직면할 때 자율 주행 차량의 원격 제어가 자율 주행 차량에 의해 온 디맨드로 트리거될 수 있다. 그러한 원격 제어는 또한 차량이 원격 제어를 요청하는 비상 상황들에서 차량에 제공될 수 있다. 원격 발레 서비스는 차량을 원격으로 제어하기 위해 운영되는 사용자 엔드포인트 시스템들을 구비한 제어 및 유지 관리 센터에 사람이 원격으로 앉아 있는 것을 수반할 수 있다. 그러한 시스템은 자율 주행 차량이 그 자체 또는 그의 환경에 대한 실행 가능한 정보가 부족하여 기동할 수 없는 것으로 인해 풀오버하거나 움직일 수 없는 채로 있을 수 있는 에지 케이스들(edge-cases)을 완화시키는 데 사용될 수 있다. 원격 발레 시스템들은 또한 자율 시스템으로부터 정보를 또한 수신하는(예를 들면, 차량에 의해 운행되는 도로의 뷰를 제공받고, 차량의 시스템 상태, 차량의 승객 상태에 관한 정보를 제공하는 등) 기능성을 갖추고 있을 수 있지만, 그럼에도 불구하고 차량의 자율 주행 운전 시스템과 독립적으로 작동할 수 있다. 그러한 독립성은, 예시적인 사용 사례들, 이점들 및 구현들 중에서도, 자율 주행 차량의 완전한 또는 실질적인 센서 고장의 조건에서도 원격 발레 서비스 자체가 기능할 수 있게 할 수 있다.
예를 들어, 도 6의 단순화된 블록 다이어그램(600)에 도시된 바와 같이, 자율 주행 차량이 다양한 환경들 내에서 자가 운전(self-drive)하는 것을 가능하게 하기 위해 자율 주행 차량(105)은 다양한 센서들(예를 들면, 620, 625, 630 등) 및 자율 주행 운전 로직을 포함할 수 있다. 위에서 소개된 바와 같이, 일부 경우에, 자율 주행 차량에 의해(또는 자율 주행 차량 내의 승객의 요청에 따라), 차량(105)의 자율 주행 운전 시스템이 경로 계획에서의 루트의 일 부분을 안정적으로, 바람직하게 또는 안전하게 운행할 수 없다고 결정될 수 있다. 자율 주행 차량(105)은 하나 이상의 네트워크(예를 들면, 155)와 인터페이싱하고 차량(105)과 원격 발레 서비스(605)를 구현하는 하나 이상의 컴퓨팅 시스템 사이에서 데이터가 교환될 수 있게 하는 통신 능력을 포함할 수 있다. 원격 발레 서비스(605)는, 가상 운전자 사용자들이, 차량 상의 센서들(예를 들면, 620, 625, 630 등) 또는 다른 디바이스들 상의 센서들(예를 들면, 175)(예를 들면, 도로변 시스템들(예를 들면, 130), 공중 또는 지상 기반 드론들(예를 들면, 180) 및 심지어 다른 이웃 차량들로부터의 센서들)로부터 제공되는 센서 데이터(예를 들면, 카메라 뷰들 또는 다른 센서 정보)에 기초하여, 차량(105) 주위의 조건들을 관측할 수 있게 하는, 다수의 사용자 단말 디바이스들을 제공할 수 있다. 이어서 가상 운전자는 차량(105)의 조향, 가속 및 제동을 제어하기 위해 대응하는 저 지연시간, 고 우선순위 데이터가 (네트워크(155)를 통해) 차량(105)에 통신되게 하기 위해 원격 발레 단말에서 입력들을 제공할 수 있다.
일부 경우에, 차량(105)은 개입 및 원격 발레 서비스(605)로의 제어권의 핸드오버를 자동으로 요청할 수 있다. 일부 경우에, 이 요청은 반응적일 수 있는 반면(예를 들면, 풀오버 이벤트, 센서 사용 불능 또는 비상 사태에 대한 응답일 수 있음), 다른 경우에, 이 요청은 (루트 상의 전방 조건들을 감안하여 풀오버 이벤트 또는 다른 어려움이 있을 가능성이 있다는 예측에 기초하여) 원격 발레 서비스(605)로 하여금 차량의 제어권을 인계받게 하기 위해 선제적으로 송신될 수 있다. 차량(105)은, 하나 이상의 머신 러닝 모델을 사용하여, 조건들이 제어권이 원격 발레 서비스(605)로 핸드오버되어야 하도록 되어 있다고 결정하기 위해, 자체 센서들(예를 들면, 620, 625, 630 등)로부터의 센서 데이터는 물론, 다른 센서들 및 디바이스들(예를 들면, 130, 180 등)로부터의 센서 데이터는 물론, 백엔드 자율 주행 운전 지원 서비스들(예를 들면, 클라우드 기반 서비스들(150))을 활용할 수 있다.
일부 경우에, 다수의 상이한 자율 주행 차량들 중 임의의 것에 의해 활용될 수 있는, 다수의 원격 발레 서비스들이 존재할 수 있다. 실제로, 다수의 자율 주행 차량들이 동시에 단일 원격 발레 서비스에 연결되고 그에 의해 제어될 수 있다(예를 들면, 개별 원격 운전자들이 각각의 각자의 차량을 안내함). 일부 경우에, 하나의 원격 발레 서비스가 다른 원격 발레 서비스보다 더 많이 이용 가능함을 광고할 수 있다. 일부 경우에, 원격 발레 서비스 품질 평가들이 유지될 수 있다. 또 다른 경우에, 다수의 상이한 원격 발레 서비스들 각각의 실시간 연결성 조건들을 식별하기 위해 연결 품질 및 속도 정보가 유지될 수 있다. 그에 따라, 원격 핸드오버가 필요하거나 가능성이 있다는 것을 검출하는 것 외에도, 자율 주행 차량(예를 들면, 105)은 또한 잠재적으로 많은 이용 가능한 대안적인 원격 발레 서비스들 중 어느 것이 사용 및 요청될 수 있는지를 결정하기 위해 그러한 입력들을 고려할 수 있다. 일부 구현들에서, (예를 들면, 특정 제공업체로부터의 원격 발레 서비스들에 대한 활성 가입을 통해, 원격 발레 서비스는, 고려 사항들 중에서도, 자동차의 제조업체 또는 그의 자율 주행 운전 시스템과 연관되어 있음) 차량이 원격 발레 서비스들 중 특정의 것과 연관되는 경우에서와 같이, 선택은 간단할 것이다.
추가적으로, 원격 발레 서비스들은 또한 원격 발레 서비스에 의해 검출되는 다양한 속성들에 기초하여(예를 들면, 핸드오버에 대한 요청에 포함된 정보, 핸드오버 또는 원격 제어와 관련하여 수신되는 센서 데이터로부터 수집된 정보 등에 근거하여) 개별 자율 주행 차량들(예를 들면, 105)과 그 소유자들 및 승객들에 대한 서비스들을 조정할 수 있다. 예를 들어, 예시적인 고려 사항들 중에서도, 제어되고 있는 차량의 제조사와 모델, 차량의 자율 주행 운전 시스템의 버전과 구현, 차량 상의 어느 센서들이 동작하고 안정적인 채로 있는지, 핸드오프를 촉발한 특정 조건들(예를 들면, 전문 원격 운전자들이 문제 해결 및 어려운 코너 케이스들(corner cases)에서 벗어나게 차량을 운행하는 데 도움을 주도록 요청받는 것)에 기초하여 조정된 운전 보조 사용자 인터페이스 및 컨트롤러가 원격 발레 서비스의 가상 운전자에게 제공 및 제시될 수 있다.
일부 구현들에서, 원격 발레 서비스들은 공공 서비스로서 정부 기관을 통해 제공될 수 있다. 다른 구현들에서, 원격 발레 서비스들은 민간 부문 상업 벤처들로서 제공될 수 있다. 그에 따라, 주어진 차량(예를 들면, 105)의 여정과 관련하여 제공되는 원격 발레 서비스들과 관련하여, 제공되는 원격 발레 서비스를 기술하기 위해 (예를 들면, 차량(예를 들면, 105) 및 원격 발레 시스템(605) 중 어느 하나 또는 둘 모두 상의 센서들 또는 모니터들에 의해) 메트릭들이 자동으로 수집되고 대응하는 데이터가 생성될 수 있다. 그러한 메트릭들 및 데이터는, 원격 가상 서비스에 의해 그의 서비스들에 대해 청구되는 요금을 결정하는 데 고려되고 사용될 수 있는, 메트릭들 중에서도, 원격 발레 서비스들을 트리거한 조건들의 심각도(예를 들면, 보다 어려운 문제들은 보다 높은 원격 발레 서비스 요금을 받음), 원격 발레 서비스 제어 하에서 운전된 주행 거리(mileage), 원격 발레 서비스 제어 하에서의 시간, 원격 발레 서비스를 용이하게 하는 데 사용되는 특정 가상 운전자 및 툴, 원격 발레 서비스에 의해 사용되는 외부 데이터의 소스 및 양(예를 들면, 센서들(예를 들면, 620, 625, 630) 외부의 소스들(예를 들면, 175, 180)에 요청되어 수집된 데이터의 양)과 같은 원격 발레 서비스의 특성들을 기술할 수 있다. 일부 경우에, 요금은 차량의 소유자, 차량 제조업체, 차량 보증 제공업체, 차량의 자율 주행 운전 시스템의 제공업체 등에 의해 지불되거나 이들 간에 분할될 수 있다. 일부 경우에, 예시적인 구현들 중에서도, 어느 당사자/당사자들이 원격 발레 서비스 요금의 어느 금액에 대해 책임을 지는지를 결정하기 위해, 원격 발레 서비스 요금에 대한 책임이 핸드오버 요청과 관련하여 생성되는 데이터로부터 자동으로 결정될 수 있다.
예시적인 사용들 중에서도, 향후 원격 발레 서비스들의 프로비저닝은 물론 자가 운전하고 원격 발레 서비스들을 요청하기 위해 차량들이 의존하는 자율 주행 운전 모델들 둘 모두를 개선시키기 위해, 원격 발레 서비스로의 핸드오버 요청과 관련하여 생성되는 데이터는 물론, 주어진 여정에서 차량에 제공되는 원격 발레 서비스를 기록하기 위해 생성되는 데이터가 원격 발레 서비스(예를 들면, 605)의 시스템들(예를 들면, 610) 상에서 또는 원격 발레 서비스들의 결과들을 집계하고 크라우드 소싱할 수 있는 클라우드 기반 서비스들(예를 들면, 150)에서 수집 및 유지될 수 있다.
도 7을 참조하면, 예시적인 원격 발레 서비스의 제공 동안 시스템들 간의 통신을 예시하는 단순화된 블록 다이어그램(700)이 도시되어 있다. 예를 들어, 핸드오버 요청(710)이 차량(105)(예를 들면, 그의 자율 주행 운전 시스템의 원격 발레 지원 블록(예를 들면, 705))으로부터 네트워크를 통해 (하나 이상의 원격 발레 서비스 시스템(예를 들면, 605)을 통해 제공되는) 원격 발레 서비스들을 제공하거나 중개하는 컴퓨팅 시스템으로 송신될 수 있다. 다른 예들에서, (예를 들면, 자율 주행 차량(105) 외부에 있는) 신뢰할 수 있는 제3자 시스템은 (예를 들면, 차량을 포함한 교통을 모니터링하는 다양한 디바이스들로부터의 센서 데이터 앙상블을 통해) 차량(105)이 도움을 필요로 한다고 결정할 수 있다. 일부 경우에, 차량 내의 승객은, 예시적인 구현들 중에서도, 차량(105)을 대신하여 핸드오버 요청(예를 들면, 710')을 송신할 수 있는, 제3자 서비스(예를 들면, 클라우드 기반 서비스(150))를 사용하여 (예를 들면, 스마트 폰 앱을 통해) 원격 발레 서비스가 트리거되게 할 수 있다. 원격 발레 서비스가 제공되는 것을 가능하게 하기 위해 차량(105)과 원격 발레 시스템(605) 사이에 안전한 고 우선순위 통신 채널(715)이 확립될 수 있다. 예를 들어, 차량의 위치 및 상태는 물론 그의 주변 환경에 대한 거의 실시간 뷰를 제공하기 위해 차량(105) 상의 센서들에 의해 수집되는 센서 데이터(예를 들면, 카메라 데이터, LIDAR 데이터 등)가 송신될 수 있다. 일부 경우에, 데이터는 (예를 들면, 예시적인 사용들 중에서도, 차량들의 승객들을 보는 것(view)을 가능하게 하고/하거나 승객들과 원격 발레의 가상 운전자 간의 라이브 통신(live communication)을 용이하게 하기 위해) 차량(105)의 내부 센서들로부터의 데이터를 포함할 수 있다. 원격 발레의 가상 운전자는 차량(105)의 라이브 조건들(live conditions)을 기술하는 가상 운전자가 수신하는 정보에 응답하고 그의 단말에 있는 컨트롤들을 사용하여 차량(105)의 운전 동작들을 원격으로 제어하기 위해 채널(715)을 통해 차량으로 송신될 운전 지시 데이터를 생성할 수 있다. 원격 발레 서비스는 또한, 도로변 유닛들, 다른 차량들, 드론들 및 다른 센서 디바이스들과 같은, 외부 소스들로부터 (예를 들면, 차량(105)으로부터 수신된 것 외에도) 보충 데이터를 획득할 수 있다. 그러한 정보는 하나 이상의 백엔드 시스템(예를 들면, 150)을 통해 용이하게 되는 고 우선순위 채널들(예를 들면, 720)을 통해 제공될 수 있다. 일부 구현들에서, 원격 발레 시스템(605)은, 차량(105)의 위치로부터, (원격 발레 운전자의 제어 하에서 경로를 따라 차량이 이동함에 따라 동적으로 변할 수 있는) 센서 세트들을 결정할 수 있고, 이 센서 세트들을 사용하여 원격 발레 시스템은 다른 안전한 채널(예를 들면, 720)을 확립하고 원격 발레 시스템에 의해 제어되는 차량 주변의 장면을 기술하는 라이브 데이터를 획득할 수 있다. 그에 따라, 일부 구현들에서, 원격 발레 서비스는 제어되는 차량(105) 상의 센서들로부터의 센서 데이터 또는 그 외부의 센서들로부터의 센서 데이터 중 어느 하나 또는 둘 모두를 사용할 수 있다.
위에서 언급된 바와 같이, 일부 구현들에서, 자율 주행 차량은 도움을 위해 원격 발레 서비스를 호출해야 하는 경우들을 검출할 수 있다. 일부 경우에, 이러한 결정은 하나 이상의 백엔드 서비스(예를 들면, 150)의 도움을 받을 수 있다. 일부 구현들에서, 차량은 핸드오버 요청(예를 들면, 710)을 촉발한 조건들을 기술하는 데이터를 그러한 서비스들(150)에(또는 다른 클라우드 기반 시스템들, 리포지토리들 및 서비스들에) 제공할 수 있다. 차량은 원격 발레 시스템의 성능을 기술하는(예를 들면, 원격 발레에 의해 취해진 기동들 또는 경로들을 기술하는, 서비스에 대한 승객 만족도를 기술하는 등의) (서비스 이후의 또는 서비스 동안의) 보고를 더 제공할 수 있다. 그러한 보고 데이터(예를 들면, 730)는 머신 러닝 모델을 트레이닝시키고 백엔드 또는 클라우드 기반 시스템(예를 들면, 150)에 의해 제공되는 서비스들을 다른 방식으로 향상시키기 위해 나중에 사용될 수 있다. 통찰력 및 개선된 모델들이 시스템(150)에 의해 도출되고 이어서 차량의 자율 주행 운전 시스템(은 물론 그의 원격 발레 지원 로직(705))과 공유될 수 있다. 일부 경우에, 자율 주행 차량은 원격 발레의 기동들과 반응들을 기술하는 정보를 기록할 수 있고 이를 사용하여 자체 자율 주행 운전 머신 러닝 모델들에서 사용되는 모델들을 더욱 트레이닝시키고 개선시킬 수 있다. 유사하게, (예를 들면, 720을 통한) 보고 데이터는, 본 명세서에서 기술된 것과 같은, 예들 중에서도, 차량의(및 다른 차량들의) 자율 주행 운전 로직 및 핸드오버 요청들을 향상시키는 데 사용하기 위해 원격 발레 시스템(605)으로부터 클라우드 기반 서비스들에 또는 차량에 제공될 수 있다.
예시적인 예로서, 자율 주행 차량(예를 들면, 105)은, 루트를 따라 운전하는 동안, 차량의 자율 주행 운전 시스템이 특정 상황을 처리할 수 없다는 것을 자율적으로 결정(또는 승객 피드백 또는 공공 안전 담당관에 의해 수신되거나 보고된 피드백 등에 기초하여 결정)할 수 있다. 그에 따라, 원격 발레 서비스가 트리거될 수 있다. 일부 경우에, 다가오는 도로 섹션에 앞서 도로 섹션이 문제가 될 것이라는 예측에 기초하여 원격 발레 서비스에 연락할 수 있다. 일부 구현들에서, 핸드오프 요청이 (도 5의 예에서 논의된 것과 같은) 자율 주행 운전 파이프라인에서 경로 계획 페이즈를 구현하는 자율 주행 운전 시스템 로직을 보완하는 로직 블록에 의해 수행될 수 있다. 일부 경우에, 일단 원격 발레 핸드오프 요청이 원격 발레 시스템에 발행되면, 텔레매틱스 제어 유닛(TCU)과 같은, 자율 주행 차량 상의 통신 모듈이 원격 발레 서비스에 연결하는 데 사용될 수 있다. 일부 구현들에서, 원격 발레 서비스 통신이 TCU의 제조 페이즈 동안 특정되는 (비상 호출과 유사한) 비상 서비스와의 통신으로서 확립될 수 있다. 이러한 핸드오프 요청에서, 차량 위치가 제공될 수 있다. 일부 구현들에서, 핸드오프 요청 및 원격 발레 서비스는 "원격 발레"를 처리하는 인간 가상 운전자가 행동을 취하는 OEM 제공 호출/제어 센터에서 구현될 수 있다. 일부 구현들에서, 차량과 원격 발레 서비스 간의 연결을 확립하는 것에 응답하여, 원격 발레는 실시간으로 주변 환경을 보기 위해 차량의 모든 카메라들로부터 비디오를 스트리밍하라는 요청을 차량으로 송신할 수 있다. 차량으로부터 수신되는 정보를 보충하는 데이터(예를 들면, 추가 스트리밍 비디오)를 제공할 동일한 위치에 있는 다른 센서들(예를 들면, 도로 카메라들 및 도로변 센서들)이 또한 식별될 수 있다. 차량들로부터의(그리고 어쩌면 또한 추가 소스들(예를 들면, 도로 카메라들)로부터의) 스트리밍된 비디오를 통해 원격 발레에 거의 실시간으로 디스플레이되는 차량 주변 환경 및 도로 조건들을 보는 것에 기초하여, 원격 발레는 차량을 목적지까지 운전하기 위해 (플레이어가 자동차의 시야를 보고 운전하며 핸들(wheel), 핸드헬드 컨트롤러 등을 사용하여 자동차를 제어하는 비디오 몰입형 게임과 유사하게) 차량을 제어한다. 일부 경우에, 목적지는 덜 문제가 있는 것으로 결정되는 루트의 다음 섹션에 대응할 수 있으며, 이 지점에서 제어권이 표준 자율 주행 운전 모드에서 차량의 운전을 제어하기 위해 자율 주행 운전 시스템으로 다시 넘어갈 수 있다. 다른 경우에, 최초의 핸드오프 요청의 상황들 및 검출된 특성들에 기초하여, 원격 발레 서비스는, 예들 및 사용 사례들 중에서도, 손상된 센서들 또는 자율 주행 차량 운전 시스템을 가진 차량을 최근접 서비스 센터로 운전하는 것 또는 아프거나 다친 승객들이 있는 차량을 병원으로 운전하는 것과 같은, 차량에서 검출된 이슈들을 해결할 장비를 갖춘 것으로 식별되는 특정 목적지로 차량을 유도할 수 있다.
위에서 언급된 바와 같이, 일부 구현들에서, 차량의 자율 주행 운전 시스템은 다가오는 쭉 뻗은 도로에서의 가능성 있는 조건들을 선제적으로 결정하기 위해 다른 원격 센서 디바이스들(예를 들면, 다른 자율 주행 차량들, 드론들, 도로변 유닛들, 날씨 모니터들 등)에 의해 수집되는 데이터에 액세스할 수 있다. 일부 경우에, 도로 섹션들 및 이러한 루트들에 영향을 미치는 조건들에 관한 정보를 다수의 자율 주행 차량들에 제공하기 위해 다양한 센서들이 클라우드 기반 시스템들에 데이터를 제공하여 이 데이터 모음을 집계하고 프로세싱하도록 할 수 있다. 위에서 언급된 바와 같이, 일부 경우에, 클라우드 기반 시스템들 및 다른 시스템들은 이전 풀오버 및 원격 발레 핸드오버 이벤트들과 연관된 입력들을 수신할 수 있고 이러한 이벤트들에 공통적인 특성들을 검출할 수 있다. 일부 구현들에서, 머신 러닝 모델들이 이러한 정보에 근거하여 구축되고 트레이닝될 수 있으며, 그러한 머신 러닝 모델들은 잠재적인 원격 발레 핸드오프들을 예측적으로 결정하기 위한 로직을 제공하기 위해 도로변 유닛들, 클라우드 기반 지원 시스템들, 원격 발레 컴퓨팅 시스템들 또는 자율 주행 차량들 자체의 차량 내 시스템들에 배포되고 그에 의해 실행될 수 있다. 예를 들어, 주어진 자율 주행 차량에 의해 액세스되는 센서 데이터를 통해, 차량은, 각각의 도로를 따라, 빈번한 풀오버들이 발생했고/했거나 원격 발레이 핸드오프들이 흔히 일어나는 지역들을 사전에 결정할 수 있다. 일부 예들에서, 자율 주행 차량은 (예를 들면, 대응하는 머신 러닝 모델에 근거하여) 다가오는 도로 섹션에 대해 보고되는 조건들이 (이전에 해당 특정 도로 섹션에서 풀오버 및 핸드오버가 발생하지 않았더라도) 풀오버 및/또는 원격 발레 핸드오버의 가능성을 암시한다고 결정할 수 있다. 그러한 정보를 사용하여, 자율 주행 차량은 차량 내 운전자 또는 원격 발레 서비스로의 핸드오버를 준비하는 행동들을 선제적으로 취할 수 있다. 일부 경우에, 자율 주행 차량은 (예를 들면, 또한 원격 발레를 지원할 수 있는 통신 리소스들의 이용 불가능성을 검출하는 것, 선호된 발레 서비스에 대해 보고되는 이용 가능성의 결여, 가능한 경우 원격 발레가 회피되어야 한다고 요청하는 사용자 선호사항 등에 기초하여) 골치 아픈 전방 도로 섹션을 피하기 위해 경로 계획을 변경하기로 결정할 수 있다. 일부 구현들에서, 자율 주행 차량의 디스플레이들은 다가오는 예측된 이슈와 풀오버 및/또는 원격 발레 핸드오버의 가능성에 관한 경고들 또는 지시들을 차량 내 승객들에게 제시할 수 있다. 일부 경우에, 이 정보가 대화형 디스플레이에 제시될 수 있으며, 이 대화형 디스플레이를 통해 승객은 승객으로의 핸드오버, 원격 발레 서비스로의 핸드오버, 대안 루트의 선택 또는 풀오버 이벤트 중 어느 하나를 통해 다가오는 여정 세그먼트를 처리하는 것에 대한 그의 선호사항을 등록할 수 있다. 또 다른 구현들에서, 골치 아픈 도로 세그먼트들을 반영하는 클라우드 기반 지식이, 예시적인 구현들 중에서도, 골치 아픈 세그먼트들을 운전자들 및 다른 자율 주행 차량들에 표시하기 위해 도로 표지판들 또는 차량 내 도로 지도로 통신될 수 있다.
도 8을 참조하면, 그러한 위험하고 어려운 시나리오들을 통과하는 자율 주행 차량들을 돕기 위해 원격 발레 서비스들을 개시하는 데 추가로 활용될 수 있는, 풀오버 이벤트 위험 및 도로 조건 경고들에 관련된 정보의 협력적 보고를 예시하는 단순화된 블록 다이어그램(800)이 도시되어 있다. 예를 들어, 영향을 받는 차량들 및/또는 주변 센서 디바이스들에 의해 풀오버 요청 및/또는 원격 발레 이벤트에 대한 정보가 수집될 수 있고, 이 정보가 자율 주행 운전 시스템들을 향상시키기 위해 공유되고 활용될 수 있다. 도 8의 예에서, 풀오버 또는 핸드오프가 발생할 때, 영향을 받는 차량(예를 들면, 105)은 이 이벤트와 관련하여 생성 및 수집된 데이터를 조립할 수 있고, 이 정보를 클라우드 기반 지원 시스템들(예를 들면, 150) 및/또는, 도로변 유닛 또는 에지 컴퓨터(또는 에지 클라우드) 서버(예를 들면, 140)와 같은, 에지 디바이스들과 공유할 수 있다.
도 9는 다양한 차량 센서들(예를 들면, 620, 625), 인공 지능/머신 러닝 기반 자율 주행 운전 스택(515), 및 원격 발레 서비스를 제공할 수 있는 시스템들로의 핸드오프 요청들을 트리거 및 생성하는 것을 지원하는 로직(예를 들면, 905)을 포함할 수 있는, 예시적인 자율 주행 차량(105)의 기능부들을 예시하는 단순화된 블록 다이어그램(900)을 도시한다. 텔레매틱스 제어 유닛(TCU)(910)이 제공될 수 있으며, 이를 통해 핸드오프 요청이 송신될 수 있고 차량(105)과 원격 발레 서비스를 제공하는 가상 운전자 단말 사이의 통신이 확립될 수 있다.
자율 주행 운전 엔진(예를 들면, 515)이 풀오버 이벤트를 결정하거나 또는 원격 발레 지원 로직(예를 들면, 905)이 핸드오프 요청이 송신되어야 한다고 결정할 때, 차량 위치 및 풀오버 위치를 다양한 클라우드 기반 엔티티들(또는 이 정보를 다수의 엔티티들 또는 서비스들에 배포하는 단일 엔티티 또는 게이트웨이)로 송신하기 위해 신호가 TCU(910)로 송신될 수 있다. 실제로, 많은 상이한 서비스들이 그러한 정보를 사용할 수 있다. 예를 들어, (예를 들면, 차량 OEM과 연관된) 클라우드 기반 애플리케이션(815)은, 일 예에서, 이 정보에 대한 1차 타깃 또는 수신자일 수 있으며, 이 정보의 부분들을 다른 수신자들에게 배포할 수 있다. 다른 경우에, 차량(105)은 다수의 상이한 클라우드 기반 애플리케이션(예를 들면, 수신자당 하나의 애플리케이션)에 데이터 자체를 제공 및 배포할 수 있다. 예를 들어, OEM 유지 관리 애플리케이션(예를 들면, 820)은 풀오버 또는 핸드오프 정보를 활용하고 진단 및 차량(및 그의 모델들)이 자율 주행 운전을 처리할 수 없는 코너 케이스들을 식별하는 것을 위해 이를 사용할 수 있다. 일부 예들에서, 풀오버 또는 핸드오프 정보의 수신자들은 차량으로부터 직접 또는 차량으로부터 직접 정보를 수신하는 OEM을 통해서 중 어느 하나로 전용 클라우드 앱들을 통해 이 정보를 수신할 수 있는 전통적인 내비게이션 지도, 3D 지도, HD(high definition) 지도 등의 제공업체들을 포함한 지도 애플리케이션 제공업체들(예를 들면, 825, 826)을 포함할 수 있다. 지도 제공업체들은 풀오버 이벤트들 및 어려운 자율 주행 운전 조건에 취약한 지역들에 대한 정보로 지도를 채우는 데 도움이 될 수 있는 통계를 위해 풀오버 및 핸드오프 정보를 활용할 수 있음으로써, 이 정보가 지속적으로 업데이트될 수 있도록 한다. 게다가, HD 지도는, 예들 중에서도, HD 지도가 제공하는 도로 세그먼트당 고정밀 정보의 일부로서 그러한 정보를 포함할 수 있다. 지자체들, 정부 기관들, 유료 도로 제공업체들 및 다른 인프라스트럭처 회사들 및 관리 기관들(예를 들면, 830)이 또한 (예를 들면, 예들 중에서도, 차량(105)으로부터 직접, 다른 애플리케이션 또는 엔티티를 통해 간접적으로, 또는 연관된 도로변 센서들 및 도로변 지원 유닛들을 통해 그러한 정보를 캡처하는 것에 의해) 풀오버 및 핸드오프 정보의 수신자들일 수 있다. 그러한 기관들은, 새로운 도로 및 인프라스트럭처 프로젝트들, 경찰 활동(policing), 통행료에 대한 증거로서, 도로 유지 관리를 트리거하기 위해, 사이니지 또는 경고들의 배포를 트리거하기 위해 그리고 다른 용도들을 위해 이 정보를 활용할 수 있다.
풀오버 또는 핸드오프 이벤트는 또한 정보가 차량(105)에 의해 인근의 도로변 유닛들, 차량들 및 다른 센서 디바이스들과 공유되도록 트리거할 수 있다. 예시적인 도로변 유닛(예를 들면, 140)은 이 정보를 활용하여, 예를 들어, 이 데이터를 그가 수신하는 다른 데이터와 함께 프로세싱하고 (예를 들면, 도로 세그먼트 애플리케이션(835)을 통해) 이 정보 또는 그의 분석의 결과들을 다른 차량들(예를 들면, 110) 또는 그와 근접해 있는 시스템들과 공유할 수 있다. 예를 들어, 도로변 유닛은, 예시적인 행동들 중에서도, 풀오버 이벤트의 위험에 대해 다른 차량들에 경고하고, 원격 발레 서비스들과의 통신을 지원하도록 인프라스트럭처를 준비시킬 수 있다. 연관된 지자체들, 유지 관리 제공업체들 및 기관들이 (예를 들면, 교통 신호 타이밍을 동적으로 적응시키고, 디지털 사이니지를 업데이트하며, 추가적인 교통 차선들을 개방하는 등을 위해) 이 정보에 액세스하여 사용할 수 있도록, 도로변 유닛들은 또한 이 정보를 저장하거나 통신할 수 있다.
위에서 논의된 바와 같이, 다양한 클라우드 기반 및 에지 기반 컴퓨팅 시스템들은, 예시적인 사용들 및 이점들 중에서도, 추천 시스템들을 개선시키고(예를 들면, 풀오버 또는 원격 발레 핸드오프를 추천하고), 예측적 또는 선제적 원격 발레 핸드오프들을 가능하게 하며, 자율 주행 운전 모델들을 개선시키고, 원격 발레 서비스들을 개선시키기 위해 공유 및 사용될 수 있는, 모델들을 개선시키기 위해 시간에 따라 다양한 차량들로부터 수집되는 풀오버 및 핸드오프 정보를 활용할 수 있다.
(모든 도로 에이전트들이 모델을 준수하는 경우 안전을 보장하거나 또는 사고의 경우에 정확하게 책임을 묻는) 수학적 모델이 다양한 실시예들에서 사용될 수 있다. 예를 들어, 안전 모델은 에이전트들의 거동을 규정된 제약들의 세트로 제한하는 것에 의해 모델링되는 최악의 시나리오에서의 충돌을 피하기 위해 2개의 도로 에이전트 사이의 수학적으로 계산된 종방향 및 횡방향 최소 안전 거리들에 의존할 수 있다.
2개의 에이전트 사이의 거리가 안전 모델에 의해 규정된 바와 같은 안전 거리 아래로 떨어지는 상황(예를 들면, "위험한 상황")이 발생할 때마다, 양쪽 에이전트가 이전에 규정된 범위 내에서 가속을 수행하는 것으로 반응하는 경우(예를 들면, "적절한 반응"을 수행하는 경우), 안전 모델은 충돌들의 방지를 수학적으로 보장할 수 있다. 반면에, 에이전트들 중 하나가 준수하지 않는 경우, 사고가 발생하면 해당 에이전트가 책임을 져야 한다.
안전 모델의 사용은 2개의 에이전트가 관여된 상황의 분석을, 그의 종방향 및 횡방향 치수에 개별적으로 초점을 맞추는 것에 의해, 단순화한다. 예를 들어, 에이전트들의 속도들 및 가속도들, 이러한 속도들 및 가속도들을 사용하여 계산되는 최소 안전 거리들, 에이전트들 간의 실제 거리들이 모두 차선의 중심이 y축에 있는 것으로 간주되는 좌표계를 통해 그의 종방향 및 횡방향 성분들 면에서 분석된다(따라서 종방향 성분은 y로 표현되고 횡방향 성분은 x로 표현된다).
도 10은 특정 실시예들에 따른 다양한 운전 페이즈들을 묘사한다. 도 10에서, 3개의 페이즈(1006, 1008 및 1010)에서의 에이전트들(1002 및 1004)이 묘사된다. 안전 모델을 준수하기 위해, 에이전트들은 종방향 및 횡방향 최소 안전 거리들 둘 모두가 위반될 때 적절한 반응을 수행할 필요가 있으며, 적절한 반응 자체는 어느 위반이 가장 최근에 발생했는지에 의존한다. 제1 페이즈(1006)에서, 에이전트들(1002 및 1004)은 안전하지 않은 횡방향 거리 그러나 안전한 종방향 거리만큼 떨어져 있다. 제2 페이즈(1008)는 종방향 거리가 여전히 안전한 마지막 시점("책임 시간(blame time)"이라고 지칭됨)을 묘사한다. 책임 시간 이후의 다음 시점에서, 종방향 안전 거리도 위반된다. 제3 페이즈(1010)에서, 에이전트들은 종방향에서 적절한 반응을 수행한 후에 안전한 상황으로 다시 복귀하고 충돌을 피하였다.
안전 모델은 에이전트의 정책과 완전히 분리되도록 설계될 수 있다. 안전 모델을 준수하기 위해, 자율 주행 운전 스택은 에이전트의 정책에 의해 내려진 결정들의 준수를 검사하고 에이전트의 정책이 준수하지 않는 행동들을 요청할 때 기본 안전 모델 준수 결정들을 시행하는 추가적인 컴포넌트를 포함할 수 있다.
안전 모델이 자율 주행 차량들을 염두에 두고 설계될 수 있지만, 본 개시의 다양한 실시예들은 인간 운전자의 결정에 의해 사고를 회피하는 메커니즘으로서 임의의 적합한 사고 회피 수학적 모델을 사용하는 제어 시스템들을 가진 차량들을 포함한다. 그러한 실시예들은 잠재적으로 인간 운전자에 대해 더 높은 전반적인 안전을 결과할 수 있으며, 또한 현행법이 안전 모델의 책임 추궁 메커니즘(blame assignment mechanism)과 비슷한 방식으로 책임을 묻는 경우 사고에 대해 운전자가 책임을 지지 않을 것이라는 증거 또는 보증을 제공할 수 있다(예를 들어, 모델의 조건들을 위반한 에이전트에게 책임을 묻는다). 안전 모델에 따라, 본 명세서에서 기술된 다양한 실시예들은 다른 잠재적인 보다 장기적인 장점들을 제시한다: 예를 들어, 점점 더 많은 (인간 또는 다른) 에이전트들이 안전 모델 시행자(safety model enforcer)(또는 유사한 모델의 시행자)를 갖추고 있음에 따라, 도로 사고의 전체적인 양이 감소할 것이고, 모든 에이전트들에게 이상적인 상황으로 발전할 것이다.
본 개시의 특정 실시예에서, 차량은 안전 모델 비준수 가속도들을 결과할 운전자 입력들을, 안전 모델 준수 가속도들의 범위 내에 포함된 가속도를 생성하도록 보장된 합성적으로 생성된 입력들로, 대체하는 제어 시스템을 포함한다. 안전 모델 준수 운전자 입력들이 변경되지 않은 상태로 작동 시스템에 전달됨으로써, 잠재적으로 위험한 상황들 동안에만 인계받는 시스템을 구현한다.
도 11은 특정 실시예들에 따른 안전 모델 준수 가속도들을 보장하기 위해 운전자 입력들을 수정하기 위한 시스템(1100)의 다이어그램을 묘사한다. 다양한 실시예들에서, 시스템(1100)은 차량(예를 들면, 105)의 일부일 수 있고, 도시된 모듈들 중 임의의 것이 차량(예를 들면, 105)의 컴퓨팅 시스템의 임의의 적합한 로직에 의해 구현될 수 있다. 다른 실시예들에서, 모듈들 중 임의의 것은 차량 외부에서(예를 들면, 140 또는 150에 의해) 구현될 수 있으며 결과들이 차량으로 통신될 수 있다. 시스템(1100)은 컨트롤들(1102)(다양한 실시예들에서, 컨트롤들(1102)은 운전 컨트롤들(220)의 임의의 적합한 특성들을 가질 수 있음), 센서 스위트(1104)(다양한 실시예들에서, 센서 스위트(1104)는 센서들(225)의 임의의 적합한 특성들을 가질 수 있음), 안전 모델(1106), 안전 모델 시행자(1108), 제어-가속도 변환기(1110), 및 가속도-제어 변환기(1112)를 포함한다. 특정 실시예에서, 시스템(1100)의 컴포넌트들은 모두 차량 내에 통합될 수 있다. 다른 실시예들에서, 하나 이상의 컴포넌트는 차량과 별개이고 차량에 통신 가능하게 결합될 수 있다.
컨트롤들(1102)은 인간 운전자가 차량의 작동 시스템에 입력들을 제공하는 것을 가능하게 하기 위해 제공될 수 있다. 예를 들어, 컨트롤들은 조향 휠 또는 다른 조향 메커니즘, 가속 페달 또는 다른 스로틀, 브레이크 페달 또는 다른 제동 메커니즘을 포함할 수 있다. 일 실시예에서, 컨트롤들은, 기어 시프터, 비상 브레이크, 조이스틱, 터치스크린, 제스처 인식 시스템, 또는 차량의 속력 또는 방향에 영향을 미칠 수 있는 다른 적절한 입력 컨트롤과 같은, 다른 컴포넌트들을 포함할 수 있다.
센서 스위트(1104)는 차량과 연관된 월드 상태에 대한 정보를 수집하기 위해 차량에 의해 활용되는 하나 이상의 센서의 임의의 적합한 조합을 포함할 수 있다. 예를 들어, 센서 스위트(1104)는 하나 이상의 LIDAR, 레이더, 카메라, GPS(global positioning system), IMU(inertial measurement unit), 오디오 센서, 적외선 센서, 또는 본 명세서에서 기술된 다른 센서를 포함할 수 있다. 월드 상태 정보는 본 명세서에서 기술된 콘텍스트들 중 임의의 것, 센서들에 의해 검출되는 대상체들, 대상체들과 연관된 위치 정보 또는 다른 적합한 정보와 같은, 임의의 적합한 정보를 포함할 수 있다.
월드 상태는, 안전 모델(1106), 제어-가속도 변환기(1110) 또는 가속도-제어 변환기(1112)와 같은, 시스템(1100)의 임의의 적합한 컴포넌트들에 제공될 수 있다. 예를 들어, 월드 상태 정보가 안전 모델(1106)에 제공될 수 있다. 안전 모델(1106)은 차량에 대한 안전 모델 준수 가속도들의 범위를 결정하기 위해 월드 상태 정보를 활용할 수 있다. 그렇게 함으로써, 안전 모델(1106)은 차량과 다른 차량들 또는 다른 대상체들 사이의 종방향 및 횡방향 거리들을 추적할 수 있다. 추가적으로, 안전 모델(1106)은 또한 차량의 종방향 및 횡방향 속력을 추적할 수 있다. 안전 모델(1106)은 주기적으로 안전 모델 준수 가속도들의 범위를 업데이트하고 가속도 범위를 안전 모델 시행자(1108)에 제공할 수 있다. 안전 모델 준수 가속도들은 종방향 방향에서의 안전 모델 준수 가속도들의 범위는 물론 횡방향 방향에서의 안전 모델 준수 가속도들의 범위를 특정할 수 있다. 가속도들은 m/s2(meters per second squared)과 같은 임의의 적합한 단위들로 표현될 수 있으며 양수 또는 음수 값들을 가질 수 있다(또는 0 값일 수 있음).
안전 모델 시행자(1108)는 운전자 입력들로부터 제어 신호들을 수신하고 제어-가속도 변환기(1110)를 호출하며, 제어-가속도 변환기(1110)는 운전자 입력들이 작동 시스템(1114)에 전달되는 경우 예측된 차량 가속도를 나타내는 가속도 값(일부 실시예들에서 종방향 및 횡방향 가속도 성분 둘 모두를 포함함)으로 변환한다. 안전 모델 시행자(1108)는 가속도 값이 안전 모델(1106)로부터 수신되는 안전 모델 준수 가속도들의 가장 최근의 범위 내에 있는지 여부를 결정할 수 있다. 가속도 값이 안전 모델 준수 가속도들의 범위 내에 있는 경우, 안전 모델 시행자는 컨트롤들(1102)로부터의 운전자 입력이 작동 시스템(1114)으로 전달될 수 있게 한다. 가속도 값이 안전 모델 준수 가속도들의 범위 내에 있지 않은 경우, 안전 모델 시행자는 운전자 입력을 차단하고 수신된 범위 내에서 안전 모델 준수 가속도 값을 선택한다. 안전 모델 시행자(1108)는 이어서 선택된 가속도 값을 사용하여 가속도-제어 변환기(1112)를 호출할 수 있고 그 회답으로 하나 이상의 제어 신호를 수신할 수 있다. 특정 실시예에서, 가속도-제어 변환기(1112)에 의해 제공되는 제어 신호들은 운전자 입력에 응답하여 작동 시스템(1114)에 제공되는 제어 신호들과 동일한 포맷을 가질 수 있다. 예를 들어, 제어 신호들은 제동량, 가속량 및/또는 조향량 및 조향 방향, 또는 다른 적합한 제어 신호들을 특정할 수 있다. 안전 모델 시행자(1108)는 이러한 새로운 제어 신호들을 작동 시스템(1114)에 제공할 수 있으며, 작동 시스템(1114)은 제어 신호들을 사용하여 차량이 특정된 대로 가속하게 할 수 있다.
다양한 실시예들에서, 안전 모델 시행자(1108)는 안전 모델-준수 가속도들의 범위 내에서 임의의 적합한 가속도 값을 선택할 수 있다. 특정 실시예에서, 안전 모델 시행자(1108)는 범위 중에서 랜덤하게 가속도 값을 선택할 수 있다. 다른 실시예에서, 안전 모델 시행자(1108)는 범위 중에서 가장 보수적인 또는 가장 덜 보수적인 값을 선택할 수 있다. 다른 실시예에서, 안전 모델 시행자(1108)는 범위의 중간에 있는 값을 선택할 수 있다. 또 다른 실시예에서, 안전 모델 시행자(1108)는 (예를 들면, 운전자의 선호사항들에 기초하거나 또는 안전성 고려 사항들에 기초한) 정책 정보를 사용하여 가속도 값을 결정할 수 있다. 예를 들어, 안전 모델 시행자(1108)는 횡방향 가속들보다 종방향 가속들을 선호하거나 그 반대일 수 있다. 다른 예로서, 안전 모델 시행자(1108)는 운전자에게 더 편안한 가속들을 선호할 수 있다(예를 들면, 보다 느린 제동 또는 보다 작은 조향 조정들이 급제동(hard braking) 또는 선회(swerving)보다 선호될 수 있다). 다양한 실시예들에서, 결정은 안전성 및 편안함 둘 모두에 기초할 수 있으며, 관련 메트릭들은 동일한 움직임 파라미터들 및 차량 특성들의 세트로부터 계산된다.
위에서 언급된 바와 같이, 제어-가속도 변환기(1110)는 운전자 입력들(예를 들면, 조향 휠 회전 및 스로틀/제동 페달 압력)을 가속도로 변환한다. 다양한 실시예들에서, 변환기(1110)는 변환 동안, 월드 상태(예를 들면, 차량의 속도, 날씨, 도로 조건들, 도로 레이아웃 등) 및 호스트 차량의 물리적 특성들(예를 들면, 차량 중량, 차량 형상, 타이어 특성들, 브레이크 특성들 등)과 같은, 임의의 적합한 정보를 고려할 수 있다. 일 실시예에서, 변환은 (예를 들면, 차량의 제조업체에 의해 공급되는 바와 같은) 차량의 동역학(dynamics)의 정교한 수학적 모델에 기초할 수 있다. 일부 실시예들에서, 변환기(1110)는 변환을 수행하기 위해 머신 러닝 모델을 구현할 수 있다(예를 들면, 임의의 적합한 회귀 모델을 구현함). 제어-가속도 변환을 위한 예시적인 머신 러닝 모델은 도 12 및 도 13과 관련하여 더 상세히 기술될 것이다.
가속도-제어 변환기(1112)는 인계 동안 안전 모델 시행자(1108)에 의해 시행되는 안전 모델 준수 가속도를 작동 시스템(1114)에 적합한 입력으로 변환하는 로직을 포함할 수 있다. 변환기(1112)는 이 변환을 수행하기 위해 임의의 적합한 정보를 활용할 수 있다. 예를 들어, 변환기(1112)는 제어-가속도 변환기(1110)에 의해 사용되는 정보 중 임의의 하나 이상의 정보를 활용할 수 있다. 유사하게, 변환기(1112)는, 가속도의 입력이 주어진 경우 제어 신호들을 출력하도록 적응된 머신 러닝 모델과 같은, 변환기(1110)와 유사한 방법들을 사용할 수 있다. 특정 실시예에서, 가속도-제어 변환기는 가속도 값에 기초하여 원하는 제어 신호들을 결정하는 비례 적분 미분(PID) 제어기를 포함할 수 있다. PID 제어기는 비례, 적분 및 미분 계수들을 가진 고전적인 제어기 알고리즘을 사용하여 구현될 수 있거나, 또는 머신 러닝 기반일 수 있으며, 여기서 이러한 계수들은 안전성과 편안함을 고려하는 최적화 메트릭을 활용하는 ML 알고리즘(예를 들면, 머신 러닝 엔진(232)에 의해 구현됨)을 사용하여 예측된다.
1114는 하나 이상의 제어 신호를 수신하고 차량으로 하여금 하나 이상의 제어 신호에 반응하게 하는 임의의 적합한 작동 시스템을 나타낼 수 있다. 예를 들어, 작동 시스템은 차량의 엔진 또는 모터에 공급되는 가솔린 또는 전력(또는 다른 전원)의 양, 차량의 바퀴에 인가되는 제동 압력의 양, 차량의 하나 이상의 바퀴에 적용되는 각도의 양을 조정할 수 있거나, 또는 차량의 가속도에 영향을 미칠 수 있는 임의의 다른 적합한 조정을 수행할 수 있다.
도 12는 특정 실시예들에 따른 제어-가속도 변환기(1110)에 대한 트레이닝 페이즈를 묘사한다. 모델에 대한 트레이닝 입력들(1202)은 제어 신호들에 응답하여 수행되는 가속에 영향을 미칠 수 있는 임의의 적합한 정보를 포함할 수 있다. 예를 들어, 트레이닝 입력들은 차량의 초기 속도, 도로 조건들, 타이어 조건들, 기상 조건들, 휠 회전, 가속 페달 압력 레벨, 제동 페달 압력 레벨, 도로 레이아웃, 차량의 물리적 특성들, 또는 다른 적합한 정보의 임의의 조합을 그러한 정보의 각각의 세트 하에서의 결과적인 가속도와 함께 포함할 수 있다. 그러한 데이터는 제어 신호들 및 다른 정보(예를 들면, 월드 상태 정보, 차량의 물리적 특성들)를 가속도 값들로 변환하기 위해 차량에 의해 사용될 수 있는 회귀 모델(1206)을 트레이닝시키기 위해 머신 러닝 트레이닝 페이즈(1204) 동안 사용될 수 있다. 다양한 실시예들에서, 회귀 모델(1206)은 많은 상이한 날씨, 도로 및 차량 상태 조건들 하에서 차량의 클래스의 하나 이상의 차량을 사용하여 수집되는 실측 자료 데이터(ground-truth data)에 대해 트레이닝된다. 다양한 실시예들에서, 트레이닝은 임의의 적합한 컴퓨팅 시스템에 의해(차량 내 컴퓨팅 시스템에서든지, 클라우드 기반 시스템에서든지 또는 다른 데이터 프로세싱 환경에서든지 관계없음)에 의해 수행될 수 있다.
도 13은 특정 실시예들에 따른 제어-가속도 변환기(1110)의 추론 페이즈를 묘사한다. 추론 페이즈 동안, 차량과 연관된 다양한 입력들(1302)이 회귀 모델(1206)에 제공되고, 회귀 모델(1206)은 입력들에 기초하여 예측된 가속도를 출력한다. 입력들은 모델(1206)을 트레이닝시키는 데 사용되는 입력 유형들을 반영할 수 있지만, 그러한 입력들에 대한 실시간 값들을 포함할 수 있다. 회귀 모델(1206)은 가속도 값(1304)을 출력한다.
유사한 회귀 모델이 가속도-제어 변환기(1112)에 사용될 수 있다. 유사한 입력 데이터가 모델을 트레이닝시키는 데 사용될 수 있지만, 추론 동안, 모델은 (월드 상태 및/또는 차량 상태의 실시간 값들과 함께) 원하는 가속도를 입력으로서 수신할 수 있고, 원하는 가속을 유발할 것으로 예측되는 제어 신호들을 출력할 수 있다.
도 14는 특정 실시예들에 따른 허용 가능한 제어 신호들을 차량 작동 시스템에 제공하기 위한 흐름을 묘사한다. 1402에서, 차량에 대한 인간 입력에 응답하여 하나 이상의 제어 신호의 제1 세트가 생성된다. 1404에서, 제어 신호들의 제1 세트가 차량의 허용 가능한 가속을 유발할 것인지에 대한 결정이 내려진다. 제어 신호들이 허용 가능한 가속을 유발하는 경우, 1406에서 제어 신호들이 변경되지 않은 채로 차량 작동 시스템에 제공된다. 제어 신호들이 허용 가능하지 않은 가속을 유발하는 경우, 1408에서 허용 가능한 가속이 식별된다. 1410에서, 허용 가능한 가속이 하나 이상의 제어 신호의 제2 세트로 변환된다. 1412에서, 하나 이상의 제어 신호의 제1 세트 대신에 하나 이상의 제어 신호의 제2 세트가 차량 작동 시스템에 제공된다.
자율 주행 차량으로부터 인간으로의 또는 그 역으로의 운전 책임의 안전한 핸드오버는 매우 중요한 작업이다. 위에서 기술된 바와 같이, 인간으로부터 자율 주행 차량으로 핸드오버하는 한 가지 접근법은 안전 모델 등에 기초할 수 있으며, 여기서 자율 주행 차량은 허용 가능하지 않은 인간 입력들을 가로채서 보다 안전한 입력들로 대체할 수 있다.
본 개시의 다양한 실시예들에서, 핸드오프 준비도는 그러한 측정이 일어나는 콘텍스트와 관련한 차량의 센서들의 전체적인 신호 품질의 척도에 기초할 수 있다. 콘텍스트는, 교통 상황(예를 들면, 고속도로 또는 붐비는 거리) 또는 기상 조건들(예를 들면, 맑은 하늘, 비가 오는, 웅덩이 존재, 블랙 아이스(black ice) 존재 등)과 같은, 본 명세서에 기술된 임의의 적합한 콘텍스트일 수 있다. 신호 품질 메트릭은 센서 데이터 및 콘텍스트 정보를 입력으로서 수신하고 신호 품질 메트릭을 출력하는 머신 러닝(ML) 알고리즘을 사용하여 결정될 수 있다. 이러한 신호 품질 메트릭은 차례로 차량 충돌 정보를 사용하여 트레이닝되는 다른 ML 알고리즘을 사용하여 핸드오프 준비도를 결정하는 데 사용된다. 콘텍스트에 비추어 볼 때 신호 품질 메트릭이 열악한 신호 품질을 나타내는 경우, 인간 운전자로부터 자율 주행 차량으로의 핸드오프가 불허될 수 있는데 그 이유는 그러한 핸드오프가 안전하지 않을 수 있기 때문이다.
도 15는 특정 실시예들에 따른 콘텍스트 모델(1508)을 구축하는 트레이닝 페이즈를 묘사한다. 다양한 실시예들에서, 콘텍스트 모델(1508)은 센서 데이터(1504) 및 콘텍스트 정보 실측 자료(context information ground truth)(1506)를 사용하여 구축되는 분류 모델일 수 있다. ML 알고리즘(1502)은 센서 데이터(1504) 및 콘텍스트 정보 실측 자료(1506)에 기초하여 콘텍스트 모델(1508)을 트레이닝하기 위한 임의의 적합한 알고리즘을 나타낼 수 있다. 센서 데이터(1504)는, 하나 이상의 LIDAR, 레이더, 카메라, GPS(global positioning system), IMU(inertial measurement unit), 오디오 센서, 적외선 센서 또는 다른 센서와 같은, 차량의 하나 이상의 센서로부터의 임의의 적합한 센서 데이터를 포함할 수 있다. ML 알고리즘(1502)은 센서 데이터(1504)의 다양한 인스턴스들 및 콘텍스트 정보 실측 자료(1506)를 사용하여 콘텍스트 모델(1508)을 트레이닝시킬 수 있으며, 여기서 각각의 인스턴스는 센서 데이터의 세트는 물론 연관된 콘텍스트를 포함할 수 있다. 다양한 실시예들에서, 트레이닝 데이터는 실제 센서 데이터 및 연관된 콘텍스트들, 시뮬레이션된 데이터 및 연관된 콘텍스트들, 및/또는 (예를 들면, 본 명세서에서 기술된 방법을 사용하여 생성되는 합성 이미지들로부터의) 합성 데이터 및 연관된 콘텍스트들을 포함할 수 있다. 특정 실시예에서, 콘텍스트는, "안개가 낀" 및 "젖은 도로"와 같은, 콘텍스트를 기술하는 하나 이상의 텍스트 키워드를 포함할 수 있지만, 콘텍스트들의 임의의 적합한 표현이 본 개시에 의해 고려된다.
도 16은 특정 실시예들에 따른 신호 품질 메트릭 모델(1608)을 구축하는 트레이닝 페이즈를 묘사한다. 다양한 실시예들에서, 신호 품질 메트릭 모델(1608)은 센서 데이터 및 콘텍스트 정보 실측 자료를 사용하여 구축되는 회귀 모델일 수 있다. 다양한 실시예들에서, 센서 데이터(1604)는 센서 데이터(1504)와 동일한 센서 데이터일 수 있거나 또는 적어도 부분적으로 상이할 수 있다. 일부 실시예들에서, 콘텍스트 정보 실측 자료(1606)는 콘텍스트 정보 실측 자료(1506)와 동일한 콘텍스트 정보일 수 있거나 또는 적어도 부분적으로 상이할 수 있다. ML 알고리즘(1602)은 센서 데이터(1604)의 다양한 인스턴스들 및 콘텍스트 정보 실측 자료(1606)를 사용하여 신호 품질 메트릭 모델(1608)을 트레이닝시킬 수 있으며, 여기서 각각의 인스턴스는 센서 데이터의 세트는 물론 연관된 콘텍스트를 포함할 수 있다. 다양한 실시예들에서, 트레이닝 데이터는 실제 센서 데이터 및 연관된 콘텍스트들, 시뮬레이션된 데이터 및 연관된 콘텍스트들, 및/또는 합성 데이터 및 연관된 콘텍스트들을 포함할 수 있다. 특정 콘텍스트와 연관된 센서 데이터의 다수의 상이한 인스턴스들을 분석하는 것에 의해, ML 알고리즘(1602)은 특정 콘텍스트에 대한 센서 데이터(1604)의 다양한 인스턴스들의 품질들 간을 구별하기 위해 신호 품질 메트릭 모델(1608)을 트레이닝시킬 수 있다. 임의의 적합한 수의 상이한 콘텍스트들에 대해 유사한 트레이닝이 행해질 수 있다.
신호 품질 메트릭 모델이 트레이닝된 후에, 이는 센서 데이터의 인스턴스(여기서 센서 데이터의 인스턴스는 일정 시간 기간에 걸쳐 수집되는 센서 데이터를 포함함) 및 연관된 콘텍스트를 수신하고 센서 데이터 품질의 하나 이상의 표시를 출력할 수 있다. 예를 들어, 신호 품질 메트릭은 센서 데이터의 인스턴스의 품질에 대한 종합 점수(composite score)를 포함할 수 있다. 다른 예에서, 신호 품질 메트릭은 복수의 유형의 센서 데이터 각각의 품질에 대한 점수를 포함할 수 있다. 예를 들어, 신호 품질 메트릭은 카메라 데이터에 대한 점수 및 LIDAR 데이터에 대한 점수를 포함할 수 있다. 일부 실시예들에서, 점수는, 신호대 잡음비의 측정, 분해능의 측정, 또는 다른 적합한 유형의 품질 메트릭과 같은, 다수의 유형의 품질 메트릭들 중 임의의 것일 수 있다. 일부 실시예들에서, 신호 품질 메트릭은 다수의 유형의 품질 메트릭들에 대한 점수들을 포함할 수 있거나 또는 다수의 유형의 품질 메트릭들에 기초한 단일 점수를 포함할 수 있다. 일부 실시예들에서, 신호 품질 메트릭의 점수는 정규화된 값(예를 들면, 0 내지 1)일 수 있다.
도 17은 특정 실시예들에 따른 핸드오프 준비도 모델(1708)을 구축하는 트레이닝 페이즈를 묘사한다. 다양한 실시예들에서, 핸드오프 준비도 모델(1708)은 신호 품질 메트릭들 정보(1704) 및 충돌 정보 실측 자료(1706)를 사용하여 구축되는 분류 모델일 수 있다.
ML 알고리즘(1702)은 신호 품질 메트릭들(1704) 및 충돌 정보 실측 자료(1706)에 기초하여 핸드오프 준비도 모델(1708)을 트레이닝시키기 위한 임의의 적합한 알고리즘을 나타낼 수 있다. ML 알고리즘(1702)은 신호 품질 메트릭들(1704) 및 충돌 정보 실측 자료(1706)의 다양한 인스턴스들을 사용하여 콘텍스트 모델(1508)을 트레이닝시킬 수 있다. 트레이닝에 사용되는 인스턴스는 신호 품질 메트릭은 물론 충돌 정보의 세트를 포함할 수 있다. 충돌 정보의 세트는 신호 품질 메트릭의 특정 인스턴스와 연관된 임의의 적합한 안전성 결과(safety outcome)를 포함할 수 있다. 예를 들어, 충돌 정보의 인스턴스는 신호 품질 메트릭 하에서 자율 주행 차량이 동작되었을 때 사고가 발생했는지 여부를 나타낼 수 있다. 다른 예로서, 충돌 정보의 인스턴스는 신호 품질 메트릭 하에서 자율 주행 차량이 동작되었을 때 사고가 발생할 뻔 했는지 여부를 나타낼 수 있다. 다른 예로서, 충돌 정보의 인스턴스는 신호 품질 메트릭 하에서 자율 주행 차량이 동작되었을 때 사고가 발생했거나 발생할 뻔 했는지(예를 들면, 근처의 사고들은 실제 사고들과 동일하게 취급될 수 있음)를 나타낼 수 있다. 다양한 실시예들에서, 트레이닝 데이터는 실제 데이터 신호 품질 메트릭들 및 충돌 정보, 시뮬레이션된 데이터 신호 품질 메트릭들 및 충돌 정보, 합성 데이터 신호 품질 메트릭들 및 충돌 정보, 또는 이들의 조합을 포함할 수 있다.
도 18은 특정 실시예들에 따른 센서 데이터(1802)에 기초하여 핸드오프 의사 결정(1808)을 결정하는 추론 페이즈를 묘사한다. 예를 들어, 운전 시에 차량 내 컴퓨팅 시스템에 의해 구현될 수 있는 추론 페이즈에서, 센서 데이터(1802)가 수집되고 트레이닝된 콘텍스트 모델(1508)에 제공된다. 콘텍스트 모델은 센서 데이터(1504)를 분석하고 센서 데이터(1802)에 근거하여 콘텍스트(1804)를 결정한다. 결정된 콘텍스트(1804)는, 센서 데이터(1802)와 함께, 신호 품질 메트릭 모델(1608)에 제공된다. 신호 품질 메트릭 모델(1608)은 센서 데이터(1802) 및 콘텍스트(1804)를 분석하고 콘텍스트(1804)에 비추어 볼 때의 센서 데이터(1802)의 품질에 기초하여 신호 품질 메트릭(1806)을 결정한다. 신호 품질 메트릭(1806)은 핸드오프 준비도 모델(1708)에 제공되고, 핸드오프 준비도 모델(1708)은 신호 품질 메트릭(1806)에 기초하여 핸드오프 의사 결정(1808)을 결정한다. 특정 실시예에서, 핸드오프 의사 결정(1808)은 핸드오프가 안전한지 여부에 대한 이진 표시이다. 다른 실시예들에서, 이것은 3개 이상의 가능한 결과를 갖는 다중 클래스 의사 결정(multiclass decision)일 수 있다. 예를 들어, 핸드오프 의사 결정은 각각이 핸드오프의 상이한 안전성 범위를 나타내는 임의의 수의 결과들을 포함할 수 있다. 다양한 실시예들에서, 차량은 핸드오프할지 여부를 결정하기 위해 또는 부분 핸드오프, 예를 들면, 일부 제어들은 핸드오프하지만 다른 제어들은 핸드오프하지 않는 것(예를 들면, 조향만을 핸드오프하고 브레이크는 핸드오프하지 않거나 그 역으로 하는 것)을 수행하기 위해 핸드오프 의사 결정(1808) 결과를 활용할 수 있다.
다양한 실시예들에서, 추론 페이즈는 주기적으로 또는 트리거에 응답하여(또는 둘 모두) 수행될 수 있다. 예를 들어, 자율 주행 차량이 운전 제어를 처리하고 있는 동안, 자율 주행 차량이 운전 제어를 여전히 안정적으로 처리할 수 있는지 여부를 결정하기 위해 추론 페이즈가 주기적으로 수행될 수 있다. 다른 예로서, 제어권을 차량으로 이전하라는 요청이 인간 운전자로부터 수신될 때 추론 페이즈가 트리거될 수 있다. 또 다른 예로서, 콘텍스트의 변화 또는 센서 데이터의 품질의 상당한 변화에 의해 추론 페이즈가 트리거될 수 있다.
특정 실시예들에서, 차량이 주행할 도로들에 대한 고화질 지도의 이용 가능성과 같은, 알려진 레벨들의 정적 데이터에 기초한 핸드오프의 선제적 계획. 이러한 유형의 데이터가 차량이 운전해야 하는 특정 지역들에서 이용 불가능할 수 있는데, 예를 들어, 그 이유는 특정 지역에 대한 HD 지도 데이터가 아직 수집되지 않았기 때문이다. 그러한 경우에, 시스템은 (예를 들면, 여정의 시작 이전에) 핸드오프를 선제적으로 계획하고 본 명세서에서 기술된 핸드오프 기술들 중 임의의 것을 사용하여 미리 운전자에게 안전한 핸드오프를 위한 준비를 시킬 수 있다. 특정 예에서, 핸드오프 의사 결정을 결정하는 추론 페이즈는 HD 지도 데이터의 사용 없이 어떤 구역 내로의 차량의 진입 시에(또는 진입 직전에) 트리거된다. 일부 실시예들에서, HD 지도 데이터가 이용 가능한 경우 신호 품질 메트릭에 긍정적으로 영향을 미치고 그렇지 않은 경우 부정적으로 영향을 미치기 위해, HD 지도 데이터의 이용 가능성이 신호 품질 메트릭 모델(1608)에 대한 입력으로서 사용될 수 있다. 일부 실시예들에서, HD 지도는 기본적으로 추가적인 센서 입력으로서 취급된다.
다양한 실시예들에서, 도 15 내지 도 18을 참조하여 기술된 ML 알고리즘들 또는 모델들은 차량 내 컴퓨팅 시스템과 같은 임의의 적합한 컴퓨팅 시스템, 클라우드 기반 및/또는 포그 기반 컴퓨팅 리소스들을 사용하여 구현하는 지원 시스템에 의해, 또는 다른 데이터 프로세싱 환경에서 트레이닝되거나 수행될 수 있다.
도 19는 특정 실시예들에 따른 차량의 제어권을 핸드오프할지 여부를 결정하기 위한 흐름을 묘사한다. 1902에서, 차량의 컴퓨팅 시스템은 센서 데이터 및 센서 데이터의 콘텍스트에 기초하여 신호 품질 메트릭을 결정한다. 1904에서, 신호 품질 메트릭에 기초하여 차량의 제어권의 핸드오프와 연관된 안전 가능성이 결정된다. 1906에서, 안전 가능성에 기초하여 핸드오프가 방지되거나 개시된다.
자율 주행 차량은, 피로, 다양한 레벨들의 각성, 감정 기복 또는 다른 인자들과 같은, 인간에게 부정적인 영향을 미치는 인자들에 영향을 받지 않는 것(immunity)으로 인해 운전 이벤트들에 대해 보다 낫고 보다 일관된 반응을 갖는다는 측면에서 인간 운전자들보다 가능한 장점들을 제공할 것으로 예상된다. 그렇지만, 자율 주행 차량이 장비 고장을 겪을 수 있거나 또는 자율 주행 차량이 적절하게 동작할 준비가 되어 있지 않은(예를 들면, 차량 알고리즘들이 트레이닝되지 않은 새로운 기능부들을 갖는 구역에 자율 주행 차량이 진입할 수 있는) 상황을 경험할 수 있어, 인간 운전자로의 차량의 핸드오프 또는 차량의 풀오버를 필요로 할 수 있다.
본 개시의 다양한 실시예들에서, 차량을 인간 운전자로 핸드오프하기 전에, 핸드오프 프로세스의 안전성을 개선시키기 위해 운전자의 상태(예를 들면, 피로 레벨, 각성 레벨, 감정 조건 또는 다른 상태)가 분석된다. 최근의 테스트 차량들에서 최근에 보고된 다수의 사고들에 의해 암시되는 바와 같이, 준비가 되지 않은 사람에게 갑자기 제어권을 핸드오프하는 것은 전혀 핸드오프하지 않는 것보다 위험한 것으로 드러날 수 있다.
전형적으로, 자율 주행 차량들은 바깥쪽으로 향하는 센서들을 가지는데, 그 이유는 인지 시스템들이 환경을 매핑하는 데 초점을 맞추고 있고 로컬화 시스템들이 이러한 센서들로부터의 데이터 및 지도 데이터에 기초하여 자차(ego vehicle)의 위치를 찾는 데 초점을 맞추고 있기 때문이다. 본 개시의 다양한 실시예들은 운전자 상태를 추적하는 하나 이상의 차량 내 카메라 또는 다른 센서를 제공한다.
도 20은 특정 실시예들에 따른 운전자 상태 모델(2008)에 대한 트레이닝 페이즈를 묘사한다. 트레이닝 페이즈에서, 센서 데이터(2004) 및 운전자 상태 실측 자료 데이터(2006)가 ML 알고리즘(2002)에 제공되고, ML 알고리즘(2002)은 이 데이터에 기초하여 운전자 상태 모델(2008)을 트레이닝시킨다. 다양한 실시예들에서, 운전자 상태 모델(2008)은 운전자의 상태를 기술하는 클래스를 출력하는 분류 모델일 수 있다. 다른 실시예들에서, 운전자 상태 모델(2008)은 운전자의 상태에 대한 점수를 출력하는 회귀 모델일 수 있다(보다 높은 점수들은 보다 바람직한 상태를 묘사함).
다양한 실시예들에서, 센서 데이터(2004)는 임의의 적합한 센서 데이터 및/또는 센서 데이터로부터 도출된 정보를 나타낼 수 있다. 예를 들어, 센서 데이터(2004)는 차량의 내부의 이미지들을 캡처하는 하나 이상의 카메라로부터 수집되는 이미지 데이터를 포함하거나 그에 기초할 수 있다. 일부 실시예들에서, 하나 이상의 카메라 또는 카메라들에 결합된 컴퓨팅 시스템들은 얼굴, 눈썹 또는 눈 움직임을 검출하고 검출된 특징들에 의해 표시되는 피로 및 각성의 레벨을 추적하는 특징들을 추출하기 위해 AI 알고리즘들을 구현할 수 있다.
다양한 실시예들에서, 센서 데이터(2004)는 적외선 카메라로부터 수집되는 하나 이상의 온도 맵을 포함하거나 그에 기초할 수 있다. 일부 실시예들에서, 적외선 카메라 또는 적외선 카메라에 결합된 컴퓨팅 시스템은 이러한 온도 맵에 기초하여 운전자의 감정 상태 또는 다른 신체 상태를 추적하기 위해 AI 알고리즘들을 구현할 수 있다. 단지 하나의 예로서, (예를 들면, 온도 맵에서 적색을 갖는 영역들의 수의 증가로 표시되는 바와 같은) 인간 운전자의 체온의 상승은 불안한 상태를 나타낼 수 있다. 다양한 실시예들에서, 센서 데이터(2004)는 조향 휠, 액셀러레이터 또는 운전자 시트 상의 촉각 또는 햅틱 센서들부터 수집되는 압력 데이터를 포함하거나 그에 기초할 수 있다. 일부 실시예들에서, 그러한 촉각 또는 햅틱 센서들에 결합된 컴퓨팅 시스템은 그러한 압력 데이터를 분석하여 운전자의 각성 레벨 또는 다른 신체 상태를 추적하기 위해 AI 알고리즘들을 구현할 수 있다.
다양한 실시예들에서, 센서 데이터(2004)는, 스마트 워치 또는 건강 추적기 밴드와 같은, 웨어러블들로부터의 심전도(EKG) 또는 IMU(inertial measurement unit) 데이터를 포함하거나 그에 기초할 수 있다. 그러한 웨어러블들에 결합된 컴퓨팅 시스템 또는 웨어러블들 자체는 운전자의 건강 조건 또는 다른 신체 상태를 추적하는 EKG 특징들을 추출하기 위해 또는 IMU 데이터를 분석하여 운전자의 각성 레벨 또는 다른 신체 상태를 추적하는 특징들을 추출하기 위해 AI 알고리즘들을 활용할 수 있다.
다양한 실시예들에서, 센서 데이터(2004)는 객실 내 마이크로폰들로부터의 오디오 데이터를 포함하거나 그에 기초할 수 있다. 그러한 데이터는 차량 내의 승객들에 의해 생성되는 소리들을 분리하기 위해 잡음 제거 기술을 사용하여 프리프로세싱될 수 있다. 예를 들어, 오디오가 차량 내 인포테인먼트 시스템에 의해 재생되고 있는 경우, 재생되고 있는 오디오로부터의 신호가 임의의 추가 프로세싱 이전에 객실 내 마이크로폰들에 의해 캡처되는 오디오로부터 차감될 수 있다. 원시 오디오 특징들은 사용자 반응성 레벨들 또는 전체적인 신체 상태를 측정하는 데 직접 사용될 수 있지만(예를 들면, 불분명한 발음(slurred speech)은 만취한 상태를 나타낼 수 있음), 운전자 상태를 나타내는 추가의 특징들로서 사용될 수 있는 오디오 이벤트들(예를 들면, 웃음, 울음, 하품, 코골이, 구역질, 또는 다른 이벤트)를 분류하는 데도 사용될 수 있다. 분석된 오디오 데이터는 승객들이 서로 또는 차량의 인포테인먼트 시스템과 하고 있는 대화로부터 검출된 음성(예를 들면, 음성이 자동 음성 인식 엔진 등에 의해 텍스트로 변환될 수 있음)을 또한 포함할 수 있다. 일 예로서, 운전자와 핸드오프에 관해 통신하는 것 외에도, 차량의 대화 시스템은 임박한 핸드오프에 대한 운전자의 확인을 받으려고 시도할 수 있다. 음성은 텍스트로 변환되고 후속적으로, 화자의 의도(예를 들면, 긍정적 또는 부정적 확인)를 분류하거나, 상호작용의 감정(예를 들면, 욕설과 같은 언어 자료에 대한 부정적 감정)을 분석하거나 또는 논의 중인 주제를 모델링하기 위해, 정교한 자연어 프로세싱 파이프라인(또는 유사한 것)에 의해 분석될 수 있다. 그러한 출력들은 후속적으로 운전자 상태 추적 알고리즘에 대한 추가적인 특징들로서 사용될 수 있다.
차량의 상태에 관한 특징들이 또한 운전자의 현재 각성 레벨에 대한 통찰력을 제공할 수 있다. 예들로서, 그러한 특징들은 차량에서 현재 재생 중인 미디어(예를 들면, 영화, 비디오 게임, 음악), 객실 내의 조명 레벨, 대시보드 컨트롤들과의 운전자 상호작용성의 정도, 창문 개방 레벨, 객실 내 온도 제어 시스템의 상태(예를 들면, 에어컨 또는 난방), 차량에 연결된 디바이스들의 상태(예를 들면, 블루투스를 통해 연결된 셀 폰) 또는 다른 차량 상태 입력들 중 하나 이상을 포함할 수 있다. 그러한 특징들은 운전자 상태 모델(2008)을 트레이닝시키기 위해 ML 알고리즘(2002)에 대한 입력들로서 센서 데이터(2004) 내에 포함될 수 있다.
특정 실시예들에서, 활동 분류 모델에 의해 센서 데이터로부터 활동 레이블들이 도출될 수 있다. 예를 들어, 이 모델은 운전자가 수면 중인지(예를 들면, 이미지 데이터에서 눈이 감겨져 있는 것, 오디오 데이터에서 들리는 코골이, 체온 감소에 기초함), 객실 내의 다른 승객과 싸우고 있는지(예를 들면, 목소리 크기가 올라감, 심장 박동이 빨라짐, 모욕적 언동이 오고감), 토할 것 같은지(예를 들면, 구역질 소리가 마이크로폰들에 의해 포착되고 운전자가 이미지 데이터에서 머리를 숙인 상태로 보이는 것) 또는 임의의 다른 적합한 활동들을 검출할 수 있다.
다양한 실시예들에서, 원시 센서 데이터는 트레이닝 알고리즘(2002)에 제공될 수 있다. 추가로 또는 대안으로서, 원시 센서 데이터에 기초한 분류들은 운전자 상태 모델(2008)을 트레이닝시키기 위해 ML 알고리즘(2002)에 제공될 수 있다. 일부 실시예들에서, 위에서 기술된 활동 레이블들은 보다 강력한 운전자 상태 추적 결과들을 위해 (임의로 하위 레벨 특징들 및/또는 원시 센서 데이터도 함께) 트레이닝 알고리즘(2002)에 제공될 수 있다.
운전자 상태 실측 자료(2006)는 센서 데이터(2004)의 인스턴스들에 대응하는 알려진 운전자 상태들을 포함할 수 있다. 운전자 상태 모델(2008)이 분류 알고리즘을 구현할 때, 운전자 상태 실측 자료(2006)은 다양한 클래스들의 운전자 상태를 포함할 수 있다. 운전자 상태 모델(2008)이 회귀 알고리즘을 구현할 때, 운전자 상태 실측 자료(2006)의 각각의 인스턴스는 운전자 상태를 나타내는 수치 점수를 포함할 수 있다.
다양한 실시예들에서, 운전자 상태 실측 자료(2006) 및 센서 데이터(2004)는 운전자에 특정적일 수 있거나 또는 다수의 상이한 운전자들에 대해 집계된 데이터를 포함할 수 있다.
도 21은 핸드오프 의사 결정 모델(2110)에 대한 트레이닝 페이즈를 묘사한다. ML 트레이닝 알고리즘(2102)은 핸드오프 의사 결정 모델(2110)을 트레이닝시키기 위해 운전자 과거 데이터(2104), 운전자 상태들(2106) 및 핸드오프 의사 결정들 실측 자료(2108)를 사용한다. 대안적인 실시예에서, ML 알고리즘(2102)은 핸드오프 의사 결정 모델(2110)을 트레이닝시키기 위해 단순히 운전자 상태들(2106) 및 핸드오프 의사 결정들 실측 자료(2108)를 사용할 수 있다. 핸드오프 의사 결정들 실측 자료(2108)는 실제의 이전 핸드오프 의사 결정들 및 각자의 결과들(예를 들면, 충돌 또는 다른 위험한 이벤트가 발생했는지 여부)을 포함할 수 있다. 특정 실시예들에서, 데이터 세트를 향상시키기 위해 핸드오프 의사 결정들 실측 자료(2108)의 전부 또는 서브세트가 시뮬레이션될 수 있다.
운전자 과거 데이터(2104)는 운전자의 주의력 레벨을 알려줄 수 있는 임의의 적합한 배경 정보를 포함할 수 있다. 예를 들어, 과거 데이터(2104)는 음주 운전(driving under intoxication, DUI)의 인스턴스들, 과거 사고들, 운전자에 의해 취해진 잠재적으로 위험한 행동들의 인스턴스들(예를 들면, 다가오는 차량으로 돌진하는 것, 다른 차량을 추돌하는 것을 피하기 위해 브레이크를 세게 밟는 것), 럼블 스트립들(rumble strips) 위를 달리는 것), 운전자의 건강 조건 또는 다른 적절한 배경 정보를 포함한 운전자에 대한 과거 데이터를 포함할 수 있다. 일부 실시예들에서, 자율 주행 차량은 운전자가 특수 ID를 삽입하는 운전자 ID 슬롯을 가질 수 있고, 자율 주행 차량의 연결 시스템은 운전자에 대한 관련 과거 데이터를 추출한다. 운전자의 배경 정보는 임의의 다른 적합한 방식으로 획득될 수 있다.
묘사된 실시예에서, 트레이닝 페이즈 동안, 2개 이상의 클래스를 출력하는 핸드오프 의사 결정 모델(2110)을 구축하기 위해 운전자의 과거 데이터(2104)가 운전자 상태 정보(2106)와 함께 ML 알고리즘(2102)에 제공된다. 일 실시예에서, 핸드오프 의사 결정 모델(2110)은 3개의 클래스: 핸드오프, 핸드오프 금지(no handoff), 또는 단기 핸드오프를 출력한다. 다른 실시예에서, 핸드오프 의사 결정 모델(2110)은 2개의 클래스: 핸드오프 또는 핸드오프 금지를 출력한다. 또 다른 실시예에서, 클래스들 중 하나는 부분 핸드오프일 수 있다. 다양한 예로서, "핸드오프" 클래스는 핸드오프가 높은 레벨의 신뢰도로 수행될 수 있음을 나타낼 수 있고, "핸드오프 금지" 클래스는 낮은 레벨의 신뢰도를 나타낼 수 있으며, 차량에 의한 지속적인 제어가 바람직하지 않은 상황에서, 운전자가 준비되어 있거나 자동차가 안전 정지에 이를 때까지 차량의 제어권을 인계받기 위한 원격 모니터링 시스템으로의 핸드오프가 연기되는 것을 결과할 수 있으며, "단기 핸드오프" 클래스는 운전자에 대한 중간 레벨의 신뢰도를 나타낼 수 있으며, 일부 실시예들에서, 제어권이 시간 제한을 두고 운전자에게 핸드오프되는 것을 결과할 수 있으며, 이 시간 제한 내에 차량이 강제로 정지된다(예를 들면, 자동차를 제어하거나 자동차에 대한 보관 위치를 제공할 수 있는 통신 시스템과 같은, 예비 유닛(standby unit)에 의해 자동차가 안전 정지에 이를 수 있다). 다른 실시예에서, "부분 핸드오프"는 운전자에 대한 중간 레벨의 신뢰도를 나타낼 수 있고 제어권의 일 부분만(예를 들면, 제동 제어 또는 조향 제어만)을 운전자에게 넘기는 것을 결과할 수 있다. 일 실시예에서, "조건부 핸드오프"는 운전자에 대한 중간 레벨의 신뢰도를 나타낼 수 있으며, 핸드오프를 운전자에게 넘기고, 차량이 안전하게 동작하고 있음을 보장하기 위해, 운전자 행동들 및/또는 사용자의 상태를 모니터링하는 것을 결과할 수 있다. 상기한 바는 가능한 핸드오프 클래스들의 예들을 나타낼 뿐이며, 핸드오프 의사 결정 모델(2110)은 상기 핸드오프 클래스들 또는 다른 적합한 핸드오프 클래스들의 임의의 조합을 출력할 수 있다.
다양한 실시예들에서, 핸드오프를 성공적으로 처리하는 운전자의 능력을 평가하기 위해 차량의 외향 센서들을 통해 검출된 콘텍스트가 또한 고려될 수 있다. 예를 들어, 기상 조건, 가시성 조건, 도로 조건, 교통 조건 또는 다른 조건이 핸드오프에 대해 요망되는 각성 레벨에 영향을 미칠 수 있다. 예를 들어, 조건들이 좋지 않은 경우, 운전자에게 핸드오프하기 전에 상이한 레벨의 인식이 요구될 수 있다. 이것은 콘텍스트 정보를 머신 러닝 알고리즘(2102)에 공급하는 것에 의해 또는 임의의 다른 적절한 방식으로 구현될 수 있다.
도 22는 특정 실시예들에 따른 핸드오프 의사 결정(2208)을 결정하기 위한 추론 페이즈를 묘사한다. 위에서 기술된 바와 같은 센서 데이터(2202)는 운전자 상태(2204)를 출력하는 운전자 상태 모델(2008)에 제공된다. 운전자 상태(2204) 및 과거 데이터(2206)가 위에서 기술된 바와 같은 핸드오프 의사 결정(2208) 또는 다른 적합한 핸드오프 의사 결정을 출력하는 핸드오프 의사 결정 모델(2110)에 제공된다. 다른 실시예들에서, 핸드오프 의사 결정 모델은 다른 인자들(예를 들면, 하나 이상의 바깥쪽으로 향하는 센서로부터 결정되는 운전 상황의 콘텍스트)를 고려할 수 있거나 과거 데이터(2206)를 생략할 수 있다.
추론 페이즈는 임의의 적합한 트리거에 응답하여 수행될 수 있다. 예를 들어, 추론 페이즈는 차량이 허용 가능한 레벨의 안전성으로 독립적으로 자체 동작할 수 없다는 결정에 응답하여 수행될 수 있다. 다른 예로서, 추론 페이즈는 인간 운전자가 차량을 동작시키는 동안 주기적으로 수행될 수 있으며, 추론 페이즈의 결과는 운전자가 차량을 동작시키기에 적합한지 여부의 결정일 수 있다. 운전자가 적합하지 않은 경우, 차량이 운전 제어의 전부 또는 일부의 제어권을 인계받을 수 있거나, 운전자에게 경고를 제공할 수 있거나, 또는 운전자의 각성을 증가시키기 위한 행동(예를 들면, 시끄러운 음악을 트는 것, 창문을 여는 것, 운전자의 시트 또는 조향 휠을 진동시키는 것, 또는 다른 적합한 행동)을 취할 수 있다.
시스템이 인간 운전자에게 핸드오프하기로 결정할 때, 운전자는 임박한 핸드오프를 통지받는다. 그렇게 하기 위해, 시스템은 여러 가능한 방식들 중 하나 이상으로 운전자에 관여할 수 있다. 예를 들어, 시스템은 구두 방식으로 운전자에 관여할 수 있다. 예를 들어, 핸드오프를 기술하는 구두 메시지를 생성하기 위해, 올바른 의미(semantics)와 구문(syntax)을 가진 텍스트가 자연어 생성 엔진에 의해 작성되고 이어서 텍스트-음성 변환(text-to-speech) 엔진에 의해 합성 음성 오디오로 변환될 수 있다. 다른 예로서, 시스템은 물리적으로 운전자에 관여할 수 있다. 예를 들어, 운전자를 놀라게 하여 사고를 결과하지 않도록 운전자의 안전성 고려하면서 운전자의 시트 또는 조향 휠에 설치된 모터가 시트 또는 조향 휠을 격렬하게 진동시킬 수 있다. 다른 실시예들에서, 시스템은 핸드오프를 통신하기 위해 임의의 적합한 방식으로 운전자에 관여할 수 있다.
도 23은 특정 실시예들에 따른 핸드오프 의사 결정을 생성하기 위한 흐름을 묘사한다. 2302에서, 센서 데이터가 차량 내부에 위치한 적어도 하나의 센서로부터 수집된다. 2304에서, 차량 내부의 사람의 신체 상태를 결정하기 위해 센서 데이터가 분석된다. 2306에서, 사람의 신체 상태에 적어도 부분적으로 기초하여 핸드오프 의사 결정이 생성되며, 핸드오프 의사 결정은 사람이 차량을 안전하게 동작시킬 수 있을 것으로 예상되는지 여부를 나타낸다.
본 명세서에서 논의된 바와 같이, 일부 자율 주행 운전 시스템들은 자율 주행 차량으로부터 차량에 있는 또는 원격 위치에 있는(예를 들면, 원격 발레 애플리케이션에 있는) 인간 사용자로의 제어권의 이전을 지원하는 기능성을 갖추고 있을 수 있다. 일부 구현들에서, 자율 주행 운전 시스템은, 승객과 도로 안전성 둘 모두를 향상시킬 목적으로, 상이한 조건들과 상황들 하에서 승객(EGO)으로부터 자율 주행(에이전트) 자동차로 및 그 반대로의 제어권의 원할한 이전을 위한 로직 기반 프레임워크를 채택할 수 있다. 이 프레임워크의 적어도 일부 측면들은 자율 주행 운전 시스템의 하드웨어에(예를 들면, FPGA, 하둡(Hadoop) 클러스터 등을 통해) 구현되는 바와 같이 병렬화될 수 있다.
예를 들어, 예시적인 프레임워크는 자율 주행 차량 또는 인간 운전자 중 어느 하나가 차량에 대한 제어권을 갖고 두 당사자 간의 이러한 제어권 요청을 구현하는 메커니즘들을 제안하는 것이 보다 안전한 상이한 상황들을 고려할 수 있다. 일 예로서, 자율 주행 차량이 보다 안전한 운전을 위해 차량의 제어권을 되찾기를 원할 수 있는 조건들이 있을 수 있다. 자율 주행 차량은 운전자의 인식 상태를 감지하고(예를 들면, 운전자가 전화 통화로 주의가 산만한지 또는 졸음이 오는지/나른한지 느낌 여부를 결정하고) 운전자의 인식에 기초하여 제어권을 인계받을지 여부를 결정하는 데 사용될 수 있는 카메라들 또는 다른 내부 센서들(예를 들면, 마이크로폰들)을 갖추고 있을 수 있다. 자율 주행 차량은, 운전자의 인식 레벨이 낮거나 운전자가 다른 방식으로 안전하지 않은(예를 들면, 음주 운전하는, 핸즈프리 운전하는, 핸들을 잡고 조는, 운전하면서 문자 보내는, 무모한 운전을 하는 등) 것으로 간주되는 경우, 또는 자율 주행 차량이 차량 내에서의 임의의 비정상적인 활동(예를 들면, 싸움, 비명, 또는 인간 운전자 또는 승객에 의한 다른 안전하지 않은 운전 거동)을 감지하는 경우, 센서 데이터를 분석하고(예를 들면, 자동차 내부로부터의 카메라 및 마이크로폰 데이터에 대해 분석이 행해지고), 운전자에게 제어권을 요청하여 운전자로부터 제어권을 인계받는 메커니즘을 포함할 수 있다. 이러한 방식으로, 자율 주행 차량 안팎의 사람들 둘 모두의 안전성이 향상될 수 있다.
일부 구현들에서, 인증 기반(예를 들면, 생체 인식을 사용하는) 커맨드 제어가 자율 주행 자동차의 무단 사용을 방지하는 데 활용될 수 있다. 일 예로서, 일부 실시예들에서, 자율 주행 차량이 도난당하거나 나쁜 세력의 수중에 들어갈 때, 자율 주행 차량은 이러한 시나리오를 검출하고 제어당하지 않도록 스스로를 잠금할 수 있다. 예를 들어, 자율 주행 차량의 제어권을 요청하는 사용자를 인증하기 위해 생체 인식(예를 들면, 지문, 음성 및 얼굴 인식, 운전 면허증 등)을 사용하는 인증 메커니즘이 자율 주행 차량에 포함될 수 있다. 이러한 메커니즘들은 자율 주행 차량의 비인증 사용을 방지할 수 있다. 일부 경우에, 자율 주행 차량의 사용 또는 그의 측면들이 상이한 권한 레벨들에 기초하여 제공될 수 있다. 예를 들어, 한 사용자는 자동차를 어디서든 수동으로 완전히 제어할 수 있는 반면, 다른 사용자는 특정 지오펜싱된 위치에서만 자동차를 제어할 수 있다. 다른 예로서, 일부 실시예들에서, 승객은, 매우 혼잡한 도로, 악천후, 파손된 센서(예를 들면, 카메라, LIDAR, 레이더 등) 등과 같은, 특정 상황들에 직면할 때 자율 주행 차량의 제어를 요청할 수 있다. 요청에 응답하여, 자율 주행 차량은 사용자의 생체 인식 중 하나 이상에 기초하여 사용자를 인증할 수 있고, 인증된 경우, 자율 주행 차량의 제어권을 사용자에게 넘길 수 있다. 다른 예로서, 일부 실시예들에서, 엔티티/사용자(예를 들면, 법 집행, 응급 구조원, 정부 관리 등)가 자율 주행 차량을 원격으로 제어하기를 원할 때, 자율 주행 차량은 제어권을 엔티티/사용자로 이전하기 전에 사용자를 검증할 수 있다.
일부 실시예들에서, 자율 주행 차량의 제어가, 예를 들어, 주변 자율 주행 차량들이 자율 주행 차량이 위험하게 운전하고 있거나 다른 자동차들의 거동 모델들의 허용 가능 한계 내에서 운전하고 있지 않다고 생각하는 경우에, 다수의 주변 자동차들(법 집행 차량들을 포함함) 또는 인프라스트럭처 기반 센서들/제어기들에 크라우드 소싱될 수 있다. 그러한 경우에, 제어권을 요청하는 엔티티/엔티티들은, 예컨대, 제어권을 요청하는 사람들에 대한 생체 인식을 통해 또는 자율 주행 차량들/인프라스트럭처 센서들에 대한 디지털 보안 정보(예를 들면, 디지털 인증서)에 의해, 인증될 수 있다.
도 24는 적어도 하나의 실시예에 따른 상기 프레임워크의 상위 레벨 블록 다이어그램을 예시한다. 예를 들어, 시나리오(2402)에서, 자율 주행 차량이 (예를 들면, 자율 주행 차량 내부로부터의 카메라 또는 마이크로폰 데이터를 통해) 안전하지 않은 운전 조건들(예를 들면, 도 24에 나열된 것들 또는 다른 안전하지 않은 조건들)을 검출하고 그에 따라 자율 주행 운전 모드에서 진행하기 위해 제어권을 다시 자율 주행 차량으로 복귀시킬 때 자율 주행 차량은 인간 운전/수동 동작 모드로 동작하고 있다. 이 시나리오에서, 자율 주행 차량은 제어권을 되찾기 전에 차량의 제어권을 되찾기 위한 요청을 운전자에게 제시할 수 있다.
시나리오(2404)에서, 인간 운전자는, 예컨대, 운전자가 자율 주행 동작 모드에서 진행하는 것이 불편하다고 느끼는 상황(예를 들면, 도 24에 나열된 것들 또는 다른 것들)을 운전자가 식별하는 것에 응답하여, 자율 주행 차량의 제어권을 요청한다. 자율 주행 차량은, 2405에서, 이에 응답하여, 예를 들면, 생체 인식 또는 다른 인증 방법들을 사용하여 인간 운전자를 인증하기 위해 인증 요청을 개시할 수 있고, 유효한 인증 시에, 자율 주행 차량으로부터 인간 운전자로 제어권을 넘길 수 있다(그렇지 않은 경우, 자율 주행 차량이 제어권을 유지할 것이다).
시나리오(2406)에서, 법 집행 담당관 또는 이웃 자율 주행 차량(들)은, 예를 들면, 관찰된 자율 주행 차량에 의한 안전하지 않은 운전으로 인해, 자율 주행 차량이 도난된 것으로 보고되는 것으로 인해, 군중/도로 통제 목적으로 자율 주행 차량을 이동시킬 필요가 있는 것 등으로 인해 자율 주행 차량의 제어권을 요청할 수 있다. 자율 주행 차량은, 2407에서, 이에 응답하여, 요청하는 사람/엔티티를 인증하기 위해 인증 요청을 개시할 수 있으며, 유효한 인증 시에, 자율 주행 차량으로부터 담당관/이웃 자율 주행 차량(들)으로 제어권을 넘길 수 있다(그렇지 않은 경우, 자율 주행 차량이 제어권을 유지할 것이다).
도 25는 적어도 하나의 실시예에 따른 자율 주행 차량의 인계를 제어하는 예시적인 프로세스의 다이어그램이다. 예시적인 프로세스에서의 동작들은 자율 주행 차량의 측면들 또는 컴포넌트들에 의해 수행될 수 있다. 예시적인 프로세스(2500)는 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 25에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
2502에서, 자율 주행 차량은 자율 주행 모드로 동작되며, 이에 따라 자율 주행 차량은 자율 주행 차량의 동작의 많은 또는 모든 측면들을 제어한다.
2504에서, 자율 주행 차량은 자율 주행 차량의 제어권을 인계받기 위한 요청을 다른 엔티티로부터 수신한다. 엔티티는 자율 주행 차량의 인간 승객/운전자, 자율 주행 차량으로부터 멀리 떨어진 사람(예를 들면, 법 집행 또는 정부 관리), 또는 자율 주행 차량 인근의 다른 자율 주행 차량 또는 다수의 자율 주행 차량들(예를 들면, 크라우드소싱된 제어)을 포함할 수 있다.
2506에서, 자율 주행 차량은 제어권을 요청하는 엔티티를 인증하기 위해 자격 증명들에 대해 엔티티를 프롬프트(prompt)한다. 이 프롬프트는, 지문, 음성 인식을 위한 음성 샘플, 안면 인식을 위한 얼굴 샘플, 또는 다른 유형의 생체 인식과 같은, 생체 인식에 대한 프롬프트를 포함할 수 있다. 프롬프트는, 사용자 이름, 비밀번호 등과 같은, 다른 유형의 자격 증명들에 대한 프롬프트를 포함할 수 있다.
2508에서, 자율 주행 차량은 요청 엔티티로부터 입력을 수신하고, 2510에서, 수신된 입력에 기초하여 엔티티가 인증되었는지 여부를 결정한다. 엔티티가 인증되는 경우, 2512에서, 자율 주행 차량은 인계를 허용하고 요청 엔티티에게 제어권을 넘긴다. 입력에 기초하여 엔티티가 인증되지 않은 경우, 자율 주행 차량은, 2514에서, 인계를 거부하고, 자율 주행 동작 모드에서 계속 동작한다.
도 26은 적어도 하나의 실시예에 따른 자율 주행 차량의 인계를 제어하는 다른 예시적인 프로세스의 다이어그램이다. 예시적인 프로세스에서의 동작들은 자율 주행 차량의 측면들 또는 컴포넌트들에 의해 수행될 수 있다. 예시적인 프로세스(2600)는 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 26에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
2602에서, 자율 주행 차량은 수동/인간 운전 동작 모드로 동작되고, 이에 의해 (자율 주행 차량 내부에 있거나 자율 주행 차량으로부터 멀리 떨어진) 인간이 자율 주행 차량의 동작의 하나 이상의 측면을 제어한다.
2604에서, 자율 주행 차량은 자율 주행 차량 내부에 위치한 하나 이상의 센서로부터 센서 데이터를 수신하고, 2606에서, 인간 조작자로부터의 입력이 안전한지 여부를 결정하기 위해 센서 데이터를 분석한다. 입력이 안전한 것으로 결정되는 경우, 자율 주행 차량은 계속해서 수동 동작 모드에서 동작한다. 입력이 안전하지 않은 것으로 결정되는 경우, 자율 주행 차량은, 2608에서, 인간 조작자에게 제어권 인계를 요청하고, 2610에서, 자율 주행 동작 모드에서 자율 주행 차량을 동작시킨다.
레벨 2("L2" 또는 "L2+") 자율 주행 차량으로부터 완전 자율성(full autonomy)을 가진 레벨 5("L5") 자율 주행 차량으로 옮겨가는 데는 몇 년이 걸릴 수 있으며, 자율 주행 차량 산업은 어디서든 그리고 어디에서나 완전 자율성(운전자가 없는) 상태에 도달하기까지 인간 운전자 역할로부터의 점진적인 책임 이전을 관찰할 수 있다. 머신 제어(자율 주행 모드)로부터 인간 제어(인간 운전 모드)로의 안전한 인계를 구현하는 것이 이러한 이전 페이즈에서 중요하지만, 몇 가지 과제들이 따라온다. 예를 들어, 잠재적인 과제들 중 하나는 자율 시스템으로부터의 요청 없이 발생하는 인간 운전자로부터의 랜덤한 개입을 제어하는 것이다. 다른 과제는 이벤트 기반 개입으로부터 발생한다. 자율 주행 차량들에서 발생할 수 있는 세 가지 유형의 인계는 이하를 포함한다:
차량이 요청한 인계: 차량이 운전자에게 인계받으라고 요청하고 자율 주행 모드로부터 인간 운전 모드로 넘어갈 때. 이것은, 일부 경우에, 자율 주행 차량이 그의 인지 시스템에 새로운 상황에 직면할 때, 예컨대, 최선의 결정이 다소 불확실할 때, 또는 차량이 지오펜싱된 영역에서 나올 때, 발생할 수 있다. 인간 인계(human takeover)를 요청하기 위한 일반적인 접근법은 하나 이상의 방법(예를 들면, 대시 보드에서 메시지가 팝업하는 것, 경고음(beep) 또는 조향 휠의 진동)을 통해 운전자에게 경고하는 것이다. 인간 운전자가 인계를 수용하는 동안, 예상보다 오래 걸리는 인간의 반응 시간, 인간의 집중력 부족 또는 다른 이유로 인해 인계에서 일부 실수(miss)가 발생할 수 있다.
인간 운전자에 의한 랜덤한 인계: 가능한 인계가 인간 운전자에 의해 랜덤하게(예를 들면, 차량으로부터의 요청 없이) 그리고 예상치 못한 이유들로 발생할 수 있다. 예를 들어, 인간 운전자가 주의가 산만할 수 있거나 의도하지 않은 수면으로 인해 깨어나 부적절하게 반응(완전한 인식 없이 휠을 빠르게 제어)할 수 있다. 다른 예로서, 인간 운전자가 (예를 들면, 비행 또는 중요한 이벤트에 늦지 않기 위해) 서두르고 자율 주행 모드에서의 차량 속력에 만족하지 못하며 따라서 속력을 높이기 위해 제어권을 인계받을 수 있다. 이러한 유형의 랜덤한 인계는 바람직하지 않을 수 있는데 그 이유는 그러한 예상치 못한 인계에 대한 운전 규칙들/정책들을 준비해 두는 것이 실현 불가능할 것이고, 랜덤한 인계 자체가 사고/충돌로 이어질 수 있기 때문이다.
인간에 의한 이벤트 기반 인계: 예상치 못한 이벤트들로 인해 인간에 의해 다른 가능한 인계가 발생할 수 있다. 예를 들어, 인간 운전자는 (예를 들면, 밀실 공포증, 토할 것 같은 것 등으로 인해) 갑작스럽게 차에서 내릴 필요를 느낄 수 있다. 다른 예로서, 인간 운전자와 함께 승차하고 있는 승객이 갑작스런 고위험 시나리오에 빠질 수 있으며, 인간 운전자가 자동차를 정지시키기 위해 인계받을 수 있다. 다른 예로서, 인간 운전자가 주행 중인 도로(예를 들면, 어둡고 알지 못하는 도로)에 대해 불편함을 느낄 수 있고, 이는 더 편안하게 느끼기 위해 제어권을 받을 필요성을 촉발할 수 있다. 이러한 유형의 인계는, 자율 주행 운전 모드를 예상치 못한 방식으로 방해할 수 있으며 인계 자체가 사고/충돌로 이어질 수 있기 때문에, 바람직하지 않을 수 있다. 이전 사례와 유사하게, 이러한 유형의 인계는 또한, 그러한 예상치 못한 인계에 대한 운전 규칙들/정책들을 준비해 두는 것이 실현 불가능할 것이고 예상치 못한 이벤트들에 의해 주도되는 인계가 안전할 가능성이 없기 때문에, 바람직하지 않다.
이러한 유형들 중에서, 랜덤한 인계와 이벤트 기반 인계는 안전하지 않은 것으로 간주될 수 있으며, 그에 따라, 자율 주행 운전 시스템은 이러한 유형의 인계들을 검출하고 제어하도록 특별히 구성될 수 있으며, 이는 자율 주행 운전 모드 동안 보다 안전한 운전 및 예측 불가능한 거동의 회피를 가능하게 할 수 있다. 특정 실시예들에서, 이러한 잠재적으로 안전하지 않은 인계 상황을 완화하시키기 위해:
Figure pct00001
자율 주행 운전 인지 페이즈(예를 들면, 차량 내 인지 소프트웨어 스택에서 구현됨)는 안전하지 않은 인계의 실시간 검출을 위한 소프트웨어 모듈을 포함하도록 확장될 수 있다;
Figure pct00002
자율 주행 운전 실행(Acting) 페이즈(예를 들면, 차량 내 시스템에 구현된 차량 제어 소프트웨어 및 하드웨어)는 실시간으로 검출된 안전하지 않은 인계를 완화시키기 위한 소프트웨어 모듈을 포함하도록 확장될 수 있다;
Figure pct00003
자율 주행 운전 계획 페이즈(예를 들면, 루트 계획 서브시스템(들))는, 완화에 대한 실행 수단으로서, 승객 또는 운전자가 불편한 것을 회피하기 위해 자율 주행 운전 모드에 대한 잠재적인 경로 변경(re-route) 또는 다른 조정의 고려를 포함하도록 확장될 수 있다.
도 27은 적어도 하나의 실시예에 따른 자율 주행 차량에 대한 예시적인 인지, 계획 및 실행 자율 주행 운전 파이프라인(2800)의 다이어그램이다. 상세하게는, 도 27은 잠재적으로 안전하지 않은 인계를, 실시간으로, 검출하고 완화시키기 위한 자율 주행 차량 인지 및 제어에서의 특정 고려 사항들에 대한 개관을 제공한다. 인지, 계획 및 실행 파이프라인의 동작들은 자율 주행 차량의 차량 내 제어 시스템에 의해 수행될 수 있다. 도시된 바와 같이 예시적인 인지, 계획 및 실행 파이프라인은 감지/인지 페이즈, 계획 페이즈 및 실행/제어 페이즈를 포함한다.
도시된 예에서, 제어 시스템은, 차량 인지 센서들(예를 들면, 카메라(들), LIDAR 등) 및 차량 제어 요소들(예를 들면, 조향 휠 센서, 브레이크/가속 페달 센서들, 내부 카메라(들), 내부 마이크로폰들 등)을 포함하여, 자율 주행 차량에 결합된 복수의 센서들로부터 센서 데이터를 수신한다. 제어 시스템은 감지/인지 페이즈에서 자율 주행 차량의 인간 운전자에 의한 안전하지 않은 인계 요청을 검출하기 위해 센서 데이터를 사용한다. 안전하지 않은 인계의 검출은 수신되는 센서 데이터의 적어도 일 부분에 기초할 수 있다. 예를 들어, 안전하지 않은 인계는 인계의 행위를 감지하기 위해 액셀러레이터 페달, 브레이크 페달 및/또는 조향 휠에 결합된 센서들에 기초하여 검출될 수 있다. 일부 경우에, 운전자의 행동(들)이 자율 주행 차량의 제어권을 인계받기 위한 것임을 검출하기 위해 자동차 내부의 카메라들 및/또는 마이크로폰(들)이 (예를 들면, 인공 지능과 함께) 사용될 수 있다. 일부 실시예들에서, 인간에 의한 잠재적인 인계 요청을 검출하고 행동들이 실제로 요청된 인계인지 여부를 결정하기 위해 페달/조향 휠 센서들로부터의 데이터와 차량 내 카메라들로부터의 데이터가 상관될 수 있다. 예를 들어, 갑자기 깨어나거나 주의가 산만한 운전자는 랜덤한 제어권 인계를 개시하려고 의도하지 않으면서 브레이크, 액셀러레이터 또는 조향 휠 중 하나 이상을 작동시킬 수 있다.
요청된 인계가 안전하지 않다는 검출 이후에, 제어 시스템은 안전하지 않은 인계 요청을 완화시킨다. 이것은, 예를 들어, 인간 운전자가 자율 주행 차량을 제어하게 허용될 수 없도록 인계 요청을 차단하는 것을 포함할 수 있다. 예를 들어, 조향 휠, 브레이크 액추에이터/페달 및 액셀러레이터 액추에이터/페달이 자율 주행 운전 모드 동안 잠금될 수 있으며, (아래에서 기술되는 바와 같이, 랜덤한 인계 요청이 안전하다는 검출에 응답한 것일 수 있는) 자율 주행 차량이 인간에 의한 인계를 요청하는 경우에만 잠금 해제될 수 있다. 게다가, 안전하지 않은 인계 요청에 응답하여 도어들이 잠금된 채로 유지될 수 있는데, 그 이유는, 일부 경우에, 차량이 정지된 상태(움직이지 않음)에 있을 때에만 도어 잠금 해제가 인에이블될 수 있기 때문이다.
일부 경우에, 안전하지 않은 인계 요청의 완화는 운전자/승객의 요망과 매칭하도록 자율 주행 운전 모드를 수정하는 것을 포함할 수 있다. 예를 들어, 제어 시스템은, 운전자/승객의 편안함을 보장하고 인계 요청에 의해 도입되는 승객/운전자에 대한 위험을 최소화하기 위해, 자율 주행 차량의 루트(예를 들면, 방향, 속력 등)를 재계획(re-plan)할 수 있다. 일부 경우에, 제어 시스템은 (예를 들면, 음성 프롬프트(음성 인식 가능 자율 주행 차량의 경우) 및/또는 텍스트 프롬프트를 사용하여) 인계 요청에 응답하여 입력에 대해 인간 운전자 및/또는 승객을 프롬프트할 수 있으며, 운전자/승객으로부터 수신되는 입력에 기초하여 자율 주행 모드의 하나 이상의 측면을 수정할 수 있다.
도 28은 적어도 하나의 실시예에 따른 자율 주행 차량의 인간 운전자들에 의한 인계 요청들을 제어하는 예시적인 프로세스의 다이어그램이다. 상세하게는, 도 28은 안전하지 않은 인계 검출 및 완화 스킴을 예시한다. 예시적인 프로세스에서의 동작들은 자율 주행 차량의 컴포넌트들(예를 들면, 자율 주행 차량의 제어 시스템)에 의해 수행될 수 있다. 예시적인 프로세스(2800)는 추가적인 또는 상이한 동작들을 포함할 수 있고, 동작들은 도시된 순서로 또는 다른 순서로 수행될 수 있다. 일부 경우에, 도 28에 도시된 동작들 중 하나 이상은 다수의 동작들, 서브프로세스들 또는 다른 유형의 루틴들을 포함하는 프로세스들로서 구현된다. 일부 경우에, 동작들이 결합되거나, 다른 순서로 수행되거나, 병렬로 수행되거나, 되풀이되거나, 또는 달리 반복되거나 다른 방식으로 수행될 수 있다.
2802에서, 자율 주행 차량은 자율 주행 운전 모드에서 동작하고 있다. 예를 들어, 자율 주행 차량의 제어 시스템은, 예컨대, 인지, 계획 및 실행 파이프라인을 통해, 자율 주행 차량의 동작의 하나 이상의 측면을 제어하고 있을 수 있다. 2804에서, 자율 주행 차량은 (예를 들면, 제어 시스템에 전달되는 센서 데이터에 기초하여) 불규칙적이거나 알려지지 않은 상황에 직면하는지 여부를 결정한다. 만약 그렇다면, 2806에서, 자율 주행 차량은 인간 운전자에게 자율 주행 차량의 제어권을 인계받도록 요청하고, 2808에서, 자율 주행 차량은 (인간 운전자가 자율 주행 차량을 제어하는) 인간 운전 동작 모드에 진입하여 인간 운전 동작 모드에서 동작한다. 이어서, 자율 주행 차량은, 인간 운전 동작 모드 동안, 2810에서, 규칙적인/알려진 조건에 직면하는지 여부를 결정할 수 있다. 만약 그렇다면, 2812에서, 자율 주행 차량은 자율 주행 차량의 제어권의 인계를 요청하거나 자율 주행 차량의 제어권을 되찾을 수 있으며 자율 주행 동작 모드에 재진입할 수 있다. 2804에서, 불규칙적인/알려지지 않은 상황에 직면하지 않은 경우, 자율 주행 차량은 자율 주행 운전 모드에서 동작을 계속하고, 이에 의해 자율 주행 차량은 불규칙적인/알려지지 않은 상황에 직면하는지를 지속적으로 결정할 수 있다.
2814에서, 자율 주행 차량은 인간 운전자에 의한 인계 요청을 검출한다. 인계 요청은 자율 주행 차량에 결합된 하나 이상의 센서로부터의 센서 데이터에 기초할 수 있으며, 이 센서들은 자율 주행 차량 내부에 위치한 센서들(예를 들면, 조향 휠, 브레이크 액추에이터, 액셀러레이터 액추에이터, 또는 내부 카메라(들) 또는 마이크로폰(들)에 결합된 센서들)을 포함할 수 있다.
2816에서, 자율 주행 차량은 인계 요청이 안전하지 않은지 여부를 결정한다. 만약 그렇다면, 자율 주행 차량은 이에 응답하여 안전하지 않은 인계 요청을 완화시킬 수 있다. 예를 들어, 2818에서, 자율 주행 차량은 인계 요청을 차단할 수 있다. 추가적으로, 자율 주행 차량은 인계 요청의 원인 또는 불규칙적인 상황에 대해 더 많이 이해하기 위해, 2818에서, 입력에 대해 운전자를 프롬프트할 수 있다(예를 들면, 음성 인식 소프트웨어를 사용하여 운전자와 대화를 가능하게 할 수 있다).
2820에서, 운전자로부터 수신되는 입력에 기초하여, 자율 주행 차량은 운전자가 어떤 상황에 있는지 또는 운전자가 인계 요청을 개시하는 이유를 결정한다. 예를 들어, 상황이 운전자 또는 승객에 대한 위험(예를 들면, 비명을 지르는 것, 안전하지 않은 행동 등)인 것으로 식별되는 경우, 루트에 대한 재계획이 고려될 필요가 있을 수 있으며, 따라서, 2822에서, 자율 주행 차량은 길가에 차를 세우도록 자율 주행 운전 모드를 수정할 수 있다. 예를 들어, 상황이 자율 주행 운전 모드로 운전자 및/또는 승객이 불편한 것으로 식별되는 경우(예를 들면, 알려지지 않은 루트/도로, 매우 어두운 환경 등), 자율 주행 차량은 운전자/승객에게 더 많은 시각적 정보를 제공하도록(예를 들면, (추가적인) 루트 세부 사항을 디스플레이하도록) 자율 주행 운전 모드를 수정할 수 있고; 자율 주행 차량은 또한 운전자가 운전자 및/또는 승객이 자율 주행 운전 모드로 더 많은 편안함을 얻는 데 도움을 주기 위해 2824에서 디스플레이될 수 있는 추가적인 정보를 볼 수 있게 하기 위해 차량 내 조명을 조정할 수 있다. 예를 들어, 상황이 속력에 관한 불만인 것으로 식별되는 경우(예를 들면, 운전자가 자율 주행 차량이 속력을 낮추거나 속력을 높이기를 원하는 경우), 계획 페이즈는 다른 속력 및/또는 루트를 고려할 수 있고 자율 주행 차량은 속력(또는 루트)를 변경하도록 자율 주행 운전 모드를 수정할 수 있다. 수신되는 운전자 입력에 응답하여 다른 완화 전술이 이용될 수 있다.
자율 주행 차량의 잠재적인 이점들 중 하나는 훨씬 더 안전한 운전 환경의 가능성이다. 그렇지만, 오류 없는 자동화 시스템을 만들기 위한 최선의 노력에도 불구하고, 차량의 손모(wear and tear)로 야기되는 기계적, 물리적 및/또는 전자적 손상은 불가피하다. 그러한 손상은 자율 주행 차량의 오작동을 야기할 수 있다.
불가피하게, 자율 주행 차량, 특히 그의 센서들에 손상이 발생할 때, 차량의 기능이 저하될 수 있다. 자율 주행 차량의 자동화 레벨은, 도 29에 도시된 바와 같이, 인간 운전자에 요구되는 참여 정도를 기준으로 정의된다. 자율 주행 차량이 문제들에 직면할 때, 인간 승객(또는 원격 모니터링 엔티티)이 운전 제어권을 인계받을 필요가 있을 수 있거나 또는 차량이 동작을 중지할 수 있다.
게다가, 차량에 문제들이 있을 때, 문제들이 센서 이슈, 프로세서 또는 메모리 오작동 또는 임의의 다른 하드웨어/소프트웨어 이슈이든 관계없이, 사고가 발생할 가능성이 증가한다. 인간 운전자가 차량에 대한 제어권을 강제로 인계받아야 하는 경우, 특히 해당 운전자가 인계받을 준비가 되어 있지 않은 경우에도 마찬가지일 수 있다. 차량에서 일어나는 일을 추적할 수 있는 능력은 많은 당사자들에게 매우 중요한 것으로 밝혀질 수 있다. 예를 들어, 보험 회사, 운전자 또는 차량의 제조업체는 다양한 책임 이슈와 관련하여 이익을 얻을 수 있다. 게다가, 차량의 설계자는 중대한 상황에서 일어나는 일에 대한 이해로부터 이익을 얻을 수 있다.
포괄적 인지 관리 시스템(3000)이 도 30에 예시되어 있다. 시스템(3000)은 자율 주행 차량의 운전 조건들 및 정확도에 대한 지속적인 분석에 기초하여 차량의 자율성 레벨을 관리하고 조정하는 로직으로 구성된 컴퓨팅 시스템(예컨대, 본 명세서에서 논의된 컴퓨팅 시스템들의 서브시스템 또는 구현), 특히 자율 주행 차량의 감지, 계획 및 실행 계층들이다. 시스템(3000)은 인간 운전자를 모니터링하고, 인간 운전자에 경고하며 인간 운전자를 재관여시키는 것과 인간 운전자로의 운전 제어권의 안전한 핸드오프를 수행하는 것에 의해 자율 주행 차량에서 발생할 수 있는 문제들을 처리하는 다중 레벨 스마트 메커니즘을 포함할 수 있다. 시스템(3000)은 또한 자율 주행 차량의 원격 감시 및/또는 제어를 가능하게 하도록 구성될 수 있다. 시스템(3000)은 또한 자율 주행 차량의 자율성 레벨을 감소시켜, 이에 의해 차량의 센서 또는 컴포넌트 고장의 상황 또는 차량이 처리할 수 없는 다른 상황에서 인간 운전자에게 더 많이 의존하는 시스템으로 간주될 수 있다.
시스템(3000)은 자율 주행 차량에서의 자율성 레벨을 모니터링할 수 있다. 게다가, 시스템은 자율성 레벨이 올바른지 여부를 결정할 수 있으며, 만약 그렇지 않다면, 차량의 자율성 레벨을 변경할 수 있다. 추가적으로, 변경이 필요한 경우, 시스템(3000)은 변경을 운전자에 경고할 수 있다. 시스템은 또한 변경을 원격 감시 시스템(3010)에 경고할 수 있다.
포괄적 인지 관리 시스템(C2S2)(3005)은 자율 주행 차량의 일반 자동화 시스템 위에 놓일 수 있다(예를 들면, 자율 주행 차량의 정규 자동화 시스템을 관리할 수 있다). 일 예에서, 시스템(3005)은 차량의 센서(3020), 계획(3030) 및 실행(3040) 시스템들 위에 놓인다. 일부 구현들에서, C2S2가 자율 주행 차량의 차량 내 컴퓨팅 시스템들과 함께 더 많이 배치되거나 공동으로 기능을 수행할 수 있다는 점에 유의해야 한다. 상세하게는, C2S2는 차량의 자율성 레벨에 영향을 미칠 수 있는 임의의 시스템 위에 놓일 수 있다. 시스템(3005)은 또한 자율 주행 운전 레벨의 이력 및 센서 건강 모니터링을 기록할 수 있다. 수집된 데이터는 매우 간결하고, 임의의 오작동 또는 사고의 경우에 참조될 수 있도록, 오프라인으로 액세스 가능할 수 있다.
일부 예에서, C2S2(3005)는 자동차에서의 자율성 레벨을 모니터링하기 위해 실행 가능한 로직을 포함하고, 3개의 주요 모듈: 기능 보증, 품질 보증 및 안전 보증을 포함한다. 이러한 주요 모듈들 각각은 차량에 설정된 현재 자율성 상태를 수락 또는 거부하기 위해 미리 정의된 KPI(predefined Key Performance Indicator) 세트를 가질 수 있다. C2S2가 모니터링되고 있는 모듈들 중 임의의 것으로 인해 자율성 레벨이 허용 가능하지 않은 것으로 결정하는 경우, C2S2는 차량의 자율성 레벨을 변경하는 능력을 가질 수 있다. 게다가, 시스템은 변경을 인간 운전자에게 통지할 것이다. 자율성 레벨을 변경하는 능력은 매우 유익할 수 있다. 예를 들어, 어떤 종류의 센서 고장이 있는 경우 차량의 자율성을 완전히 끄는 대신에, C2S2는, 자율성을 완전히 제거하는 것이 아니라, 자율성 레벨이 낮춰질 수 있다고 결정할 수 있다. 이것은 (예를 들면, 도 31에 묘사된 바와 같이) 차량이 L4로부터 L3 레벨로 간다는 것을 의미할 수 있다. 그러한 변경은 인간 운전자가 차량의 제어에 관여할 것을 요구하지 않을 수 있지만, 일부 실시예들에서 운전자가 필요한 경우에 더 세심한 주의를 기울일 수 있도록 자율성의 변경이 운전자에게 통신될 수 있다.
도 30의 예를 계속하면, C2S2(3005)는 3개의 시스템(센서(3020), 계획(3030) 및 실행(3040))의 3개의 주요 블록(기능 보증, 품질 보증 및 안전 보증) 각각의 KPI를 평가할 것이다. C2S2(3005)가 시스템들에서 임의의 문제를 검출하는 경우, C2S2(3005)는 자율성 레벨이 변경될 필요가 있는지 여부를 평가할 수 있다. 모든 문제가 자율성 레벨의 변경을 필요로 하는 것은 아닐 수 있다. 예를 들어, 차량이 센서들 중 하나에 문제를 가질 수 있다. 그렇지만, 이 센서가 다른 센서와 관련한 반복적인 데이터를 생성하는 경우, 차량은 그의 현재 자율성 레벨을 유지하는 능력을 잃지 않을 수 있다.
그렇지만, 다른 예에서, 센서에서의 이슈가 문제를 야기할 수 있다. 제조업체가 L4 자율성 레벨을 지원하는 특정 차량을 도입했음에도 불구하고, 그러한 지정은 실제로 조건부이며 차량의 자율 주행 능력이 시간에 따라 달라질 수 있다. 예를 들어, 센서가 고장나거나 또는 센서/컴포넌트 고장과 같은 시나리오들에서 승객 안전이 위태롭게 될 때, 자율성 레벨이 변경될 필요가 있을 수 있다. C2S2(3005)는 자율성 레벨을 변경하고 운전자와 원격 감시 시스템(3010) 둘 모두에게 알릴 수 있다.
자율성 레벨의 모니터링 및 변경 외에도, C2S2(3005)는 또한 행동들을 원격 감시 시스템(3010)에 다시 보고할 수 있다. C2S2(3005)는 자율성 레벨 변경을 보고할 수 있을 뿐만 아니라, C2S2(3005)는 임의의 중요한 데이터를 원격 시스템(3010)에 보고할 수 있다. 예를 들어, 필요한 자율성 레벨 변경이 있는 상황에서 또는 심지어 자율 주행 차량을 수반한 사고가 있는 상황에서, 레벨 변경에 대한 완전한 기록 및 차량 이동, 계획, 자율성 레벨 등에 관련된 데이터가 감시 시스템(3010)으로 송신되어 감시 시스템(3010)에 의해 저장될 수 있다. 그러한 데이터는 사고의 과실, 개선을 위한 데이터 등을 결정하는 데 유용할 수 있다. 원한다면, 캡처될 수 있는 임의의 데이터가 원격 감시 시스템(3010)으로 송신될 수 있는 것이 고려된다.
도 30에 기술된 시스템은 특정 실시예들에서 나올 수 있는 모듈들을 나타낸 것에 불과하다. 다른 실시예들은 본 명세서에서 구체적으로 언급되지 않은 추가적인 모듈들을 포함할 수 있다. 추가적으로, 모든 모듈이 필요한 것은 아닐 수 있거나, 또는 다른 실시예들에서 모듈들이 조합될 수 있다.
자율 주행 차량으로 완전한 무인 운전 경험을 제공하는 것이 이상적일 수 있지만, 자율 주행 차량에서의 자율성 레벨에 따라, 차량이 동작 중인 동안 얼마간의 인간 운전자 상호작용을 갖는 것이 필요할 수 있다. 인간 운전자가 제어권을 인계받아야 할 필요가 있을 수 있는 비상 상황에서 특히 그러하다. 그러한 상황에서, 인간 운전자로의 전형적인 핸드오프는, 성공적인 경우, 평균 약 3초가 소요될 수 있다. 그렇지만, 인간은 종종 부주의하고, 쉽게 주의가 산만하며, 종종 특정 상황에 느리게 반응한다. 이에 따라, 빠르고 안전한 핸드오프를 달성하기 위해 차량이 자율 주행 모드에서 동작하고 있는 동안 운전자를 관여된 상태로 유지하는 것이 어려울 수 있다.
그에 따라, 적어도 일부 상황에서는, 자율 주행 차량에서의 핸드오프와 관련하여 사람이 백업으로서 신뢰할 수 없을 수 있다. 사람이 충분히 빨리 반응할 수 없는 경우, 제때 반응할 수 없는 부주의한 운전자에 의해 잠재적으로 위험한 상황이 더욱 악화될 수 있다. 상기 시스템들의 다양한 구현들은 자율 주행 운전자와 인간 운전자 간의 핸드오프를 수행하는 보다 안전한 방법을 제공할 수 있다.
도 32는 L4 자율성 레벨에서 동작하는 자율 주행 차량의 구조적 데이터 흐름의 예를 예시한다. 도 32의 예시적인 흐름은 감지 모듈(3210), 계획 모듈(3220), 실행 모듈(3230), 및 "DBW"(driver by wire) 모듈(3240)을 포함한다. 예로서, 감지 모듈(3210)은 다양한 인지 센서들(예를 들면, 카메라, 레이더, LIDAR, GPS 등)로부터의 데이터를 프로세싱하는 일을 담당할 수 있다. 감지 모듈(3210)은 센서들(225)의 임의의 적합한 특성들을 가질 수 있다. 차량의 움직임 파라미터들(예를 들면, 속력, 위치, 배향 등)을 나타낼 수 있는 감지 모듈에 의해 출력되는 데이터는, 차량 주위의 대상체들을 나타내는 데이터와 함께, (본 명세서의 다른 곳에서 논의되는 것과 같은, 경로 플래너 모듈들(예를 들면, 242)의 임의의 적합한 특성들을 가질 수 있는) 계획 모듈(3220)에 전달될 수 있다. 계획 모듈(3220)은 현재 상황에 기초하여 운전 동안 도로에서 취해질 행동들에 대한 관련 결정을 내릴 수 있다. 계획 모듈에 의해 이루어진 결정은 DBW 모듈(3240)에 제공될 특정 차량 커맨드들을 생성하기 위해, 제어기를 포함할 수 있는, 실행 모듈(3230)에 통신될 수 있다. 그러한 커맨드들은, 예를 들어, 특정 조향각 및/또는 가속을 위한 커맨드들을 포함할 수 있다. 이러한 커맨드들은 이어서 DBW 모듈에 의해 실행된다. 상기 흐름이 단지 예시적인 것이며 다른 흐름들이 존재할 수 있음에 유의해야 한다. 추가적으로, 상이한 차량들에 대해 상이한 지능 레벨들이 존재할 수 있다. 예를 들어, L2 등급 차량은 L4 등급 차량과 상이한 지능 레벨을 가질 것이다.
현재 도 32의 예의 모듈 레벨들 중 하나에서 고장이 있는 상황에서 또는 차량의 계획 알고리즘이 특정 운전 시나리오들에서 행동을 취할 수 없는 경우, 차량은 운전자가 인계받을 필요가 있음을 나타내는 신호를 자동으로 운전자로 송신할 것이다. 이 신호는 시각적, 청각적 또는 이들의 조합일 수 있다. 도 33은 운전자에 대한 비디오 신호의 예를 예시한다.
도 34는 예시적인 자율 주행 차량 핸드오프 상황의 흐름을 예시한다. 알 수 있는 바와 같이, 흐름의 시작 시에, 차량은 3410에서 자율 주행 모드에 있을 수 있다. 일단 문제가 발견되고 자율성 레벨이 변경될 필요가 있으면, 3420에서 인계 신호가 송신된다. 마지막으로, 3430에서 자율 주행 모드가 비활성화될 것이다.
급격하지 않고 갑작스럽지 않은 핸드오프 프로세스는 필요할 때 운전자가 차량에 관여하는 데 도움이 될 것이다. 추가적으로, 센서 고장이 있는 경우 차량이 완전 비자율 주행으로 될 필요가 없을 수 있다. 단순히 자율성 레벨을 낮추는 것이 안전할 수 있다. 예를 들어, L4 모드에서 동작하는 자율 주행 차량의 경우, 차량이 인간 운전자로 곧바로 핸드오프하고 그의 자율성을 정지시킬 필요가 없을 수 있다. (예를 들면, 계획 모듈(3220)에 의해 수행되는) 계획 알고리즘은 다수의 센서 입력들에 의존한다. 자율 시스템의 신뢰성은 계획 알고리즘이 이러한 센서 입력들에 기초하여 결정을 내릴 수 있는 정밀도에 의해 정의된다. 모든 시스템은 계획 모듈에 의해 취해지는 결정의 신뢰 레벨을 정의하는 중대한 및 중대하지 않은 센서 입력들의 세트를 갖는다. L4 레벨 차량은 그의 센서들(주로 중복 센서들)의 서브세트가 동작하는 것을 중지하면 더 이상 동일한 신뢰 레벨로 동작할 수 없다. 예시적인 상황에서, 차량이 단순히 L4 신뢰 레벨로부터 L3 신뢰 레벨로 다운그레이드되었을 수 있으며, 이는 운전자에게 더 높은 레벨의 주의를 요구한다. 그렇지만, 운전자가 완전히 인계받고 차량이 자율 시스템들을 정지시킬 필요는 없을 수 있다.
도 35는 자율 주행 차량의 제어권을 인간 운전자에게 핸드오프하기 위한 흐름의 예를 예시한다. 추가적으로, 도 35는 인간의 반응들과 자율 주행 차량의 행동들 간의 조율을 예시한다. 이 조율은 점선으로 예시되어 있다. 도 35의 예시적인 흐름은 자율 주행 차량의 계획 모듈(3220)에서 발생할 수 있다. 그렇지만, 도 35의 흐름이, 본 명세서에서 언급되지 않은 것을 포함하여, 컴퓨팅 시스템의 임의의 모듈 또는 조합에 의해 수행될 수 있다는 점에 유의해야 한다.
도 35의 예는 처음에(3510) 자율 주행 차량이, 이 예의 경우 L4 레벨에서, 그의 자율 주행 모드에서 정상적으로 동작하고 있음을 보여준다. 그 결과, 인간 운전자는 비활성이다(3515). 자율 주행 차량의 높은 자율성 레벨에서 특히 그러할 수 있다.
문제가 발생할 때, 차량은 시스템 오작동 경고를 송신할 수 있다(3520). 그에 따라, 인간 운전자는 경고를 수신할 것이다(3525). 이 경고는 시각적, 청각적, 촉각적 또는 임의의 다른 유형의 경고일 수 있다.
즉각적인 운전자 상호작용을 필요로 할 정도로 오작동이 심각하지 않다고 결정되는 경우, 차량은 보다 낮은 자율 주행 모드로 전환할 수 있다(3530). 이 예에서, 차량은 L4로부터 L3으로 전환되었다. 그에 따라 인간 운전자는 (예를 들면, 3525에서 수신된 경고에 기초하여) 이 전환을 인식할 것이고 운전 조건들에 주의를 기울일 수 있으며 필요한 경우 특정 양의 시간 내에 차량의 제어권을 얻을 수 있다(3535). 일부 예에서, 차량은 특정 센서들의 사용 및 모니터링을 통해 운전자 관여를 확인할 수 있다. 예를 들어, 차량은 시선 모니터링, 햅틱 피드백, 오디오 피드백 등을 사용할 수 있다.
다른 오류가 있는 경우, 차량은 다시 한 번 시스템 오작동 경고를 송신할 수 있다(3540). 다시 한 번, 해당 경고가 송신된 후에 운전자는 해당 경고를 수신할 것이다(3545).
다음으로, 자율성 레벨이 (이 예에서 L3으로부터 L2로) 또다시 감소될 수 있다고 다시 한번 결정되는 경우, 차량은 또다시 그의 자율성 레벨을 낮출 것이다(3550). 이제, 대응하는 조치(move)에서, 운전자는 훨씬 더 세심한 주의를 기울이기 시작한다(3555). 이 예에서, 인간 운전자는 자동차가 L2 모드에 있기 때문에 끊임없이 주의를 기울일 것이다.
자동차가 다시 한 번 그의 자율성 레벨을, 이번에는 L1로, 낮출 필요가 있는 경우, 운전자가 인계받을 필요가 있을 것이다. 따라서, 차량은 인계 신호를 송신할 수 있다(3560). 대응하는 조치에서, 운전자는 인계 신호를 수신할 수 있다(3570).
이제, 차량은 운전자가 차량의 제어권을 받을 수 있는지 여부를 확인할 수 있다. 따라서, 차량은 운전자가 제어권을 받기를 기다릴 것이다(3562). 앞서 언급된 바와 같이, 차량은 운전자가 실제로 제어권을 받고 있는지 여부를 모니터링하는 것 외에도, 운전자의 준비 상태를 결정하기 위해 모니터링 및 센서들을 사용할 수 있다.
일정 시간 기간 이후에, 차량이 운전자가 제어권을 받지 않았다(안전하게 제어권을 받을 수 없다)고 결정하는 경우, 비상 시스템이 활성화된다(3564). 이는 상황에 따라 상이한 행동들의 수행을 포함할 수 있다. 예를 들어, 차량이 차를 세울 필요가 있을 수 있다. 일부 상황에서, 차를 세우고 정지하는 것이 안전하지 않을 수 있으며, 따라서 차량이 일정 시간 기간 동안 계속될 수 있다. 따라서, 차량은 정지하기에 안전할 때까지 속력을 낮추고/거나 도로의 한쪽으로 차를 세울 수 있다. 일단 비상 시스템이 활성화되면, 그에 대응하여, 비상 행동의 상태가 완료될 것이다(3574).
그렇지만 운전자가 인계받을 수 있고 핸드오프가 성공적인 경우, 자율 주행 모드가 비활성화될 수 있다(3566). 대응하는 행동에서, 운전자는 완전히 관여되고 차량을 운전할 것이다(3576). 알 수 있는 바와 같이, (핸드오프가 필요하기 전의 여러 번의) 조기 경고는 운전자가 시스템 고장 이전에 핸드오프할 준비가 되어 있을 수 있게 하고 운전자가 인계받는 것이 강제적으로 된다.
자율 주행 차량의 자율성 레벨에 따라, 차량이 동작 중인 동안 얼마간의 인간 운전자 상호작용을 갖는 것이 필요할 수 있다. 차량이 통상적으로 완전 자율 주행 방식으로 동작할 수 있을 때에도, 인간 운전자가 제어권을 인계받을 필요가 있을 수 있는 일부 상황(예를 들면, 비상 상황)이 있을 수 있다. 다른 상황에서, 예를 들면, 인간 운전자가 운전하기를 원할 때 또는 사람이 차량을 제어할 유익한 이유가 있을 때, 운전자가 자율 주행 차량의 제어권을 인계받는 것이 바람직할 수 있다. 그렇지만, 인간은 종종 부주의하고, 쉽게 주의가 산만하며, 특정 상황에 느리게 반응한다. 그에 따라, 적어도 일부 상황에서는, 자율 주행 차량에서의 핸드오프와 관련하여 사람이 백업으로서 신뢰할 수 없을 수 있다. 게다가, 인간의 반응 시간과 반응은 상황 콘텍스트에 따라 달라질 수 있다. 예를 들어, 어떤 사람들은 다른 사람들보다 느린 반응 시간을 갖는다. 다른 예로서, 어떤 사람들은 비상 상황에서 침착하게 반응하는 반면, 다른 사람들은 당황한다.
자율 주행 차량의 핸드오프 시스템 및 절차가 차량의 제어권을 인간에게 핸드오프하는 개인화된 접근법을 구현하는 것이 유익할 수 있다. 그러한 시스템과 절차는 핸드오프의 안전성과 효율성을 향상시킬 수 있다. 인간 운전자가 일반적으로 필요하지 않은 레벨 5 자율 주행 차량에서 특히 그러할 수 있다. 일부 상황에서, 인간 운전자가 수면 중이거나 주의가 산만할 수 있고, 따라서 핸드오프와 연관된 위험을 증가시킬 수 있다. 핸드오프에 대한 개인화되고 조율된 접근법은 핸드오프를 계획할 때 그러한 상황에서의 인간 운전자의 주의 레벨 및/또는 반응 특성들을 고려할 수 있다.
다양한 실시예들에서, 핸드오프에 대한 개인화되고 조율된 접근법은 자율 주행 차량에서의 계획된 핸드오프와 계획되지 않은 핸드오프 둘 모두에서 적용될 수 있다. 완전 자율성이 바람직할 수 있지만, (예를 들어, 중대한 센서 고장, 예기치 않은 갑작스런 도로 조건 변화(예를 들면, 돌발 홍수) 등과 같은) 실제 시나리오들은 자율 주행 차량의 능력을 초과하는 상황을 야기할 수 있다.
본 명세서에서의 실시예들에 따르면, 핸드오프 문제에 대한 해결책은 핸드오프를 계획할 때 운전자의 활동, 개인 능력 및 목표 루트 중 하나 이상을 고려하는 다각적인 접근법을 포함할 수 있다. 이러한 접근법은 시스템(예를 들면, 차량 내 프로세싱 시스템(210))이 차량의 제어권을 인간 운전자에게 핸드오프할지와 언제 핸드 오프할지에 대해 더 나은 판단을 할 수 있게 한다. 추가적으로, 다양한 실시예들은 또한 시간에 따른 운전자 개인화를 제공할 수 있고, 핸드오프 프로세스를 점진적으로 개선시키기 위해 콘텍스트 정보 참조를 끊임없이 유지할 수 있다.
도 36은 자율 주행 차량을 인간 운전자에게 핸드오프하기 위한 예시적인 시스템(3600)을 예시한다. 이 시스템은 또한 인간 운전자로의 자율 주행 차량의 안전하고 적시적이며 적응적인 핸드오프를 위한 시스템으로 간주될 수 있다. 일부 실시예들에서, 다양한 모듈들은 차량 내 프로세싱 시스템(예를 들면, 210)에 의해 구현될 수 있다. 다른 실시예들에서, 모듈들 중 하나 이상은 클라우드 기반 컴퓨팅 시스템(예를 들면, 140 또는 150)에 의해 구현될 수 있다. 시스템(3600)은 탑승자 활동 모니터링 모듈(3610), 개인화된 탑승자 능력 데이터베이스(3615), 일반 탑승자 능력 데이터베이스(3620), 핸드오프 예측 모듈(3625), 핸드오프 처리 모듈(3630) 그리고 실행 평가 및 최적화 모듈(3635)을 포함한다. 시스템(3600)은 단지 예시적이며 본 명세서에서 구체적으로 제시된 실시예들로 제한되지 않는다.
탑승자 활동 모니터링("OAM") 모듈(3610)은 자율 주행 차량의 인간 운전자에 관련된 정보를 추출한다. 특정 실시예에서, OAM 모듈(3610)은 규칙 기반 머신 러닝은 물론 딥 러닝 방법들의 조합을 구현한다. OAM은 인간 운전자와 연관된 상태 특성들, 예를 들면, 운전자가 향해 있는 방향(예를 들면, 사람이 도로를 향해 또는 차량의 후방을 향해 착석하고 있는지 여부), 운전석의 위치결정(예를 들면, 운전석과 조향 휠 간의 거리, 좌석의 등받이의 경사각, 또는 조향 휠에 대한 운전석의 임의의 다른 특성들), 운전자가 깨어 있거나 잠들어 있는지, 운전자가 다른 활동에 참여하고 있는지 여부(예를 들면, 독서, 비디오 시청, 게임 플레이 등), 또는 다른 상태 특성을 결정할 수 있다. 여기에 나열된 OAM 모듈(3610)에 의해 이루어지는 결정은 단지 예시적인 것이며, OAM은 차량의 전체적인 또는 부분적인 제어권을 받을 운전자의 능력에 관련 있는 것으로 간주되는 운전자의 임의의 특성들을 결정하는 데 사용될 수 있다.
OAM 모듈(3610)은 여러 상이한 센서들로부터의 데이터를 입력으로서 사용할 수 있다. 예를 들어, OAM 모듈(3610)에 정보를 제공할 수 있는 차량 내 센서들은, 예를 들면, 카메라, 관성 측정 유닛, 좌석 및 등받이 센서들, 초음파 센서들 또는 생체 인식 센서들(예를 들면, 심박수 모니터, 체온 모니터 등)을 포함한다. 센서들로부터의 데이터는 원시 형식이거나 프리프로세싱될 수 있다. 여기에 나열된 센서들은 단지 예시적인 것이며, 임의의 유형의 센서가, 본 명세서에 나열되어 있는지 여부에 관계없이, OAM 모듈(3610)에 대한 데이터 입력으로서 사용될 수 있다.
일반 탑승자 능력("GOC") 데이터베이스(3620)는 자율 주행 차량의 실제 운전자와 유사한 일반 운전자의 특성의 통계 정보에 관련된 데이터를 포함할 수 있다. 예를 들어, GOC 데이터베이스(3620)는 실제 운전자와 유사한 특성들(예를 들면, 성별, 나이, 체력 레벨)을 갖는 운전자에 대한 특징적인 반응들에 대한 정보를 포함할 수 있다. 게다가, 데이터베이스(3620)에 저장된 정보는 전역적이거나 하나 이상의 특정 지리적 영역에 특정적일 수 있다. 일부 실시예들에서, GOC 데이터베이스(3620)는 차량 외부에 있을 수 있고 클라우드를 통해 자율 주행 차량에 이용 가능하게 될 수 있다. GOC 데이터베이스(3620)는 자율 주행 차량의 핸드오프 동작이 시간에 따라 개선될 수 있도록 임의의 적합한 시간 또는 간격으로 업데이트될 수 있다. DOC 데이터베이스(3620)가 하나 초과의 데이터베이스를 포함할 수 있음에 유의해야 한다.
GOC 데이터베이스에 있는 데이터 유형의 예는 특징적인 운전자(예를 들면, 운전자와 유사한 특성들, 예를 들면, 연령, 성별 등을 가진 사람)가 프롬프트에 응답하는 데, 좌석을 180도 회전시키는 데, 좌석을 종방향으로 특정 거리만큼 이동시키는 데, 손을 무릎 위에 놓인 상태로부터 조향 휠에 올려놓는 데, 깨어 있을 때 도로에 관여하는 데(이는 관여에 대해 경고를 받기 이전의 운전자의 활동에 따라 달라질 수 있음) 또는 핸드오프와 연관된 다른 적합한 활동에 걸리는 시간량을 포함할 수 있다. 추가적으로, 운전자의 상황의 콘텍스트에 대응하는 통계 데이터를 생성하기 위해 운전자의 특성들(예를 들면, 운전자의 건강 조건들)이 사용될 수 있다. 예를 들어, 데이터베이스는 자율 주행 차량의 운전자와 동일한 허리 문제를 가진 평균 운전자가 좌석을 똑바로 세우거나 좌석을 조향 휠을 향해 전방으로 이동시키는 데 평균적으로 특정 양의 시간이 걸릴 수 있음을 나타내는 정보를 캡처할 수 있다.
이용 가능한 통계 데이터를 활용하는 것 외에도, 예를 들면, 차량 내 프로세싱 시스템(210)에 의해 구현되는 머신 러닝 모델들이 또한 자율 주행 차량에 탑재된 원시 데이터를 프로세싱하는 데 사용될 수 있다. 다른 실시예들에서, 그러한 머신 러닝 모델들은 (자율 주행 차량에서 로컬로보다는) 클라우드에서 실행될 수 있고 추론 출력이 차량에서 활용될 수 있다.
개인화된 탑승자 능력("POC") 데이터베이스(3615)는 본질적으로 GOC 데이터베이스(3620)와 유사한 데이터를 포함할 수 있다. 그렇지만, POC 데이터베이스는 GOC 데이터베이스에서와 같이 다수의 운전자들로부터 집계된 정보가 아니라 운전자 및 차량 특정 정보를 포함한다. 각각의 사람이 GOC 데이터베이스(3620)에 의해 확립된 기준선과 다를 것이기 때문에 POC 데이터베이스(3615) 내의 데이터는 시스템(3600)의 기능을 개선시키는 데 도움이 될 수 있다. POC 데이터베이스(3615) 내의 데이터는 시간에 따라 관측 및 측정될 수 있다. 시스템(3600)의 POC 모듈(3615)은 운전자와 가상 운전자(hypothetical driver) 간의 차이를 추적하는 중심 위치로 간주될 수 있다.
운전자 특정 정보 외에도, POC 데이터베이스(3615)는 또한 차량 특정 정보를 포함할 수 있다. 예를 들어, 운전자가 좌석을 180도 회전시키는 시간은 차량의 기술적 능력에 따라 달라질 수 있으며 운전자가 이 프로세스의 속도를 높이거나 낮출 수 없다.
예로서, 다음과 같은 유형의 데이터가 POC 데이터베이스에 저장될 수 있다: 운전자가 평균 운전자보다 오디오 프롬프트에 반응하는 데 X1초 더 걸린다는 것; 운전자가 자신의 좌석을 회전시키는 데 평균보다 X2초 덜 걸린다는 것(예를 들면, 이러한 이유는 차량이 빠른 회전 동작을 갖고/갖거나 운전자가 상대적으로 빠르게 반응하기 때문일 수 있음). 운전자가 자신의 좌석을 종방향으로 이동시키는 데 평균 운전자보다 X3초 느리다는 것; 운전자가 조향 휠에 손을 올려놓는 데 평균보다 X4초 빠르다는 것; 및 운전자가 깨어 있을 때 도로에 관여하는 데 평균 운전자보다 X5초 빠르다는 것. 이러한 예는 평균 운전자를 기준으로 한 측정치를 논의하지만, 일부 실시예들에서, POC 데이터베이스에 저장된 정보는 절대 측정치를 포함할 수 있다(예를 들면, 운전자가 오디오 프롬프트에 응답하는 데 평균적으로 Y1초 걸리고, 운전자가 자신의 좌석을 회전시키는 데 평균적으로 Y2초 걸리는 것 등). 추가적으로, GOC 데이터베이스와 유사하게, POC 데이터베이스는 운전자의 상황에 더 많은 콘텍스트를 제공할 수 있는 통계 데이터를 생성하는 데 사용될 수 있는 운전자의 다른 특성들을 포함할 수 있다. 예로서, POC 데이터베이스는 운전자가 자신의 좌석을 똑바로 세우기 위해 또는 허리 부상으로 인해 자신의 좌석을 전방으로 이동시키기 위해 얼마나 빨리 움직일 것인지를 나타내는 정보를 포함할 수 있다.
핸드오프 예측(HOF) 모듈(3625)은 핸드오프가 언제 필요할 수 있는지를 결정한다. HOF 모듈은 자율 주행 운전자로부터 인간 운전자로의 핸드오프가 언제 어디에서 필요할 수 있는지를 결정하기 위해, 예를 들어, 사고, 혼잡 도로, 공공 행사, 보행자, 공사 등과 같은 도로 조건들을 고려할 수 있다. HOF 모듈은, 예를 들면, 실시간 교통, 사고, 위험 요소 및 도로 유지 관리 업데이트를 가진 로컬 지도 및 루트 정보를 수신할 수 있다. 이러한 정보의 일부 또는 전부는 자율 주행 차량 내에 로컬로 저장되거나 또는 클라우드에 저장될 수 있다(그리고 차량은 클라우드를 통해 그러한 정보에 대한 업데이트를 수신할 수 있다).
도 37은 차량(3705)이 지점 A로부터 지점 B에 도달하기 위해 취하는 예시적인 루트(3700)를 예시한다. 루트(3700)는 자동차(3705)의 내비게이션 시스템(예를 들면, 경로 플래너 모듈(242))에 의해 선택되었다. HOF 모듈(3625)은 어디에서 인간 운전자로의 핸드오프가 필요할 수 있는지를 결정하기 위해 사고, 혼잡 도로 세그먼트 및 도로 공사 현장과 같은 도로 조건들을 고려할 수 있다. 도 37의 예에서, 그러한 핸드오프가 필요할 수 있는 3개의 영역(3710, 3720 및 3730)이 결정되었다. 가능성 있는 핸드오프 위치들을 식별한 후에, HOF 모듈(3625)은 상이한 기준에 기초하여 위치들을 순위화할 수 있다. 그러한 기준의 예는 이하를 포함할 수 있다:
1 - 덜 바람직할 수 있지만 식별된 위치에서 인간 운전자로의 핸드오프를 필요로 하지 않은 대안 루트가 있는가? 예로서, 위치(3720)는 대안 루트(3715)와 연관될 수 있다.
2 - 자율 주행 차량이 속력을 감소시키는 것 및/또는 필요한 경우 간헐적으로 정지하는 것에 의해 식별된 핸드오프 위치를 처리할 수 있는가? 예로서, 위치(3730)는 통제되고 안전한 방식으로 교통을 느리게 할 가능성이 있는 진행 중인 도로 공사를 갖는다.
3 - 자율 주행 차량이 인간 개입 없이는 처리할 수 없을 임의의 세그먼트가 루트를 따라 있는가? 예로서, 사고가 심각한 교통 두절을 일으킬 수 있기 때문에 위치(3710)가 그러한 위치일 수 있다. 자율 주행 차량은 이러한 특정 위치에 접근하고 있을 때 인간 운전자가 미리 준비되어 있도록 할 필요가 있다.
다양한 실시예들에서, HOF 모듈(3625)은 루트를 따라 핸드오프 위치들을 결정할 뿐만 아니라 그들의 상대적 중요도(예를 들면, 어느 핸드오프 위치들이 핸드오프를 필요로 할 가능성이 더 많은지)를 평가할 수 있다.
도 36으로 돌아가면, 핸드오프 처리("HOH") 모듈(3630)은 핸드오프 의사 결정을 하기 위해 핸드오프 관련 정보를 고려할 수 있다. HOH 모듈(3630)은 OAM 모듈(3610), POC 데이터베이스(3615), GOC 데이터베이스(3620) 및 HOF 모듈(3625)의 출력들을 수용하고 이들 중 하나 이상에 기초하여 핸드오프 의사 결정을 한다.
마지막으로, 실행 평가 및 최적화("EAO") 모듈(3635)은 핸드오프의 예상된 결과를 운전자의 행동과 비교한다. 비교의 결과는 향후의 핸드오프를 개선시키기 위해 POC 데이터베이스(3615) 및 HOH 모듈(3630)에 피드백된다. 정보를 수집하기 위해, EAO 모듈(3635)은 루트를 따라 각각의 핸드오프 이벤트에서 다음과 같은 예시적인 기준: 운전자가 핸드오프 요청에 응답하는 데 얼마나 오래 걸렸는지; 핸드오프 이후에 운전자가 예상된 조향 범위 내에 있었는지 여부; 핸드오프 이후에 운전자의 가속/감속이 예상된 가속/감속 범위 내에 있었는지 여부; 및 핸드오프 직후에 운전자가 도로에 관여하는 데 얼마나 오래 걸렸는지를 사용할 수 있다. 여기에 나열된 기준은 단지 예시적인 것이며, 다양한 실시예들에서 모든 기준이 사용되는 것은 아니거나 또는 나열되지 않은 기준이 사용될 수 있다.
POC 데이터베이스(3615) 내의 업데이트들은 핸드오프 프로세스가 운전자와 자율 주행 차량의 기술적 능력에 따라 보다 개인화된 정보를 고려할 수 있게 한다. 이에 따라, 시간이 지나면서, 자율 주행 차량에의 승차 횟수가 증가함에 따라, POC 데이터베이스(3615)는 GOC 데이터베이스(3620)와 더 많이 차별화되기 시작한다.
HOH 모듈(3630)은 운전자가 언제 어디에서 전형적인 거동을 벗어나 이상을 나타냈는지를 계산하기 위해 EAO 모듈(3635)로부터 오는 피드백 정보를 사용한다. 이는 POC 데이터베이스(3615)가 운전자에 대해 저장하는 것과 상이할 수 있는데, 그 이유는 그것이 운전자의 예상된 거동과의 편차에 관련되어 있고 향후 핸드오프에서 고려될 수 있기 때문이다. HOH 모듈(3630)이 향후 핸드오프를 위해 그러한 이상들을 고려하는 경우, 현실 세계 관측에 기초하기 때문에 운전자 및 자율 주행 차량을 더 잘 나타내는 데이터에 기초하여 자율 주행 차량이 핸드오프 의사 결정 및 핸드오프 실행 평가를 할 것이므로 도로 안전이 개선될 수 있다.
도 38은 HOH 모듈(3630)의 상위 레벨 동작 흐름(3800)의 예를 예시한다. 이 동작 흐름은 또한 자율 주행 차량을 인간 운전자에게 핸드오프하기 위한 방법으로 간주될 수 있다. 처음에 이 방법은 결정된 핸드오프 위치들을 HOF 모듈(3625)로부터 획득하는 것으로 시작한다. 이들은 루트의 계산된 우선순위들로부터 결정될 수 있다.
다음으로, 방법(3800)은 계속하여 GOC 데이터베이스(3620)로부터 일반 운전 데이터를 얻는다. 임의의 일반 운전 데이터를 얻을 필요가 없을 수 있음에 유의해야 한다. 예를 들어, POC 데이터베이스(3615)에 적절한 양의 데이터가 저장되어 있을 때, GOC 데이터베이스(3620)로부터의 데이터는 특정 결정에서 생략될 수 있다. 예를 들어, 운전자가 새 차량을 구매할 때, 정보가 이전 차량 또는 클라우드로부터 새 차량으로 전송될 수 있는 것과 같이, 개인화된 데이터를 한 위치로부터 다른 위치로 전송하는 것이 가능할 수 있다는 점에 유의해야 한다.
일반 데이터(활용되는 경우)를 획득한 후에, HOH 모듈은 계속하여 개인화된 데이터를 POC 데이터베이스(3615)로부터 획득한다. 예를 들어, 차량이 신품이고 데이터가 아직 획득되지 않았을 때와 같이, 개인화된 데이터가 없는 상황이 있을 수 있다는 점에 유의해야 한다.
다음으로, 방법(3800)은 계속하여 OAM 모듈(3610)로부터 데이터를 획득한다. 이 데이터는 운전자의 주의 레벨, 활동들 등에 관련되어 있기 때문에 운전자에 관한 정보를 포함할 수 있다.
이어서 HOH 모듈은 HOF 모듈(3625)에 의해 결정된 대로 가능한 핸드오프 위치들 각각에 대한 예상된 운전자 처리 거동을 결정할 수 있다. HOH 모듈(3630)이 핸드오프할 시간이라고 결정하는 경우, 운전자가 프롬프트된다. 만약 그렇지 않다면, HOH 모듈(3630)은 다른 모듈들 중 임의의 것으로부터의 임의의 실시간 업데이트들이 있는지 여부를 결정할 수 있다. 있는 경우, 예상된 운전자 처리 거동을 재결정하기 위해 업데이트 또는 업데이트들이 사용될 수 있다.
도 38의 예를 계속하면, 운전자가 프롬프트된 후에, HOH 모듈(3630)은 운전자가 인계받을 수 있는지 여부를 결정할 것이다. 만약 그렇다면, HOH 모듈은 예상된 운전자 거동을 EAO 모듈(3635)에 제공할 수 있고 이어서 차량의 제어권을 운전자에게 넘길 수 있다. 게다가, 핸드오프 동안 운전자가 얼마나 잘 수행했는지에 대한 데이터가 EAO 모듈(3635)로부터 획득될 수 있고, 예상된 운전자 거동이 이에 응답하여 업데이트될 수 있다. 예를 들면, 운전자가 제어권을 포기할 준비가 되어 있거나 AV가 안전하게 제어권을 되찾을 수 있다고 결정될 때까지 운전자가 계속하여 운전할 수 있다.
운전자가, 프롬프트될 때, 인계받을 준비가 되어 있지 않은 경우, HOH 모듈(3630)은 핸드오프에 대한 대안들이 있는지 여부를 평가할 수 있다. 이는, 예를 들어, 대안 루트를 취하는 것, 속력을 낮추는 것 등을 포함할 수 있다. 대안들이 있는 경우, 대안들이 선택될 수 있다. 차량이 계속하여 움직일 수 있게 할 대안들이 없는 경우, HOH 모듈은 차량을 정지시킬 수 있다. 이것은 차량이 안전한 위치에 안전한 방식으로 정지할 수 있도록 보장하기 위해 원하는 루트의 변경을 포함할 수 있다는 점에 유의해야 한다. 차량이 정지하는 경우, 운전자가 인계받을 준비가 될 때까지 차량은 정지 상태로 유지될 수 있다. 이어서 운전자가 자율 주행 차량이 또다시 인계받도록 할 준비가 되어 있고 그렇게 하는 것이 안전할 때까지 운전자가 운전할 수 있다. 다른 실시예들에서, 차량이 다시 움직일 수 있게 하는 대안이 있을 때까지 차량이 정지 상태로 유지되는 것이 또한 가능할 수 있다. 이는, 예를 들어, 차량을 정지시키게 한 도로 조건들의 변화 또는 심지어 개통된 새로운 루트를 포함할 수 있다.
아래의 예는 도 37의 루트의 예와 함께 도 38의 예시적인 동작 흐름을 활용하여 HOH 모듈(3630)의 동작을 설명한다.
여정 이전:
1. A와 B 사이의 최적 루트(3700)가 계산되어 HOF 모듈에 제공되었다.
2. HOF 모듈(3625)은 실시간 업데이트들을 사용하여 3개의 핸드오프 영역(3710, 3720 및 3730)을 식별한다.
3. HOF 모듈은 위치(3710)가 (그 지점에서의 사고에 대한 정보가 거의 없기 때문에) 운전자 지원이 필요할 가능성이 가장 높은 곳이라고 결정한다.
4. 위치(3730)는 진행 중인 도로 공사로 인해 다른 핸드오프가 필요할 수 있는 다음으로 가장 가능성이 높은 위치로서 선택된다.
5. 위치(3720)는 도로 상의 증가된 보행자 통행량이 관측되는 다른 잠재적인 핸드오프 영역으로서 식별된다. 자율 주행 차량은 운전자의 도움을 필요로 하지 않고 대안 루트(3715)를 취하는 것에 의해 라이드(ride)의 이 섹션을 쉽게 처리할 수 있다.
6. GOC 데이터베이스(3620)는 운전자들에 대한 일반 정보를 HOH 모듈(3630)에 제공한다.
7. POC 데이터베이스는 비어 있다(운전자가, 자신에 기초한 제한된 개인화된 정보를 갖는, 자동차를 방금 구입했기 때문임).
8. OAM 모듈(3610)은 운전자가 핸들(wheel) 뒤에 앉아 있고 그의 아들이 뒷좌석에 앉아 있음을 확인한다.
9. 운전자가 운전하고 있는 차량의 모델은 운전 동안 뒷좌석에 있는 승객들과 자유롭게 대화할 수 있도록 완전히 회전 가능한 운전석을 가지고 있다. 이에 따라, 운전자는 도로 쪽으로 등을 돌리고 아들과 이야기하기 시작한다.
10. 객실 내 카메라는 자동차 내에서 일어나는 일을 완벽하게 파악할 수 있으며 따라서 OAM 모듈(3610)은 이러한 대화 활동은 물론 운전자의 착석 위치를 실시간으로 통지받는다. OAM 모듈(3610)은 또한 운전자가 말을 하는 동안 그의 좌석을 아들에 더 가깝게 이동시켰고 전방으로 몸을 숙이고 있음을 알아차린다.
여정 동안:
11. 자율 주행 차량은 제1 핸드오프 위치(3710)를 향해 전진하기 시작한다. 이 제1 핸드오프 위치가 가장 중대한 것이고 차량이 운전자의 개입을 필요로 하는 곳이기 때문에, HOH 모듈(3630)은 다가오는 핸드오프에 대해 조기에 운전자에게 통지하기 시작한다.
12. HOH 모듈(3630)은 운전자가 뒤돌아서 조향 휠에 손을 올려 놓는 데 걸리는 얼마나 오래 걸릴 가능성이 있는지를 알고 있다.
13. HOH 모듈(3630)은 또한 GOC 데이터베이스(3620)로부터 노인 운전자가 젊은 운전자보다 완전히 인식하는 데 일반적으로 더 오래 걸린다는 것을 알고 있다. 따라서, 예로서, 운전자가 50세 남성인 경우, 운전자가 핸들에 손을 올려놓자마자 운전 콘텍스트를 완전히 인식하는 데 15 내지 20초가 걸릴 수 있다. 따라서, 위치(3710)에서의 핸드오프가 가까워짐에 따라 이러한 추가적인 시간이 HOH 모듈(3630)에 의해 고려된다.
14. HOH 모듈(3630)은 또한 핸드오프가 어떻게 실행될 것인지를 평가하기 위해 운전자에 의한 예상된 응답 시간을 EAO 모듈(3635)에 제공한다. 운전자는 차량에 의한 핸드오프 요청에 응답하고 도로 상의 사고를 통과하여 자동차를 성공적으로 안내한다.
15. 운전자는 사고 장소를 떠난 후 그의 스마트 폰으로 착신 전화를 받을 때 자율 주행 차량으로 핸드오프한다.
16. EAO 모듈(3635)은 위치(3710)에서의 핸드오프를 평가하기 시작한다. 운전자가 HOH 모듈(3630)에 의해 예상된 것보다 10초 늦게 응답한 것으로 보인다. OAM 모듈(3610)에서의 타임스탬프는, 운전자가 자동차의 제어권을 받아야 할 때, 그 당시에 아들에게 장난감을 넘겨주느라 바빴으며 이것이 이러한 예상치 못한 지연을 야기했다는 것을 나타낸다.
17. 이러한 이상은 계획된 핸드오프를 위한 추가적인 시간을 남겨두기 위해 향후 참조를 위해 HOH 모듈(3630)에 다시 보고된다.
18. 핸드오프 동안의 운전자의 수행은 또한 내부 업데이트들을 위해 POC 모듈(3615)에 다시 보고되었다.
19. 차량이 핸드오프(3720)에 접근함에 따라, OAM 모듈(3610)은 운전자가 여전히 전화를 하고 있고 고조된 고민의 신호를 제공하는 것처럼 보인다는 것을 확인한다.
20. HOH 모듈(3630)은 대안 루트(3715)를 추종하는 것에 의해 핸드오프 위치(3720)가 회피될 수 있음을 알고 있다. 이 루트는 여정에 추가의 2분을 추가할 것이지만 운전자가 중단 없이 전화 대화를 계속할 수 있게 할 것이다.
21. HOH 모듈(3630)은 위치(3720)에서 핸드오프를 요청하지 않기로 결정하고 차량은 자율 주행으로 계속된다.
22. HOH 모듈(3630)은 핸드오프 위치(3730)에서의 도로 공사를 알고 있으며, 이 위치에서의 핸드오프가 위치(3710)만큼 중대하지는 않지만, 인간 개입으로, 여정 시간은 약간 더 짧을 수 있다.
23. OAM 모듈(3610)은 운전자가 더 이상 전화로 이야기하지 않으며 자동차 전방의 교통 상황을 무심하게 지켜보면서 앞을 향해 있음을 나타낸다.
24. HOH 모듈(3630)은 운전자가 매우 용이하게 인계받을 수 있다고 결정하고 여정 시간을 절감하기 위해 선택적인 핸드오버를 운전자에게 통지한다.
25. 인계받는 것에 의해 몇 분 더 절감하는 것이 좋은 생각이라고 결정할 때, 운전자는 인계받기로 동의하고 위치(3730)에서의 핸드오프가 성공적으로 실행된다.
26. POC 모듈(3615)은 핸드오프 이후에 EAO 모듈(3635)에 의해 업데이트되고, 이상이 검출되지 않았기 때문에, HOH 모듈(3630)은 이번에는 통지를 수신하지 않는다.
27. 나머지 여정 동안, 운전자는 핸드오프하지 않기로 결정하고 수동 모드에서 그의 목적지로 운전한다.
위의 예는 단지 예시적인 것이며, 더 많거나 더 적은, 그리고 심지어 상이한 행동들이 취해질 수 있다. 유사하게, 도 38의 예시적인 방법은 또한 예시적인 것이며, 그 방법에서 더 많거나 더 적은 단계들이 취해질 수 있다.
또한 인간 운전자가 인계받을 처지에 있지 않은 동안 자율 주행 차량이 (루트, ETA 등의 관점에서 여정의 원래 목적을 달성하기 위해) 인간 운전자에게 핸드오프하는 것 외에는 옵션이 없는 상황이 있을 수 있음에 유의해야 한다. 그러한 시나리오들에서, 자율 주행 차량은 다음과 같은 보다 안전한 옵션들: 인간 운전자가 인계받을 수 있을 때까지 차를 세우고 안전하게 정지하는 것; 서행 차선으로 나가서 교통량과 도로 조건들에 따라 증가된 주행 시간의 대가로 정속 주행 속력(cruising speed)을 감소시키는 것; 차량이 핸드오버하지 않고 진행할 수 있게 할 대안 루트들을 계산하는 것(그러한 루트들은 더 길고/길거나 더 느릴 수 있음); 또는 차량이 최종 목적지까지 내내 핸드오프 없이 진행하는 것을 가능하게 하지는 않을 것이지만 인간 운전자가 인계받을 준비가 될 때까지 차량을 안전 정지시킬 수 있게 할 대안 루트들을 계산하는 것을 선택할 수 있다. 이러한 해결책들은 단지 예시적인 것이며 차량의 강제적인 핸드오프에 대한 다른 해결책들이 있을 수 있다.
도 39 및 도 40은 본 명세서에 개시된 실시예들에 따라 사용될 수 있는 예시적인 컴퓨터 아키텍처들의 블록 다이어그램들이다. 프로세서들 및 컴퓨팅 시스템들에 대해 본 기술 분야에서 알려진 다른 컴퓨터 아키텍처 설계들이 또한 사용될 수 있다. 일반적으로, 본 명세서에 개시된 실시예들에 적합한 컴퓨터 아키텍처들은 도 39 및 도 40에 예시된 구성들을 포함할 수 있지만, 이들로 제한되지 않는다.
도 39는 일 실시예에 따른 프로세서의 예시적인 예시이다. 프로세서(3900)는 상기 구현들과 관련하여 사용될 수 있는 한 유형의 하드웨어 디바이스의 예이다. 프로세서(3900)는, 마이크로프로세서, 임베디드 프로세서, 디지털 신호 프로세서(DSP), 네트워크 프로세서, 다중 코어 프로세서, 단일 코어 프로세서, 또는 코드를 실행하기 위한 다른 디바이스와 같은, 임의의 유형의 프로세서일 수 있다. 비록 단지 하나의 프로세서(3900)가 도 39에 예시되어 있지만, 프로세싱 요소는 대안적으로 도 39에 예시된 프로세서(3900)를 하나 초과 포함할 수 있다. 프로세서(3900)는 단일 스레드(single-threaded) 코어일 수 있거나, 또는 적어도 일 실시예에서, 프로세서(3900)는 코어당 하나 초과의 하드웨어 스레드 콘텍스트(또는 "논리 프로세서")를 포함할 수 있다는 점에서 다중 스레드(multi-threaded)일 수 있다.
도 39는 또한 실시예에 따른 프로세서(3900)에 결합된 메모리(3902)를 예시한다. 메모리(3902)는 본 기술분야의 통상의 기술자에게 알려져 있거나 다른 방식으로 이용 가능한 바와 같은 매우 다양한 메모리들(메모리 계층구조의 다양한 계층들을 포함함) 중 임의의 것일 수 있다. 그러한 메모리 요소들은 RAM(random access memory), ROM(read only memory), FPGA(field programmable gate array)의 로직 블록들, EPROM(erasable programmable read only memory), 및 EEPROM(electrically erasable programmable ROM)을 포함할 수 있지만, 이들로 제한되지 않는다.
프로세서(3900)는 본 명세서에 상세히 설명된 알고리즘들, 프로세스들, 또는 연산들과 연관된 임의의 유형의 명령어들을 실행할 수 있다. 일반적으로, 프로세서(3900)는 요소 또는 물품(예를 들어, 데이터)을 하나의 상태 또는 사물로부터 다른 상태 또는 사물로 변환시킬 수 있다.
프로세서(3900)에 의해 실행될 하나 이상의 명령어일 수 있는 코드(3904)는 메모리(3902)에 저장될 수 있거나, 또는 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 적합한 조합으로, 또는 적절한 경우 그리고 특정 요구들에 기초하여 임의의 다른 내부 또는 외부 컴포넌트, 디바이스, 요소, 또는 객체에 저장될 수 있다. 일 예에서, 프로세서(3900)는 코드(3904)에 의해 표시된 프로그램 명령어 시퀀스(program sequence of instructions)를 따를 수 있다. 각각의 명령어는 프런트 엔드 로직(3906)에 들어가고 하나 이상의 디코더(3908)에 의해 프로세싱된다. 디코더는 미리 정의된 형식의 고정 폭 마이크로 연산과 같은 마이크로 연산을, 그의 출력으로서, 생성할 수 있거나, 또는 원래의 코드 명령어를 반영하는 다른 명령어들, 마이크로명령어들, 또는 제어 신호들을 생성할 수 있다. 프런트 엔드 로직(3906)은 또한 레지스터 리네이밍 로직(register renaming logic)(3910) 및 스케줄링 로직(3912)을 포함하는데, 이들은 일반적으로 리소스들을 할당하고 실행을 위한 명령어에 대응하는 연산을 큐잉한다.
프로세서(3900)는 또한 실행 유닛들(3916a, 3916b, 3916n 등)의 세트를 갖는 실행 로직(3914)을 포함할 수 있다. 일부 실시예들은 특정 기능들 또는 기능 세트들에 전용된 다수의 실행 유닛들을 포함할 수 있다. 다른 실시예들은 특정 기능을 수행할 수 있는 하나의 실행 유닛만 또는 하나의 실행 유닛을 포함할 수 있다. 실행 로직(3914)은 코드 명령어들에 의해 명시된 연산들을 수행한다.
코드 명령어들에 의해 명시된 연산들의 실행의 완료 이후에, 백 엔드 로직(3918)은 코드(3904)의 명령어들을 회수(retire)할 수 있다. 일 실시예에서, 프로세서(3900)는 비순차 실행(out of order execution)을 가능하게 하지만 명령어들의 순차 회수(in order retirement)를 요구한다. 회수 로직(3920)은 다양한 알려진 형태들(예를 들어, 재정렬 버퍼(re-order buffer) 등)을 취할 수 있다. 이러한 방식으로, 적어도 디코더에 의해 생성되는 출력, 레지스터 리네이밍 로직(3910)에 의해 활용되는 하드웨어 레지스터들 및 테이블들, 그리고 실행 로직(3914)에 의해 수정되는 임의의 레지스터들(도시되지 않음) 면에서, 코드(3904)의 실행 동안 프로세서(3900)가 변환된다.
도 39에 도시되어 있지 않지만, 프로세싱 요소는 프로세서(3900)를 가진 칩 상의 다른 요소들을 포함할 수 있다. 예를 들어, 프로세싱 요소는 프로세서(3900)와 함께 메모리 제어 로직을 포함할 수 있다. 프로세싱 요소는 I/O 제어 로직을 포함할 수 있고/있거나 메모리 제어 로직과 통합된 I/O 제어 로직을 포함할 수 있다. 프로세싱 요소는 또한 하나 이상의 캐시를 포함할 수 있다. 일부 실시예들에서, (플래시 메모리 또는 퓨즈들과 같은) 비휘발성 메모리가 또한 프로세서(3900)를 가진 칩 상에 포함될 수 있다.
도 40은 일 실시예에 따른 포인트 투 포인트(PtP) 구성으로 배열되는 컴퓨팅 시스템(4000)을 예시한다. 특히, 도 40은 프로세서들, 메모리, 및 입출력 디바이스들이 다수의 포인트 투 포인트 인터페이스들에 의해 상호연결되는 시스템을 도시한다. 일반적으로, 본 명세서에 기술된 컴퓨팅 시스템들 중 하나 이상은 컴퓨팅 시스템(3900)과 동일하거나 유사한 방식으로 구성될 수 있다.
프로세서들(4070 및 4080)은 또한 각각이 메모리 요소들(4032 및 4034)과 통신하기 위해 집적 메모리 제어기 로직(MC)(4072 및 4082)을 포함할 수 있다. 대안적인 실시예에서, 메모리 제어기 로직(4072 및 4082)은 프로세서들(4070 및 4080)로부터 분리된 이산 로직(discrete logic)일 수 있다. 메모리 요소들(4032 및/또는 4034)은 본 명세서에 개략적으로 기술된(outlined) 동작들 및 기능을 달성함에 있어서 프로세서들(4070 및 4080)에 의해 사용될 다양한 데이터를 저장할 수 있다.
프로세서들(4070 및 4080)은, 본 명세서에서의 다른 도면들과 관련하여 논의된 것들과 같은, 임의의 유형의 프로세서일 수 있다. 프로세서들(4070 및 4080)은, 제각기, 포인트 투 포인트 인터페이스 회로들(4078 및 4088)을 사용하여 포인트 투 포인트(PtP) 인터페이스(4050)를 통해 데이터를 교환할 수 있다. 프로세서들(4070 및 4080)은 각각이 포인트 투 포인트 인터페이스 회로들(4076, 4086, 4094, 및 4098)을 사용하여 개별 포인트 투 포인트 인터페이스들(4052 및 4054)을 통해 칩세트(4090)와 데이터를 교환할 수 있다. 칩세트(4090)는 또한 PtP 인터페이스 회로일 수 있는 인터페이스(4039)를 통해 고성능 그래픽 회로, 머신 러닝 가속기, 또는 다른 코프로세서(4038)와 같은, 코프로세서(4038)와 데이터를 교환할 수 있다. 대안적인 실시예에서, 도 40에 예시된 PtP 링크들 중 임의의 것 또는 전부는 PtP 링크가 아닌 멀티 드롭 버스(multi-drop bus)로서 구현될 수 있다.
칩세트(4090)는 인터페이스 회로(4096)를 통해 버스(4020)와 통신할 수 있다. 버스(4020)는 그를 통해 통신하는, 버스 브리지(4018) 및 I/O 디바이스들(4016)과 같은, 하나 이상의 디바이스를 가질 수 있다. 버스(4010)를 통해, 버스 브리지(4018)는 (키보드, 마우스, 터치스크린, 또는 다른 입력 디바이스들과 같은) 사용자 인터페이스(4012), (모뎀들, 네트워크 인터페이스 디바이스들, 또는 컴퓨터 네트워크(4060)를 통해 통신할 수 있는 다른 유형의 통신 디바이스들과 같은) 통신 디바이스들(4026), 오디오 I/O 디바이스들(4014), 및/또는 데이터 저장 디바이스(4028)와 같은 다른 디바이스들과 통신할 수 있다. 데이터 저장 디바이스(4028)는 프로세서들(4070 및/또는 4080)에 의해 실행될 수 있는 코드(4030)를 저장할 수 있다. 대안적인 실시예에서, 버스 아키텍처들의 임의의 부분들은 하나 이상의 PtP 링크로 구현될 수 있다.
도 40에 묘사된 컴퓨터 시스템은 본 명세서에서 논의된 다양한 실시예들을 구현하기 위해 이용될 수 있는 컴퓨팅 시스템의 일 실시예의 개략적 예시이다. 도 40에 묘사된 시스템의 다양한 컴포넌트들이 시스템 온 칩(SoC) 아키텍처에 또는 본 명세서에서 제공된 예들 및 구현들의 기능 및 특징들을 달성할 수 있는 임의의 다른 적당한 구성으로 결합될 수 있음이 인식될 것이다.
본 명세서에서 설명되고 예시된 시스템들 및 해결책의 일부가 복수의 요소들을 포함하거나 이들과 연관되어 있는 것으로 기술되었지만, 명시적으로 예시되거나 기술된 모든 요소들이 본 개시의 각각의 대안적 구현에서 이용될 수 있는 것은 아니다. 부가적으로, 본 명세서에 기술된 요소들 중 하나 이상은 시스템의 외부에 위치될 수 있는 반면, 다른 경우에, 특정 요소들은 다른 기술된 요소들은 물론, 예시된 구현에서 기술되지 않은 다른 요소들 중 하나 이상 내에 또는 그의 일 부분으로서 포함될 수 있다. 게다가, 특정 요소들이 다른 컴포넌트들과 결합될 수 있는 것은 물론, 본 명세서에 기술된 그 목적들에 부가하여 대안의 또는 부가의 목적들을 위해 사용될 수 있다.
게다가, 앞서 제시된 예들이 특정 원리들 및 특징들을 예시하기 위한 목적으로만 제공되고 본 명세서에 기술된 개념들의 잠재적 실시예들을 반드시 제한하지는 않는 또는 제약하지는 않는 비제한적 예들임이 인식되어야 한다. 예를 들어, 본 명세서에 기술된 컴포넌트들의 다양한 구현을 통해 실현되는 조합들을 포함하여, 본 명세서에 기술된 특징들 및 컴포넌트들의 다양한 조합들을 이용하여 각종의 상이한 실시예들이 실현될 수 있다. 다른 구현들, 특징들, 및 상세들은 본 명세서의 내용으로부터 인식될 것이다.
비록 본 개시가 특정 구현들 및 일반적으로 연관된 방법들 면에서 설명되었지만, 이러한 구현들 및 방법들의 변경들 및 치환들은 본 기술 분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 본 명세서에 기술된 동작들은 설명된 것과 상이한 순서로 수행될 수 있고 여전히 바람직한 결과들을 달성할 수 있다. 일 예로서, 첨부 도면들에 묘사된 프로세스들은, 원하는 결과들을 달성하기 위해, 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하지는 않는다. 특정 구현들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 부가적으로, 다른 사용자 인터페이스 레이아웃들 및 기능성이 지원될 수 있다. 다른 변형들이 이하의 청구항들의 범위 내에 있다.
본 명세서가 많은 특정 구현 상세들을 포함하고 있지만, 이들이 임의의 발명들의 또는 청구될 수 있는 것의 범위에 대한 제한들로서 해석되어서는 안되고, 오히려 특정의 발명들의 특정의 실시예들에 특정적인 특징들에 대한 설명으로서 해석되어야 한다. 개별적인 구현들의 맥락에서 본 명세서에 기술되는 특정한 특징들이 또한 단일 실시예에서 조합하여 구현될 수 있다. 이와 달리, 단일 실시예의 맥락에서 기술되는 다양한 특징들이 또한 다수의 실시예들에 개별적으로 또는 임의의 적당한 하위 조합(subcombination)으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 기능하는 것으로 위에서 기술되고 심지어 처음에 그 자체로서 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
이와 유사하게, 동작들이 도면에서 특정의 순서로 묘사되지만, 이것은, 바람직한 결과를 달성하기 위해, 그러한 동작들이 도시된 특정의 순서로 또는 순차적 순서로 수행되어야 하거나, 모든 예시된 동작들이 수행되어야 하는 것을 요구하는 것으로 이해되어서는 안된다. 특정 상황에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 앞서 기술된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 기술된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
차량 내 컴퓨팅 시스템들(예를 들면, 자동 운전 스택의 적어도 일 부분을 구현하고 차량의 자동 운전 기능을 가능하게 하는 데 사용됨), 도로변 컴퓨팅 시스템들(예를 들면, 차량과 분리됨; 도로변 전용 캐비닛 내에, 교통 표지판 상에, 교통 신호등 또는 가로등 등 상에 구현됨), 자율 주행 운전 환경을 지원하는 클라우드 기반 또는 포그 기반 시스템을 구현하는 하나 이상의 컴퓨팅 시스템, 또는 자율 주행 운전 환경에서 멀리 떨어진 컴퓨팅 시스템을 포함한, 하나 이상의 컴퓨팅 시스템이 제공될 수 있다. 이러한 컴퓨팅 시스템들은 이하의 예들(또는 그의 부분들) 중 하나 또는 그 조합을 수행하거나 구현하기 위한 하나 이상의 데이터 프로세싱 장치(예를 들면, 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛, 텐서 프로세싱 유닛, ASIC, FPGA 등), 가속기 하드웨어, 다른 하드웨어 회로부, 펌웨어 및/또는 소프트웨어 중 하나 또는 그 조합을 사용하여 구현된 로직을 포함할 수 있다. 예를 들어, 다양한 실시예들에서, 아래의 예시적인 방법의 동작들은, 차량(예를 들면, 105)의 컴퓨팅 시스템 또는 그의 컴포넌트(예를 들면, 프로세서(202), 가속기(204), 통신 모듈(212), 사용자 디스플레이(288), 메모리(206), IX 패브릭(208), 운전 컨트롤들(220), 센서들(225), 사용자 인터페이스(230), 차량 내 프로세싱 시스템(210), 머신 러닝 모델(256), 다른 컴포넌트 또는 이들 중 임의의 것의 서브컴포넌트), 도로변 컴퓨팅 디바이스(140), 포그 기반 또는 클라우드 기반 컴퓨팅 시스템(150), 드론(180) 및 액세스 포인트(145), 센서(예를 들면, 165), 메모리(3602), 프로세서 코어(3600), 시스템(3700), 다른 적합한 컴퓨팅 시스템 또는 디바이스, 이들 중 임의의 것의 서브컴포넌트, 또는 다른 적합한 로직과 같은, 임의의 적합한 로직을 사용하여 수행될 수 있다. 다양한 실시예들에서, 아래의 예시적인 방법의 하나 이상의 특정 동작은 특정 컴포넌트 또는 시스템에 의해 수행될 수 있는 반면, 예시적인 방법의 하나 이상의 다른 동작은 다른 컴포넌트 또는 시스템에 의해 수행될 수 있다. 다른 실시예들에서, 예시적인 방법의 동작들은 각각 동일한 컴포넌트 또는 시스템에 의해 수행될 수 있다.
예 1은 장치를 포함하며, 이 장치는 차량의 복수의 센서들로부터 센서 데이터를 수신하기 위한 적어도 하나의 인터페이스; 및 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는
센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하고; 차량의 자율 제어가 중지되어야 한다고 결정하며; 원격 컴퓨팅 시스템이 원격으로 차량의 운전을 제어하도록 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하고; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하며; 운전 지시 데이터에 포함된 지시들에 기초하여 차량의 운전을 제어한다.
예 2는 예 1의 장치를 포함하고, 여기서 운전 지시 데이터는 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성된다.
예 3은 예 1 및 예 2 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 풀오버 이벤트를 검출하고, 여기서 차량은 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 여기서 핸드오프 요청은 풀오버 이벤트에 응답하여 송신된다.
예 4는 예 1 및 예 2 중 어느 한 예의 장치를 포함하며, 여기서 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 경로 계획의 다가오는 섹션에서의 조건들이 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함한다.
예 5는 예 1 내지 예 4 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 차량의 하나 이상의 손상된 센서의 검출에 기초하여 차량의 자율 제어가 중지되어야 한다고 결정한다.
예 6은 예 1 내지 예 5 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 적격인 승객들이 차량 내에 존재하지 않는다고 결정하며, 여기서 핸드오프 요청은 적격인 승객들이 존재하지 않는다고 결정하는 것에 적어도 부분적으로 기초하여 송신된다.
예 7은 예 1 내지 예 6 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 원격 컴퓨팅 시스템의 인간 사용자에게 차량의 주변 환경의 동적 표현을 제시하기 위해 센서 데이터를 원격 컴퓨팅 시스템으로 송신한다.
예 8은 예 7의 장치를 포함하며, 여기서 센서 데이터는 비디오 데이터를 포함한다.
예 9는 예 1 내지 예 8 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 차량의 제어권이 원격 발레 서비스로 핸드오버된다는 것을 식별해 주기 위해 차량의 승객들에게 경고를 통신한다.
예 10은 예 1 내지 예 9 중 어느 한 예의 장치를 포함하며, 하나 이상의 프로세서는 경로 계획을 따른 조건들의 변화를 검출하고; 원격 컴퓨팅 시스템으로부터 차량의 자율 주행 운전 로직으로 차량의 운전의 제어권을 복원시킨다.
예 11은 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체를 포함하며, 여기서 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 차량의 센서 세트로부터 생성되는 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하는 것; 차량의 자율 제어가 중지되어야 한다고 결정하는 것; 원격 컴퓨팅 시스템이 원격으로 차량의 운전을 제어하도록 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하는 것; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하는 것; 및 운전 지시 데이터에 포함된 지시들에 기초하여 차량의 운전을 제어하는 것을 수행하게 한다.
예 12는 예 11의 매체를 포함하며, 여기서 운전 지시 데이터는 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성된다.
예 13은 예 11 및 예 12 중 어느 한 예의 매체를 포함하며, 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 풀오버 이벤트를 검출하는 것을 수행하게 하고, 여기서 차량은 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 여기서 핸드오프 요청은 풀오버 이벤트에 응답하여 송신된다.
예 14는 예 11 및 예 12 중 어느 한 예의 매체를 포함하며, 여기서 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 경로 계획의 다가오는 섹션에서의 조건들이 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함한다.
예 15는 예 11 내지 예 14 중 어느 한 예의 매체를 포함하며, 여기서 차량 상의 하나 이상의 손상된 센서의 검출에 기초하여 차량의 자율 제어가 중지되어야 한다고 결정된다.
예 16은 예 11 내지 예 15 중 어느 한 예의 매체를 포함하며, 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 적격인 승객들이 차량 내에 존재하지 않는다고 결정하는 것을 수행하게 하고, 여기서 핸드오프 요청은 적격인 승객들이 존재하지 않는다고 결정하는 것에 적어도 부분적으로 기초하여 송신된다.
예 17은 예 11 내지 예 16 중 어느 한 예의 매체를 포함하며, 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 원격 컴퓨팅 시스템의 인간 사용자에게 차량의 주변 환경의 동적 표현을 제시하기 위해 센서 데이터를 원격 컴퓨팅 시스템으로 송신하는 것을 수행하게 한다.
예 18은 예 17의 매체를 포함하며, 여기서 센서 데이터는 비디오 데이터를 포함한다.
예 19는 예 11 내지 예 18 중 어느 한 예의 매체를 포함하며, 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 차량의 제어권이 원격 발레 서비스로 핸드오버된다는 것을 식별해 주기 위해 차량의 승객들에게 경고를 제공하는 것을 수행하게 한다.
예 20은 예 11 내지 예 19 중 어느 한 예의 매체를 포함하며, 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금: 경로 계획을 따른 조건들의 변화를 검출하는 것; 및 원격 컴퓨팅 시스템으로부터 차량의 자율 주행 운전 로직으로 차량의 운전의 제어권을 복원시키는 것을 수행하게 한다.
예 21은 차량의 센서 세트로부터 생성되는 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하기 위한 수단; 차량의 자율 제어가 중지되어야 한다고 결정하기 위한 수단; 원격 컴퓨팅 시스템이 원격으로 차량의 운전을 제어하도록 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하기 위한 수단; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하기 위한 수단; 및 운전 지시 데이터에 포함된 지시들에 기초하여 차량의 운전을 제어하기 위한 수단을 포함하는 시스템을 포함한다.
예 22는 예 21의 시스템을 포함하고, 여기서 운전 지시 데이터는 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성된다.
예 23은 예 21 및 예 22 중 어느 한 예의 시스템을 포함하고, 풀오버 이벤트를 검출하기 위한 수단을 더 포함하고, 여기서 차량은 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 여기서 핸드오프 요청은 풀오버 이벤트에 응답하여 송신된다.
예 24는 예 21의 시스템을 포함하고, 여기서 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 경로 계획의 다가오는 섹션에서의 조건들이 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함한다.
예 25은 차량을 포함하며, 이 차량은 센서 데이터를 생성하기 위한 복수의 센서들; 차량의 이동을 물리적으로 제어하기 위한 제어 시스템; 및 프로세싱 회로부를 포함하고, 프로세싱 회로부는: 제어 시스템과 통신하는 것에 의해 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하고; 차량의 자율 제어가 중지되어야 한다고 결정하며; 원격 컴퓨팅 시스템이 원격으로 차량의 운전을 제어하도록 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하고; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하며; 제어 시스템과 통신하는 것에 의해 운전 지시 데이터에 포함된 지시들에 기초하여 차량의 운전을 제어한다.
예 26은 방법을 포함하며, 이 방법은 컴퓨팅 단말 디바이스에서 인간 사용자를 위한 사용자 인터페이스를 제공하는 단계; 자율적으로 운전하도록 구성된 차량으로부터 핸드오프 요청을 수신하는 단계; 차량 주위의 환경을 기술하는 원격 센서 디바이스들로부터의 센서 데이터를 수신하는 단계; 센서 데이터에 기초하여 사용자 인터페이스 상에 환경의 표현을 제시하는 단계; 표현에 응답하여 컴퓨팅 단말 디바이스에서 사용자 입력들을 수신하는 단계 - 사용자 입력들은 환경 내에서 차량의 운전을 유도하기 위한 입력들을 포함함 -; 및 사용자 입력들에 따라 차량을 원격으로 운전하기 위해 사용자 입력들에 대응하는 지시 데이터를 차량으로 송신하는 단계를 포함한다.
예 27은 예 26의 방법을 포함하고, 여기서 핸드오프 요청은 차량의 위치를 식별해 준다.
예 28은 예 27의 방법을 포함하며, 위치에 대응하는 센서 디바이스들을 결정하는 단계 - 센서 디바이스들은 차량 외부에 있음 -; 및 센서 디바이스들로부터의 보조 센서 데이터에 액세스하는 단계 - 표현은 보조 센서 데이터에 적어도 부분적으로 기초하여 제시됨 - 를 더 포함한다.
예 29은 예 26 내지 예 28 중 어느 한 예의 방법을 포함하며, 여기서 센서 디바이스들은 차량 상의 센서 디바이스들을 포함한다.
예 30은 예 26 내지 예 29 중 어느 한 예의 방법을 포함하며, 여기서 센서 디바이스들은 차량과 분리된 센서 디바이스들을 포함한다.
예 31은 예 26 내지 예 30 중 어느 한 예의 방법을 포함하고, 차량의 운전의 제어권을 차량으로 반환시키기 위한 요청을 차량으로부터 수신하는 단계; 제어권의 반환에 대한 확인을 차량으로 송신하는 단계; 및 차량으로의 지시 데이터의 전송을 중지하는 단계를 더 포함한다.
예 32는 예 26 내지 예 30 중 어느 한 예의 방법을 포함하고, 원격 발레 서비스에 의한 차량의 제어 동안 사용자 입력들에 기초하여 차량의 환경 및 성능을 기술하는 보고 데이터를 생성하는 단계; 및 보고 데이터를 클라우드 기반 시스템으로 송신하는 단계를 더 포함한다.
예 33은 예 26 내지 예 32 중 어느 한 예의 방법을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 34는 예 33의 시스템을 포함하고, 여기서 이 수단은 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 여기서 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금 예 26 내지 예 32 중 어느 한 예의 방법의 적어도 일 부분을 수행하게 한다.
예 35는 방법을 포함하고, 이 방법은 차량 상의 센서 세트로부터 센서 데이터를 생성하는 단계; 차량에 대한 경로 계획을 결정하는 단계; 하나 이상의 머신 러닝 모델 및 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하는 단계; 경로 계획의 다가오는 부분에서의 조건들을 식별하는 단계; 조건들에 기초하여 차량의 운전의 제어권을 원격 발레 서비스로 핸드오프할 기회를 결정하는 단계; 기회에 기초하여 핸드오프 요청을 원격 컴퓨팅 시스템으로 송신하는 단계 - 원격 컴퓨팅 시스템은 원격 발레 서비스를 제공함 -; 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하는 단계; 및 지시 데이터에 포함된 지시들에 응답하여 차량의 운전을 자동화하는 단계를 포함한다.
예 36은 예 35의 방법을 포함하며, 핸드오프 및 핸드오프에 대응하는 조건들을 식별해 주는 보고 데이터를 다른 컴퓨팅 시스템으로 송신하는 단계를 더 포함한다.
예 37은 예 36의 방법을 포함하고, 여기서 보고 데이터는 클라우드 기반 애플리케이션으로 송신된다.
예 38은 예 36 및 예 37 중 어느 한 예의 방법을 포함하며, 여기서 보고 데이터는 도로변 유닛으로 송신된다.
예 39은 예 35 내지 예 38 중 어느 한 예의 방법을 포함하며, 여기서 조건들은 다른 컴퓨팅 시스템으로부터 수신되는 데이터로부터 식별된다.
예 40은 예 39의 방법을 포함하고, 여기서 조건들은 머신 러닝 모델의 적용을 통해 식별되고 다른 시스템으로부터의 데이터는 머신 러닝 모델에 대한 입력으로서 제공된다.
예 41은 예 40의 방법을 포함하고, 여기서 머신 러닝 모델은 원격 발레 서비스로의 핸드오프 또는 풀오버 이벤트 중 어느 하나의 다른 인스턴스들을 보고하는 데이터에 기초하여 트레이닝된다.
예 42는 예 35 내지 예 41 중 어느 한 예의 방법을 포함하며, 여기서 핸드오프 요청은 풀오버 이벤트를 피하기 위해 송신된다.
예 43은 예 35 내지 예 42 중 어느 한 예의 방법을 포함하며, 여기서 기회는 차량의 자율 주행 운전 기능성이 조건들에 비추어 볼 때 열악하게 수행될 것이라는 예측에 대응한다.
예 44는 예 35 내지 예 43 중 어느 한 예의 방법을 포함하며, 여기서 기회는 센서 데이터에 포함된 정보에 적어도 부분적으로 기초하여 결정된다.
예 45는 예 35 내지 예 44 중 어느 한 예의 방법을 포함하고, 추가 데이터에 액세스하는 단계; 추가 데이터에 기초하여 다가오는 경로에 뒤따르는 경로 계획의 다른 부분에서의 조건들의 개선을 예측하는 단계; 및 조건들의 예측된 개선에 기초하여 제어권이 차량으로 반환되도록 요청하기 위해 요청 데이터를 원격 컴퓨팅 시스템으로 송신하는 단계; 및 차량의 운전의 자율 제어를 재개하는 단계를 더 포함한다.
예 46은 예 35 내지 예 45 중 어느 한 예의 방법을 포함하며, 여기서 제어권을 핸드오프할 기회를 결정하는 단계는 풀오버 이벤트를 검출하는 단계를 포함한다.
예 47은 예 46의 방법을 포함하며, 풀오버 이벤트와 연관된 조건들을 센서 데이터로부터 결정하는 단계; 및 조건들을 기술하는 데이터를 원격 컴퓨팅 시스템으로 업로드하는 단계를 더 포함한다.
예 48은 예 35 내지 예 47 중 어느 한 예의 방법을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 49는 예 48의 시스템을 포함하며, 여기서 이 수단은 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체를 포함하고, 여기서 명령어들은, 머신에 의해 실행될 때, 머신으로 하여금 예 35 내지 예 47 중 어느 한 예의 방법의 적어도 일 부분을 수행하게 한다.
예 50는 방법을 포함하고, 이 방법은 차량에 대한 인간 입력에 응답하여 하나 이상의 제어 신호의 제1 세트를 생성하는 단계; 하나 이상의 제어 신호의 제1 세트가 허용 가능하지 않은 가속도를 야기할 것이라고 결정하는 것에 응답하여, 허용 가능한 가속도를 식별하는 단계; 허용 가능한 가속도를 하나 이상의 제어 신호의 제2 세트로 변환하는 단계; 및 하나 이상의 제어 신호의 제1 세트 대신에 하나 이상의 제어 신호의 제2 세트를 차량 작동 시스템에 제공하는 단계를 포함한다.
예 51은 예 50의 방법을 포함하며, 허용 가능한 가속도 값들의 범위를 수신하는 단계; 및 허용 가능한 가속도 값들의 범위로부터 허용 가능한 가속도를 식별하는 단계를 더 포함한다.
예 52는 예 51의 방법을 포함하며, 여기서 허용 가능한 가속도 값들의 범위는 사고 회피 수학적 모델에 따라 결정된다.
예 53은 예 51 및 예 52 중 어느 한 예의 방법을 포함하고, 여기서 허용 가능한 가속도 값들의 범위는 책임 민감성 안전(Responsibility-Sensitive Safety) 모델에 따라 결정된다.
예 54는 예 50 내지 예 53 중 어느 한 예의 방법을 포함하고, 여기서 하나 이상의 제어 신호가 허용 가능하지 않은 가속도를 야기할 것이라고 결정하는 단계는 머신 러닝 모델을 사용하여 하나 이상의 제어 신호를 예상된 가속도로 변환하는 단계를 포함한다.
예 55는 예 50 내지 예 54 중 어느 한 예의 방법을 포함하고, 여기서 허용 가능한 가속도를 하나 이상의 제어 신호의 제2 세트로 변환하는 단계는 차량과 연관된 콘텍스트에 기초하여 허용 가능한 가속도를 변환하는 단계를 포함하며, 여기서 콘텍스트는 차량의 하나 이상의 센서를 통해 수신되는 입력에 기초하여 결정된다.
예 56은 예 55의 방법을 포함하며, 여기서 차량의 하나 이상의 센서를 통해 수신되는 입력은 도로 조건들, 기상 조건들, 타이어 조건들 또는 도로 레이아웃 중 하나 이상을 나타낸다.
예 57은 예 50 내지 예 56 중 어느 한 예의 방법을 포함하고, 여기서 허용 가능한 가속도를 하나 이상의 제어 신호의 제2 세트로 변환하는 단계는 차량의 중량에 기초하여 허용 가능한 가속도를 변환하는 단계를 포함한다.
예 58은 예 50 내지 예 57 중 어느 한 예의 방법을 포함하고, 여기서 허용 가능한 가속도를 식별하는 단계는 허용 가능한 가속도들의 범위로부터, 차량의 운전자에 의해 제공되는 정책 정보에 기초하여, 허용 가능한 가속도를 선택하는 단계를 포함한다.
예 59는 예 50 내지 예 58 중 어느 한 예의 방법을 포함하고, 차량에 대한 인간 입력에 응답하여 하나 이상의 제어 신호의 제3 세트를 생성하는 단계; 및 하나 이상의 제어 신호의 제3 세트가 허용 가능한 가속도를 야기할 것이라고 결정하는 것에 응답하여, 하나 이상의 제어 신호의 제3 세트를 변경 없이 차량 작동 시스템에 제공하는 단계를 더 포함한다.
예 60은 메모리 및 예 50 내지 예 59의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 61은 예 50 내지 예 59의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 62는 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어들은, 실행될 때, 장치를 실현하거나 예 50 내지 예 59 중 어느 하나에서와 같은 방법을 구현한다.
예 63는 방법을 포함하고, 이 방법은, 차량의 컴퓨팅 시스템에 의해, 센서 데이터 및 센서 데이터의 콘텍스트에 기초하여 신호 품질 메트릭을 결정하는 단계; 신호 품질 메트릭에 기초하여, 차량의 제어권의 핸드오프와 연관된 안전 가능성을 결정하는 단계; 및 안전 가능성에 기초하여 차량의 제어권의 핸드오프를 방지하거나 차량의 제어권의 핸드오프를 개시하는 단계를 포함한다.
예 64는 예 63의 방법을 포함하며, 센서 데이터에 기초하여 센서 데이터의 콘텍스트를 결정하기 위해 머신 러닝 모델을 사용하는 단계를 더 포함한다.
예 65는 예 63 및 예 64 중 어느 한 예의 방법을 포함하고, 신호 품질 메트릭에 기초하여 안전 가능성을 결정하기 위해 머신 러닝 모델을 사용하는 단계를 더 포함한다.
예 66은 예 63 내지 예 65 중 어느 한 예의 방법을 포함하고, 센서 데이터 및 센서 데이터의 콘텍스트에 기초하여 신호 품질 메트릭을 결정하기 위해 머신 러닝 모델을 사용하는 단계를 더 포함한다.
예 67은 예 63 내지 예 66 중 어느 한 예의 방법을 포함하고, 차량이 자율적으로 제어되는 동안 차량의 제어 핸드오프와 관련된 안전 가능성을 주기적으로 결정하는 단계를 더 포함한다.
예 68은 예 63 내지 예 67 중 어느 한 예의 방법을 포함하고, 차량의 제어권을 핸드오프하기 위한 인간 운전자로부터의 요청에 응답하여 차량의 제어권의 핸드오프와 연관된 안전 가능성을 결정하는 단계를 더 포함한다.
예 69는 예 63 내지 예 68 중 어느 한 예의 방법을 포함하고, 영역의 고화질 지도가 차량에 이용 가능하지 않은 영역에 차량이 진입하는 것에 응답하여 차량의 제어권의 핸드오프와 연관된 안전 가능성을 결정하는 단계를 더 포함한다.
예 70은 예 63 내지 예 69 중 어느 한 예의 방법을 포함하고, 여기서 신호 품질 메트릭은 적어도 부분적으로 센서 데이터의 신호대 잡음비를 나타낸다.
예 71은 예 63 내지 예 70 중 어느 한 예의 방법을 포함하고, 여기서 신호 품질 메트릭은 적어도 부분적으로 센서 데이터의 분해능을 나타낸다.
예 72는 메모리 및 예 63 내지 예 71의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 73은 예 63 내지 예 71의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 74는 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어들은, 실행될 때, 장치를 실현하거나 예 63 내지 예 71 중 어느 하나에서와 같은 방법을 구현한다.
예 75는 방법을 포함하고, 이 방법은 차량 내부에 위치한 적어도 하나의 센서로부터 센서 데이터를 수집하는 단계; 차량 내부의 사람의 신체 상태를 결정하기 위해 센서 데이터를 분석하는 단계; 및 사람의 신체 상태에 적어도 부분적으로 기초하여 핸드오프 의사 결정을 생성하는 단계 - 핸드오프 의사 결정은 사람이 차량을 안전하게 동작시킬 수 있을 것으로 예상되는지 여부를 나타냄 - 를 포함한다.
예 76은 예 75의 방법을 포함하며, 차량 내부의 사람의 과거 운전 데이터를 식별하는 단계; 및 그 사람의 과거 운전 데이터에 더 기초하여 핸드오프 의사 결정을 생성하는 단계를 더 포함한다.
예 77는 예 75 및 예 76 중 어느 한 예의 방법을 포함하고, 차량 외부의 조건들을 나타내는 콘텍스트를 결정하기 위해 센서 데이터를 분석하는 단계; 및 콘텍스트에 더 기초하여 핸드오프 의사 결정을 생성하는 단계를 더 포함한다.
예 78은 예 75 내지 예 77 중 어느 한 예의 방법을 포함하고, 여기서 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 이미지 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 79는 예 75 내지 예 78 중 어느 한 예의 방법을 포함하고, 여기서 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 오디오 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 80은 예 75 내지 예 79 중 어느 한 예의 방법을 포함하고, 여기서 차량 내부의 사람의 신체 상태는 차량 내부의 사람의 체온 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 81은 예 75 내지 예 80 중 어느 한 예의 방법을 포함하고, 여기서 차량 내부의 사람의 신체 상태는 촉각 센서로부터의 압력 데이터를 포함하는 센서 데이터에 적어도 부분적으로 기초한다.
예 82는 예 75 내지 예 81 중 어느 한 예의 방법을 포함하고, 여기서 차량 내부의 사람의 신체 상태는 사람이 착용한 건강 추적 디바이스로부터 수신되는 데이터에 적어도 부분적으로 기초한다.
예 83은 예 75 및 예 82 중 어느 한 예의 방법을 포함하고, 센서 데이터에 기초하여, 차량 내부의 사람에 의해 수행되는 특정 활동을 결정하는 단계를 더 포함하고; 여기서 차량 내부의 사람의 신체 상태는 결정된 활동에 적어도 부분적으로 기초한다.
예 84는 예 75 내지 예 83 중 어느 한 예의 방법을 포함하고, 차량 내부의 사람 또는 한 명 이상의 승객에 의해 야기되는 소리를 격리시키기 위해 센서 데이터의 오디오 데이터를 프리프로세싱하는 단계를 더 포함하고; 여기서 차량 내부의 사람의 신체 상태는 프리프로세싱된 오디오 데이터에 적어도 부분적으로 기초한다.
예 85는 예 75 내지 예 84 중 어느 한 예의 방법을 포함하고, 여기서 센서 데이터는 다음과 같은 것: 차량에서 재생되는 미디어: 차량 내부의 조명 레벨; 사람과 하나 이상의 대시보드 컨트롤 간의 상호작용성의 정도; 창문 개방 레벨; 또는 객실 내 온도 제어 시스템의 상태; 또는 사람의 전화의 상태 중 하나 이상을 포함한다.
예 86은 예 75 내지 예 85 중 어느 한 예의 방법을 포함하고, 여기서 사람의 신체 상태는 센서 데이터를 입력으로서 사용하는 머신 러닝 알고리즘을 사용하여 수행된다.
예 87은 예 75 내지 예 86 중 어느 한 예의 방법을 포함하고, 핸드오프 의사 결정을 생성하기 위해 머신 러닝 알고리즘을 사용하는 단계를 더 포함한다.
예 88은 메모리 및 예 75 내지 예 87의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 89는 예 75 내지 예 87의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 90은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어들은, 실행될 때, 장치를 실현하거나 예 1 내지 예 13 중 어느 하나에서와 같은 방법을 구현한다.
예 91은 방법을 포함하고, 이 방법은, 자율 주행 차량의 제어기에 의해, 자율 주행 차량을 자율 주행 운전 모드에서 동작시키는 단계; 제어기 이외의 엔티티에 의한 자율 주행 차량의 제어권을 인계받기 위한 요청을 수신하는 단계; 자율 주행 차량의 제어권을 인계받기 위한 요청을 수신하는 것에 응답하여 자격 증명들에 대해 요청 엔티티를 프롬프트하는 단계; 프롬프트에 응답하여 입력을 수신하는 단계; 및 수신된 입력에 기초하여 요청 엔티티를 인증하는 것에 응답하여 자율 주행 차량의 제어권을 인계받기 위한 요청을 허용하는 단계를 포함한다.
예 92는 예 91의 방법을 포함하며, 여기서 자격 증명들에 대해 요청 엔티티를 프롬프트하는 단계는 인증을 위한 생체 인식을 제공하도록 요청 엔티티를 프롬프트하는 단계를 포함한다.
예 93은 예 92의 방법을 포함하며, 여기서 생체 인식은 지문, 음성 인식을 위한 음성 샘플 및 얼굴 인식을 위한 얼굴 샘플 중 하나 이상을 포함한다.
예 94는 예 91 내지 예 93 중 어느 한 예의 방법을 포함하며, 여기서 요청 엔티티는 자율 주행 차량 내부의 사람을 포함한다.
예 95는 예 91 내지 예 93 중 어느 한 예의 방법을 포함하며, 여기서 요청 엔티티는 자율 주행 차량으로부터 멀리 떨어진 사람을 포함한다.
예 96은 예 91 내지 예 93 중 어느 한 예의 방법을 포함하며, 여기서 요청 엔티티는 자율 주행 차량에 근접한 하나 이상의 다른 자율 주행 차량을 포함한다.
예 97은 메모리 및 예 91 내지 예 96의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 98은 예 91 내지 예 96의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 99는, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 91 내지 예 96의 방법들의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 100은 방법을 포함하고, 이 방법은 자율 주행 차량이 인간 입력에 기초하여 제어되는 수동 동작 모드에서 자율 주행 차량을 동작시키는 단계; 자율 주행 차량 내부의 복수의 센서들로부터 센서 데이터를 수신하는 단계; 센서 데이터의 분석에 기초하여, 인간 입력이 안전하지 않다는 것을 검출하는 단계; 및 안전하지 않은 인간 입력을 검출하는 것에 응답하여 자율 주행 동작 모드에서 자율 주행 차량을 동작시키는 단계를 포함한다.
예 101은 예 100의 방법을 포함하며, 여기서 인간 입력이 안전하지 않다는 것을 검출하는 단계는 입력을 제공하는 인간이 주의가 산만하다고 결정하는 단계, 입력을 제공하는 인간이 장애가 있다고 결정하는 단계, 및 입력을 제공하는 인간이 의식 불명이라고 결정하는 단계 중 하나 이상을 포함한다.
예 102는 메모리; 및 예 100 및 예 101의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 103은 예 100 및 예 101의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 104는, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 100 및 예 101의 방법들의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 105는 방법을 포함하고, 이 방법은, 자율 주행 차량의 제어 시스템에 의해, 자율 주행 차량에 결합된 복수의 센서들로부터 획득되는 센서 데이터에 기초하여 자율 주행 동작 모드에서 자율 주행 차량을 동작시키는 단계; 자율 주행 차량의 제어 시스템에 의해, 자율 주행 차량의 승객에 의한 인계 요청을 검출하는 단계; 센서 데이터에 기초하여 자율 주행 차량의 제어 시스템에 의해, 요청된 인계가 안전한지 여부를 결정하는 단계; 및 요청된 인계가 안전하지 않다는 결정에 응답하여 요청된 인계를 차단하는 단계를 포함한다.
예 106은 예 105의 방법을 포함하며, 요청된 인계가 안전하지 않다는 결정에 응답하여 자율 주행 동작 모드를 수정하는 단계를 더 포함한다.
예 107은 예 106의 방법을 포함하며, 결정에 응답하여 입력에 대해 승객을 프롬프트하는 단계; 및 프롬프트에 응답하여 승객으로부터 입력을 수신하는 단계를 더 포함하고; 여기서 자율 주행 동작 모드를 수정하는 단계는 수신된 입력에 기초한다.
예 108은 예 105의 방법을 포함하며, 여기서 자율 주행 차량에 결합된 복수의 센서들은 자율 주행 차량 내부의 내부 센서들을 포함하고, 요청된 인계가 안전한지 여부를 결정하는 단계는 내부 센서들로부터 수신되는 센서 데이터에 기초한다.
예 109는 예 108의 방법을 포함하며, 여기서 내부 센서들은 카메라 및 마이크로폰 중 하나 이상을 포함한다.
예 110은 예 105 내지 예 109 중 어느 한 예의 방법을 포함하고, 요청된 인계가 정상적(regular)이라는 결정에 응답하여 인계 요청을 허용하는 단계를 더 포함한다.
예 111은 예 105 내지 예 109 중 어느 한 예의 방법을 포함하고, 요청된 인계가 안전하지 않다는 결정에 응답하여 인계 요청을 차단하는 단계를 더 포함한다.
예 112는 예 105 내지 예 111 중 어느 한 예의 방법을 포함하며, 여기서 요청된 인계가 안전하지 않은지 여부의 결정은 자율 주행 운전 파이프라인의 감지/인지 페이즈 동안 수행된다.
예 113은 예 105 내지 예 112 중 어느 한 예의 방법을 포함하며, 여기서 요청된 인계를 차단하는 단계는 자율 주행 운전 파이프라인의 실행/제어 페이즈 동안 수행된다.
예 114는 예 107의 방법을 포함하며, 여기서 자율 주행 동작 모드의 수정은 자율 주행 운전 파이프라인의 계획 페이즈 동안 수행된다.
예 115는 메모리 및 예 105 내지 예 114의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 116은 예 105 내지 예 114의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 117은, 적어도 하나의 컴퓨터 프로세서에 의해 실행될 때, 적어도 하나의 컴퓨터 프로세서가 예 105 내지 예 114의 방법들의 동작들을 구현할 수 있게 하도록 동작 가능한 컴퓨터 실행 가능 명령어들을 포함하는 하나 이상의 유형적 컴퓨터 판독 가능 비일시적 저장 매체를 포함하는 제품을 포함한다.
예 118은 방법을 포함하고, 이 방법은, 관리 시스템에 의해, 자율 주행 차량의 적어도 하나의 서브시스템을 모니터링하는 단계; 및 관리 시스템에 의해, 적어도 하나의 서브시스템의 모니터링에 기초하여 제1 자율 레벨로부터 제2 자율 레벨로 자율 주행 차량의 자율성 레벨의 변경을 개시하는 단계를 포함한다.
예 119는 예 118의 방법을 포함하며, 자율 주행 차량의 자율성 레벨의 변경을 원격 감시 시스템에 통신하는 단계를 더 포함한다.
예 120은 예 118 및 예 119 중 어느 한 예의 방법을 포함하고, 자율성 레벨의 이력 및 시간에 따른 센서 상태를 기록하는 단계를 더 포함한다.
예 121은 예 118 내지 예 120 중 어느 한 예의 방법을 포함하고, 여기서 적어도 하나의 서브시스템은 센서 서브시스템을 포함하고 자율성 레벨의 변경은 센서 서브시스템에 대한 변경에 적어도 부분적으로 기초한다.
예 122는 예 118 내지 예 121 중 임의의 하나 이상의 예의 방법을 포함하며, 여기서 적어도 하나의 서브시스템은 계획 서브시스템을 포함하고 자율성 레벨의 변경은 계획 서브시스템에 대한 변경에 적어도 부분적으로 기초한다.
예 123은 예 118 내지 예 122 중 임의의 하나 이상의 예의 방법을 포함하며, 여기서 적어도 하나의 서브시스템은 실행 서브시스템을 포함하고 자율성 레벨의 변경은 실행 서브시스템에 대한 변경에 적어도 부분적으로 기초한다.
예 124는 예 118 내지 예 123 중 임의의 하나 이상의 예의 방법을 포함하며, 여기서 관리 시스템은 적어도 하나의 서브시스템의 기능 보증을 모니터링한다.
예 125는 예 118 내지 예 124 중 임의의 하나 이상의 예의 방법을 포함하며, 여기서 포괄적 인지 관리 시스템은 적어도 하나의 서브시스템의 품질 보증을 모니터링한다.
예 126는 메모리 및 예 118 내지 예 125의 방법들 중 하나 이상을 수행하기 위한, 메모리에 결합된, 프로세싱 회로부를 포함하는 장치를 포함한다.
예 127은 예 118 내지 예 125의 방법들 중 하나 이상을 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 128은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하며, 여기서 명령어들은, 실행될 때, 장치를 실현하거나 예 118 내지 예 125 중 어느 하나에서와 같은 방법을 구현한다.
예 129는 방법을 포함하고, 이 방법은 자율 주행 차량의 시스템 고장을 결정하는 단계; 자율 주행 차량의 자율 레벨이 운전자 인계를 필요로 하지 않는 제1 레벨로 감소될 수 있다고 결정하는 단계; 자율성 레벨이 제1 레벨로 감소될 것임을 운전자에게 경고하는 단계; 및 자율성 레벨을 제1 레벨로 감소시키는 단계를 포함한다.
예 130은 예 129의 방법을 포함하며, 자율 주행 차량의 추가적인 시스템 고장이 있다고 결정하는 단계; 자율 레벨이 제2 레벨로 감소될 수 있다고 결정하는 단계; 자율성 레벨이 제2 레벨로 감소될 것임을 운전자에게 경고하는 단계; 및 자율성 레벨을 제2 레벨로 감소시키는 단계를 더 포함한다.
예 131은 예 129 및 예 130 중 임의의 하나 이상의 예의 방법을 포함하고, 운전자의 관여를 확인하는 단계를 더 포함한다.
예 132는 예 131의 방법을 포함하며, 여기서 운전자의 관여를 확인하는 단계는 운전자를 모니터링하는 단계를 포함한다.
예 133은 예 129 내지 예 132 중 임의의 하나 이상의 예의 방법을 포함하고, 자율 주행 차량의 추가적인 시스템 고장이 있다고 결정하는 단계; 차량의 자율성이 비활성화되어야 한다고 결정하는 단계; 및 차량의 자율성이 비활성화되어야 한다고 결정하는 것에 응답하여 운전자에게 핸드오프하려고 시도하는 단계를 더 포함한다.
예 134는 예 133의 방법을 포함하며, 핸드오프가 성공적인지를 결정하는 단계를 더 포함한다.
예 135는 예 134의 방법을 포함하며, 핸드오프가 성공적인 경우 차량의 자율성을 비활성화시키는 단계를 더 포함한다.
예 136은 예 134의 방법을 포함하며, 핸드오프가 성공적이지 않은 경우 비상 시스템을 활성화시키는 단계를 더 포함한다.
예 137은 예 136의 방법을 포함하며, 여기서 비상 시스템은 자율 주행 차량을 안전 정지시킨다.
예 138은 예 129 내지 예 137 중 임의의 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 139는 예 138의 시스템을 포함하며, 여기서 수단은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 여기서 명령어들은, 실행될 때, 예 129 내지 예 137 중 임의의 하나 이상의 예의 방법을 구현한다.
예 140은 방법을 포함하고, 이 방법은 루트 상의 운전자로의 자율 주행 차량의 적어도 하나의 핸드오프 위치를 결정하는 단계; 운전자의 특성들에 관한 정보를 수신하는 단계; 운전자의 현재 주의 상태에 관한 정보를 수신하는 단계; 및 적어도 하나의 핸드오프 위치 각각 동안의 예상된 운전자 거동을 결정하는 단계를 포함한다.
예 141은 예 140의 방법을 포함하며, 여기서 운전자의 특성들에 관한 정보는 일반 정보를 포함한다.
예 142는 예 140 및 예 141 중 임의의 하나 이상 예의 방법을 포함하며, 여기서 운전자의 특성들에 관한 정보는 운전자에 특정적인 정보를 포함한다.
예 143은 예 140 내지 예 142 중 임의의 하나 이상의 예의 방법을 포함하며, 운전자가 핸드오프할 준비가 되어 있는지 여부를 결정하는 단계를 더 포함한다.
예 144는 예 143의 방법을 포함하며, 운전자가 핸드오프할 준비가 되어 있다는 결정에 응답하여 차량의 제어권을 운전자에게 핸드오버하는 단계를 더 포함한다.
예 145는 예 143의 방법을 포함하며, 운전자가 핸드오프할 준비가 되어 있지 않은 경우 핸드오프에 대한 대안을 계산하는 단계를 더 포함한다.
예 146은 예 145의 방법을 포함하며, 여기서 대안은 대안 루트를 찾는 것을 포함한다.
예 147은 예 145의 방법을 포함하며, 여기서 대안은 차량을 정지시키는 것을 포함한다.
예 148은 예 140 내지 예 147 중 임의의 하나 이상의 예의 방법을 포함하며, 운전자의 특성들에 관한 정보를 업데이트하는 단계를 더 포함한다.
예 149는 예 140 내지 예 148 중 임의의 하나 이상의 예를 수행하기 위한 수단을 포함하는 시스템을 포함한다.
예 150은 예 149의 시스템을 포함하며, 여기서 수단은 명령어들을 포함하는 적어도 하나의 머신 판독 가능 매체를 포함하고, 여기서 명령어들은, 실행될 때, 예 140 내지 예 148 중 임의의 하나 이상의 예의 방법을 구현한다.
예 151은 탑승자 활동 모니터링 모듈; 개인화된 탑승자 능력 데이터베이스; 일반 탑승자 능력 데이터베이스; 핸드오프 예측 모듈; 실행 평가 및 최적화 모듈; 및 핸드오프 처리 모듈을 포함하는 시스템을 포함한다.
따라서, 주제의 특정의 실시예들이 기술되었다. 다른 실시예들이 이하의 청구항들의 범위 내에 있다. 일부 경우에, 청구항들에서 열거된 동작들은 상이한 순서로 수행될 수 있고 바람직한 결과들을 여전히 달성할 수 있다. 그에 부가하여, 첨부 도면들에 묘사된 프로세스들은 바람직한 결과들을 달성하기 위해 도시된 특정의 순서 또는 순차적 순서를 반드시 요구하지는 않는다.

Claims (30)

  1. 장치로서,
    차량의 복수의 센서들로부터 센서 데이터를 수신하기 위한 적어도 하나의 인터페이스; 및
    하나 이상의 프로세서
    를 포함하며, 상기 하나 이상의 프로세서는:
    상기 센서 데이터에 기초하여 경로 계획에 따라 상기 차량의 운전을 자율적으로 제어하고;
    상기 차량의 자율 제어가 중지되어야 한다고 결정하며;
    원격 컴퓨팅 시스템이 원격으로 상기 차량의 운전을 제어하도록 핸드오프 요청을 상기 원격 컴퓨팅 시스템으로 송신하고;
    상기 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하며;
    상기 운전 지시 데이터에 포함된 지시들에 기초하여 상기 차량의 운전을 제어하는, 장치.
  2. 제1항에 있어서, 상기 운전 지시 데이터는 상기 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성되는, 장치.
  3. 제1항에 있어서, 상기 하나 이상의 프로세서는 풀오버 이벤트(pull-over event)를 검출하고, 상기 차량은 상기 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 상기 핸드오프 요청은 상기 풀오버 이벤트에 응답하여 송신되는, 장치.
  4. 제1항에 있어서, 상기 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 상기 경로 계획의 다가오는 섹션에서의 조건들이 상기 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함하는, 장치.
  5. 제1항에 있어서, 상기 하나 이상의 프로세서는 상기 차량의 하나 이상의 손상된 센서의 검출에 기초하여 상기 차량의 자율 제어가 중지되어야 한다고 결정하는, 장치.
  6. 제1항에 있어서, 상기 하나 이상의 프로세서는 적격인 승객들이 상기 차량 내에 존재하지 않는다고 결정하며, 상기 핸드오프 요청은 적격인 승객들이 존재하지 않는다고 결정하는 것에 적어도 부분적으로 기초하여 송신되는, 장치.
  7. 제1항에 있어서, 상기 하나 이상의 프로세서는 상기 원격 컴퓨팅 시스템의 인간 사용자에게 상기 차량의 주변 환경의 동적 표현을 제시하기 위해 상기 센서 데이터를 상기 원격 컴퓨팅 시스템으로 송신하는, 장치.
  8. 제7항에 있어서, 상기 센서 데이터는 비디오 데이터를 포함하는, 장치.
  9. 제1항에 있어서, 상기 하나 이상의 프로세서는 상기 차량의 제어권이 원격 발레 서비스로 핸드오버된다는 것을 식별해 주기 위해 상기 차량의 승객들에게 경고를 통신하는, 장치.
  10. 제1항에 있어서, 상기 하나 이상의 프로세서는:
    상기 경로 계획을 따른 조건들의 변화를 검출하고;
    상기 원격 컴퓨팅 시스템으로부터 상기 차량의 자율 주행 운전 로직으로 상기 차량의 상기 운전의 제어권을 복원시키는, 장치.
  11. 명령어들을 저장하기 위한 컴퓨터 판독 가능 매체로서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금:
    차량의 센서 세트로부터 생성되는 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하는 것;
    상기 차량의 자율 제어가 중지되어야 한다고 결정하는 것;
    원격 컴퓨팅 시스템이 원격으로 상기 차량의 운전을 제어하도록 핸드오프 요청을 상기 원격 컴퓨팅 시스템으로 송신하는 것;
    상기 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하는 것; 및
    상기 운전 지시 데이터에 포함된 지시들에 기초하여 상기 차량의 운전을 제어하는 것
    을 수행하게 하는, 매체.
  12. 제11항에 있어서, 상기 운전 지시 데이터는 상기 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성되는, 매체.
  13. 제11항에 있어서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금: 풀오버 이벤트를 검출하는 것을 수행하게 하고, 상기 차량은 상기 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 상기 핸드오프 요청은 상기 풀오버 이벤트에 응답하여 송신되는, 매체.
  14. 제11항에 있어서, 상기 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 상기 경로 계획의 다가오는 섹션에서의 조건들이 상기 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함하는, 매체.
  15. 제11항에 있어서, 상기 차량 상의 하나 이상의 손상된 센서의 검출에 기초하여 상기 차량의 자율 제어가 중지되어야 한다고 결정되는, 매체.
  16. 제11항에 있어서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금: 적격인 승객들이 상기 차량 내에 존재하지 않는다고 결정하는 것을 수행하게 하고, 상기 핸드오프 요청은 적격인 승객들이 존재하지 않는다고 결정하는 것에 적어도 부분적으로 기초하여 송신되는, 매체.
  17. 제11항에 있어서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금: 상기 원격 컴퓨팅 시스템의 인간 사용자에게 상기 차량의 주변 환경의 동적 표현을 제시하기 위해 상기 센서 데이터를 상기 원격 컴퓨팅 시스템으로 송신하는 것을 수행하게 하는, 매체.
  18. 제17항에 있어서, 상기 센서 데이터는 비디오 데이터를 포함하는, 매체.
  19. 제11항에 있어서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금: 상기 차량의 제어권이 원격 발레 서비스로 핸드오버된다는 것을 식별해 주기 위해 상기 차량의 승객들에게 경고를 제공하는 것을 수행하게 하는, 매체.
  20. 제11항에 있어서, 상기 명령어들은, 머신에 의해 실행될 때, 상기 머신으로 하여금:
    상기 경로 계획을 따른 조건들의 변화를 검출하는 것; 및
    상기 원격 컴퓨팅 시스템으로부터 상기 차량의 자율 주행 운전 로직으로 상기 차량의 상기 운전의 제어권을 복원시키는 것
    을 수행하게 하는, 매체.
  21. 시스템으로서,
    차량의 센서 세트로부터 생성되는 센서 데이터에 기초하여 경로 계획에 따라 차량의 운전을 자율적으로 제어하기 위한 수단;
    상기 차량의 자율 제어가 중지되어야 한다고 결정하기 위한 수단;
    원격 컴퓨팅 시스템이 원격으로 상기 차량의 운전을 제어하도록 핸드오프 요청을 상기 원격 컴퓨팅 시스템으로 송신하기 위한 수단;
    상기 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하기 위한 수단; 및
    상기 운전 지시 데이터에 포함된 지시들에 기초하여 상기 차량의 운전을 제어하기 위한 수단
    을 포함하는 시스템.
  22. 제21항에 있어서, 상기 운전 지시 데이터는 상기 원격 컴퓨팅 시스템에 있는 인간 사용자의 입력들로부터 생성되는, 시스템.
  23. 제21항에 있어서, 풀오버 이벤트를 검출하기 위한 수단을 더 포함하고, 상기 차량은 상기 풀오버 이벤트와 관련하여 풀오버하고 운전을 중지하며, 상기 핸드오프 요청은 상기 풀오버 이벤트에 응답하여 송신되는, 시스템.
  24. 제21항에 있어서, 상기 차량의 자율 제어가 중지되어야 한다고 결정하는 것은, 특정 머신 러닝 모델을 사용하여, 상기 경로 계획의 다가오는 섹션에서의 조건들이 상기 다가오는 섹션에 대한 자율 주행 운전에 어려움을 제공한다고 예측하는 것을 포함하는, 시스템.
  25. 차량으로서,
    센서 데이터를 생성하기 위한 복수의 센서들;
    상기 차량의 이동을 물리적으로 제어하기 위한 제어 시스템; 및
    프로세싱 회로부
    를 포함하고, 상기 프로세싱 회로부는:
    상기 제어 시스템과 통신하는 것에 의해 상기 센서 데이터에 기초하여 경로 계획에 따라 상기 차량의 운전을 자율적으로 제어하고;
    상기 차량의 자율 제어가 중지되어야 한다고 결정하며;
    원격 컴퓨팅 시스템이 원격으로 상기 차량의 운전을 제어하도록 핸드오프 요청을 상기 원격 컴퓨팅 시스템으로 송신하고;
    상기 원격 컴퓨팅 시스템으로부터 운전 지시 데이터를 수신하며;
    상기 제어 시스템과 통신하는 것에 의해 상기 운전 지시 데이터에 포함된 지시들에 기초하여 상기 차량의 운전을 제어하는, 차량.
  26. 방법으로서,
    루트 상의 운전자로의 자율 주행 차량의 적어도 하나의 핸드오프 위치를 결정하는 단계;
    상기 운전자의 특성들에 관한 정보를 수신하는 단계;
    상기 운전자의 현재 주의 상태에 관한 정보를 수신하는 단계; 및
    상기 적어도 하나의 핸드오프 위치 각각 동안의 예상된 운전자 거동을 결정하는 단계
    를 포함하는, 방법.
  27. 방법으로서,
    차량에 대한 인간 입력에 응답하여 하나 이상의 제어 신호의 제1 세트를 생성하는 단계;
    상기 하나 이상의 제어 신호의 제1 세트가 허용 가능하지 않은 가속도를 야기할 것이라고 결정하는 것에 응답하여:
    허용 가능한 가속도를 식별하는 단계;
    상기 허용 가능한 가속도를 하나 이상의 제어 신호의 제2 세트로 변환하는 단계; 및
    상기 하나 이상의 제어 신호의 제1 세트 대신에 상기 하나 이상의 제어 신호의 제2 세트를 차량 작동 시스템에 제공하는 단계
    를 포함하는, 방법.
  28. 방법으로서,
    자율 주행 차량의 제어기에 의해, 상기 자율 주행 차량을 자율 주행 운전 모드에서 동작시키는 단계;
    상기 제어기 이외의 엔티티에 의한 상기 자율 주행 차량의 제어권을 인계받기 위한 요청을 수신하는 단계;
    상기 자율 주행 차량의 제어권을 인계받기 위한 상기 요청을 수신하는 것에 응답하여 자격 증명들에 대해 상기 요청 엔티티를 프롬프트하는 단계;
    상기 프롬프트에 응답하여 입력을 수신하는 단계; 및
    상기 수신된 입력에 기초하여 상기 요청 엔티티를 인증하는 것에 응답하여 상기 자율 주행 차량의 제어권을 인계받기 위한 상기 요청을 허용하는 단계
    를 포함하는, 방법.
  29. 방법으로서,
    자율 주행 차량의 제어 시스템에 의해, 상기 자율 주행 차량에 결합된 복수의 센서들로부터 획득되는 센서 데이터에 기초하여 자율 주행 동작 모드에서 상기 자율 주행 차량을 동작시키는 단계;
    상기 자율 주행 차량의 상기 제어 시스템에 의해, 상기 자율 주행 차량의 승객에 의한 인계 요청을 검출하는 단계;
    상기 센서 데이터에 기초하여 상기 자율 주행 차량의 상기 제어 시스템에 의해, 상기 요청된 인계가 안전한지 여부를 결정하는 단계; 및
    상기 요청된 인계가 안전하지 않다는 결정에 응답하여 상기 요청된 인계를 차단하는 단계
    를 포함하는, 방법.
  30. 방법으로서,
    자율 주행 차량의 시스템 고장을 결정하는 단계;
    상기 자율 주행 차량의 자율 레벨이 운전자 인계를 필요로 하지 않는 제1 레벨로 감소될 수 있다고 결정하는 단계;
    상기 자율성 레벨이 상기 제1 레벨로 감소될 것임을 운전자에게 경고하는 단계; 및
    상기 자율성 레벨을 상기 제1 레벨로 감소시키는 단계
    를 포함하는, 방법.

KR1020217027157A 2019-03-29 2020-03-27 자율 주행 차량 시스템 KR20210134634A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962826955P 2019-03-29 2019-03-29
US62/826,955 2019-03-29
PCT/US2020/025474 WO2020205629A1 (en) 2019-03-29 2020-03-27 Autonomous vehicle system

Publications (1)

Publication Number Publication Date
KR20210134634A true KR20210134634A (ko) 2021-11-10

Family

ID=72666352

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020217027157A KR20210134634A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템
KR1020217027324A KR20210134317A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027299A KR20210134638A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027159A KR20210134635A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020217027324A KR20210134317A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027299A KR20210134638A (ko) 2019-03-29 2020-03-27 자율 차량 시스템
KR1020217027159A KR20210134635A (ko) 2019-03-29 2020-03-27 자율 주행 차량 시스템

Country Status (7)

Country Link
US (4) US20220126878A1 (ko)
EP (4) EP3947094A4 (ko)
JP (4) JP2022525391A (ko)
KR (4) KR20210134634A (ko)
CN (4) CN113508066A (ko)
DE (4) DE112020001649T5 (ko)
WO (4) WO2020205648A1 (ko)

Families Citing this family (431)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220018906A1 (en) * 2014-02-27 2022-01-20 Invently Automotive Inc. Predicting An Outcome Associated With A Driver Of A vehicle
US10475127B1 (en) * 2014-07-21 2019-11-12 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and insurance incentives
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
US20180012492A1 (en) * 2015-02-06 2018-01-11 Delphi Technologies, Inc. Method of automatically controlling an autonomous vehicle based on electronic messages from roadside infrastructure or other vehicles
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ，インク 自律走行車両サービスシステム
EP4220603A1 (en) * 2016-12-23 2023-08-02 Mobileye Vision Technologies Ltd. Navigational system with imposed constraints
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10569784B2 (en) * 2017-09-28 2020-02-25 Waymo Llc Detecting and responding to propulsion and steering system errors for autonomous vehicles
US11215984B2 (en) * 2018-01-09 2022-01-04 Uatc, Llc Systems and methods for controlling an autonomous vehicle
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN112106001B (zh) * 2018-05-09 2024-07-05 上海丰豹商务咨询有限公司 一种车路驾驶任务智能化分配系统和方法
US20210247199A1 (en) * 2018-05-14 2021-08-12 3M Innovative Properties Company Autonomous navigation systems for temporary zones
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11167836B2 (en) 2018-06-21 2021-11-09 Sierra Nevada Corporation Devices and methods to attach composite core to a surrounding structure
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10564641B2 (en) 2018-07-20 2020-02-18 May Mobility, Inc. Multi-perspective system and method for behavioral policy selection by an autonomous agent
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US10768629B2 (en) * 2018-07-24 2020-09-08 Pony Ai Inc. Generative adversarial network enriched driving simulation
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11068544B2 (en) 2018-07-31 2021-07-20 Marvell Asia Pte, Ltd. Systems and methods for generating metadata describing unstructured data objects at the storage edge
DE102018118761A1 (de) * 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren zum zumindest teilautomatisierten Führen eines Kraftfahrzeugs
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020055910A1 (en) 2018-09-10 2020-03-19 Drisk, Inc. Systems and methods for graph-based ai training
CN112752683B (zh) * 2018-09-24 2023-08-01 罗伯特·博世有限公司 用于监控机动脚踏车的方法和设备
KR102637599B1 (ko) * 2018-10-08 2024-02-19 주식회사 에이치엘클레무브 차량간 통신 정보를 이용한 차선변경 제어장치 및 방법과, 그를 위한 성향 정보 산출 장치
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US20200284598A1 (en) * 2019-03-06 2020-09-10 Lyft, Inc. Systems and methods for autonomous vehicle performance evaluation
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技（北京）有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
US11440471B2 (en) * 2019-03-21 2022-09-13 Baidu Usa Llc Automated warning system to detect a front vehicle slips backwards
DE102019204318A1 (de) * 2019-03-28 2020-10-01 Conti Temic Microelectronic Gmbh Automatische Erkennung und Klassifizierung von Adversarial Attacks
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
DE102019205520A1 (de) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Verfahren zum Ermitteln von Fahrverläufen
US11288111B2 (en) * 2019-04-18 2022-03-29 Oracle International Corporation Entropy-based classification of human and digital entities
US11417212B1 (en) * 2019-04-29 2022-08-16 Allstate Insurance Company Risk management system with internet of things
EP3739521A1 (en) * 2019-05-14 2020-11-18 Robert Bosch GmbH Training system for training a generator neural network
US11775770B2 (en) * 2019-05-23 2023-10-03 Capital One Services, Llc Adversarial bootstrapping for multi-turn dialogue model training
US11526174B2 (en) * 2019-06-07 2022-12-13 Tata Consultancy Services Limited Method and a system for hierarchical network based diverse trajectory proposal
DE102019208735B4 (de) * 2019-06-14 2021-12-23 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
US11287829B2 (en) * 2019-06-20 2022-03-29 Cisco Technology, Inc. Environment mapping for autonomous vehicles using video stream sharing
US20200410368A1 (en) * 2019-06-25 2020-12-31 International Business Machines Corporation Extended rule generation
US20200410624A1 (en) * 2019-06-26 2020-12-31 Lyft, Inc. Dynamically adjusting transportation provider pool size
US11727265B2 (en) * 2019-06-27 2023-08-15 Intel Corporation Methods and apparatus to provide machine programmed creative support to a user
US20190318265A1 (en) * 2019-06-28 2019-10-17 Helen Adrienne Frances Gould Decision architecture for autonomous systems
CN110300175B (zh) * 2019-07-02 2022-05-17 腾讯科技（深圳）有限公司 消息推送方法、装置、存储介质及服务器
US12002361B2 (en) * 2019-07-03 2024-06-04 Cavh Llc Localized artificial intelligence for intelligent road infrastructure
US11386229B2 (en) * 2019-07-04 2022-07-12 Blackberry Limited Filtering personally identifiable information from vehicle data
CN110281950B (zh) * 2019-07-08 2020-09-04 睿镞科技(北京)有限责任公司 基于三维声像传感器的载运工具控制与可视化环境体验
JP2021015565A (ja) * 2019-07-16 2021-02-12 トヨタ自動車株式会社 車両制御装置
CN114144699A (zh) * 2019-07-16 2022-03-04 佳能株式会社 光学装置以及设置有光学装置的车载系统和移动设备
JP7310403B2 (ja) * 2019-07-23 2023-07-19 トヨタ自動車株式会社 車両制御装置及び自動運転禁止システム
US11787407B2 (en) * 2019-07-24 2023-10-17 Pony Ai Inc. System and method for sensing vehicles and street
EP3770881B1 (en) * 2019-07-26 2023-11-15 Volkswagen AG Methods, computer programs, apparatuses, a vehicle, and a traffic entity for updating an environmental model of a vehicle
CN110415543A (zh) * 2019-08-05 2019-11-05 北京百度网讯科技有限公司 车辆信息的交互方法、装置、设备以及存储介质
US11482015B2 (en) * 2019-08-09 2022-10-25 Otobrite Electronics Inc. Method for recognizing parking space for vehicle and parking assistance system using the method
US11853863B2 (en) 2019-08-12 2023-12-26 Micron Technology, Inc. Predictive maintenance of automotive tires
US11586194B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network models of automotive predictive maintenance
US11586943B2 (en) 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
US11635893B2 (en) 2019-08-12 2023-04-25 Micron Technology, Inc. Communications between processors and storage devices in automotive predictive maintenance implemented via artificial neural networks
US11775816B2 (en) 2019-08-12 2023-10-03 Micron Technology, Inc. Storage and access of neural network outputs in automotive predictive maintenance
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11748626B2 (en) 2019-08-12 2023-09-05 Micron Technology, Inc. Storage devices with neural network accelerators for automotive predictive maintenance
US11702086B2 (en) 2019-08-21 2023-07-18 Micron Technology, Inc. Intelligent recording of errant vehicle behaviors
US11361552B2 (en) 2019-08-21 2022-06-14 Micron Technology, Inc. Security operations of parked vehicles
US11498388B2 (en) 2019-08-21 2022-11-15 Micron Technology, Inc. Intelligent climate control in vehicles
US11741834B2 (en) * 2019-08-31 2023-08-29 Cavh Llc Distributed driving systems and methods for automated vehicles
US20220242446A1 (en) * 2019-09-02 2022-08-04 Mitsubishi Electric Corporation Automatic driving control device and automatic driving control method
US11435946B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11693562B2 (en) 2019-09-05 2023-07-04 Micron Technology, Inc. Bandwidth optimization for different types of operations scheduled in a data storage device
US11409654B2 (en) 2019-09-05 2022-08-09 Micron Technology, Inc. Intelligent optimization of caching operations in a data storage device
US11436076B2 (en) 2019-09-05 2022-09-06 Micron Technology, Inc. Predictive management of failing portions in a data storage device
US11650746B2 (en) 2019-09-05 2023-05-16 Micron Technology, Inc. Intelligent write-amplification reduction for data storage devices configured on autonomous vehicles
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
US11577756B2 (en) * 2019-09-13 2023-02-14 Ghost Autonomy Inc. Detecting out-of-model scenarios for an autonomous vehicle
US11460856B2 (en) * 2019-09-13 2022-10-04 Honda Motor Co., Ltd. System and method for tactical behavior recognition
US10768620B1 (en) * 2019-09-17 2020-09-08 Ha Q Tran Smart vehicle
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
DE102019214482A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum sicheren zumindest teilautomatisierten Führen eines Kraftfahrzeugs
US11455515B2 (en) * 2019-09-24 2022-09-27 Robert Bosch Gmbh Efficient black box adversarial attacks exploiting input data structure
US11780460B2 (en) * 2019-09-30 2023-10-10 Ghost Autonomy Inc. Determining control operations for an autonomous vehicle
US11645518B2 (en) * 2019-10-07 2023-05-09 Waymo Llc Multi-agent simulations
US11210952B2 (en) * 2019-10-17 2021-12-28 Verizon Patent And Licensing Inc. Systems and methods for controlling vehicle traffic
US20210133493A1 (en) * 2019-10-30 2021-05-06 safeXai, Inc. Disrupting object recognition functionality
US11577757B2 (en) * 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
TWI762828B (zh) * 2019-11-01 2022-05-01 緯穎科技服務股份有限公司 高速序列電腦匯流排的訊號調整方法及其相關電腦系統
CN110764509A (zh) * 2019-11-11 2020-02-07 北京百度网讯科技有限公司 任务调度方法、装置、设备及计算机可读存储介质
KR20210059574A (ko) * 2019-11-15 2021-05-25 한국전자통신연구원 릴레이 노드, 릴레이 네트워크 시스템 및 이의 동작 방법
US11838400B2 (en) * 2019-11-19 2023-12-05 International Business Machines Corporation Image encoding for blockchain
US11454967B2 (en) * 2019-11-20 2022-09-27 Verizon Patent And Licensing Inc. Systems and methods for collecting vehicle data to train a machine learning model to identify a driving behavior or a vehicle issue
US11433892B2 (en) * 2019-12-02 2022-09-06 Gm Cruise Holdings Llc Assertive vehicle detection model generation
KR20210070029A (ko) * 2019-12-04 2021-06-14 삼성전자주식회사 반복적 생성을 통해 출력 콘텐트를 향상시키기 위한 디바이스, 방법, 및 프로그램
EP3832420B1 (en) * 2019-12-06 2024-02-07 Elektrobit Automotive GmbH Deep learning based motion control of a group of autonomous vehicles
KR20210073883A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
CN114730324A (zh) * 2019-12-13 2022-07-08 马维尔亚洲私人有限公司 具有有效率的元数据生成和导出的汽车数据处理系统
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
US11748488B2 (en) * 2019-12-24 2023-09-05 Sixgill Ltd. Information security risk management
WO2021131474A1 (ja) * 2019-12-26 2021-07-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US20210221390A1 (en) * 2020-01-21 2021-07-22 Qualcomm Incorporated Vehicle sensor calibration from inter-vehicle communication
US11709625B2 (en) 2020-02-14 2023-07-25 Micron Technology, Inc. Optimization of power usage of data storage devices
US11531339B2 (en) * 2020-02-14 2022-12-20 Micron Technology, Inc. Monitoring of drive by wire sensors in vehicles
US11511771B2 (en) * 2020-02-17 2022-11-29 At&T Intellectual Property I, L.P. Enhanced navigation and ride hailing
US11873000B2 (en) * 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
US11531865B2 (en) * 2020-02-28 2022-12-20 Toyota Research Institute, Inc. Systems and methods for parallel autonomy of a vehicle
US20210279640A1 (en) * 2020-03-05 2021-09-09 Uber Technologies, Inc. Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations
US11768958B2 (en) * 2020-03-09 2023-09-26 Truata Limited System and method for objective quantification and mitigation of privacy risk
US20210286924A1 (en) * 2020-03-11 2021-09-16 Aurora Innovation, Inc. Generating autonomous vehicle simulation data from logged data
EP3885237A1 (en) * 2020-03-24 2021-09-29 Aptiv Technologies Limited Vehicle, system, and method for determining a position of a moveable element in a vehicle
JP2021157343A (ja) * 2020-03-25 2021-10-07 京セラドキュメントソリューションズ株式会社 データ連携システムおよび匿名化制御システム
CN112512890B (zh) * 2020-04-02 2021-12-07 华为技术有限公司 一种异常驾驶行为识别方法
US11493354B2 (en) * 2020-04-13 2022-11-08 At&T Intellectual Property I, L.P. Policy based navigation control
US12018980B2 (en) * 2020-04-20 2024-06-25 Schlumberger Technology Corporation Dynamic systems and processes for determining a condition thereof
US20210331686A1 (en) * 2020-04-22 2021-10-28 Uatc, Llc Systems and Methods for Handling Autonomous Vehicle Faults
US11945404B2 (en) * 2020-04-23 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking and video information for detecting vehicle break-in
US11790458B1 (en) * 2020-04-23 2023-10-17 State Farm Mutual Automobile Insurance Company Systems and methods for modeling telematics, positioning, and environmental data
CN111413892A (zh) * 2020-04-29 2020-07-14 卡斯柯信号有限公司 面向轨交全自动无人驾驶场景验证的云仿真装置与方法
WO2021222794A1 (en) * 2020-04-30 2021-11-04 Intel Corporation Integrating artificial intelligence into vehicles
KR20210135389A (ko) * 2020-05-04 2021-11-15 현대자동차주식회사 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
US11443045B2 (en) * 2020-05-05 2022-09-13 Booz Allen Hamilton Inc. Methods and systems for explaining a decision process of a machine learning model
US20210347376A1 (en) * 2020-05-07 2021-11-11 Steering Solutions Ip Holding Corporation Autonomous driver-feedback system and method
US11318960B1 (en) * 2020-05-15 2022-05-03 Gm Cruise Holdings Llc Reducing pathogen transmission in autonomous vehicle fleet
KR20210144076A (ko) * 2020-05-21 2021-11-30 현대자동차주식회사 차량 및 그의 안전 운전 지원 방법
CN113763693B (zh) * 2020-06-05 2023-07-14 北京图森未来科技有限公司 一种车辆数据处理方法、装置、介质和设备
US11760361B2 (en) * 2020-06-11 2023-09-19 Waymo Llc Extracting agent intent from log data for running log-based simulations for evaluating autonomous vehicle software
US11769332B2 (en) * 2020-06-15 2023-09-26 Lytx, Inc. Sensor fusion for collision detection
CN113835420A (zh) * 2020-06-23 2021-12-24 上海丰豹商务咨询有限公司 一种用于自动驾驶系统的功能分配系统
WO2021261680A1 (ko) 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
JP2022007246A (ja) * 2020-06-26 2022-01-13 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 鞍乗型車両の制御装置、ライダー支援システム、及び、鞍乗型車両の制御方法
WO2021261167A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 情報処理システム、情報処理装置および情報処理方法
US11807240B2 (en) * 2020-06-26 2023-11-07 Toyota Research Institute, Inc. Methods and systems for evaluating vehicle behavior
US11588830B1 (en) 2020-06-30 2023-02-21 Sequoia Benefits and Insurance Services, LLC Using machine learning to detect malicious upload activity
US11605306B2 (en) * 2020-06-30 2023-03-14 Toyota Research Institute, Inc. Systems and methods for driver training during operation of automated vehicle systems
US11352023B2 (en) 2020-07-01 2022-06-07 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
DE102020208642A1 (de) * 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Anomaliedetektion in technischen Systemen
US20230259895A1 (en) * 2020-07-13 2023-08-17 Grabtaxi Holdings Pte. Ltd. System and method for handling events of a fleet of personal mobility devices
US20220017095A1 (en) * 2020-07-14 2022-01-20 Ford Global Technologies, Llc Vehicle-based data acquisition
JP2023534449A (ja) * 2020-07-15 2023-08-09 アルコン インコーポレイティド 眼科手術用のデジタル画像最適化
DE102020209538A1 (de) * 2020-07-29 2022-02-03 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts
US11915122B2 (en) * 2020-07-29 2024-02-27 Micron Technology, Inc. Gateway for distributing an artificial neural network among multiple processing nodes
CA3126236A1 (en) * 2020-07-29 2022-01-29 Uatc, Llc Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms
JP2022026320A (ja) * 2020-07-30 2022-02-10 株式会社Subaru 運転交代制御装置
US20220036094A1 (en) * 2020-08-03 2022-02-03 Healthcare Integrated Technologies Inc. Method and system for monitoring subjects for conditions or occurrences of interest
US12054164B2 (en) * 2020-08-14 2024-08-06 Nvidia Corporation Hardware fault detection for feedback control systems in autonomous machine applications
JP6935837B1 (ja) 2020-08-20 2021-09-15 トヨタ自動車株式会社 機械学習装置及び機械学習システム
JP7010343B1 (ja) * 2020-08-20 2022-01-26 トヨタ自動車株式会社 機械学習装置
US20220068053A1 (en) * 2020-08-25 2022-03-03 ANI Technologies Private Limited Determination of health status of vehicular systems in vehicles
CL2021002230A1 (es) * 2020-08-27 2022-04-18 Tech Resources Pty Ltd Método y aparatos para coordinar múltiples trayectorias cooperativas de vehículos en redes de carreteras compartidas
US11670120B2 (en) * 2020-08-31 2023-06-06 Toyota Research Institute, Inc. System and method for monitoring test data for autonomous operation of self-driving vehicles
US20220063660A1 (en) * 2020-08-31 2022-03-03 Nissan North America, Inc. Drive Mode Selection
US11769410B2 (en) * 2020-09-01 2023-09-26 Qualcomm Incorporated Techniques for sharing sensor messages in sidelink communications
US20220073085A1 (en) * 2020-09-04 2022-03-10 Waymo Llc Knowledge distillation for autonomous vehicles
US20220076074A1 (en) * 2020-09-09 2022-03-10 Beijing Didi Infinity Technology And Development Co., Ltd. Multi-source domain adaptation with mutual learning
US11615702B2 (en) * 2020-09-11 2023-03-28 Ford Global Technologies, Llc Determining vehicle path
US12091303B2 (en) * 2020-09-14 2024-09-17 Lance A. Stacy Motorized vehicles having sensors and methods of operating the same
EP3967565B1 (en) * 2020-09-14 2022-09-28 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for estimating an environmental condition
KR20220037025A (ko) * 2020-09-16 2022-03-24 현대자동차주식회사 차량의 위치 판단 장치 및 방법
US20220086175A1 (en) * 2020-09-16 2022-03-17 Ribbon Communications Operating Company, Inc. Methods, apparatus and systems for building and/or implementing detection systems using artificial intelligence
US11610412B2 (en) * 2020-09-18 2023-03-21 Ford Global Technologies, Llc Vehicle neural network training
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
CN114283606A (zh) * 2020-09-27 2022-04-05 阿波罗智联(北京)科技有限公司 用于车辆导航的方法、装置、设备、系统和云控平台
US11866070B2 (en) * 2020-09-28 2024-01-09 Guangzhou Automobile Group Co., Ltd. Vehicle control method and apparatus, storage medium, and electronic device
US20220101184A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Mobile ai
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
US20220101336A1 (en) * 2020-09-30 2022-03-31 EMC IP Holding Company LLC Compliant and auditable data handling in a data confidence fabric
US20220108569A1 (en) * 2020-10-06 2022-04-07 Ford Global Technologies, Llc Automated detection of vehicle data manipulation and mechanical failure
KR20220045846A (ko) * 2020-10-06 2022-04-13 현대자동차주식회사 트랙렛의 사전분포모델을 활용한 표적차량의 운동 및 형상 동시 추정방법
DE102020212565A1 (de) * 2020-10-06 2022-04-07 Volkswagen Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm und Verfahren zur Durchführung in einem Fahrzeug
JP2022061874A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両自動走行システム
US20220114433A1 (en) * 2020-10-08 2022-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for enhanced scene perception using vehicle platoon
US20220114888A1 (en) * 2020-10-14 2022-04-14 Deka Products Limited Partnership System and Method for Intersection Navigation
US11927962B2 (en) * 2020-10-15 2024-03-12 Ford Global Technologies, Llc System and method for detecting and addressing errors in a vehicle localization
US20220119004A1 (en) * 2020-10-15 2022-04-21 Atieva, Inc. Defining driving envelope for assisted-driving system
KR20220052430A (ko) * 2020-10-20 2022-04-28 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US20220122456A1 (en) * 2020-10-20 2022-04-21 Here Global B.V. Explanation of erratic driving behavior
US20220122363A1 (en) * 2020-10-21 2022-04-21 Motional Ad Llc IDENTIFYING OBJECTS USING LiDAR
CN112567374A (zh) * 2020-10-21 2021-03-26 华为技术有限公司 一种仿真交通场景文件生成方法及装置
US11516613B1 (en) * 2020-10-22 2022-11-29 Zoox, Inc. Emergency sound localization
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质
CN112257850B (zh) * 2020-10-26 2022-10-28 河南大学 一种基于生成对抗网络的车辆轨迹预测方法
JP7294301B2 (ja) * 2020-10-28 2023-06-20 トヨタ自動車株式会社 移動体、サーバおよび判定プログラム
US20220138325A1 (en) * 2020-10-29 2022-05-05 EMC IP Holding Company LLC Secure enclave pathing configuration for data confidence fabrics
US11500374B2 (en) * 2020-11-03 2022-11-15 Kutta Technologies, Inc. Intelligent multi-level safe autonomous flight ecosystem
KR20220063856A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US12026621B2 (en) * 2020-11-30 2024-07-02 Robert Bosch Gmbh Method and system for low-query black-box universal attacks
US20220173889A1 (en) * 2020-11-30 2022-06-02 Motional Ad Llc Secure Safety-Critical System Log
US20220169286A1 (en) * 2020-12-01 2022-06-02 Scott L. Radabaugh Techniques for detecting and preventing vehicle wrong way driving
US11671857B2 (en) * 2020-12-03 2023-06-06 Mitsubishi Electric Corporation Roadside communication system for monitoring and maintaining sensor data transmission
EP4009001A1 (en) * 2020-12-04 2022-06-08 Zenuity AB Road segment selection along a route to be travelled by a vehicle
US12033445B1 (en) * 2020-12-07 2024-07-09 Amazon Technologies, Inc. Systems and methods for causal detection and diagnosis of vehicle faults
US11734017B1 (en) * 2020-12-07 2023-08-22 Waymo Llc Methods and systems for processing vehicle sensor data across multiple digital signal processing cores virtually arranged in segments based on a type of sensor
CN112455465B (zh) * 2020-12-08 2022-02-01 广州小鹏自动驾驶科技有限公司 一种行驶环境感知方法、装置、电子设备和存储介质
DE102020215852B4 (de) * 2020-12-14 2022-07-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Robuste Ankunftszeitschätzung unter Verwendung von faltenden neuronalen Netzerken (oder anderen Funktionsapproximationen) auf randomisierten Kanalmodellen
JP7363756B2 (ja) * 2020-12-16 2023-10-18 トヨタ自動車株式会社 自動運転システム、自動運転車の制御方法
US20210101619A1 (en) * 2020-12-16 2021-04-08 Mobileye Vision Technologies Ltd. Safe and scalable model for culturally sensitive driving by automated vehicles
US20220198351A1 (en) * 2020-12-17 2022-06-23 Here Global B.V. Contextually defining an interest index for shared and autonomous vehicles
US20220197236A1 (en) * 2020-12-18 2022-06-23 Rockwell Collins, Inc. Hierarchical high integrity automation system
US12082082B2 (en) 2020-12-22 2024-09-03 Intel Corporation Validation and training service for dynamic environment perception based on local high confidence information
US11995991B2 (en) * 2020-12-22 2024-05-28 Stack Av Co. Shared control for vehicles travelling in formation
KR102622243B1 (ko) * 2020-12-23 2024-01-08 네이버 주식회사 리스크 척도를 나타내는 파라미터에 기반하여 훈련된 모델을 사용하여, 주어진 상황에 대한 디바이스의 행동을 결정하는 방법 및 시스템
KR20230124662A (ko) * 2020-12-23 2023-08-25 클리어모션, 아이엔씨. 첨단 운전자 보조 시스템용 지형 기반 인사이트용 시스템및 방법
US20220198921A1 (en) * 2020-12-23 2022-06-23 Sensible 4 Oy Data collection and modeling systems and methods for autonomous vehicles
US20220281456A1 (en) * 2020-12-23 2022-09-08 ClearMotion, Inc. Systems and methods for vehicle control using terrain-based localization
CN112712719B (zh) * 2020-12-25 2022-05-03 阿波罗智联(北京)科技有限公司 车辆控制方法、车路协同系统、路侧设备和自动驾驶车辆
JP7196149B2 (ja) * 2020-12-28 2022-12-26 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US20240078499A1 (en) * 2020-12-30 2024-03-07 Koireader Technologies, Inc. System for monitoring transportation, logistics, and distribution facilities
CN112686161A (zh) * 2020-12-31 2021-04-20 遵义师范学院 基于神经网络的疲劳驾驶检测方法
US11978289B2 (en) * 2021-01-04 2024-05-07 Guangzhou Automobile Group Co., Ltd. Method, apparatus and non-transitory computer readable storage medium for driving evaluation
FR3118671A1 (fr) * 2021-01-06 2022-07-08 Psa Automobiles Sa Méthodes et systèmes pour masquer des données visuelles à caractère personnel enregistrées pour tester une fonction d'aide à la conduite
US11858507B2 (en) * 2021-01-13 2024-01-02 GM Global Technology Operations LLC Methods for cognitive situation awareness using an attention-based event structure
US20220219731A1 (en) * 2021-01-14 2022-07-14 Cavh Llc Intelligent information conversion for automatic driving
US12003966B2 (en) * 2021-01-19 2024-06-04 Qualcomm Incorporated Local misbehavior prevention system for cooperative intelligent transportation systems
US20220237309A1 (en) * 2021-01-26 2022-07-28 EMC IP Holding Company LLC Signal of risk access control
WO2022165525A1 (en) * 2021-01-28 2022-08-04 Drisk, Inc. Systems and methods for autonomous vehicle control
EP4036891A1 (en) * 2021-01-29 2022-08-03 Zenseact AB Unforeseen vehicle driving scenarios
US11975725B2 (en) * 2021-02-02 2024-05-07 Toyota Research Institute, Inc. Systems and methods for updating the parameters of a model predictive controller with learned external parameters generated using simulations and machine learning
JP2022119498A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 車両用シートベルト装置
CN114913501A (zh) * 2021-02-10 2022-08-16 通用汽车环球科技运作有限责任公司 注意力驱动的串流系统
DE102021201512A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs
DE102021201522A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
DE102021104220A1 (de) * 2021-02-23 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft Erhöhen eines Automatisierungsgrads eines Fahrerassistenzsystems eines Kraftfahrzeugs
US11727694B2 (en) * 2021-03-04 2023-08-15 Tangerine Innovation Holding Inc. System and method for automatic assessment of comparative negligence for one or more vehicles involved in an accident
EP4052983B1 (en) * 2021-03-04 2023-08-16 Volvo Car Corporation Method for transitioning a drive mode of a vehicle, drive control system for vehice and vehicle
US11827245B2 (en) 2021-03-09 2023-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for estimating motion of an automated vehicle for cooperative driving
EP4063222A1 (en) * 2021-03-24 2022-09-28 Zenseact AB Precautionary vehicle path planning
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US20220318602A1 (en) * 2021-03-31 2022-10-06 Fujitsu Limited Provision of semantic feedback on deep neural network (dnn) prediction for decision making
JP2024512980A (ja) 2021-04-02 2024-03-21 メイ モビリティー，インコーポレイテッド 不完全な環境情報で自律エージェントを動作させる方法及びシステム
US20220317635A1 (en) * 2021-04-06 2022-10-06 International Business Machines Corporation Smart ecosystem curiosity-based self-learning
US12046046B2 (en) * 2021-04-09 2024-07-23 Magna Electronics, Llc Tagging objects with fault override patterns during calibration of vehicle sensing systems
US20220327930A1 (en) * 2021-04-12 2022-10-13 International Business Machines Corporation Cooperative operation of vehicles
CN113033471A (zh) * 2021-04-15 2021-06-25 北京百度网讯科技有限公司 交通异常检测方法、装置、设备、存储介质以及程序产品
CN114084170A (zh) * 2021-04-15 2022-02-25 上海丰豹商务咨询有限公司 一种服务于cvcs的车载智能单元及其控制方法
US11983933B1 (en) * 2021-04-16 2024-05-14 Zoox, Inc. Boundary aware top-down trajectory prediction
US20220340153A1 (en) * 2021-04-22 2022-10-27 Gm Cruise Holdings Llc Simulated test creation
US11854280B2 (en) * 2021-04-27 2023-12-26 Toyota Research Institute, Inc. Learning monocular 3D object detection from 2D semantic keypoint detection
US11661077B2 (en) 2021-04-27 2023-05-30 Toyota Motor Engineering & Manufacturing North America. Inc. Method and system for on-demand roadside AI service
US11767032B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Direct autonomous vehicle to autonomous vehicle communications
US20220348223A1 (en) * 2021-04-29 2022-11-03 Tusimple, Inc. Autonomous vehicle to oversight system communications
US11767031B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Oversight system to autonomous vehicle communications
US11511772B2 (en) * 2021-04-30 2022-11-29 Deepx Co., Ltd. NPU implemented for artificial neural networks to process fusion of heterogeneous data received from heterogeneous sensors
WO2022235353A1 (en) * 2021-05-07 2022-11-10 Oracle International Corporation Variant inconsistency attack (via) as a simple and effective adversarial attack method
US11892314B2 (en) * 2021-05-17 2024-02-06 International Business Machines Corporation Thermally efficient route selection
JP2022181267A (ja) * 2021-05-26 2022-12-08 株式会社日立製作所 計算システム、計算方法
US12077177B2 (en) * 2021-05-26 2024-09-03 Nissan North America, Inc. Autonomous vehicle control and map accuracy determination based on predicted and actual trajectories of surrounding objects and vehicles
US11565717B2 (en) * 2021-06-02 2023-01-31 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
US20220388538A1 (en) * 2021-06-07 2022-12-08 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
US20220388530A1 (en) * 2021-06-07 2022-12-08 Toyota Motor North America, Inc. Transport limitations from malfunctioning sensors
US11624831B2 (en) * 2021-06-09 2023-04-11 Suteng Innovation Technology Co., Ltd. Obstacle detection method and apparatus and storage medium
US11955020B2 (en) 2021-06-09 2024-04-09 Ford Global Technologies, Llc Systems and methods for operating drone flights over public roadways
WO2022271750A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
KR20220170151A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 내부 네트워크에 대한 침입 대응 방법 및 장치
US20220413502A1 (en) * 2021-06-25 2022-12-29 Here Global B.V. Method, apparatus, and system for biasing a machine learning model toward potential risks for controlling a vehicle or robot
US20220410938A1 (en) * 2021-06-29 2022-12-29 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a moving object
US20230004170A1 (en) * 2021-06-30 2023-01-05 Delta Electronics Int'l (Singapore) Pte Ltd Modular control system and method for controlling automated guided vehicle
US12057016B2 (en) * 2021-07-20 2024-08-06 Autobrains Technologies Ltd Environmental model based on audio
US20230029093A1 (en) * 2021-07-20 2023-01-26 Nissan North America, Inc. Computing Framework for Vehicle Decision Making and Traffic Management
US20230027496A1 (en) * 2021-07-22 2023-01-26 Cnh Industrial America Llc Systems and methods for obstacle detection
JP2023018693A (ja) * 2021-07-28 2023-02-09 株式会社Subaru 車両の制御装置
EP4336297A4 (en) * 2021-07-30 2024-07-10 Huawei Tech Co Ltd FAULT DETECTION METHOD, FAULT DETECTION APPARATUS, SERVER AND VEHICLE
US12012125B2 (en) * 2021-07-30 2024-06-18 Nvidia Corporation Communicating faults to an isolated safety region of a system on a chip
US11657701B2 (en) 2021-08-03 2023-05-23 Toyota Motor North America, Inc. Systems and methods for emergency alert and call regarding driver condition
US11919534B2 (en) * 2021-08-03 2024-03-05 Denso Corporation Driver state guide device and driver state guide method
US20230053243A1 (en) * 2021-08-11 2023-02-16 Baidu Usa Llc Hybrid Performance Critic for Planning Module's Parameter Tuning in Autonomous Driving Vehicles
US11861762B2 (en) * 2021-08-12 2024-01-02 Adobe Inc. Generating synthesized digital images utilizing class-specific machine-learning models
US11769227B2 (en) 2021-08-12 2023-09-26 Adobe Inc. Generating synthesized digital images utilizing a multi-resolution generator neural network
US20230052436A1 (en) * 2021-08-12 2023-02-16 International Business Machines Corporation Intelligent advanced engine braking system
US12060053B1 (en) 2021-08-13 2024-08-13 Oshkosh Defense, Llc Military vehicle with control modes
US12030479B1 (en) 2021-08-13 2024-07-09 Oshkosh Defense, Llc Prioritized charging of an energy storage system of a military vehicle
US11376990B1 (en) 2021-08-13 2022-07-05 Oshkosh Defense, Llc Electrified military vehicle
US11498409B1 (en) 2021-08-13 2022-11-15 Oshkosh Defense, Llc Electrified military vehicle
US12083995B1 (en) 2021-08-13 2024-09-10 Oshkosh Defense, Llc Power export system for a military vehicle
US11988749B2 (en) 2021-08-19 2024-05-21 Argo AI, LLC System and method for hybrid LiDAR segmentation with outlier detection
US20230058508A1 (en) * 2021-08-19 2023-02-23 GM Global Technology Operations LLC System amd method for providing situational awareness interfaces for a vehicle occupant
JP7407152B2 (ja) * 2021-08-20 2023-12-28 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20230056233A1 (en) * 2021-08-20 2023-02-23 Motional Ad Llc Sensor attack simulation system
JP2023031631A (ja) * 2021-08-25 2023-03-09 トヨタ自動車株式会社 運転引継ぎシステム、運転引継ぎ方法
CN113434355B (zh) * 2021-08-26 2021-12-17 苏州浪潮智能科技有限公司 模块验证方法、uvm验证平台、电子设备及存储介质
US20230060261A1 (en) * 2021-09-01 2023-03-02 State Farm Mutual Automobile Insurance Company High Efficiency Isolation of Intersection and Road Crossings for Driving Analytics
WO2023034665A1 (en) * 2021-09-02 2023-03-09 Canoo Technologies Inc. Metamorphic labeling using aligned sensor data
US20230073933A1 (en) * 2021-09-07 2023-03-09 Argo AI, LLC Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components
US11989853B2 (en) * 2021-09-08 2024-05-21 Qualcomm Incorporated Higher-resolution terrain elevation data from low-resolution terrain elevation data
US20210403004A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Driver monitoring system (dms) data management
WO2023043684A1 (en) * 2021-09-14 2023-03-23 University Of Washington Safe occlusion-aware cooperative adaptive cruise control under environmental interference
CN113747500B (zh) * 2021-09-15 2023-07-14 北京航空航天大学 复杂异构移动边缘计算中基于生成对抗式网络的高能效低延迟工作流应用迁移方法
US20230102929A1 (en) * 2021-09-24 2023-03-30 Embark Trucks, Inc. Autonomous vehicle automated scenario characterization
US20230117467A1 (en) * 2021-10-14 2023-04-20 Lear Corporation Passing assist system
DE102021126820A1 (de) * 2021-10-15 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Verarbeitungseinrichtung zum Steuern einer Fahrassistenzfunktion und Fahrassistenzsystem
CN113963200A (zh) * 2021-10-18 2022-01-21 郑州大学 模态数据融合处理方法、装置、设备及存储介质
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統
US11760368B2 (en) * 2021-10-19 2023-09-19 Cyngn, Inc. System and method of same-loop adaptive simulation for autonomous driving
US12088717B2 (en) * 2021-10-25 2024-09-10 Verizon Patent And Licensing Inc. Systems and methods for AI/machine learning-based blockchain validation and remediation
CN114115230B (zh) * 2021-10-25 2023-10-03 武汉理工大学 人机协同的船舶远程驾驶控制方法、系统、装置及介质
US20230130814A1 (en) * 2021-10-27 2023-04-27 Nvidia Corporation Yield scenario encoding for autonomous systems
US11753017B2 (en) * 2021-11-01 2023-09-12 Ford Global Technologies, Llc Systems and methods for providing off-track drivability guidance
US20230138610A1 (en) * 2021-11-02 2023-05-04 Robert Bosch Gmbh Customizing Operational Design Domain of an Autonomous Driving System for a Vehicle Based on Driver's Behavior
US11781878B2 (en) * 2021-11-04 2023-10-10 International Business Machines Corporation Recommend routes in enhanced navigation system
DE102021129085B3 (de) * 2021-11-09 2023-02-02 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Erzeugung eines Modells zur automatisierten Vorhersage von Interaktionen eines Benutzers mit einer Benutzerschnittstelle eines Kraftfahrzeugs, außerdem Datenverarbeitungseinheit für ein Kraftfahrzeug und Kraftfahrzeug
US20230153943A1 (en) * 2021-11-16 2023-05-18 Adobe Inc. Multi-scale distillation for low-resolution detection
US12057013B2 (en) 2021-11-17 2024-08-06 Here Global B.V. Method, apparatus and computer program product for suppressing false positives of road work detection within a road network
WO2023096632A1 (en) * 2021-11-23 2023-06-01 Hitachi, Ltd. Method for false alarm prediction and severity classification in event sequences
DE102021213418A1 (de) * 2021-11-29 2023-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens
US11804080B2 (en) * 2021-11-29 2023-10-31 Institute For Information Industry Method and system for inspecting and scoring vehicle transportation
EP4191451A1 (en) * 2021-12-01 2023-06-07 Nxp B.V. Architecture for monitoring, analyzing, and reacting to safety and cybersecurity events
US20230166766A1 (en) * 2021-12-01 2023-06-01 International Business Machines Corporation Hybrid challenger model through peer-peer reinforcement for autonomous vehicles
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
US20230171275A1 (en) * 2021-12-01 2023-06-01 Gm Cruise Holdings Llc Anomaly detection and onboard security actions for an autonomous vehicle
US20230180018A1 (en) * 2021-12-03 2023-06-08 Hewlett Packard Enterprise Development Lp Radio frequency plan generation for network deployments
DE102021132466B3 (de) 2021-12-09 2023-06-15 Joynext Gmbh Erkennen eines Objekts in der Nähe eines Verkehrsteilnehmers
US11887200B2 (en) * 2021-12-10 2024-01-30 GM Global Technology Operations LLC Systems and methods for enabling yielding decisions, conflict resolution, and user profile generation
US20230185621A1 (en) * 2021-12-15 2023-06-15 Coupang Corp. Computer resource allocation systems and methods for optimizing computer implemented tasks
CN114385113B (zh) * 2021-12-20 2024-07-23 同济大学 基于自适应驾驶风格动态切换模型的测试场景生成方法
US20230192130A1 (en) * 2021-12-22 2023-06-22 Gm Cruise Holdings Llc System and method of using a machine learning model to aid a planning stack to choose a route
KR102418566B1 (ko) * 2021-12-22 2022-07-08 재단법인 지능형자동차부품진흥원 엣지 인프라 기반의 자율 주행 안전 제어 시스템 및 방법
CN114283619A (zh) * 2021-12-25 2022-04-05 重庆长安汽车股份有限公司 一种基于v2x的车辆避障系统、平台构架、方法及车辆
WO2023127654A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
US20230202470A1 (en) * 2021-12-28 2023-06-29 Argo AI, LLC Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
US11973847B2 (en) 2022-01-10 2024-04-30 Ford Global Technologies, Llc Intelligent ticketing and data offload planning for connected vehicles
US20230228860A1 (en) * 2022-01-14 2023-07-20 Honeywell International Inc. Ground map monitor for map-based, vision navigation systems
US20230237802A1 (en) * 2022-01-24 2023-07-27 Tomahawk Robotics Architecture for distributed artificial intelligence augmentation
US20230237783A1 (en) * 2022-01-26 2023-07-27 Ford Global Technologies, Llc Sensor fusion
US11999386B2 (en) 2022-01-31 2024-06-04 Stack Av Co. User interfaces for autonomy state control and alerts
US11954916B2 (en) * 2022-02-07 2024-04-09 GM Global Technology Operations LLC Systems and methods for classifying detected objects in an image at an automated driving system
EP4224288A1 (en) * 2022-02-07 2023-08-09 Robert Ohrenstein Gaze direction determination apparatus
WO2023152638A1 (en) * 2022-02-08 2023-08-17 Mobileye Vision Technologies Ltd. Knowledge distillation techniques
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
US20230260387A1 (en) * 2022-02-15 2023-08-17 Johnson Controls Tyco IP Holdings LLP Systems and methods for detecting security events in an environment
US12005914B2 (en) * 2022-02-22 2024-06-11 Mitsubishi Electric Research Laboratories, Inc. Method and system for driving condition-agnostic adaptation of advanced driving assistance systems
US12038870B2 (en) * 2022-02-24 2024-07-16 GM Global Technology Operations LLC System and apparatus for on-demand, feature focused data collection in autonomous vehicles and autonomous driving systems
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN116811908A (zh) * 2022-03-21 2023-09-29 通用汽车环球科技运作有限责任公司 与恶意v2v消息检测相关联的信誉分数管理系统和方法
CN114596574A (zh) * 2022-03-22 2022-06-07 北京百度网讯科技有限公司 文本识别方法、装置、电子设备和介质
TWI812102B (zh) * 2022-03-23 2023-08-11 國立高雄大學 二無人載具協同導航方法與系統
JP2023142475A (ja) * 2022-03-25 2023-10-05 ロジスティード株式会社 運行支援方法、運行支援システム及びサーバ
CN114780655A (zh) * 2022-03-28 2022-07-22 阿波罗智联(北京)科技有限公司 模型训练和地图数据处理方法、装置、设备及存储介质
US20230315899A1 (en) * 2022-03-30 2023-10-05 Amazon Technologies, Inc. Synthetic data generation
US20230311898A1 (en) * 2022-03-30 2023-10-05 Rivian Ip Holdings, Llc Recommending activities for occupants during vehicle servicing
US12026996B2 (en) * 2022-04-04 2024-07-02 Ford Global Technologies, Llc Vehicle data storage activation
EP4258140A1 (en) * 2022-04-06 2023-10-11 Elektrobit Automotive GmbH Face anonymization using a generative adversarial network
WO2023200638A2 (en) * 2022-04-13 2023-10-19 James Tagg Blockchain-based dynamic cellular network with proof-of-service
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
US20230329612A1 (en) * 2022-04-14 2023-10-19 Micron Technology, Inc. Determining driver capability
US12091001B2 (en) * 2022-04-20 2024-09-17 Gm Cruise Holdings Llc Safety measurement of autonomous vehicle driving in simulation
CN114779752B (zh) * 2022-04-21 2024-06-07 厦门大学 网络攻击下智能电动车辆轨迹跟踪控制方法
CN114973707B (zh) * 2022-04-25 2023-12-01 天地（常州）自动化股份有限公司 煤矿井下巷道岔路口的联合管控方法
US12062281B1 (en) * 2022-05-02 2024-08-13 John Gregory Baker Roadway sight restriction early warning alarm system
US11507041B1 (en) * 2022-05-03 2022-11-22 The Florida International University Board Of Trustees Systems and methods for boosting resiliency of a power distribution network
DE102022204557A1 (de) 2022-05-10 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes verfahren zur verhinderung von funktionsverlust bei verbindungsstörung zu einem backend in einem kommunikationssystem
DE102022204862A1 (de) * 2022-05-17 2023-11-23 Robert Bosch Gesellschaft mit beschränkter Haftung Update einer Software eines Fahrzeugs auf Basis von Fahrzeugfelddaten
US11623658B1 (en) * 2022-05-19 2023-04-11 Aurora Operations, Inc. System and method for generating information on remainder of measurement using sensor data
US20230406287A1 (en) * 2022-05-25 2023-12-21 GM Global Technology Operations LLC Data fusion-centric method and system for vehicle motion control
CN114839998B (zh) * 2022-05-26 2024-09-10 四川轻化工大学 面向供能有限的移动机器人节能路径规划方法
CN114973676B (zh) * 2022-05-27 2023-08-29 重庆大学 一种快速路车道缩减区的混合交通众从牵制控制方法
DE102022113992A1 (de) 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
US20230399016A1 (en) * 2022-06-14 2023-12-14 Gm Cruise Holdings Llc Multi-mode vehicle controller
FR3136882A1 (fr) * 2022-06-21 2023-12-22 Psa Automobiles Sa Procédé et dispositif de prédiction d’une capacité à rouler d’un véhicule à la suite d’un accident
DE102022206280B4 (de) * 2022-06-23 2024-01-18 Zf Friedrichshafen Ag Computer-implementiertes Verfahren und Vorrichtung zum Bestimmen eines Steuerbefehls zum Steuern eines Fahrzeugs
US20230419271A1 (en) * 2022-06-24 2023-12-28 Gm Cruise Holdings Llc Routing field support to vehicles for maintenance
CN115042783A (zh) * 2022-06-28 2022-09-13 重庆长安汽车股份有限公司 一种车辆速度规划方法、装置、电子设备及介质
US20240001951A1 (en) * 2022-06-30 2024-01-04 Nissan North America, Inc. Vehicle notification system
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
US12071161B1 (en) * 2022-07-06 2024-08-27 Waymo Llc Intervention behavior prediction
EP4307079A1 (en) * 2022-07-12 2024-01-17 Koa Health Digital Solutions S.L.U. Method and system for optimizing model accuracy, battery consumption and data storage amounts
DE102022117676A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
DE102022117683A1 (de) 2022-07-14 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, sowie Computerprogramm zum Trainieren eines zum Betreiben eines Fahrzeugs ausgebildeten neuronalen Netzes und zum Betreiben eines Fahrzeugs mit einem neuronalen Netz
US11698910B1 (en) * 2022-07-21 2023-07-11 Plusai, Inc. Methods and apparatus for natural language-based safety case discovery to train a machine learning model for a driving system
DE102022207506A1 (de) * 2022-07-22 2024-01-25 Continental Automotive Technologies GmbH Vorrichtung und Verfahren zum Bereitstellen von Informationen und Unterhaltung in einem Kraftfahrzeug
CN115378653B (zh) * 2022-07-25 2024-04-23 中国电子科技集团公司第三十研究所 一种基于lstm和随机森林的网络安全态势感知与预测方法及系统
CN115114338B (zh) 2022-07-26 2022-12-20 成都秦川物联网科技股份有限公司 智慧城市公共场所人流量统计与调控方法及物联网系统
EP4316937A1 (en) * 2022-08-04 2024-02-07 e.solutions GmbH Electronic apparatus for trainable vehicle component setting and vehicle
US20240051568A1 (en) * 2022-08-09 2024-02-15 Motional Ad Llc Discriminator network for detecting out of operational design domain scenarios
KR20240021580A (ko) * 2022-08-10 2024-02-19 현대자동차주식회사 자율주행 데이터 관리 장치 및 그 방법
US20240051581A1 (en) * 2022-08-15 2024-02-15 Motional Ad Llc Determination of an action for an autonomous vehicle in the presence of intelligent agents
DE102022122110A1 (de) 2022-09-01 2024-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum fahren in einem parkbereich
CN117697733A (zh) * 2022-09-09 2024-03-15 北京极智嘉科技股份有限公司 一种机器人调度方法和装置
CN118043841A (zh) * 2022-09-11 2024-05-14 株式会社斯巴鲁 车辆服务提供系统
TWI807997B (zh) * 2022-09-19 2023-07-01 財團法人車輛研究測試中心 感測器融合之時序同步方法
WO2024059925A1 (en) * 2022-09-20 2024-03-28 Huawei Technologies Canada Co., Ltd. Systems and methods for cooperative perception
CN115489597B (zh) * 2022-09-27 2024-08-23 吉林大学 一种适用于线控四轮转向智能汽车的转角控制系统
DE102022125227A1 (de) 2022-09-29 2024-04-04 Cariad Se Verfahren und System zum Abgleichen von Fahrzeugmodellen zwischen Recheneinrichtungen bei einer Zugangskontrolle in eine Zone, in welche ein Fahrzeug einzufahren versucht, sowie entsprechenden Recheneinrichtungen
US20240116512A1 (en) * 2022-10-06 2024-04-11 Ford Global Technologies, Llc Drive mode adaptation systems and methods using wheel sensor data
DE102022125794A1 (de) 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem
US20240124020A1 (en) * 2022-10-13 2024-04-18 Zoox, Inc. Stopping action of an autonomous vehicle
US20240227854A9 (en) * 2022-10-20 2024-07-11 Industry-Academic Cooperation Foundation, Dankook University System for providing autonomous driving safety map service
EP4357212A1 (en) * 2022-10-21 2024-04-24 Zenseact AB Ads development
CN115439719B (zh) * 2022-10-27 2023-03-28 泉州装备制造研究所 一种针对对抗攻击的深度学习模型防御方法及模型
US20240149881A1 (en) * 2022-11-04 2024-05-09 Gm Cruise Holdings Llc Using mapping data for generating perception-impacting environmental features for autonomous vehicles
US20240157977A1 (en) * 2022-11-16 2024-05-16 Toyota Research Institute, Inc. Systems and methods for modeling and predicting scene occupancy in the environment of a robot
US20240166236A1 (en) * 2022-11-17 2024-05-23 Gm Cruise Holdings Llc Filtering autonomous driving simulation scenarios
US20240168169A1 (en) * 2022-11-23 2024-05-23 Gm Cruise Holdings Llc Attributing sensor realism gaps to sensor modeling parameters
KR102533711B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
KR102533710B1 (ko) * 2022-11-24 2023-05-18 한국전자기술연구원 회전교차로에서의 차량 주행 제어 장치
US11691632B1 (en) * 2022-12-06 2023-07-04 Mercedes-Benz Group AG Vehicle simulating method and system
CN116152887B (zh) * 2022-12-08 2023-09-26 山东省人工智能研究院 一种基于ds证据理论的动态人脸表情识别方法
US11697435B1 (en) * 2022-12-09 2023-07-11 Plusai, Inc. Hierarchical vehicle action prediction
US12027053B1 (en) 2022-12-13 2024-07-02 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle
CN115907591B (zh) * 2022-12-15 2024-07-02 浙江蓝景科技有限公司杭州分公司 一种海洋云仓污染物运输车辆异常行为预警方法和系统
DE102022133370A1 (de) 2022-12-15 2024-06-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Neukalibrieren eines Sensors einer Vorrichtung
US20240214812A1 (en) * 2022-12-21 2024-06-27 Qualcomm Incorporated Mitigating the effects of disinforming rogue actors in perceptive wireless communications
DE102023100418A1 (de) 2023-01-10 2024-07-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Nachverfolgung des lateralen Abstands eines Objektes
CN115933412B (zh) * 2023-01-12 2023-07-14 中国航发湖南动力机械研究所 基于事件触发预测控制的航空发动机控制方法及装置
US20240248983A1 (en) * 2023-01-25 2024-07-25 Crowdstrike, Inc. Data-only decision validation models to update false predictions
CN116030418B (zh) * 2023-02-14 2023-09-12 北京建工集团有限责任公司 一种汽车吊运行状态监测系统及方法
WO2024176438A1 (ja) * 2023-02-24 2024-08-29 三菱電機株式会社 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法
WO2024179669A1 (en) * 2023-02-28 2024-09-06 Siemens Aktiengesellschaft Method and apparatus for determine a risk profile of a traffic participant of a traffic scenario
US20240294189A1 (en) * 2023-03-01 2024-09-05 Continental Automotive Systems, Inc. Crash avoidance via intelligent infrastructure
US20240294177A1 (en) * 2023-03-01 2024-09-05 Continental Automotive Systems, Inc. Crash avoidance via intelligent infrastructure
CN115991186B (zh) * 2023-03-06 2023-08-11 郑州轻工业大学 一种防晕车自动驾驶车辆纵横向控制方法
CN116067434B (zh) * 2023-03-07 2023-07-04 中铁大桥局集团有限公司 一种大节段桥梁的可视化安装系统和安装方法
CN115951325B (zh) * 2023-03-15 2023-06-02 中国电子科技集团公司第十五研究所 基于BiGRU的多舰船目标跟踪方法、存储介质及产品
CN118509351A (zh) * 2023-04-26 2024-08-16 苏州维格纳信息科技有限公司 基于区块链的信息传输管理系统
CN116226788B (zh) * 2023-05-06 2023-07-25 鹏城实验室 一种融合多种数据类型的建模方法及相关设备
CN116546458B (zh) * 2023-05-09 2024-08-13 西安电子科技大学 混合交通场景下的车联网双向多跳通信的方法
CN116665064B (zh) * 2023-07-27 2023-10-13 城云科技（中国）有限公司 基于生成蒸馏与特征扰动的城市变化图生成方法及其应用
US12046137B1 (en) * 2023-08-02 2024-07-23 Plusai, Inc. Automatic navigation based on traffic management vehicles and road signs
CN117152093B (zh) * 2023-09-04 2024-05-03 山东奇妙智能科技有限公司 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN117278328B (zh) * 2023-11-21 2024-02-06 广东车卫士信息科技有限公司 基于车联网的数据处理方法及系统
CN117395726B (zh) * 2023-12-12 2024-03-01 江西师范大学 一种基于路径规划的移动边缘计算服务迁移方法
CN118450404A (zh) * 2024-07-02 2024-08-06 北京邮电大学 一种合同激励的异构数据传输方法与装置

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374042B2 (ja) * 1997-05-16 2003-02-04 本田技研工業株式会社 車車間通信方法
US9075136B1 (en) * 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
JP2006085285A (ja) * 2004-09-14 2006-03-30 Matsushita Electric Ind Co Ltd 危険車両予測装置
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
TWI314115B (en) * 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5278667B2 (ja) * 2008-08-06 2013-09-04 株式会社デンソー 車両用シート空調システム
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US11067405B2 (en) * 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013074901A2 (en) 2011-11-16 2013-05-23 Flextronics Ap, Llc Control of device features based on vehicle indications and state
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
JP2014167438A (ja) * 2013-02-28 2014-09-11 Denso Corp 情報通知装置
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US10007263B1 (en) * 2014-11-13 2018-06-26 State Farm Mutual Automobile Insurance Company Autonomous vehicle accident and emergency response
EP3240714B1 (en) * 2014-12-29 2023-08-30 Robert Bosch GmbH Systems and methods for operating autonomous vehicles using personalized driving profiles
JP6237725B2 (ja) * 2015-07-27 2017-11-29 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
US20180208209A1 (en) * 2015-09-08 2018-07-26 Apple Inc. Comfort profiles
US9738287B2 (en) * 2015-09-15 2017-08-22 Ford Global Technologies, Llc Preconditioning for vehicle subsystems
US10139828B2 (en) * 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
JP2017062700A (ja) * 2015-09-25 2017-03-30 株式会社デンソー 制御装置、及び車両制御システム
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
JP2017081195A (ja) * 2015-10-22 2017-05-18 株式会社デンソー 車両用空調装置
JP6462146B2 (ja) * 2015-11-05 2019-01-30 株式会社日立製作所 移動体移動システム及び移動経路選択方法
US11023515B2 (en) * 2015-11-30 2021-06-01 Faraday & Future Inc. Infotainment based on vehicle navigation data
US10065517B1 (en) * 2016-01-22 2018-09-04 State Farm Mutual Automobile Insurance Company Autonomous electric vehicle charging
US10035519B2 (en) * 2016-03-15 2018-07-31 GM Global Technology Operations LLC System and method for autonomous vehicle driving behavior modification
DE102016205153A1 (de) * 2016-03-29 2017-10-05 Avl List Gmbh Verfahren zum Erzeugen von Steuerdaten für ein regelbasiertes Unterstützen eines Fahrers
US10872379B1 (en) * 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US9877470B2 (en) * 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10059346B2 (en) * 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
KR102521934B1 (ko) * 2016-06-13 2023-04-18 삼성디스플레이 주식회사 터치 센서 및 이를 이용한 터치 감지 방법
US10719083B2 (en) * 2016-07-01 2020-07-21 Uatc, Llc Perception system for autonomous vehicle
US20180012196A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Vehicle maintenance manager
US11443395B2 (en) * 2016-07-19 2022-09-13 Redmon Jeang LLC Mobile legal counsel system and method
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
DE112016007163T5 (de) * 2016-08-22 2019-05-09 Mitsubishi Electric Corporation Informationsdarstellungsvorrichtung, Informationsdarstellungssystem und Informationsdarstellungsverfahren
KR101891599B1 (ko) 2016-09-30 2018-08-24 엘지전자 주식회사 자율 주행 차량의 제어방법과 서버
US9823657B1 (en) * 2016-11-02 2017-11-21 Smartdrive Systems, Inc. Measuring operator readiness and readiness testing triggering in an autonomous vehicle
JP6647423B2 (ja) * 2016-11-18 2020-02-14 三菱電機株式会社 運転支援装置および運転支援方法
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
DE102016225606B4 (de) * 2016-12-20 2022-12-29 Audi Ag Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs
JP6513069B2 (ja) 2016-12-27 2019-05-15 本田技研工業株式会社 運転支援装置および運転支援方法
US10268195B2 (en) * 2017-01-06 2019-04-23 Qualcomm Incorporated Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria
JP7012933B2 (ja) * 2017-03-23 2022-01-31 東芝情報システム株式会社 運転支援装置および運転支援システム
JP6524144B2 (ja) * 2017-06-02 2019-06-05 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ
US10831190B2 (en) * 2017-08-22 2020-11-10 Huawei Technologies Co., Ltd. System, method, and processor-readable medium for autonomous vehicle reliability assessment
US10649458B2 (en) * 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US20180022348A1 (en) * 2017-09-15 2018-01-25 GM Global Technology Operations LLC Methods and systems for determining lane health from an autonomous vehicle
US20200228988A1 (en) * 2017-09-29 2020-07-16 Lg Electronics Inc. V2x communication device and method for inspecting forgery/falsification of key thereof
US11086317B2 (en) * 2018-03-30 2021-08-10 Intel Corporation Emotional adaptive driving policies for automated driving vehicles
JP7087623B2 (ja) * 2018-04-19 2022-06-21 トヨタ自動車株式会社 車両の制御装置
US11104334B2 (en) * 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals
US10902726B2 (en) * 2018-08-23 2021-01-26 Intel Corporation Rogue vehicle detection and avoidance
US11192543B2 (en) * 2018-12-21 2021-12-07 Ford Global Technologies, Llc Systems and methods for automated stopping and/or parking of autonomous vehicles
US11186241B2 (en) * 2019-01-30 2021-11-30 Cobalt Industries Inc. Automated emotion detection and environmental response
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles

Also Published As

Publication number Publication date
US20220161815A1 (en) 2022-05-26
JP2022524920A (ja) 2022-05-11
EP3947081A1 (en) 2022-02-09
EP3947080A1 (en) 2022-02-09
DE112020001642T5 (de) 2022-03-10
KR20210134635A (ko) 2021-11-10
EP3947080A4 (en) 2023-06-21
EP3947095A1 (en) 2022-02-09
EP3947081A4 (en) 2023-06-21
DE112020001643T5 (de) 2022-06-15
US20220126878A1 (en) 2022-04-28
KR20210134638A (ko) 2021-11-10
KR20210134317A (ko) 2021-11-09
DE112020001649T5 (de) 2022-04-21
JP2022525586A (ja) 2022-05-18
JP2022525391A (ja) 2022-05-13
CN113811473A (zh) 2021-12-17
US20220126863A1 (en) 2022-04-28
EP3947094A1 (en) 2022-02-09
WO2020205597A1 (en) 2020-10-08
WO2020205629A1 (en) 2020-10-08
US20220126864A1 (en) 2022-04-28
EP3947095A4 (en) 2023-10-18
JP7460044B2 (ja) 2024-04-02
CN113825689A (zh) 2021-12-21
CN113508066A (zh) 2021-10-15
DE112020001663T5 (de) 2022-03-24
JP2022524932A (ja) 2022-05-11
WO2020205655A1 (en) 2020-10-08
EP3947094A4 (en) 2022-12-14
WO2020205648A1 (en) 2020-10-08
CN113811474A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
US20220126878A1 (en) Autonomous vehicle system
US11548518B2 (en) Subjective route comfort modeling and prediction
US11112793B2 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20230004157A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
KR102533096B1 (ko) 모바일 센서 플랫폼
KR102366795B1 (ko) 차량 플랫폼을 위한 장치 및 방법
US20190197430A1 (en) Personalized ride experience based on real-time signals
US11634145B2 (en) Systems and methods for detecting and dynamically mitigating driver fatigue
US20190064805A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
US20190064800A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
JP2024023534A (ja) 車両、ロボットまたはドローンを遠隔監視するシステムおよび方法
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
US20180061237A1 (en) Modifying Behavior of Autonomous Vehicle Based on Advanced Predicted Behavior Analysis of Nearby Drivers
US12043273B2 (en) Vehicle disengagement simulation and evaluation
US20190064803A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
WO2020226014A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113272749B (zh) 自主车辆引导权限框架
WO2021090897A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20190064802A1 (en) Mixed-mode driving of a vehicle having autonomous driving capabilities
WO2019046204A1 (en) MIXED-MODE DRIVING OF A VEHICLE HAVING AUTONOMOUS DRIVING CAPABILITIES
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2022050108A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理端末
US20240059323A1 (en) Dynamic emergency detection and automated responses
WO2023277012A1 (ja) 情報処理システム及び情報処理装置
US20240317304A1 (en) Information processing device and information processing system

Legal Events

Date Code Title Description
A201 Request for examination