KR20200106131A - 긴급 상황 시의 차량의 동작 - Google Patents

긴급 상황 시의 차량의 동작 Download PDF

Info

Publication number
KR20200106131A
KR20200106131A KR1020200025208A KR20200025208A KR20200106131A KR 20200106131 A KR20200106131 A KR 20200106131A KR 1020200025208 A KR1020200025208 A KR 1020200025208A KR 20200025208 A KR20200025208 A KR 20200025208A KR 20200106131 A KR20200106131 A KR 20200106131A
Authority
KR
South Korea
Prior art keywords
vehicle
emergency
operating
data
vehicles
Prior art date
Application number
KR1020200025208A
Other languages
English (en)
Inventor
마리아 앙뚜아네뜨 메이여부르크
폴 슈미트
테벤스 라드바우드 더인티예
쉰-셴 창
Original Assignee
앱티브 테크놀러지스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 앱티브 테크놀러지스 리미티드 filed Critical 앱티브 테크놀러지스 리미티드
Publication of KR20200106131A publication Critical patent/KR20200106131A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/087—Override of traffic control, e.g. by signal transmitted by an emergency vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G08G1/096816—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard where the complete route is transmitted to the vehicle at once
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

긴급 상황 시의 차량의 동작을 위한 기술이 제공된다. 이러한 기술은 환경 내에서 동작하는 차량의 하나 이상의 센서를 사용하여, 환경 내에 위치된 대상체를 나타내는 센서 데이터를 수신하는 것을 포함한다. 센서 데이터는 대상체가 긴급 차량인지를 식별하는데 사용된다. 대상체가 긴급 차량이라는 것을 식별하는 것에 응답하여, 센서 데이터는 긴급 차량이 긴급 모드에서 동작하고 있는지를 결정하기 위해 사용된다. 긴급 차량이 긴급 모드에서 동작하고 있다는 결정에 응답하여, 차량에 대한 긴급 동작을 나타내는 명령이 차량의 제어 모듈에 송신된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작한다.

Description

긴급 상황 시의 차량의 동작{OPERATION OF A VEHICLE IN THE EVENT OF AN EMERGENCY}
관련 출원의 교차 참조
본 출원은 2019년 3월 1일자로 출원된 미국 가출원 제62/812,945호의 이익을 청구한다.
본원은 일반적으로 차량의 동작에 관한 것이며, 구체적으로는 긴급 상황 시 차량의 동작에 관한 것이다.
최초의 위치로부터 최종 목적지까지의 차량의 동작은 종종 사용자 또는 차량의 의사 결정 시스템이 최초의 위치로부터 최종 목적지까지 도로망을 통한 루트를 선택할 것을 요구한다. 그러나, 긴급 상황 시 많은 결정이 요구될 수 있으며, 이는 루트 선택을 위한 종래의 알고리즘을 비실용적으로 만들 수 있다. 종래의 그리디 알고리즘(greedy algorithm)은 최초의 장소로부터 최종 목적지까지의 방향 그래프(directed graph)를 통한 루트를 선택하기 위해 때때로 사용된다. 그러나, 긴급 시 선택된 루트는 과부하될 수 있고 진행이 매우 느려질 수 있다. 또한, 주차된 차량, 공사 구간, 및 보행자의 존재는 루트 선택 및 동작을 복잡하게 한다.
긴급 상황 시의 차량의 동작을 위한 기술이 제공된다. 이러한 기술은 환경 내에서 동작하는 차량의 하나 이상의 센서를 사용하여, 환경 내에 위치된 대상체를 나타내는 센서 데이터를 수신하는 것을 포함한다. 센서 데이터는 대상체가 긴급 차량인지를 식별하는데 사용된다. 대상체가 긴급 차량이라는 것을 식별하는 것에 응답하여, 센서 데이터는 긴급 차량이 긴급 모드에서 동작하고 있는지를 결정하기 위해 사용된다. 긴급 차량이 긴급 모드에서 동작하고 있다는 결정에 응답하여, 차량에 대한 긴급 동작을 나타내는 명령이 차량의 제어 모듈에 송신된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작한다.
일 실시예에서, 소정 환경에서 동작하는 차량의 하나 이상의 프로세서가 긴급 차량이 해당 환경에서 이루어진 긴급 모드에서 동작하고 있다고 결정하는 데 사용된다. 차량의 시공간적 위치는 차량에 대한 제1 임계 거리 내에 있는 안전 위치를 식별하기 위해 사용된다. 차량을 시공간적 위치로부터 안전 위치로 동작시키기 위한 궤적이 생성된다. 차량과 긴급 차량 사이의 거리는 상기 궤적에 따라 차량을 동작시키는 동안의 제2 임계 거리보다 더 크다. 차량의 제어 모듈이 상기 궤적에 따라 차량을 동작시킨다.
일 실시예에서, 차량의 하나 이상의 프로세서가 하나 이상의 긴급 차량이 긴급 모드에서 동작하고 있다는 하나 이상의 통지를 수신한다. 차량은 상기 하나 이상의 긴급 차량 중 적어도 하나에 차량의 타입을 송신한다. 차량은 상기 하나 이상의 긴급 차량 중 적어도 하나로부터 차량을 동작시키기 위한 명령을 수신한다. 명령은 상이한 타입을 갖는 하나 이상의 다른 차량에 의해 추가로 수신된다. 상기 하나 이상의 프로세서는 수신된 명령을 차량의 타입에 의해 실행 가능한 긴급 동작으로 변환하는 데 사용된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작시킨다.
일 실시예에서, 긴급 차량이 긴급 모드에서 동작하고 있다고 결정하는 것에 응답하여, 차량에 대한 긴급 동작을 나타내는 명령이 차량의 제어 모듈에 송신된다. 차량의 하나 이상의 센서가 하나 이상의 대상체의 존재를 검출하는데 사용된다. 상기 하나 이상의 센서는 상기 하나 이상의 대상체 중 적어도 하나의 대상체가 차량의 임계 거리 내에 위치되는 것을 결정하기 위해 사용된다. 차량이 긴급 동작에 따라 동작하고 있다는 것을 표시하는 메시지가 적어도 하나의 대상체에 디스플레이된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작한다.
일 실시예에서, 데이터 플랫폼은, 소정 환경에서 동작하는 하나 이상의 차량의 각각의 차량으로부터, 차량의 시공간적 위치 및 차량의 동작 모드를 포함하는 정보를 수신하도록 구성되는 하나 이상의 프로세서를 포함한다. 긴급 차량의 궤적은 환경에서 동작하는 하나 이상의 긴급 차량의 각각의 긴급 차량으로부터 수신된다. 상기 하나 이상의 차량의 각각의 차량의 시공간적 위치는, 차량이 상기 하나 이상의 긴급 차량의 각각의 긴급 차량의 궤적을 회피하기 위한 루트 재설정 정보를 결정하는데 사용된다. 루트 재설정 정보는 상기 하나 이상의 차량의 각각의 차량에 송신된다.
일 실시예에서, 차량의 하나 이상의 센서가 센서 데이터를 수신하는데 사용된다. 센서 데이터는 차량을 수반하는 긴급상황이 발생했는지를 결정하기 위해 사용된다. 긴급상황이 발생했다는 결정에 응답하여, 센서 데이터는 긴급상황의 타입을 식별하는데 사용된다. 긴급상황의 타입은 차량에 의해 수행될 긴급 동작을 검색하는 데 사용된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작시킨다.
이들 양태 및 다른 양태, 구성 및 구현예는 기능을 수행하기 위한 방법, 장치, 시스템, 컴포넌트, 프로그램 제품, 수단 또는 단계, 그리고 다른 방식으로 표현될 수 있다.
이들 양태 및 다른 양태, 구성 및 구현예는 청구 범위를 포함하는 후속하는 기술로부터 명백해질 것이다.
도 1은 하나 이상의 실시예에 따른, 자율 주행 성능을 갖는 자율 주행 차량(autonomous vehicle)(AV)의 예를 도시한다.
도 2는 하나 이상의 실시예에 따른 예시적인 "클라우드" 컴퓨팅 환경을 도시한다.
도 3은 하나 이상의 실시예에 따른 컴퓨터 시스템을 도시한 것이다.
도 4는 하나 이상의 실시예에 따른 AV에 대한 예시적인 아키텍처를 도시한다.
도 5는 하나 이상의 실시예에 따른, 인지 모듈에 의해 사용될 수 있는 입력 및 출력의 일 예를 도시한다.
도 6은 하나 이상의 실시예에 따른 LiDAR 시스템의 일 예를 도시한다.
도 7은 하나 이상의 실시예에 따른 동작 중의 LiDAR 시스템을 도시한다.
도 8은 하나 이상의 실시예에 따른, LiDAR 시스템의 동작을 추가적으로 상세하게 도시한다.
도 9는 하나 이상의 실시예에 따른, 계획 모듈의 입력과 출력들 사이의 관계의 블록도를 도시한다.
도 10은 하나 이상의 실시예에 따른, 경로 계획에서 사용되는 방향 그래프를 도시한다.
도 11은 하나 이상의 실시예에 따른, 제어 모듈의 입력 및 출력의 블록도를 도시한다.
도 12는 하나 이상의 실시예에 따른, 제어기의 입력, 출력, 및 컴포넌트의 블록도를 도시한다.
도 13은 하나 이상의 실시예에 따른, 긴급 상황 시의 차량의 동작을 위한 운영 환경의 블록도를 예시한다.
도 14는 하나 이상의 실시예에 따른, 긴급 상황 시의 차량의 동작의 일 예를 예시한다.
도 15는 하나 이상의 실시예에 따른, 긴급 상황 시의 차량의 동작을 위한 머신 러닝 프로세스를 예시한다.
도 16 내지 도 21은 하나 이상의 실시예에 따른, 긴급 상황 시의 차량의 동작을 위한 프로세스를 도시한다.
설명을 위한 다음의 기술에서는, 본 발명에 대한 완전한 이해를 제공하기 위해 다수의 특정한 세부사항이 제시된다. 그러나, 본 발명은 이러한 특정 세부사항 없이 실행될 수 있음이 명백하다. 다른 예에서, 공지된 구조 및 디바이스는 본 발명을 불필요하게 모호하게 하는 것을 피하기 위하여 블록도 형태로 도시된다.
도면에서, 기술을 용이하게 하기 위해, 디바이스, 모듈, 명령 블록 및 데이터 요소를 나타내는 것과 같은 개략적 요소의 특정한 배열 또는 순서가 도시될 수 있다. 그러나, 본 기술 분야의 일반적 기술자라면, 도면의 개략적 요소의 특정한 순서 또는 배열이 프로세싱의 특정한 순서 또는 시퀀스, 또는 프로세스의 분리가 요구된다는 것을 암시하는 것을 의미하지는 않는다는 점을 이해할 것이다. 또한, 도면에 개략적 요소를 포함시키는 것이, 그러한 요소가 모든 실시예에서 요구된다는 것을 암시한다는 것을 의미하지 않거나, 또는 그러한 요소에 의해 표현된 특징이 일부 실시예에서 포함되지 않거나 또는 다른 요소와 조합되지 않는다는 점을 암시한다는 것을 의미하지 않는다.
또한, 도면에서, 둘 이상의 다른 개략적 요소 사이의 연결, 관계 또는 연관을 보여주기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소가 사용되는 경우에, 임의의 그러한 연결 요소의 부재가 연결, 관계 또는 연관이 존재할 수 없다는 것을 암시한다는 것을 의미하지 않는다. 즉, 요소 사이의 일부 연결, 관계 또는 연관은 본 개시내용을 모호하게 하지 않기 위해 도면에 도시되지 않을 수 있다. 또한, 예시를 용이하게 하기 위해, 요소 사이의 다수의 연결, 관계 또는 연관을 표현하기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호, 데이터 또는 명령의 통신을 표현하는 경우, 본 기술 분야의 일반적 기술자라면, 그러한 요소가, 통신에 영향을 주기 위해 필요할 수 있는 하나 또는 다중 신호 경로(예를 들어, 버스)를 표현한다는 것을 이해할 것이다.
그 예가 첨부된 도면에 예시된 실시예가 상세하게 참조될 것이다. 이하의 상세한 설명에서, 다양하게 기술된 실시예의 철저한 이해를 제공하기 위하여 많은 구체적인 세부사항이 기술된다. 그러나, 다양하게 기술된 실시예가 이러한 구체적 세부사항 없이 실시될 수 있다는 것이 본 기술 분야의 일반적 기술자에게는 자명할 것이다. 다른 예에서, 실시예의 양태를 불필요하게 모호하게 하지 않도록 공지된 방법, 절차, 컴포넌트, 회로 및 네트워크는 상세하게 기술되지 않았다.
서로 독립적으로 또는 다른 특징의 임의의 조합으로 각각 사용될 수 있는 여러 특징이 이하에 기술된다. 그러나, 임의의 개별 특징은 위에서 논의된 임의의 문제를 해결할 수 없거나 또는 위에서 논의된 문제 중 단지 하나만을 해결할 수 있다. 위에서 논의된 문제 중 일부는 본원에 기술된 특징 중 임의의 것에 의해 완전히 해결되지 않을 수 있다. 표제가 제공되지만, 특정 표제와 관련되나 해당 표제를 갖는 섹션에서 발견되지 않은 정보가 본원의 다른 곳에서 발견될 수도 있다. 실시예는 후속하는 개요에 따라 본원에 따라 기술된다.
1. 일반적 개관
2. 시스템 개관
3. 자율 주행 차량 아키텍처
4. 자율 주행 차량 입력
5. 자율 주행 차량 계획
6. 자율 주행 차량 제어
7. 긴급 상황 시의 차량의 동작을 위한 아키텍처
8. 긴급 상황 시의 차량의 동작의 예
9. 긴급상황 시 차량의 동작을 위한 머신 러닝 프로세스
10. 긴급 상황 시의 차량의 동작 프로세스
일반적 개관
자율 주행 차량(AV)은 센서를 사용하여 대상체를 검출하고 동작 환경 내에서 동작 중에 대상체로부터 거리를 결정한다. 센서는 카메라 및 LiDAR과 같은 시각 센서를 포함한다. LiDAR은 펄스 레이저 빔의 그리드를 사용하여 대상체로부터 디바이스까지의 거리를 측정하는 원격 감지 디바이스이다. AV를 동작시키기 위해, AV의 시각 센서는 동작 환경을 나타내는 센서 데이터를 수신하는데 사용된다. AV의 하나 이상의 프로세서는 보행자, 다른 차량, 또는 공사 구간 등과 같은 동작 환경 내에 위치한 대상체를 식별하는데 사용된다. 상기 하나 이상의 프로세서는 AV가 대상체와 충돌할 가능성이 있다는 것을 결정하는데 사용되는데, 이때 그 가능성은 소정의 임계치보다 크다.
일부 실시예에서, AV는 시각 센서(visual sensor) 또는 청각 센서(audio sensor)를 사용하여 이미지, RF 신호, 고주파 음파에 내장된 코드, 또는 긴급 차량으로부터의 메시지를 수신하여 긴급 차량이 긴급 모드에서 동작하고 있는지를 검출한다. 따라서, AV는 환경에 위치된 대상체를 나타내는 센서 데이터를 수신한다. 예를 들어, 센서 데이터는 2차원(2D) 또는 3차원(3D) LiDAR 데이터 또는 청각 데이터(audio data)일 수 있다. AV는 대상체를 긴급 차량으로 분류한다. 따라서, AV는 센서 데이터를 사용하여, 대상체가 긴급 차량인지를 식별한다.
대상체가 긴급 차량인 것을 식별하는 것에 응답하여, AV는 센서 데이터를 사용하여, 긴급 차량이 긴급 모드에서 동작하고 있는지를 결정한다. 긴급 모드는, 긴급 차량이 의료적 긴급 상황, 재난 구호 상황 등과 같은 긴급 상황에 응답하고 있다는 것을 표시하기 위해 주위 차량에 시청각 또는 다른 타입의 신호를 제공하는 모드로서 기술된다. 주위 차량은 긴급 차량에 길을 내주거나 긴급 차량이 통과할 수 있게 해야 한다. 또한, 긴급 모드는 법규(예를 들어, 도로법, 시 규정 등) 하에서, 주위 차량이 긴급 차량에 길을 내주도록 요구되는 긴급 차량의 동작 모드로서 기술될 수 있다.
긴급 차량이 긴급 모드에서 동작하고 있다는 결정에 응답하여, AV는 상기 차량에 대한 긴급 동작을 나타내는 명령을 AV의 제어 모듈에 송신한다. 예를 들어, 명령은 노변 정차(pull over)하거나, 정지하거나, 특정 속력으로 계속 구동하거나, 또는 긴급 차량에 메시지를 송신하도록 AV에게 명령할 수 있다. AV의 제어 모듈은 긴급 동작에 따라 AV를 동작시킨다. 따라서, AV의 센서는 대상체의 구조를 나타내는 센서 데이터를 포착하고, 센서 데이터를 AV를 위한 물리적 동작으로 변환한다. 물리적 동작은 긴급 차량이 긴급 상황을 처리하기 위해 측방향 간격을 증가시킬 수 있다. 본원에 기술된 실시예는 AV 및 긴급 차량에 의한 조작(maneuvering) 시간을 감소시키고, 긴급 차량에 대한 응답 시간을 감소시킨다.
시스템 개관
도 1은 자율 주행 성능을 갖는 자율 주행 차량(100)의 예를 도시한다.
본원에서 사용되는, 용어 "자율 주행 성능"은, 완전한 자율 주행 차량, 고도의 자율 주행 차량, 및 조건부 자율 주행 차량을 제한 없이 포함하는, 실시간 인간 개입 없이 차량이 부분적으로 또는 완전하게 동작할 수 있게 하는 기능, 특징, 또는 설비를 지칭한다.
본원에서 사용되는 바와 같이, 자율 주행 차량(autonomous vehicle)(AV)는 자율 주행 성능을 갖는 차량이다.
본원에서 사용되는, "차량"은 상품 또는 사람의 운송 수단을 포함한다. 예를 들어, 자동차, 버스, 기차, 비행기, 드론, 트럭, 보트, 선박, 잠수함, 비행선 등. 무인 자동차가 차량의 일 예이다.
본원에서 사용된, "궤적"은 AV를 제1 시공간적 위치로부터 제2 시공간적 위치로 동작시키는 경로 또는 루트를 지칭한다. 일 실시예에서, 제1 시공간적 위치는 최초 또는 시작 위치로 지칭되고 제2 시공간적 위치는 목적지, 최종 위치, 목표, 목표 위치 또는 목표 장소로 지칭된다. 일부 예에서, 궤적은 하나 이상의 세그먼트(예를 들어, 도로의 섹션)로 구성되고, 각각의 세그먼트는 하나 이상의 블록(예를 들어, 차선 또는 교차로의 부분)으로 구성된다. 일 실시예에서, 시공간적 위치는 현실 세계 위치에 대응한다. 예를 들어, 시공간적 위치는 사람 또는 상품을 태우고 싣거나 또는 내려주고 내리는 픽업 또는 드롭-오프 위치이다.
본원에서 사용되는, "센서(들)"은 센서를 둘러싸는 환경에 관한 정보를 검출하는 하나 이상의 하드웨어 컴포넌트를 포함한다. 하드웨어 컴포넌트 중 일부는 감지 컴포넌트(예를 들어, 이미지 센서, 생체인식 센서), 송신 및/또는 수신 컴포넌트(예를 들어, 레이저 또는 라디오 주파수 파 송신기 및 수신기), 아날로그 대 디지털 변환기와 같은 전자 컴포넌트, 데이터 저장 디바이스(예를 들어, RAM 및/또는 비휘발성 스토리지), 소프트웨어 또는 펌웨어 컴포넌트, 및 ASIC(application-specific integrated circuit), 마이크로프로세서 및/또는 마이크로컨트롤러와 같은 데이터 프로세싱 컴포넌트를 포함할 수 있다.
본원에서 사용되는, "장면 묘사(scene description)"는 AV 차량 상의 하나 이상의 센서에 의해 검출되거나 AV 외부의 소스에 의해 제공되는 하나 이상의 분류된 또는 라벨링된 대상체를 포함하는 데이터 구조(예를 들어, 리스트) 또는 데이터 스트림이다.
본원에서 사용되는, "도로"는 차량에 의해 횡단될 수 있는 물리적 영역이고, 명명된 주요 도로(예를 들어, 도시 거리, 주간 고속도로 등)에 대응할 수 있거나, 또는 명명되지 않은 주요 도로(예를 들어, 가정 또는 사무실 건물 내의 사유 도로, 주차장 섹션, 공터 섹션, 시골 지역의 비포장 경로, 기타 등)에 대응할 수 있다. 일부 차량(예를 들어, 4륜 구동 픽업 트럭, 스포츠 유틸리티 차량 등)은 차량 진행에 대해 특히 적합하지 않은 다양한 물리적 영역을 횡단할 수 있기 때문에, "도로"는 임의의 지자체 또는 다른 정부 또는 행정처에 의해 주요 도로로 공식적으로 규정되지 않은 물리적 영역일 수 있다.
본원에서 사용된, "차선"은 차량에 의해 횡단될 수 있는 도로의 일부이고, 차선 마킹(lane marking) 사이의 공간의 대부분 또는 전체에 대응할 수 있거나, 차선 마킹 사이의 공간의 단지 일부(예를 들어, 50% 미만)에 대응할 수 있다. 예를 들어, 멀리 이격된 차선 마킹을 갖는 도로는 차선 마킹 사이에 둘 이상의 차량을 수용할 수 있어서, 하나의 차량이 차선 마킹을 횡단하지 않고 다른 차량을 통과할 수 있고, 따라서 차선 마킹 사이의 공간보다 협소한 차선을 갖거나 차선 마킹 사이의 2개의 차선을 갖는 것으로 해석될 수 있다. 차선은 차선 마킹의 부재시에도 해석될 수 있다. 예를 들어, 차선은 환경의 물리적 특징, 예를 들어, 시골 지역에서의 주요 도로를 따르는 바위 및 나무에 기초하여 규정될 수 있다.
"하나 이상"은 하나의 요소에 의해 수행되는 기능, 예를 들어, 분산 방식으로 하나보다 많은 요소에 의해 수행되는 기능, 하나의 요소에 의해 수행되는 여러 기능, 여러 요소에 의해 수행되는 여러 기능 또는 이들의 임의의 조합을 포함한다.
또한, 용어, 제1, 제2 등이 일부 예에서 다양한 요소를 기술하기 위해 본원에 사용되었지만, 이 요소는 이러한 용어에 의해 제한되지 않아야 한다는 것이 이해될 것이다. 이 용어들은 단지 하나의 요소를 다른 요소와 구별하기 위해 사용된다. 예를 들어, 기술된 다양한 실시예의 범주 내에서, 제1 접촉은 제2 접촉이라 명명될 수 있고, 마찬가지로 제2 접촉은 제1 접촉이라 명명될 수 있다. 제1 접촉 및 제2 접촉 양자 모두가 접촉이지만, 동일한 접촉은 아니다.
본원에 기술된 다양한 실시예의 설명에 사용된 용어는 단지 특정한 실시예를 기술하기 위한 것이며, 제한하려는 것은 아니다. 기술된 다양한 실시예 및 첨부된 청구항의 설명에서 사용되는, 단수형은 문맥이 달리 명시적으로 표시하지 않은 이상, 복수형을 포함하도록 의도되었다. 또한, 본원에 사용된 용어 "및/또는"은 열거된 연관 항목 중 하나 이상의 항목의 임의의 그리고 모든 가능한 조합을 지칭하고 포함한다는 것이 이해될 것이다. 또한, 용어 "포함한다" 및/또는 "포함하는"은 본 설명에서 사용될 때, 언급된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명기하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 그의 그룹의 존재 또는 추가를 배제하지 않는다는 것도 이해될 것이다.
본원에 사용된, 용어 "~ 경우"는 선택적으로 문맥에 따라 "~할 때", 또는 "~시에" 또는 "결정에 응답하여" 또는 "검출에 응답하여"를 의미하는 것으로 해석된다. 마찬가지로, 구문 "~라고 결정된다면" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는 선택적으로 문맥에 따라, "결정할 시에" 또는 "결정에 응답하여" 또는 "[언급된 조건 또는 이벤트]의 검출 시에" 또는 "[언급된 조건 또는 이벤트]의 검출에 응답하여"를 의미하는 것으로 해석된다.
본원에서 사용된, AV 시스템은 하드웨어, 소프트웨어, 저장 데이터 및 실시간으로 생성된 데이터의 어레이와 함께 AV로 지칭되는데, 이는 AV의 동작을 지원한다. 일 실시예에서, AV 시스템은 AV 내에 통합된다. 일 실시예에서, AV 시스템은 여러 위치에 걸쳐 확산되어 있다. 예를 들어, AV 시스템의 소프트웨어 중 일부는 도 3과 관련하여 아래에서 기술되는 클라우드 컴퓨팅 환경(300)과 유사한 클라우드 컴퓨팅 환경 상에 구현된다.
일반적으로, 본원은 완전한 자율 주행 차량, 고도의 자율 주행 차량, 및 조건부 자율 주행 차량, 예를 들어 각각 소위 레벨 5 차량, 레벨 4 차량 및 레벨 3 차량을 포함하는 하나 이상의 자율 주행 성능을 갖는 임의의 차량에 적용 가능한 기술을 개시한다(차량의 자율성의 레벨 분류에 대한 세부 사항은 본원에 그 전체가 참조로 포함된, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems) 참조). 또한, 본원에서 개시된 기술은 부분적인 자율 주행 차량 및 운전자 보조 차량, 예를 들어 소위 레벨 2 및 레벨 1차량에도 적용가능하다(SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의 참조). 실시예에서, 레벨 1, 레벨 2, 레벨 3, 레벨 4 및 레벨 5차량 시스템 중 하나 이상은 센서 입력의 프로세싱에 기초하여 특정의 동작 조건 하에서 특정의 차량 동작(예를 들어, 조향, 제동, 및 맵 사용)을 자동화할 수 있다. 본원에서 개시된 기술은 완전한 자율 주행 차량으로부터 사람-운전 차량까지의 범위에 있는 임의의 레벨에 있는 차량에 혜택을 줄 수 있다.
도 1을 참조하면, AV 시스템(120)은, 대상체(예를 들어, 자연 장애물(191), 차량(193), 보행자(192), 자전거 운전자, 및 다른 장애물)을 회피하고 도로 법규(예를 들어, 동작 규칙 또는 운전 선호)를 준수하면서, 환경(190)을 통해 궤적(198)을 따라 AV(100)를 목적지(199)(때때로 최종 위치로 지칭됨)로 동작시킨다.
일 실시예에서, AV 시스템(120)은 컴퓨터 프로세서(146)로부터의 동작 커맨드를 수신하고 이를 따르도록 작동하도록 설비된 디바이스(101)를 포함한다. 일 실시예에서, 컴퓨팅 프로세서(146)는 도 3을 참조하여 아래에 기술되는 프로세서(304)와 유사하다. 디바이스(101)의 예는 조향 제어(102), 브레이크(103), 기어, 가속기 페달 또는 다른 가속 제어 메커니즘, 앞유리 와이퍼, 사이드-도어 락, 윈도우 제어, 및 방향 지시등을 포함한다.
일 실시예에서, AV 시스템(120)은 AV의 위치, 선형 속도 및 선형 가속도, 각속도 및 각가속도, 및 방향(예를 들어, AV(100)의 선단의 배향)와 같은 AV(100)의 상태 또는 조건의 특성을 측정 또는 추정하기 위한 센서(121)를 포함한다. 센서(121)의 예는 GNSS, 차량 선형 가속도 및 각속도 양자 모두를 측정하는 IMU(inertial measurement unit), 휠 슬립 비(wheel slip ratios)를 측정 또는 추산하기 위한 휠 속력 센서, 휠 브레이크 압력 또는 제동 토크 센서, 엔진 토크 또는 휠 토크 센서, 및 조향 각도 및 각도비(angular rate) 센서이다.
또한, 실시예에서, 센서(121)는 AV의 환경의 특성을 감지 또는 측정하기 위한 센서를 포함한다. 예를 들어, 가시광, 적외선 또는 열(또는 양자 모두)의 스펙트럼식 단안 또는 스테레오 비디오 카메라(122), LiDAR(123), RADAR, 초음파 센서, TOF(time-of-flight) 심도 센서, 속력 센서, 온도 센서, 습도 센서, 및 강우 센서.
일 실시예에서, AV 시스템(120)은 컴퓨터 프로세서(146)와 연관된 머신 명령 또는 센서(121)에 의해 수집된 데이터를 저장하기 위한 데이터 저장 유닛(142) 및 메모리(144)를 포함한다. 일 실시예에서, 데이터 저장 유닛(142)은 도 3과 관련하여 아래에 기술되는 ROM(308) 또는 저장 디바이스(310)와 유사하다. 일 실시예에서, 메모리(144)는 아래에 기술되는 메인 메모리(306)와 유사하다. 일 실시예에서, 데이터 저장 유닛(142) 및 메모리(144)는 환경(190)에 관한 이력, 실시간, 및/또는 예측 정보를 저장한다. 일 실시예에서, 저장된 정보는 맵, 운전 성능, 교통 정체 업데이트 또는 날씨 상태를 포함한다. 일 실시예에서, 환경(190)에 관한 데이터는 원격에 위치된 데이터베이스(134)로부터의 통신 채널을 통해 AV(100)에 송신된다.
일 실시예에서, AV 시스템(120)은 다른 차량의 상태 및 조건, 예를 들어 위치, 선형 속도 및 각 속도, 선형 가속도 및 각 가속도, 및 AV(100)를 향한 선형 및 각도 방향의 측정 및 추정된 특성을 통신하기 위한 통신 디바이스(140)를 포함한다. 이 디바이스는 V2V(Vehicle-to-Vehicle) 및 V2I(Vehicle-to-Infrastructure) 통신 디바이스 및 지점간(point-to-point) 또는 애드혹(ad hoc) 네트워크 또는 양자 모두를 통한 무선 통신을 위한 디바이스를 포함한다. 일 실시예에서, 통신 디바이스(140)는 (라디오 및 광학적 통신을 포함하는) 전자기 스펙트럼 또는 다른 매체(예를 들어, 공기 및 음향 매체)를 통해 통신한다. V2V(Vehicle-to-Vehicle), V2I(Vehicle-to-Infrastructure) 통신(및 일부 실시예에서 하나 이상의 다른 타입의 통신)의 조합이 때때로 V2X(Vehicle-to-Everything) 통신으로 지칭된다. V2X 통신은 전형적으로, 자율 주행 차량 간의 사이 및 자율 주행 차량들 간의 통신을 위한 하나 이상의 통신 표준에 따른다.
일 실시예에서, 통신 디바이스(140)는 통신 인터페이스를 포함한다. 예를 들어, 유선, 무선, WiMAX, Wi-Fi, 블루투스, 위성, 셀룰러, 광학, 근거리, 적외선, 또는 라디오 인터페이스. 통신 인터페이스는 원격에 위치된 데이터베이스(134)로부터 AV 시스템(120)으로 데이터를 송신한다. 일 실시예에서, 원격에 위치된 데이터베이스(134)는 도 2에 기술된 바와 같이 클라우드 컴퓨팅 환경(200)에 내장된다. 통신 인터페이스(140)는 센서(121)로부터 수집된 데이터 또는 AV(100)의 동작에 관련된 다른 데이터를 원격에 위치된 데이터베이스(134)에 송신한다. 일 실시예에서, 통신 인터페이스(140)는 원격 조작에 관련되는 정보를 AV(100)에 송신한다. 일부 실시예에서, AV(100)는 다른 원격(예를 들어, "클라우드") 서버(136)와 통신한다.
또한, 일 실시예에서, 원격에 위치된 데이터베이스(134)는 (예를 들어, 도로 및 거리 위치와 같은 데이터를 저장하는) 디지털 데이터를 저장 및 송신한다. 이러한 데이터는 AV(100) 상의 메모리(144)에 저장되거나, 원격에 위치된 데이터베이스(134)로부터의 통신 채널을 통해 AV(100)에 송신된다.
일 실시예에서, 원격에 위치된 데이터베이스(134)는 하루 중 유사한 시간에서 궤적(198)을 따라 이전에 진행된 차량의 운전 특성(예를 들어, 속력 및 가속도 프로파일)에 관한 이력 정보를 저장 및 송신한다. 일 구현예에서, 이러한 데이터는 AV(100) 상의 메모리(144)에 저장될 수 있거나, 원격에 위치된 데이터베이스(134)로부터의 통신 채널을 통해 AV(100)에 송신될 수 있다.
AV(100) 상에 위치된 컴퓨팅 디바이스(146)는 실시간 센서 데이터 및 이전 정보 양자 모두에 기초한 제어 액션을 알고리즘적으로 생성하여, AV 시스템(120)이 자율 주행 성능을 실행할 수 있게 한다.
일 실시예에서, AV 시스템(120)은 AV(100)의 사용자(예를 들어, 탑승자 또는 원격 사용자)에게 정보 및 경고를 제공하고 그로부터 입력을 수신하기 위해 컴퓨팅 디바이스(146)에 결합된 컴퓨터 주변기기(132)를 포함한다. 일 실시예에서, 주변기기(132)는 도 3을 참조하여 아래에 논의되는 디스플레이(312), 입력 디바이스(314), 및 커서 제어기(316)와 유사하다. 결합은 무선 또는 유선이다. 인터페이스 디바이스 중 임의의 둘 이상이 단일 디바이스에 집적될 수 있다.
예시적 클라우드 컴퓨팅 환경
도 2는 예시적인 "클라우드" 컴퓨팅 환경을 도시한다. 클라우드 컴퓨팅은 구성 가능한 컴퓨팅 리소스(예를 들어, 네트워크, 네트워크 대역폭, 서버, 프로세싱, 메모리, 스토리지, 애플리케이션, 가상 머신, 및 서비스)의 공유 풀에 대한 간편한 주문형 네트워크 액세스를 가능하게 하기 위한 서비스 전달(service delivery)의 일 모델이다. 전형적인 클라우드 컴퓨팅 시스템에서는, 하나 이상의 대형 클라우드 데이터 센터가 클라우드에 의해 제공되는 서비스를 전달하는 데 사용되는 머신을 수용한다. 이제 도 2를 참조하면, 클라우드 컴퓨팅 환경(200)은 클라우드(202)를 통해 상호연결되는 클라우드 데이터 센터(204a, 204b, 204c)를 포함한다. 데이터 센터(204a, 204b, 및 204c)는 클라우드 컴퓨팅 서비스를 클라우드(202)에 연결된 컴퓨터 시스템(206a, 206b, 206c, 206d, 206e, 및 206f)에 제공한다.
클라우드 컴퓨팅 환경(200)은 하나 이상의 클라우드 데이터 센터를 포함한다. 일반적으로, 클라우드 데이터 센터, 예를 들어 도 2에 도시된 클라우드 데이터 센터(204a)는 클라우드, 예를 들어 도 2에 도시된 클라우드(202) 또는 클라우드의 특정 부분을 구성하는 서버의 물리적 배열체를 지칭한다. 예를 들어, 서버는 클라우드 데이터센터 내에 룸, 그룹, 로우(row), 및 랙(rack)으로 물리적으로 배열된다. 클라우드 데이터센터는 하나 이상의 서버의 룸을 포함하는 하나 이상의 구역을 갖는다. 각각의 룸은 하나 이상의 서버 로우를 가지며, 각각의 로우는 하나 이상의 랙을 포함한다. 각각의 랙은 하나 이상의 개별 서버 노드를 포함한다. 일부 구현예에서, 구역, 룸, 랙, 및/또는 로우 내의 서버는, 전력 요건, 에너지 요건, 열적 요건, 가열 요건 및/또는 다른 요건을 포함하는, 데이터센터 설비의 물리적 인프라스트럭처 요건에 기초하여 그룹으로 배열된다. 일 실시예에서, 서버 노드는 도 3에서 기술된 컴퓨터 시스템과 유사하다. 데이터 센터(204a)는 다수의 랙을 통해 분산된 다수의 컴퓨팅 시스템을 갖는다.
클라우드(202)는, 네트워크와 함께 클라우드 데이터 센터(204a, 204b 및 204c), 및 클라우드 데이터 센터(204a, 204b 및 204c)를 상호연결하고 클라우드 컴퓨팅 서비스에 대한 컴퓨팅 시스템(206a 내지 206f)의 액세스를 용이하게 하는 것을 보조하는 네트워킹 리소스(예를 들어, 네트워킹 장비, 노드, 라우터, 스위치 및 네트워킹 케이블)을 포함한다. 일 실시예에서, 네트워크는 지상 또는 위성 연결을 사용하여 배치된 유선 또는 무선 링크를 사용하여 결합된 하나 이상의 로컬 네트워크, 광역 네트워크, 또는 인터네트워크의 임의의 조합을 나타낸다. 네트워크를 거쳐 교환되는 데이터는 IP(Internet Protocol), MPLS(Multiprotocol Label Switching), ATM(Asynchronous Transfer Mode) 및 프레임 릴레이 등과 같은 임의 수의 네트워크 계층 프로토콜을 사용하여 송신될 수 있다. 또한, 네트워크가 다수의 서브 네트워크의 조합을 나타내는 실시예에서, 상이한 네트워크 계층 프로토콜은 기저 서브 네트워크(underlying sub-networks)의 각각에서 사용될 수 있다. 일부 실시예에서, 네트워크는 공중 인터넷과 같은 하나 이상의 상호연결된 인터네트워크를 나타낸다.
컴퓨팅 시스템(206a 내지 206f) 또는 클라우드 컴퓨팅 서비스 소비자는 네트워크 링크 및 네트워크 어댑터를 통해 클라우드(202)에 연결된다. 일 실시예에서, 컴퓨팅 시스템(206a 내지 206f)은 다양한 컴퓨팅 디바이스, 예를 들어 서버, 데스크톱, 랩톱, 태블릿, 스마트폰, IoT(Internet of Things) 디바이스, 자율 주행 차량(자동차, 드론, 셔틀, 기차, 버스 등을 포함) 및 소비자 전자기기로서 구현된다. 일 실시예에서, 컴퓨팅 시스템(206a 내지 206f)은 다른 시스템 내에 또는 그 일부로서 구현된다.
컴퓨터 시스템
도 3은 컴퓨터 시스템(300)을 도시한다. 일 구현에서, 컴퓨터 시스템(300)은 특수 목적 컴퓨팅 디바이스이다. 특수 목적 컴퓨팅 디바이스는 그 기술을 수행하도록 고정-배선(hard-wired)되거나, 그 기술을 수행하도록 지속적으로 프로그래밍되는 하나 이상의 ASICs(application-specific integrated circuits) 또는 FPGAs(field programmable gate arrays)와 같은 디지털 전자 디바이스를 포함하거나, 펌웨어, 메모리, 다른 스토리지 또는 조합에서 프로그램 명령에 따라 그 기술을 수행하도록 프로그래밍되는 하나 이상의 범용 하드웨어 프로세서를 포함할 수 있다. 또한, 그러한 특수-목적 컴퓨팅 디바이스는 커스텀 고정-배선 로직, ASICs, 또는 FPGAs를 커스텀 프로그래밍과 조합하여 기술을 실현할 수 있다. 다양한 실시예에서, 특수-목적 컴퓨팅 디바이스는 기술을 구현하기 위한 고정-배선 및/또는 프로그램 로직을 포함하는 데스크톱 컴퓨터 시스템, 포터블 컴퓨터 시스템, 휴대용 디바이스, 네트워크 디바이스, 또는 임의의 다른 디바이스일 수 있다.
일 실시예에서, 컴퓨터 시스템(300)은 정보를 통신하기 위한 버스(302) 또는 다른 통신 메커니즘, 및 정보를 프로세싱하기 위해 버스(302)와 결합된 하드웨어 프로세서(304)를 포함한다. 하드웨어 프로세서(304)는, 예를 들어, 범용 마이크로프로세서이다. 또한, 컴퓨터 시스템(300)은 프로세서(304)에 의해 실행될 명령 및 정보를 저장하기 위해 버스(302)에 결합된 RAM(random-access memory)과 같은 메인 메모리(306) 또는 다른 동적 저장 디바이스를 포함한다. 일 구현예에서, 메인 메모리(306)는 프로세서(304)에 의해 실행될 명령의 실행 동안 일시적 변수 또는 다른 중간 정보를 저장하기 위해 사용된다. 이러한 명령은 프로세서(304)에 액세스 가능한 비-일시적 저장 매체에서 저장될 때, 컴퓨터 시스템(300)을 명령에서 특정된 동작을 수행하도록 커스터마이징된 특수-목적 머신으로 렌더링한다.
일 실시예에서, 컴퓨터 시스템(300)은, 프로세서(304)를 위한 정적 정보 및 명령을 저장하기 위해 버스(302)와 결합된 ROM(read only memory)(308) 또는 다른 정적 저장 디바이스를 포함한다. 자기 디스크, 광 디스크, 솔리드-스테이트 드라이브, 또는 3차원 크로스 포인트 메모리와 같은 저장 디바이스(310)가 제공되고 정보 및 명령을 저장하기 위해 버스(302)에 결합된다.
일 실시예에서, 컴퓨터 시스템(300)은 버스(302)를 통해, 정보를 컴퓨터 사용자에게 디스플레이하기 위한 CRT(cathode ray tube), LCD(liquid crystal display), 플라즈마 디스플레이, LED(light emitting diode) 디스플레이, 또는 OLED(organic light emitting diode) 디스플레이와 같은 디스플레이(312)에 결합된다. 정보 및 커맨드 선택을 프로세서(304)에 통신하기 위한 문자 숫자식 키 또는 다른 키를 포함하는 입력 디바이스(314)가 버스(302)에 결합된다. 다른 타입의 사용자 입력 디바이스는, 디스플레이(312) 상에서 커서 움직임을 제어하고 프로세서(304)에 방향 정보 및 커맨드 선택을 통신하기 위한, 마우스, 트랙볼, 터치식 디스플레이 또는 커서 방향 키와 같은 커서 제어기(316)이다. 이 입력 디바이스는 전형적으로, 디바이스가 평면에서 위치를 특정할 수 있게 하는 2개의 축, 제1 축(예를 들어, x-축) 및 제2 축(예를 들어, y-축)에서의 2 자유도를 갖는다.
일 실시예에 따르면, 본원의 기술은 프로세서(304)가 메인 메모리(306)에 포함된 하나 이상의 명령의 하나 이상의 시퀀스를 실행하는 것에 응답하여 컴퓨터 시스템(300)에 의해 수행된다. 이러한 명령은 저장 디바이스(310)와 같은 다른 저장 매체로부터 메인 메모리(306) 내로 판독될 수 있다. 메인 메모리(306)에 포함된 명령의 시퀀스의 실행은 프로세서(304)로 하여금 본원에서 기술된 프로세스 단계를 수행하게 한다. 대안적 실시예에서는, 소프트웨어 명령 대신에 또는 소프트웨어 명령과 조합하여 고정-배선 회로가 사용될 수 있다.
본원에서 사용되는 용어 "저장 매체"는 머신이 특정 방식으로 동작하게 하는 데이터 및/또는 명령을 저장하는 임의의 비-일시적 매체를 지칭한다. 그러한 저장 매체는 비휘발성 매체 및/또는 휘발성 매체를 포함한다. 비-휘발성 매체는 예를 들어, 광 디스크, 자기 디스크, 솔리드-스테이트 드라이브, 또는 3차원 크로스 포인트 메모리, 예를 들어 저장 디바이스(310)를 포함한다. 휘발성 매체는 동적 메모리, 예를 들어 메인 메모리(306)를 포함한다. 저장 매체의 일반적인 형태는, 예를 들어 플로피 디스크, 플렉서블 디스크, 하드 디스크, 솔리드-스테이트 드라이브, 자기 테이프 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 홀의 패턴을 갖춘 임의의 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, NV-RAM, 또는 임의의 다른 메모리 칩, 또는 카트리지를 포함한다.
저장 매체는 송신 매체와 별개이지만 송신 매체와 함께 사용될 수 있다. 송신 매체는 저장 매체 간에 정보를 전달하는 데 참여한다. 예를 들어, 송신 매체는 버스(302)를 포함하는 와이어를 포함하여, 동축 케이블, 구리 와이어 및 광섬유를 포함한다. 또한, 송신 매체는 라디오-파 및 적외선 데이터 통신 동안 생성되는 것과 같은 광파 또는 음향파의 형태를 취할 수 있다.
일 실시예에서, 실행을 위해 하나 이상의 명령의 하나 이상의 시퀀스를 프로세서(304)에 반송하는데 다양한 형태의 매체가 수반된다. 예를 들어, 명령은 초기에 원격 컴퓨터의 자기 디스크 또는 솔리드-스테이트 드라이브에 보유된다. 원격 컴퓨터는 동적 메모리에 명령을 로딩하고 모뎀을 사용하여 전화선을 통해 명령을 전송할 수 있다. 컴퓨터 시스템(300)에 로컬 접속된 모뎀은 전화선 상에서 데이터를 수신하고 적외선 송신기를 사용하여 데이터를 적외선 신호로 변환한다. 적외선 검출기는 적외선 신호 내에 반송된 데이터를 수신하고 적절한 회로는 데이터를 버스(302)에 배치한다. 버스(302)는 메인 메모리(306)로 데이터를 반송하고, 프로세서(304)는 메인 메모리로부터 명령을 검색 및 실행한다. 메인 메모리(306)에 의해 수신된 명령은 프로세서(304)에 의해 실행되기 전이나 실행된 후에 선택적으로 저장 디바이스(310)에 저장될 수 있다.
컴퓨터 시스템(300)은 버스(302)와 결합된 통신 인터페이스(318)도 포함한다. 통신 인터페이스(318)는 로컬 네트워크(322)에 연결된 네트워크 링크(320)에 결합된 2-웨이 데이터 통신(two-way data communication)을 제공한다. 예를 들어, 통신 인터페이스(318)는 ISDN(integrated service digital network) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 타입의 전화선에 데이터 통신 연결을 제공하기 위한 모뎀일 수 있다. 다른 예로서, 통신 인터페이스(318)는 호환 가능한 LAN(local area network)에 데이터 통신 연결을 제공하기 LAN 카드일 수 있다. 일부 구현예에서는, 무선 링크도 구현된다. 임의의 이러한 구현예에서, 통신 인터페이스(318)는 다양한 타입의 정보를 나타내는 디지털 데이터 스트림을 반송하는 전기 신호, 전자기 신호, 또는 광학 신호를 전송 및 수신한다.
네트워크 링크(320)는 전형적으로 하나 이상의 네트워크를 통한 다른 데이터 디바이스로의 데이터 통신을 제공한다. 예를 들어, 네트워크 링크(320)는 로컬 네트워크(322)를 통해 호스트 컴퓨터(324)로의 연결 또는 ISP(Internet Service Provider)(326)에 의해 동작되는 클라우드 데이터 센터 또는 장비로의 연결을 제공할 수 있다. 이후에 ISP(326)는 지금은 "인터넷(328)"으로 통칭되는 월드-와이드 패킷 데이터 통신 네트워크(world-wide packet data communication network)를 통해서 데이터 통신 서비스를 제공한다. 로컬 네트워크(322) 및 인터넷(328) 양자 모두는 디지털 데이터 스트림을 반송하는 전기 신호, 전자기 신호, 또는 광학 신호를 사용한다. 다양한 네트워크를 통한 신호 및 컴퓨터 시스템(300)으로 그리고 컴퓨터 시스템(300)으로부터 디지털 데이터를 반송하는 통신 인터페이스(318)를 통한 네트워크 링크(320) 상의 신호는 송신 매체의 예시적인 형태이다. 실시예에서, 네트워크(320)는 위에서 기술된 클라우드(202) 또는 클라우드(202)의 일부를 포함한다.
컴퓨터 시스템(300)은 네트워크(들), 네트워크 링크(320) 및 통신 인터페이스(318)를 통해 프로그램 코드를 포함하는 메시지 및 데이터를 전송 및 수신할 수 있다. 일 실시예에서, 컴퓨터 시스템(300)은 프로세싱을 위한 코드를 수신한다. 수신된 코드는 수신될 때 프로세서(304)에 의해 실행되고 및/또는, 이후의 실행을 위해 저장 디바이스(310) 또는 다른 비-휘발성 저장 디바이스에 저장된다.
자율 주행 차량 아키텍처
도 4는 자율 주행 차량(예를 들어, 도 1에 도시된 AV(100))에 대한 예시적인 아키텍처(400)를 도시한다. 아키텍처(400)는 인지 모듈(402)(때때로 인지 회로라고 지칭됨), 계획 모듈(planning module)(404)(때때로 계획 회로라고 지칭됨), 제어 모듈(406)(때때로 제어 회로라고 지칭됨), 로컬화 모듈(localization module)(408)(때때로 로컬화 회로라고 지칭됨), 및 데이터베이스 모듈(410)(때때로 데이터베이스 회로라고 지칭됨)을 포함한다. 각각의 모듈은 AV(100)의 동작에서 소정의 역할을 한다. 그와 함께, 모듈(402, 404, 406, 408 및 410)은 도 1에 도시된 AV 시스템(120)의 일부일 수 있다. 일부 실시예에서, 모듈(402, 404, 406, 408 및 410) 중 임의의 모듈은 컴퓨터 소프트웨어(예를 들어, 컴퓨터 판독 가능 매체 상에 저장된 실행 가능한 코드) 및 컴퓨터 하드웨어(예를 들어, 하나 이상의 마이크로프로세서, 마이크로컨트롤러, ASICs(application-specific integrated circuits), 하드웨어 메모리 디바이스, 다른 타입의 집적 회로, 다른 타입의 컴퓨터 하드웨어, 또는 이러한 것 중 임의의 것 또는 모든 것의 조합)의 조합이다.
사용 시, 계획 모듈(404)은 목적지(412)를 나타내는 데이터를 수신하고 목적지(412)에 도달하도록(예를 들어, 도착하도록) AV(100)에 의해 진행될 수 있는 궤적(414)(때때로 루트라 지칭됨)을 나타내는 데이터를 결정한다. 계획 모듈(404)이 궤적(414)을 나타내는 데이터를 결정하기 위해, 계획 모듈(404)은 인지 모듈(402), 로컬화 모듈(408) 및 데이터베이스 모듈(410)로부터 데이터를 수신한다.
또한, 인지 모듈(402)은 예를 들어, 도 1에도 도시된 바와 같이, 하나 이상의 센서(121)를 사용하여 인근의 물리적 대상체를 식별한다. 대상체는 분류되고(예를 들어, 보행자, 자전거, 자동차, 고통 신호 등과 같은 타입으로 그룹화되고), 분류된 대상체(416)를 포함하는 장면 묘사는 계획 모듈(404)에 제공된다.
또한, 계획 모듈(404)은 로컬화 모듈(408)로부터 AV 위치(418)를 나타내는 데이터를 수신한다. 로컬화 모듈(408)은 위치를 계산하기 위해 센서(121)로부터의 데이터 및 데이터베이스 모듈(410)로부터의 데이터(예를 들어, 지리적 데이터)를 사용하여 AV 위치를 결정한다. 예를 들어, 로컬화 모듈(408)은 GNSS(Global Operation Satellite System) 센서로부터의 데이터 및 지리적 데이터를 사용하여 AV의 경도 및 위도를 계산한다. 일 실시예에서, 로컬화 모듈(408)에 의해 사용되는 데이터는 도로 기하학적 특성의 고-정밀 맵, 도로망 연결 특성을 기술하는 맵, 도로 물리적 특성(예를 들어, 제한 속력, 교통량, 차량 및 자전거 운전자 교통 차선의 수, 차선 폭, 차선 방향, 또는 차선 마커 타입 및 위치, 또는 이의 조합)을 기술하는 맵, 및 도로 특징부의 공간적 위치, 예를 들어 횡단보도, 교통 신호 또는 다양한 타입의 다른 진행 신호(travel signal)를 기술하는 맵을 포함한다.
제어 모듈(406)은 궤적(414)을 나타내는 데이터 및 AV 위치(418)를 나타내는 데이터를 수신하고, AV(100)로 하여금 목적지(412)로 궤적(414)을 진행하게 할 방식으로 AV의 제어 기능(420a 내지 420c)(예를 들어, 조향, 스로틀링, 제동, 점화)을 동작시킨다. 예를 들어, 궤적(414)이 좌회전을 포함하는 경우, 제어 모듈(406)은, 조향 기능의 조향 각도가 AV(100)로 하여금 좌측으로 회전하게 하고 스로틀링 및 제동이 AV(100)로 하여금 이러한 회전이 이루어지기 전에 통과하는 보행자 또는 차량을 위해 일시중지 또는 대기하게 하는 방식으로 제어 기능(420a 내지 420c)을 동작시킨다.
자율 주행 차량 입력
도 5는 인지 모듈(402)(도 4)에 의해 사용되는 입력(502a 내지 502d)(예를 들어, 도 1에 도시된 센서(121)) 및 출력(504a 내지 504d)(예를 들어, 센서 데이터)의 예를 도시한다. 하나의 입력(502a)은 LiDAR(Light Detection and Ranging) 시스템(예를 들어, 도 1에 도시된 LiDAR(123))이다. LiDAR은 그의 시선에 있는 물리적 대상체에 관한 데이터를 획득하기 위해 광(예를 들어, 적외선 광과 같은 광의 버스트)을 사용하는 기술이다. LiDAR 시스템은 출력(504a)으로서 LiDAR 데이터를 생성한다. 예를 들어, LiDAR 데이터는 환경(190)의 표현을 구성하는 데 사용되는 3D 또는 2D 포인트(포인트 클라우드로도 공지됨)의 수집이다.
다른 입력(502b)은 RADAR 시스템이다. RADAR은 인근의 물리적 대상체에 관한 데이터를 획득하기 위해 라디오 파를 사용하는 기술이다. RADARs는 LiDAR 시스템의 시선 내에 있지 않은 대상체에 관한 데이터를 획득할 수 있다. RADAR 시스템(502b)은 출력(504b)으로서 RADAR 데이터를 생성한다. 예를 들어, RADAR 데이터는 환경(190)의 표현을 구성하는 데 사용되는 하나 이상의 라디오 주파수 전자기 신호이다.
다른 입력(502c)은 카메라 시스템이다. 카메라 시스템은 인근의 물리적 대상체에 관한 정보를 획득하기 위해 하나 이상의 카메라(예를 들어, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라)를 사용한다. 카메라 시스템은 출력(504c)으로 카메라 데이터를 생성한다. 카메라 데이터는 종종 이미지 데이터(예를 들어, RAW, JPEG, PNG 등과 같은 이미지 데이터 형식의 데이터)의 형태를 취한다. 일부 예에서, 카메라 시스템은, 카메라 시스템이 심도를 인지할 수 있게 하는, 입체시(stereopsis)(스테레오 비전)를 위해, 다수의 독립적인 카메라를 갖는다. 카메라 시스템에 의해 인지되는 대상체가 본원에서 "인근"으로 기술되지만, 이것은 AV에 대한 것이다. 사용 시, 카메라 시스템은 멀리 있는, 예를 들어 최대 AV 전방 1 킬로미터 이상의 대상체를 "보도록" 구성될 수 있다. 따라서, 카메라 시스템은 멀리 떨어져 있는 대상체를 인지하기 위해 최적화되는 센서 및 렌즈와 같은 특징부를 가질 수 있다.
다른 입력(502d)은 TLD(traffic light detection) 시스템이다. TLD 시스템은 하나 이상의 카메라를 사용하여, 신호등, 거리 표지판, 및 시각적 동작 정보를 제공하는 다른 물리적 대상체에 관한 정보를 획득한다. TLD 시스템은 출력(504d)으로 TLD 데이터를 생성한다. TLD 데이터는 종종 이미지 데이터(예를 들어, RAW, JPEG, PNG 등과 같은 이미지 데이터 형식의 데이터)의 형태를 취한다. TLD 시스템은, 시각적 동작 정보를 제공하는 다수의 물리적 대상체에 관한 정보를 가능한 많이 획득하기 위해 TLD 시스템이 넓은 시계를 갖는 카메라를 사용하여(예를 들어, 광각 렌즈 또는 어안 렌즈를 사용함), AV(100)가 이러한 대상체에 의해 제공되는 모든 관련 동작 정보에 액세스한다는 점에서, 카메라를 포함하는 시스템과 상이하다. 예를 들어, TLD 시스템의 시야각은 약 120도 이상일 수 있다.
일부 실시예에서, 출력(504a 내지 504d)은 센서 융합 기술을 사용하여 조합된다. 따라서, 개별 출력(504a 내지 504d) 중 어느 하나가 AV(100)의 다른 시스템에 제공되거나(예를 들어, 도 4에 도시된 바와 같이 계획 모듈(404)에 제공되거나), 조합된 출력이 동일한 타입의 단일 조합 출력 또는 다중 조합 출력(동일한 조합 기술 또는 동일한 출력의 조합을 사용하거나 양자 모두를 사용함)의 형태 또는 상이한 타입의 단일 조합 출력 또는 다중 조합 출력(예를 들어, 상이한 개별 조합 기술 또는 상이한 개별 출력의 조합을 사용하거나 또는 양자 모두를 사용함)의 형태 중 하나로 다른 시스템에 제공될 수 있다. 일부 실시예에서, 조기 융합 기술이 사용된다. 조기 융합(early fusion) 기술은 하나 이상의 데이터 프로세싱 단계가 조합 출력에 적용되기 전에 출력을 조합하는 것을 특징으로 한다. 일부 실시예에서, 늦은 융합(late fusion) 기술이 사용된다. 늦은 융합 기술은 하나 이상의 데이터 프로세싱 단계가 개별 출력에 적용된 후에 출력을 조합하는 것을 특징으로 한다.
도 6은 LiDAR 시스템(602)(예를 들어, 도 5에 도시된 입력(502a))의 일 예를 도시한다. LiDAR 시스템(602)은 광 이미터(606)(예를 들어, 레이저 송신기)로부터 광(604a 내지 604c)을 방출한다. LiDAR 시스템에 의해 방출된 광은 전형적으로 가시 스펙트럼에 있지 않으며, 예를 들어 적외선 광이 종종 사용된다. 방출된 광(604b)의 일부는 물리적 대상체(608)(예를 들어, 차량)와 조우하고, LiDAR 시스템(602)으로 다시 반사된다. (LiDAR 시스템으로부터 방출되는 광은 전형적으로 물리적 대상체, 예를 들어 고체 형태의 물리적 대상체를 관통하지 않는다). 또한, LiDAR 시스템(602)은 반사된 광을 검출하는 하나 이상의 광 검출기(610)를 갖는다. 일 실시예에서, LiDAR 시스템과 연계된 하나 이상의 데이터 프로세싱 시스템은 LiDAR 시스템의 시계(614)를 나타내는 이미지(612)를 생성한다. 이미지(612)는 물리적 대상체(608)의 경계(616)를 나타내는 정보를 포함한다. 이러한 방식으로, 이미지(612)는 AV 인근의 하나 이상의 물리적 대상체의 경계(616)를 결정하는데 사용된다.
도 7은 동작 중인 LiDAR 시스템(602)을 도시한다. 이 도면에 도시된 시나리오에서, AV(100)는 이미지(702) 형태의 카메라 시스템 출력(504c) 및 LiDAR 데이터 포인트(704) 형태의 LiDAR 시스템 출력(504a) 양자 모두를 수신한다. 사용 시, AV(100)의 데이터 프로세싱 시스템은 이미지(702)를 데이터 포인트(704)와 비교한다. 특히, 이미지(702)에서 식별된 물리적 대상체(706)도 데이터 포인트(704) 사이에서 식별된다. 이러한 방식으로, AV(100)는 데이터 포인트(704)의 윤곽 및 밀도에 기초하여 물리적 대상체의 경계를 인지한다.
도 8은 LiDAR 시스템(602)의 동작을 더 상세히 도시한다. 위에서 기술된 바와 같이, AV(100)는 LiDAR 시스템(602)에 의해 검출된 데이터 포인트의 특성에 기초하여 물리적 대상체의 경계를 검출한다. 도 8에 도시된 바와 같이, 지면(802)과 같은 평평한 대상체는 일관된 방식으로 LiDAR 시스템(602)으로부터 방출된 광(804a 내지 804d)을 반사할 것이다. 달리 말하면, LiDAR 시스템(602)이 일관된 간격을 사용하여 광을 방출하기 때문에, 지면(802)은 광을 동일한 일관된 간격으로 LiDAR 시스템(602)으로 다시 반사할 것이다. AV(100)가 지면(802) 위에서 진행함에 따라, LiDAR 시스템(602)은 도로를 방해하는 것이 없는 경우 다음 유효 지면 포인트(806)에 의해 반사되는 광을 계속 검출할 것이다. 그러나, 대상체(808)가 도로를 방해하는 경우, LiDAR 시스템(602)에 의해 방출된 광(804e 내지 804f)은 예상되는 일관된 방식과 불일치하는 방식으로 포인트(810a 내지 810b)로부터 반사될 것이다. 이 정보로부터, AV(100)는 대상체(808)가 존재한다고 결정할 수 있다.
경로 계획
도 9는 (예를 들어, 도 4에 도시된 바와 같은) 계획 모듈(404)의 입력과 출력 사이의 관계의 블록도(900)를 도시한다. 일반적으로, 계획 모듈(404)의 출력은 시작 포인트(904)(예를 들어, 소스 위치 또는 최초의 위치)로부터의 루트(902), 및 종료 포인트(906)(예를 들어, 목적지 또는 최종 위치)이다. 루트(902)는 전형적으로 하나 이상의 세그먼트에 의해 규정된다. 예를 들어, 일 세그먼트는 거리, 도로, 공도, 사유 도로, 또는 자동차 진행에 적절한 다른 물리적 영역의 적어도 일 부분에 걸쳐 진행되는 거리이다. 일부 예에서, 예를 들어 AV(100)가 4륜 구동(4WD) 또는 상시 4륜구동(AWD) 자동차, SUV, 픽업 트럭 등과 같은 오프-로드 주행 가능 차량인 경우, 루트(902)는 비포장 경로 또는 개방 필드와 같은 "오프-로드" 세그먼트를 포함한다.
루트(902)에 추가하여, 계획 모듈은 차선-레벨 루트 계획 데이터(908)도 출력한다. 차선-레벨 루트 계획 수립 데이터(908)는 특정 시간에 세그먼트의 조건에 기초하여 루트(902)의 세그먼트를 횡단하는 데 사용된다. 예를 들어, 루트(902)가 다중 차선 공도를 포함하는 경우, 차선-레벨 루트 계획 데이터(908)는, 출구가 접근하고 있는지, 하나 이상의 차선에 다른 차량이 있는지 또는 차선 중 하나 이상이 다른 차량을 갖는지, 또는 수 분 또는 그 미만 동안에 걸쳐 변경된 다른 요인에 기초하여 AV(100)가 다중 차선 중 한 차선을 선택하는데 사용할 수 있는 궤적 계획 데이터(910)를 포함한다. 유사하게, 일부 구현예에서, 차선-레벨 루트 계획 데이터(908)는 루트(902)의 세그먼트에 특정한 속력 제약(912)을 포함한다. 예를 들어, 세그먼트가 보행자 또는 예상되지 않는 교통상황(traffic)을 포함하는 경우, 속력 제약(912)은 AV(100)를 예상되는 속력보다 느린 진행 속력, 예를 들어 세그먼트에 대한 속력 제한 데이터에 기초한 속력으로 제한할 수 있다.
일 실시예에서, 계획 모듈(404)로의 입력은 (예를 들어, 도 4에 도시된 데이터베이스 모듈(410)로부터의) 데이터베이스 데이터(914), 현재 위치 데이터(916)(예를 들어, 도 4에 도시된 AV 위치(418)), (예를 들어, 도 4에 도시된 목적지(412)를 위한) 목적지 데이터(918), 및 대상체 데이터(920)(예를 들어, 도 4에 도시된 인지 모듈(402)에 의해 인지되는 분류된 대상체(416))를 포함한다. 일부 실시예에서, 데이터베이스 데이터(914)는 계획에 사용되는 규칙을 포함한다. 규칙은 예를 들어, 불리언 로직을 사용하는 형식 언어를 사용하여 특정된다. AV(100)와 조우하는 임의의 주어진 상황에서, 규칙 중 적어도 일부는 해당 상황에 적용될 것이다. 규칙이 AV(100)에 이용 가능한 정보, 예를 들어 주위 환경에 관한 정보에 기초하여 충족되는 조건을 갖는 경우, 규칙이 주어진 상황에 적용된다. 규칙은 우선순위를 가질 수 있다. 예를 들어, "도로가 공도인 경우, 최좌측 차선으로 이동하라"고 말하는 규칙은, 출구가 1마일 내에서 접근하고 있는 경우, 최우측 차선으로 이동하라"는 것보다 낮은 우선순위를 가질 수 있다.
도 10은 예를 들어, 계획 모듈(404)(도 4)에 의해 경로 계획 수립에 사용되는 방향 그래프(1000)를 도시한다. 일반적으로, 도 10에 도시된 것과 같은 방향 그래프(1000)는 임의의 시작 포인트(1002)와 종료 포인트(1004) 사이의 경로를 결정하는 데 사용된다. 현실 세계에서는, 시작 포인트(1002)와 종료 포인트(1004)를 분리하는 거리는 비교적 클 수 있거나(예를 들어, 2개의 상이한 대도시 지역 내) 또는 비교적 작을 수 있다(예를 들어, 도시 블록과 맞접하는 2개의 교차점 또는 다중 차선 도로의 2개의 차선).
일 실시예에서, 방향 그래프(1000)는 AV(100)에 의해 점유될 수 있는 시작 포인트(1002)와 종료 포인트(1004) 사이의 상이한 위치를 나타내는 노드(1006a 내지 1006d)를 갖는다. 일부 예에서, 시작 포인트(1002) 및 종료 포인트(1004)가 상이한 대도시 지역을 나타낼 때, 노드(1006a 내지 1006d)는 도로의 세그먼트를 나타낸다. 일부 예에서, 예를 들어, 시작 포인트(1002) 및 종료 포인트(1004)가 동일한 도로 상의 상이한 위치를 나타낼 때, 노드(1006a 내지 1006d)는 해당 도로 상의 상이한 위치를 나타낸다. 이러한 방식으로, 방향 그래프(1000)는 가변 수준의 입도(granularity)에서 정보를 포함한다. 또한, 일 실시예에서, 높은 입도를 갖는 방향 그래프는 더 큰 스케일을 갖는 다른 방향 그래프의 하위그래프이다. 예를 들어, 시작 포인트(1002) 및 종료 포인트(1004)가 멀리 떨어져 있는(예를 들어, 수 마일(many miles) 떨어져 있는) 방향 그래프는 낮은 입도에서 대부분의 정보를 가지며, 저장된 데이터에 기초하지만, AV(100)의 시계 내의 물리적 위치를 나타내는 그래프의 부분에 대한 일부 높은 입도 정보도 포함한다.
노드(1006a 내지 1006d)는 노드와 중첩할 수 없는 대상체(1008a 내지 1008b)와 별개이다. 일 실시예에서, 입도가 낮을 때, 대상체(1008a 내지 1008b)는 자동차에 의해 횡단될 수 없는 구역, 예를 들어 거리 또는 도로가 없는 영역을 나타낸다. 입도가 높을 때, 대상체(1008a 내지 1008b)는 AV(100)의 시계 내의 물리적 대상체, 예를 들어 다른 자동차, 보행자, 또는 AV(100)가 물리적 공간을 공유할 수 없는 다른 엔티티를 나타낸다. 일 실시예에서, 대상체(1008a 내지 1008b)의 일부 또는 전부는 정적 대상체(예를 들어, 거리 램프 또는 전신주와 같은 위치를 변경하지 않는 대상체) 또는 동적 대상체(예를 들어, 보행자 또는 다른 자동차와 같은 위치를 변경할 수 있는 대상체)이다.
노드(1006a 내지 1006d)는 에지(1010a 내지 1010c)에 의해 연결된다. 2개의 노드(1006a 내지 1006b)가 에지(1010a)에 의해 연결되는 경우, AV(100)가, 예를 들어 다른 노드(1006b)에 도착하기 전에 중간 노드로 진행할 필요 없이, 하나의 노드(1006a)와 다른 노드(1006b) 사이에서 진행하는 것이 가능하다. (노드 사이에서 진행하는 AV(100)가 언급될 때, AV(100)가 개별 노드에 의해 표현된 2개의 물리적 위치 사이에서 진행한다는 것을 의미한다.) 에지(1010a 내지 1010c)는, AV(100)가 제1 노드로부터 제2 노드로, 또는 제2 노드로부터 제1 노드로 진행한다는 점에서 종종 양방향성이다. 일 실시예에서, 에지(1010a 내지 1010c)는, AV(100)가 제1 노드로부터 제2 노드로 진행할 수 있지만, AV(100)가 제2 노드로부터 제1 노드로 진행할 수 없다는 의미에서 단방향이다. 에지(1010a 내지 1010c)는, 예를 들어, 일방통행로, 거리, 도로, 또는 공도의 개별 차선, 또는 법적 또는 물리적 제약으로 인해 일 방향으로만 횡단될 수 있는 다른 특징을 나타낼 때 단방향이다.
일 실시예에서, 계획 모듈(404)은 방향 그래프(1000)를 사용하여 시작 포인트(1002)와 종료 포인트(1004) 사이의 노드 및 에지로 이루어진 경로(1012)를 식별한다.
에지(1010a 내지 1010c)는 연계된 비용(1014a 내지 1014b)을 갖는다. 비용(1014a 내지 1014b)은 AV(100)가 해당 에지를 선택하는 경우 소비될 리소스를 나타내는 값이다. 전형적인 리소스는 시간이다. 예를 들어, 하나의 에지(1010a)가 다른 에지(1010b)의 물리적 거리에 2배인 물리적 거리를 나타내면, 제1 에지(1010a)의 연계된 비용(1014a)은 제2 에지(1010b)의 연계된 비용(1014b)의 2배일 수 있다. 시간에 영향을 미치는 다른 인자는 예상되는 교통상황, 교차로의 수, 속력 제한 등을 포함한다. 다른 전형적인 리소스는 연비(fuel economy)이다. 2개의 에지(1010a 및 1010b)는 동일한 물리적 거리를 나타낼 수 있지만, 도로 조건, 예상된 날씨 등으로 인해, 하나의 에지(1010a)는 다른 에지(1010b) 보다 많은 연료를 요구할 수 있다.
계획 모듈(404)이 시작 포인트(1002)와 종료 포인트(1004) 사이의 경로(1012)를 식별할 때, 계획 모듈(404)은 전형적으로, 비용에 최적화된 경로, 예를 들어 에지의 개별 비용이 함께 추가될 때 최소 전체 비용을 갖는 경로를 선택한다.
자율 주행 차량 제어
도 11은 (예를 들어, 도 4에 도시된) 제어 모듈(406)의 입력 및 출력의 블록도(1100)를 도시한다. 제어 모듈은, 예를 들어 프로세서(304)와 유사한 하나 이상의 프로세서(예를 들어, 마이크로프로세서 또는 마이크로컨트롤러 또는 양자 모두와 같은 하나 이상의 컴퓨터 프로세서), 메인 메모리(306)와 유사한 단기 및/또는 장기 데이터 스토리지(예를 들어, 메모리 랜덤-액세스 메모리 또는 플래시 메모리 또는 양자 모두), ROM(1308), 및 저장 디바이스(210)를 포함하는 제어기(1102), 및 메모리 내에 저장된 명령에 따라 동작하는데, 상기 명령은 명령이 (예를 들어, 하나 이상의 프로세서에 의해) 실행될 때 제어기(1102)의 동작을 수행한다.
일 실시예에서, 제어기(1102)는 원하는 출력(1104)을 나타내는 데이터를 수신한다. 원하는 출력(1104)은 전형적으로 속도, 예를 들어 속력 및 방향을 포함한다. 원하는 출력(1104)은, 예를 들어, 계획 모듈(404)(예를 들어, 도 4에 도시됨)로부터 수신된 데이터에 기초할 수 있다. 원하는 출력(1104)에 따라, 제어기(1102)는 스로틀 입력(1106) 및 조향 입력(1108)으로 사용 가능한 데이터를 생성한다. 스로틀 입력(1106)은 원하는 출력(1104)을 달성하기 위해 조향 페달에 관여하거나 또는 다른 스로틀 제어에 관여함으로써, AV(100)의 스로틀(예를 들어, 가속도 제어)에 관여하는 정도를 나타낸다. 또한, 일부 예에서, 스로틀 입력(1106)은 AV(100)의 브레이크(예를 들어, 감속 제어)에 관여하는데 사용 가능한 데이터를 포함한다. 조향 입력(1108)은 조향 각도, 예를 들어 AV의 조향 제어(예를 들어, 조향 휠, 조향 각도 액추에이터, 또는 조향 각도를 제어하기 위한 다른 기능성)가 원하는 출력(1104)을 달성하도록 위치설정되어야 하는 각도를 나타낸다.
일 실시예에서, 제어기(1102)는 스로틀 및 조향에 제공되는 입력을 조정하는데 사용되는 피드백을 수신한다. 예를 들어, AV(100)가 언덕과 같은 방해물(1110)과 조우하면, AV(100)의 측정된 속력(1112)은 원하는 출력 속력 아래로 낮아진다. 일 실시예에서, 임의의 측정된 출력(1114)은, 예를 들어 측정된 속력과 원하는 출력 사이의 차분(1113)에 기초하여, 필요한 조정이 수행되도록 제어기(1102)에 제공된다. 측정된 출력(1114)은 측정된 위치(1116), 측정된 속도(1118)(속력 및 방향을 포함), 측정된 가속도(1120), 및 AV(100)의 센서에 의해 측정 가능한 다른 출력을 포함한다.
일 실시예에서, 방해물(1110)에 관한 정보는 예를 들어, 카메라 또는 LiDAR 센서와 같은 센서에 의해 미리 검출되고, 예측 피드백 모듈(1122)에 제공된다. 이후, 예측 피드백 모듈(1122)은 정보를 제어기(1102)에 제공하며, 제어기(1102)는 그에 따른 조정에 이 정보를 사용할 수 있다. 예를 들어, AV(100)의 센서가 언덕을 검출한("본") 경우, 이 정보는 상당한 감속을 피하기 위해 적절한 시간에 스로틀에 관여할 준비를 하도록 제어기(1102)에 의해 사용될 수 있다.
도 12는 제어기(1102)의 입력, 출력, 및 컴포넌트의 블록도(1200)를 도시한다. 제어기(1102)는 스로틀/브레이크 제어기(1204)의 동작에 영향을 미치는 속력 프로파일러(1202)를 갖는다. 예를 들어, 속력 프로파일러(1202)는 예를 들어, 제어기(1102)에 의해 수신되고 속력 프로파일러(1202)에 의해 프로세싱되는 피드백에 따라 스로틀/브레이크(1206)를 사용하여 가속에 관여하거나 감속에 관여하도록 스로틀/브레이크 제어기(1204)에 명령한다.
또한, 제어기(1102)는 조향 제어기(1210)의 동작에 영향을 미치는 측방향 추적 제어기(1208)를 갖는다. 예를 들어, 측방향 추적 제어기(1208)는 예를 들어, 제어기(1102)에 의해 수신되고 측방향 추적 제어기(1208)에 의해 프로세싱되는 피드백에 따라 조향 각도 액추에이터(1212)의 위치를 조정하도록 조향 제어기(1204)에 명령한다.
제어기(1102)는 스로틀/브레이크(1206) 및 조향 각도 액추에이터(1212)를 제어하는 방법을 결정하기 위해 사용되는 여러 입력을 수신한다. 계획 모듈(404)은, 예를 들어, AV(100)가 동작을 시작할 때 방향을 선택하고 AV(100)가 교차로에 도달할 때 어느 도로 세그먼트를 횡단할지를 결정하기 위해, 제어기(1102)에 의해 사용되는 정보를 제공한다. 로컬화 모듈(408)은, 예를 들어, 스로틀/브레이크(1206) 및 조향 각도 액추에이터(1212)가 제어되고 있는 방식에 기초하여 예상되는 위치에 AV(100)가 있는지를 제어기(1102)가 결정할 수 있도록, AV(100)의 현재 위치를 기술하는 정보를 제어기(1102)에 제공한다. 일 실시예에서, 제어기(1102)는 다른 입력(1214)으로부터의 정보, 예를 들어, 데이터베이스, 컴퓨터 네트워크 등으로부터 수신된 정보를 수신한다.
긴급상황 시의 동작을 위한 아키텍처
도 13은 하나 이상의 실시예에 따른, 긴급 상황 시 AV(1304)의 동작을 위한 동작 환경의 블록도를 도시한다. 동작 환경은 데이터 플랫폼(1308), 및 AV(1304)가 동작하고 있는 환경(1300)을 포함한다. 다른 실시예에서, 동작 환경은 본원에서 기술되는 것에 추가적인 엔티티 또는 대상체 또는 본원에서 기술되는 것보다 적은 엔티티 또는 대상체를 포함한다.
데이터 플랫폼(1308)은 AV(1304), 하나 이상의 차량(1328), 교통 신호의 제어기(1336), 및 긴급 차량(1324)으로부터 실시간 교통 정보 및 통신을 수신한다. 통신은 차량의 위치 및 제어기(1336)의 동작 상태를 포함한다. 데이터 플랫폼은 AV(1304), 상기 하나 이상의 차량(1328), 제어기(1336), 및 긴급 차량(1324)의 동작을 조정을 보조한다. 데이터 플랫폼(1308)은 도 2를 참조하여 위에서 예시 및 기술된 클라우드 데이터 센터(204a 또는 204b)의 일례일 수 있다. 데이터 플랫폼(1308)은 서버(136) 및 하나 이상의 데이터베이스(134)를 포함한다. 다른 실시예에서, 동작 환경은 본원에서 기술되는 것에 추가적인 엔티티 또는 대상체 또는 본원에서 기술되는 것보다 적은 엔티티 또는 대상체를 포함한다.
서버(136)는 도 1을 참조하여 위에서 예시 및 기술되었다. 서버(136)는 AV(1304), 상기 하나 이상의 차량(1328), 교통 신호의 제어기(1336), 및 긴급 차량(1324)으로부터의 통신을 수신하기 위한 하나 이상의 프로세서를 포함한다. 프로세서는 데이터베이스(134)에 저장된 데이터에 대한 계산을 추가로 수행한다. 프로세서는 궤적, 교통 조건 및 명령과 같은 데이터 및 메시지를 AV(1304), 상기 하나 이상의 차량(1328), 교통 신호의 제어기(1336) 및 긴급 차량(1324)에 추가로 통신한다.
일 실시예에서, 서버(136)는 AV(1304) 또는 차량(1328)으로부터, AV(1304) 또는 차량(1328)의 시공간적 위치를 수신한다. 서버(136)는 차량의 동작 모드를 나타내는 정보를 수신한다. 동작 모드는 수동이거나(운전자에 의해 운전되거나) 자율 주행일 수 있다. 서버(136)는 긴급 차량(1324)으로부터 긴급 차량(1324)의 궤적을 수신한다. 서버(136)는 긴급 차량(1324)의 궤적을 피하기 위해, 시공간적 위치를 사용하여 AV(1304) 및 차량(1328)에 대한 루트 재설정 정보를 결정한다. 또한, 서버(136)는 교통상황(traffic)을 피하기 위해 AV(1304)에 대한 궤적을 결정함으로써 루트 재설정 정보를 결정할 수 있다. 따라서, 서버(136)는 AV(1304) 및 긴급 차량(1324)과 실시간으로 통신한다. 서버(136)는 루트 재설정 정보를 하나 이상의 차량에 송신한다.
일 실시예에서, 서버(136)는 하나 이상의 교통 카메라 또는 제어기(1336)로부터, 환경(1300) 내의 교통상황을 나타내는 하나 이상의 이미지를 수신한다. 서버(136)는 교통상황을 피하기 위해, 상기 하나 이상의 이미지를 사용하여, 긴급 차량(1324)에 대한 루트 재설정 정보를 결정할 수 있다. 서버(136)는 루트 재설정 정보를 긴급 차량(1324)에 송신한다. 일 실시예에서, 데이터베이스(134)는 환경(1300)의 가중된 그래픽 표현(1000)을 저장한다. 가중된 그래픽 표현(1000)은 도 10을 참조하여 위에 기술되었으며 도 13을 참조하여 아래에서 추가로 기술된다. 서버(136)는, 교통상황을 나타내는 상기 하나 이상의 이미지를 사용하여, 환경(1300)의 가중된 그래픽 표현(1000)을 업데이트한다. 가중된 그래픽 표현(1000)은 서버(136)에 의한 루트 재설정 및 궤적 생성을 수행하는 데 사용된다.
일 실시예에서, 서버(136)는, AV(1304), 긴급 차량(1324), 또는 차량(1328)이 루트 재설정 정보에 따라 동작하는 것을 허용하기 위해 제어기(1336)가 교통 신호를 녹색으로 전환하는 것이 가능해지도록, 루트 재설정 정보를 제어기(1336)에 송신한다. 긴급 차량(1324)의 타입이 법 집행 차량인 것으로 결정하는 것에 응답하여, 서버(136)는 예를 들어, AV(1304)가 법 집행에 의해 노변 정차될 때, AV(1304)를 정지시키라는 명령을 제어 모듈(406)에 송신할 수 있다. 일 실시예에서, 긴급 차량(1324)의 타입이 법 집행 차량인 것으로 결정한 것에 응답하여, 서버(136)는 AV(1304)의 도어를 잠금해제하라는 명령을 제어 모듈(406)에 송신한다.
데이터베이스(134)는 도 1을 참조하여 위에서 예시 및 기술되었다. 데이터베이스(134)는 서버(136)에 통신 가능하게 결합되고 서버(136)에 의해 판독 가능 및 기록 가능하다. 데이터베이스(134)는 차량의 시공간적 위치 및 각각의 차량의 동작 모드를 포함하는 정보를 저장한다.
환경(1300)은 주(state), 시(town), 지역(neighborhood), 또는 도로망 또는 도로 세그먼트와 같은 지리적 영역을 나타낸다. 환경(1300)은 도 1을 참조하여 위에 예시 및 기술된 동작 환경(190)의 일 예일 수 있다. AV(1304), 긴급 차량(1324), 및 하나 이상의 다른 차량(1328)이 환경(1300) 내에서 동작하고 있다. 또한, 환경(1300)은 안전 위치(1332), 제어기(1336), 및 하나 이상의 대상체(1008)를 포함한다. 다른 실시예에서, 동작 환경(1300)은 본원에서 기술되는 것에 추가적인 엔티티 또는 대상체 또는 본원에서 기술되는 것보다 적은 엔티티 또는 대상체를 포함한다.
AV(1304)는 환경(1300)에서 동작하는 부분적 또는 완전한 자율 주행 차량이다. AV(1304)는 하나 이상의 센서(1312), 계획 모듈(404), 통신 디바이스(140), 머신 러닝 모듈(1316), 및 제어 모듈(406)을 포함한다. AV(1304)는 AV(1304)에 대한 궤적을 생성하기 위해 환경(1300)의 가중된 그래픽 표현(1000)을 저장 또는 생성한다. 다른 실시예에서, AV(1304)는 본원에서 기술되는 것에 추가적인 엔티티 또는 대상체 또는 본원에서 기술되는 것보다 적은 엔티티 또는 대상체를 포함한다.
운전 모드에서, AV(1304)는 환경(1300) 내의 정적 대상체 및 동적 대상체(1008)를 검출하고 분류하거나 라벨링하기 위해, 하나 이상의 센서(1312)로부터의 센서 데이터, 예를 들어, LiDAR 데이터 또는 스테레오 카메라 데이터를 사용한다. 일 실시예에서, 센서(1312)는 하나 이상의 대상체(1008), 하나 이상의 차량(1328), 및 긴급 차량(1324)의 존재 및 구조와 같은 환경(1300)의 상태를 감지하고, 그 상태를 나타내는 센서 데이터 및 시맨틱 데이터를 계획 모듈(404)에 송신한다. 상기 하나 이상의 센서(1312)는 대상체, 예를 들어 긴급 차량(1324)을 나타내는 센서 데이터를 수신할 수 있다. 센서 데이터는 2차원(2D) 또는 3차원(3D) 시각 데이터, 청각 데이터, RF 신호, 또는 긴급 차량(1324)으로부터의 메시지일 수 있다. 센서 데이터는 대상체를 긴급 차량으로 분류하는데 사용될 수 있다.
센서(1312)는 계획 모듈(404)에 통신 가능하게 결합되어 센서 데이터 및 시맨틱 데이터를 송신한다. 센서(1312)는 가시광, 적외선 또는 열(또는 양자 모두)의 스펙트럼식인 하나 이상의 단안 또는 스테레오 비디오 카메라, LiDAR, RADAR, 초음파 센서, TOF(time-of-flight) 심도 센서를 포함하고, 온도 센서, 습도 센서 및 강우 센서를 포함할 수 있다. 센서(1312)는 도 1을 참조하여 위에서 예시 및 기술된 센서(122-123)의 일 예일 수 있다. 분류된/라벨링된 대상체(1008) 및 그의 동적 특성, 예를 들어, 위치, 속도, 또는 방향은, 만약 존재한다면, 환경(1300)을 통과하는 안전 궤적을 생성하기 위해 AV(1304)와 대상체(1008) 사이의 충돌을 예측하고, 안전 궤적을 따라 환경(1300)을 통해 운전하도록 AV(1304)를 동작시키기 위해 계획 모듈(404)에 의해 사용된다.
일 실시예에서, 센서 데이터는 대상체(예를 들어, 대상체(1008))의 구조적 특징의 이미지를 포함한다. 예를 들어, 구조적 특징은 법 집행 차량에 속하는 특정 타입의 안테나일 수 있다. 센서 데이터는 대상체(1008) 상의 마킹의 이미지를 포함할 수 있다. 예를 들어, 마킹은 대상체(1008)가 구급차라는 것을 나타내는 적색 십자일 수 있다. 일 실시예에서, 센서 데이터는 환경(1300)의 특징(예를 들어, 노변 정차 영역, 휴게소(rest zone), 또는 갓길 차선을 나타내는 표지)을 포함한다.
일 실시예에서, 센서(1312)는 AV(1304)의 시공간적 위치를 결정하는데 사용되는 GNSS(global navigation satellite system) 센서 또는 IMU(inertial measurement unit)를 포함한다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 센서(1312)로부터 센서 데이터를 수신하고, AV(1304)에 대한 궤적을 생성하고, AV(1304)의 제어를 동작하는 것에 대해 제어 모듈(406)에 명령한다. 계획 모듈(404)은 도 4를 참조하여 위에서 예시 및 기술되었다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 센서 데이터를 사용하여, 환경(1300) 내의 대상체(1008)가 긴급 차량인지를 식별한다. 예를 들어, 센서(1312)는 RF 신호를 수신하도록 설계된 RF 센서일 수 있다. 센서 데이터는 긴급 차량(1324)으로부터의 라디오-주파수(RF) 신호일 수 있다. RF 신호는 긴급 차량(1324)의 타입을 표시할 수 있다. 예를 들어, 긴급 모드로 동작할 때, 긴급 차량(1324)은 구급차라는 메시지를 주위 차량에 방송할 수 있다. AV(1304)는 RF 신호에 기초하여 긴급 차량(1324)의 타입을 검출할 수 있다. 일 실시예에서, 센서 데이터는 긴급 차량(1324)에 의해 방출된 고주파 사운드를 포함한다. 고주파 사운드는 인간의 귀에 들리지 않을 수 있지만, 이는 AV(1304) 상의 청각 센서, 예를 들어 마이크로폰에 의해 포착될 수 있다. 사운드는, 대상체가 긴급 차량(1324)이며 긴급 차량(1324)의 타입이 법 집행 차량이라는 것을 반영하기 위해 내부에 인코딩된 정보를 포함하는 청각 서명(audio signature)을 가질 수 있다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 센서(1312)를 사용하여, 긴급 차량(1324)으로부터의 음파의 주파수의 변화를 검출한다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 센서(1312)를 사용하여, 음파의 파장의 변화를 검출할 수 있다. 예를 들어, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, AV(1304)에 대한 긴급 차량(1324)의 속력을 결정하기 위해 긴급 차량(1324)에 대해 이동하고 있는 AV(1304)에 관한 음파의 주파수 또는 파장의 변화에 기초하여 도플러 효과를 사용한다. 일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 복수의 마이크로폰을 사용하여, 음파의 복수의 강도를 결정한다. 센서(1312)는 복수의 지향성 마이크로폰을 포함할 수 있다. 복수의 마이크로폰 중 각각의 마이크로폰은 AV(1304)의 별개의 측면 상에 위치할 수 있다. 계획 모듈(404)은 그 강도에 기초하여 긴급 차량(1324)의 지향성 배향(directional orientation)을 결정한다. 계획 모듈(404)은 긴급 차량(1324)의 시공간적 위치 및 AV(1304)에 대한 긴급 차량(1324)의 속력을 사용하여, AV(1304)이 긴급 차량(1324)을 피하기 위한 궤적을 생성한다. 예를 들어, 궤적은 안전 위치(1332)로의 운행(navigating) 또는 노변 정차를 포함할 수 있다.
일 실시예에서, 대상체가 긴급 차량(예를 들어, 1324)인 것을 식별하는 것에 응답하여, 계획 모듈(404)은 센서 데이터를 사용하여 긴급 차량(1324)이 긴급 모드로 동작하고 있는지를 결정한다. 긴급 모드는, 긴급 차량(1324)이 의료적 긴급 상황, 재난 구호 상황 등과 같은 긴급 상황에 응답하고 있다는 것을 표시하기 위해, 긴급 차량(1324)이 주위 차량(예를 들어, AV(1304) 또는 차량(1328))에 시청각 또는 다른 타입의 신호(예를 들어, 점멸 조명, 사이렌 등)를 제공하는 모드로서 기술된다. 주위 차량은 긴급 차량(1324)에 길을 내주거나 긴급 차량(1324)이 통과할 수 있게 해야 한다. 또한, 긴급 모드는 법규(예를 들어, 도로법, 시 규정 등) 하에서, 주위 차량이 긴급 차량(1324)에 길을 내주도록 요구되는 긴급 차량(1324)의 동작 모드로서 기술될 수 있다.
일 실시예에서, 긴급 차량(1324)이 긴급 모드로 동작하고 있는지를 결정하기 위해, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 센서 데이터를 사용하여, 긴급 차량(1324)의 광이 점멸하고 있는지를 검출한다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 하나 이상의 긴급 차량이 긴급 모드에서 동작하고 있다 하나 이상의 통지를 수신할 수 있다. 예를 들어, 긴급 차량(1324)은 RF 신호 또는 고주파 사운드를 AV(1304)에 송신할 수 있다. 일 실시예에서, 상기 하나 이상의 센서(1312)는 긴급 차량(1324)의 시공간적 위치를 결정하는데 사용된다. 통신 디바이스(140)는 상기 하나 이상의 다른 차량(1328)에, 긴급 차량(1324)의 시공간적 위치를 송신할 수 있다. 따라서, 상기 하나 이상의 다른 차량(1328)은 안전 위치(1332)에 대한 하나 이상의 궤적을 생성하는 것이 가능하게 된다
일 실시예에서, AV(1304)에 대한 긴급 동작을 수행하는 것은 AV(1304)의 궤적을 조정하는 것을 포함한다. 예를 들어, AV(1304)는 긴급 모드에서 동작하는 긴급 차량(1324)을 관측할 때 궤적을 사용하여 사전-계획된 목적지를 향해 자율적으로 운행하고 있을 수 있다. 따라서, AV(1304)는 노변 정차하도록 그 궤적을 조정할 수 있다. 궤적을 생성 또는 조정하기 위해, 계획 모듈(404)은 AV(1304)에 대한 원하는 동작의 묘사(description)를 수신하고 환경(1300)의 가중된 그래픽 표현(1000)을 생성한다. 가중된 그래픽 표현(1000)은 도 10을 참조하여 위에서 예시 및 기술되었다. 일 실시예에서, 가중된 그래픽 표현은 노드 및 에지를 갖는 방향 그래프이다. 각각의 노드는 AV(1304)의 시공간적 위치 또는 상태에 대응하고 각각의 에지는 진행 세그먼트에 대응한다. 각각의 에지에 대한 가중치는 AV(1304)가 해당 에지를 횡단하기 위한 비용, 예를 들어 진행 세그먼트의 길이를 지칭할 수 있다.
일 실시예에서, 가중된 그래픽 표현(1000)의 진행 세그먼트(에지)의 가중치는 진행 세그먼트 상에서 동작하는 차량(1328)의 수(교통상황)를 나타낸다. 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 대상체(1008)와의 AV(1304)의 예측된 충돌의 수를 나타낼 수 있다. 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 AV(1304)에 대한 예측된 정지의 수를 나타낼 수 있다. 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 AV(1304)와 대상체(1008) 사이의 예측된 측방향 간격을 나타낼 수 있다. 진행 세그먼트의 가중치는 진행 세그먼트의 도로 표면 손상의 양을 나타낼 수 있다. 가중된 그래픽 표현(1000)의 진행 세그먼트의 가중치는 진행 세그먼트 상에서 동작하는 긴급 차량(1324)의 수를 나타낼 수 있다.
계획 모듈(404)은 가중된 그래픽 표현(1000)을 횡단하여, AV(1304)의 스로틀 및 조향에 대한 속력 및 회전 커맨드를 생성한다. 일 실시예에서, 가중된 그래픽 표현(1000)은 AV(1304)에 대한 구성 공간(시공간적 위치, 속력, 지향성 배향 등)에 오버레이된다. AV(1304)에 대한 각각의 구성은 가중된 그래픽 표현(1000)의 정점(vertex)과 연계된다. 각각의 정점으로부터, AV(1304)는 인접한 차량 사이의 경로가 대상체, 예를 들어, 대상체(1008)와의 충돌을 회피하는 한 인접한 차량으로 이동하는 것이 허용된다.
일 실시예에서, 계획 모듈(404)은 긴급 차량(1324)에 요청을 송신함으로써 궤적을 생성한다. 계획 모듈(404)은, 긴급 차량(1324)으로부터, 복수의 진행 세그먼트를 수신한다. 예를 들어, 긴급 차량(1324)은 특정 안전 차선 또는 도로를 사용하도록 AV(1304)에게 명령할 수 있다. 계획 모듈(404)은 환경(1300)의 그래픽 표현(1000)을 사용하여, 궤적이 수신된 복수의 진행 세그먼트 중 적어도 하나를 포함하도록 궤적을 식별한다.
일 실시예에서, 계획 모듈(404)은 그래픽 표현(1000) 내의 하나 이상의 진행 세그먼트의 하나 이상의 가중치를 증가시키기 위해 환경(1300)의 그래픽 표현(1000)을 조정한다. 상기 하나 이상의 진행 세그먼트는 긴급 차량(1324)까지의 임계 거리 내에 존재한다. 따라서, 계획 모듈(404)은 긴급 차량(1324) 근처의 차선 상에서 진행하는 비용을 증가시킨다. 생성된 궤적은 해당 차선을 피한다. 일 실시예에서, 계획 모듈(404)은, 조정된 그래픽 표현(1000)을 사용하여, 복수의 진행 세그먼트의 집계 가중치를 감소시킨다. 생성된 궤적은 복수의 진행 세그먼트를 포함한다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 대상체(1008) 또는 긴급 차량(1324)이 일정한 속력으로 직선으로 이동할 것을 예측하기 위해 대상체(1008) 또는 긴급 차량(1324)의 동적 특성을 사용한다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 확장된 칼만 필터(extended Kalman filter)를 사용하여 대상체(1008) 또는 긴급 차량(1324)에 대한 궤적을 추정할 수 있다. 또한, 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 대상체(1008) 또는 긴급 차량(1324)의 추정된 궤적과 AV(1304)의 계획된 궤적 사이의 교차 포인트 및 시간을 추정한다. 그에 따라, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 대상체(1008) 또는 긴급 차량(1324)에 대한 잠재적 거동을 결정하고, 충돌 가능성을 결정하기 위해 각각의 잠재적 거동에 확률을 할당한다.
일 실시예에서, AV(1304)는 긴급 차량(1324)과의 통신을 설정하고, 긴급 차량(1324)으로부터, AV(1304)에 대한 긴급 동작을 나타내는 명령을 수신할 수 있다. 제어 모듈(406)은 긴급 동작에 관여하기 위해 AV(1304)의 자율 주행 동작을 무효화한다. 일 실시예에서, AV(1304)에 대한 긴급 동작은 안전 위치(1332)와 같은 안전 위치로의 운행을 포함한다. 안전 위치(1332)로의 운행은 AV(1304)와 다른 차량(1328) 사이의 특정된 최소 측방향 간격을 감소시키는 것, 도로의 연석(curb)으로 진행하는 것, 또는 주차장과 같은 지정된 안전 위치로 진행하는 것을 포함할 수 있다.
일 실시예에서, 긴급 동작은 긴급 차량(1324)의 타입이 구급차인 것으로 결정한 것에 응답하여, 이전에 결정된 궤적에 따른 AV(1304)의 운행을 종료하는 것을 포함한다. 예를 들어, AV(1304)는 원래 목적지로의 운전을 정지할 것이고, 대신에 긴급 차량(1324)이 통과하게 하도록 노변 정차할 것이다. 제어 모듈(406)은 AV(1304)가 동작하고 있는 도로의 일 측으로 AV(1304)를 운행시킬 수 있다. 일 실시예에서, 계획 모듈(404)은 센서 데이터 및 이동 대상체 추적을 사용하여 긴급 차량(1324)의 궤적을 결정한다. 제어 모듈(406)은 긴급 차량(1324)의 결정된 궤적을 회피하도록 AV(1304)를 동작시킨다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 센서 데이터를 사용하여, 하나 이상의 다른 차량(1328)의 하나 이상의 시공간적 위치를 결정한다. 다른 실시예에서, 계획 모듈(404)은 AV(1304)의 시공간적 위치를 서버(136)에 송신한다. 계획 모듈(404)은 AV(1304)에 대한 임계 거리 내에 있는 상기 하나 이상의 다른 차량(1328)의 시공간적 위치를 서버(136)로부터 수신한다. 계획 모듈(404)은 상기 하나 이상의 다른 차량(1328)과 AV(1304)의 충돌을 회피하도록 AV(1304)를 운행시키기 위해 제어 모듈(406)을 사용한다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 하나 이상의 긴급 차량(1324) 중 적어도 하나에, AV(1304)의 타입을 송신한다. 따라서, AV(1304)는 긴급 차량(1324)에게 자신을 식별한다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 AV(1304)를 동작시키기 위한 명령을 긴급 차량(1324)으로부터 수신한다. 명령은 상이한 타입을 갖는 하나 이상의 다른 차량(1328)에 의해 추가로 수신된다. AV(1304)는 수신된 명령을 AV(1304)의 타입에 의해 실행 가능한 긴급 동작으로 변환한다. 따라서, 긴급 차량(1324)으로부터의 고급 프로그램가능 명령(High-level programmable instruction)은 상이한 타입의 차량에 의해 저급 기계 또는 어셈블리 명령으로 변환될 수 있다. 제어 모듈(406)은 긴급 동작에 따라 AV(1304)를 동작시킨다. 수신된 고급 명령은 상기 하나 이상의 다른 차량(1328)에 의해 실행 가능한 하나 이상의 긴급 동작으로 상기 하나 이상의 다른 차량(1328)에 의해 추가로 변환된다. 예를 들어, 상이한 타입의 AV는 상이하게 반응할 것이고, 긴급 차량(1324)으로부터의 더 일반적인 명령에 기초하여 상이한 저급 명령을 생성할 수 있다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 센서 데이터의 특징을 환경(1300)의 맵 내의 운전 가능 영역에 매핑한다. 매핑은 AV(1304)의 매핑 모드에서 수행된다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 센서 데이터를 사용하여, 복수의 기하학적 블록을 포함하는 다각형을 추출함으로써 상기 특징을 운전 가능 영역에 매핑할 수 있다. 각각의 기하학적 블록은 운전 가능한 영역의 운전 가능한 세그먼트에 대응한다. 계획 모듈(404)은 복수의 기하학적 블록을 센서 데이터 상에 중첩시키고 중첩된 복수의 기하학적 블록의 연합을 생성한다.
매핑 동작 모드에서, 계획 모듈(404)은 환경(1300)의 특징을 사용하여, 운전 가능 영역에 대응하는 시맨틱 데이터를 추출한다. 예를 들어, 시맨틱 데이터는 교통 표지, 도로 마킹(road marking), 교통 방향, 안전 구역이 건물 또는 법 집행 위치(law enforcement location) 인근에 있는지 등에 대한 마킹을 포함할 수 있다. 일 실시예에서, 시맨틱 데이터는 AV(1304)를 운전 가능 영역으로 운행시키는 것과 연계된 논리적 운전 제약을 포함한다. 예를 들어, 논리적 운전 제약은 거리의 일방통행 속성(one-way attribute), 좌회전, 로터리(roundabout) 등일 수 있다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는, 시맨틱 데이터를 사용하여, 맵을 사용하는 차량이 긴급 상황 시 운전 가능 영역으로 운행할 수 있는지를 결정할 수 있다. 예를 들어, 운전 가능 영역이 초등 학교인 경우, 맵은 다른 차량이 운전 가능 영역에 진입하지 말아야 한다는 것을 표시할 수 있다. 계획 모듈(404)은, 시맨틱 데이터를 사용하여, 맵 내의 운전 가능 영역을 주석 표기한다.
일 실시예에서, 운전 가능 영역은 갓길 차선(breakdown lane)이다. 계획 모듈(404)은 긴급 상황 시 운전 가능 영역으로 운행하기 위해 맵 내에 명령을 내장한다. 내장된 명령은 AV(1304)가 동작하고 있는 도로의 일 측으로 노변 정차하는 명령을 포함할 수 있다. 내장된 명령은 운전 가능한 영역 내에서 AV(1304)를 정지시키기 위한 명령을 포함할 수 있다. 내장된 명령은 AV(1304)가 운전 가능 영역에 도달할 때까지 AV(1304)의 동작 속력을 감소시키는 명령을 포함할 수 있다. 내장된 명령은 운전 가능 영역을 향한 AV(1304)의 궤적을 조정하는 명령을 포함할 수 있다. 일 실시예에서, 내장된 명령은 통신 디바이스(140)가 긴급 커맨드를 요청하는 메시지를 긴급 차량(1324)에게 메시지를 송신하는 명령을 포함한다. 예를 들어, 맵 상에 내장된 아이콘은 AV(1304)가 안전 위치에 도달할 때, 긴급 차량(1324)으로부터의 추가 명령을 추구해야 한다는 것을 표시할 수 있다. 일 실시예에서, 내장된 명령은 센서 데이터를 사용하여, 운전 가능 영역의 경계에 대한 AV(1304)의 공간 위치를 결정하는 명령을 포함한다. 이는 AV(1304)가 스스로를 안전 위치(1332)에 대해 지리적으로 위치설정하는 것을 보조한다. 계획 모듈(404)은 제어 모듈(406)에 명령을 송신한다.
긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 결정에 응답하여, 계획 모듈(404)은 AV(1304)에 대한 긴급 동작을 나타내는 명령을 제어 모듈(406)에 송신한다. 예를 들어, 명령은 AV(1304)가 노변 정차하거나, 운행(navigation)을 중단하거나, 특정 속력으로 계속 운전하는 것을 계속하거나, 메시지를 긴급 차량(1324)에 송신하거나, 메시지를 서버(136)에 송신하기 위한 것일 수 있다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 하나 이상의 센서(1312)를 사용하여, 긴급 차량(1324)이 긴급 모드에서 동작하는 것을 완료한 것을 결정한다. 예를 들어, 조명이 더 이상 점멸하지 않을 수 있거나, 또는 긴급 차량(1324)이 긴급 모드가 더 이상 사용되고 있지 않음을 표시하는 RF 신호를 송신할 수 있다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 긴급 차량(1324)이 긴급 차량(1324)의 점멸 조명을 정지하였다는 것을 검출한다. 통신 디바이스(140)는, 긴급 차량(1324)으로부터, 자율 주행 동작을 재개하기 위한 명령을 수신할 수 있다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는, 하나 이상의 센서(1312)를 사용하여, 긴급 차량(1324)이 사이렌 작동을 정지했다는 것을 검출할 수 있다. AV(1304)는 제어 모듈(406)을 사용하여 자율 주행 동작을 재개한다. 통신 디바이스(140)는, 비컨(beacon)을 사용하여, AV(1304)가 자율 주행 동작을 재개하고 있다는 것을 표시하는 정보를 방송할 수 있다. 계획 모듈(404)은 안전 위치(1332)로부터 새로운 목적지 위치까지 궤적을 생성한다.
통신 디바이스(140)는 하나 이상의 차량(1328), 교통 신호의 제어기(1336), 긴급 차량(1324) 및 데이터 플랫폼(1308)과 통신한다. 통신 디바이스(140)는 도 1을 참조하여 위에서 예시 및 기술되었다. 일 실시예에서, 통신 디바이스(140)는 AV(1304)의 시공간적 위치, AV(1304)에 대한 긴급 동작의 성질, 긴급 차량(1324)의 식별된 타입, AV(1304)의 동작 속력, 또는 AV(1304)의 자율 주행 동작의 무효화(overriding)를 나타내는 정보를 서버(136)에 송신한다. 서버(136)는 이 정보를 사용하여, AV(1304), 긴급 차량(1324) 또는 차량(1328)에 루트 재설정 정보를 제공할 수 있다.
머신 러닝 모듈(1316)은 센서 데이터 또는 다른 타입의 데이터로부터 추출된 특징을 수신하고, 특징 또는 데이터가 특정 타입의 대상체(1008)에 대응하는지 또는 대상체(1008)가 특정 행동을 수행하고 있는지 여부와 같은 추정을 생성한다. 일부 실시예에서, 머신 러닝 모듈(1316)은 입력 데이터로부터 특징 벡터를 추출하여 추정을 생성한다. 머신 러닝 모듈(1316)은 훈련 데이터 세트를 사용하여 추정을 생성하도록 훈련된다. 머신 러닝 모듈(1316)은 도 15를 참조하여 아래에서 상세하게 예시 및 기술된다. 일 실시예에서, 계획 모듈은 입력으로서 특징을 머신 러닝 모듈(1316)에 송신한다. 머신 러닝 모듈(1316)은 하나 이상의 특징을 수신하고 상기 하나 이상의 특징이 긴급 차량(1324)에 대응하는 확률을 표시하는 스코어를 생성하도록 훈련된다.
도 4를 참조하여 위에서 예시 및 기술된 제어 모듈(406)은 긴급 차량에 의해 촉발된 궤적 또는 긴급 동작에 따라 AV(1304)를 동작시킨다. 제어 모듈(406)은 계획 모듈(404)에 의해 생성된 궤적 또는 명령을 사용하여, AV(1304)의 브레이크(420c), 조향(420a), 및 스로틀(420b)을 동작시킨다(도 4를 참조하여 위에서 예시 및 기술됨). 일 실시예에서, 제어 모듈(406)은 예를 들어, 긴급 차량(1324), 차량(1328), 또는 대상체(1008)와의 충돌을 회피하기 위해 긴급 동작에 따라 AV(1304)를 동작시킨다.
일 실시예에서, 제어 모듈(406)은 충돌 체크를 수행하거나 긴급 차량(1324), 차량(1328), 또는 대상체(1008) 주위의 운전 가능 영역을 확률적으로 탐사(probabilistically exploring)하면서 궤적 또는 긴급 동작에 따라 이산화된(discretized) 운전 가능 영역 내에서 AV(1304)를 동작시킨다. 다른 실시예에서, 긴급 차량(1324), 차량(1328), 또는 대상체(1008)가 이동하고 있다면, 계획 모듈(404)은 길을 내주거나 공격적으로 행동하는 것과 같은 긴급 차량(1324), 차량(1328) 또는 대상체(1008)의 의도를 추정한다. 제어 모듈(1340)은, 긴급 차량(1324), 차량(1328), 또는 대상체(1008)와 충돌할 예측 시간이 임계치 아래로 떨어지면 조향 제어(102), 브레이크(103), 기어, 또는 가속기 페달을 동작시킨다.
긴급 차량(1324)은 법 집행 차량, 구급차, 교통 관리 차량, 공사 차량, 소방 트럭, 또는 예를 들어 의료적 긴급 상황, 화재, 사고 등을 처리하는 긴급 서비스를 수행하기 위해 정부 또는 사설 기관에 의해 사용되는 다른 차량이다. 긴급 차량(1324)은, AV(1304), 차량(1328), 또는 대상체(1008)에게 긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 것을 통지하기 위해, 사이렌을 울리거나, 조명을 점멸하거나, 또는 전자 통신(예를 들어, RF 신호 또는 고주파 청각 코드(high-frequency audio code))을 발행할 수 있다.
안전 위치(1332)는, 긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 것을 AV(1304) 또는 차량(1328)이 인지할 때, AV(1304) 또는 차량(1328)이 이동할 수 있는 지리적 또는 시공간적 위치이다. 일 실시예에서, 안전 위치(1332)는 AV(1304)가 이동할 수 있는 갓길 차선 또는 도로의 일 측을 지칭한다. 다른 실시예에서, 안전 위치(1332)는 AV(1304)가 긴급 차량(1324)을 통과시키기 위해 이동하는 지역 내의 주차장 또는 거리와 같은 지정된 영역이다. 다른 실시예에서, 안전 위치(1332)로 이동하는 것은 긴급 차량(1324)이 통과할 수 있도록 차량(1328) 또는 대상체(1008)로부터의 최소 측방향 간격 제한을 감소시키는 것을 포함한다.
일 실시예에서, 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 긴급 차량(1324)이 긴급 모드에서 동작하고 있다고 결정한다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 AV(1304)의 시공간적 위치를 사용하여, AV(1304)에 대한 임계 거리 내에 있는 안전 위치(예를 들어, 안전 위치(1332))를 식별한다. 예를 들어, 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는 진행할 인근의 안전 위치를 위치 확인한다. 안전 위치(1332)를 식별하기 위해, 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 환경(1300)의 맵을 스캔할 수 있다. 계획 모듈(404)은 맵 내의 아이콘을 검출하는데, 아이콘은 안전 위치(1332)에 대응하거나 안전 위치를 지정한다. 또한, 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는, 상기 하나 이상의 센서(1312)를 사용하여, 안전 위치(1332) 내의 AV(1304)를 위한 빈 주차 스폿을 식별한다. 이후, AV(1304)는 그곳에 빈 스폿이 있는 경우에만 안전 위치(1332)로 진행할 것이다.
계획 모듈(404)은 AV(1304)의 시공간적 위치를 서버(136)로 송신함으로써 안전 위치(1332)를 식별할 수 있다. 통신 디바이스(140)는 안전 위치(1332)의 주소를 서버(136)로부터 수신한다. 일 실시예에서, 긴급 차량(1324)에 대한 요청을 송신하는 것에 응답하여, 통신 디바이스(140)는, 긴급 차량(1324)으로부터, 안전 위치의 리스트를 수신한다. 계획 모듈(404)은 수신된 안전 위치 리스트를 사용하여 안전 위치(1332)를 식별한다.
계획 모듈(404)은 AV(1304)를 그의 시공간적 위치로부터 안전 위치(1332)로 동작시키기 위한 궤적을 생성하는데, AV(1304)와 긴급 차량(1324) 사이의 거리는 궤적에 따라 AV(1304)를 동작시키는 동안 임계 거리보다 크게 된다. 따라서, AV(1304)는 긴급 차량(1324)으로부터 최소 측방향 간격을 유지하면서 안전 위치(1332)로 구동한다. 일 실시예에서, 계획 모듈(404)은 AV(1304)와 다른 차량(1328)의 충돌의 확률이 0 보다 크다는 것을 결정한다. 계획 모듈(404)은 AV(1304)를 정지시키도록 제어 모듈(406)에 명령한다. 일 실시예에서, 계획 모듈(404)은, 다른 차량(1328)이 안전 위치(1332)로 운행하고 있다는 메시지를 다른 차량(1328)으로부터 수신한다. 계획 모듈(404)은, 안전 위치(1332)로 다른 차량(1328)을 따르도록 궤적을 플로팅(plotting)한다.
상기 하나 이상의 차량(1328)은 환경(1300) 내에서 동작하고 있거나 주차 중인 비자율 주행 차량, 부분적 자율 주행 차량, 또는 완전한 자율 주행 차량이다. 일 실시예에서, 차량(1328)은 긴급 차량, 공사 트럭, 열차, 보트, 또는 버스이다. 일 실시예에서, 계획 모듈(404)은 센서 데이터를 사용하여, 하나 이상의 다른 차량(1328)이 AV(1304)와 긴급 차량(1324) 사이에 위치되는 것을 결정하기 위해 에지 검출(edge detection)과 같은 머신 비전 기술(machine vision technique)을 사용한다. 계획 모듈(404)은 AV(1304)와 상기 하나 이상의 다른 차량(1328) 사이의 측방향 간격을 감소시킴으로써 AV(1304)를 동작시키도록 제어 모듈(406)에 명령할 수 있다. 예를 들어, AV(1304)는 긴급 차량(1324)을 통과시키기 위해 다른 차량(1328)에 더 근접하게 이동한다.
일 실시예에서, 긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 결정에 응답하여, 계획 모듈(404)은 AV(1304)에 대한 긴급 동작을 나타내는 명령을 제어 모듈(406)에 송신한다. 예를 들어, 명령은 노변 정차하거나, 정지하거나, 특정 속력을 계속 유지하거나, 또는 긴급 차량(1324)에 메시지를 송신하도록 AV(1304)에게 명령할 수 있다. 인지 모듈(402) 또는 계획 모듈(404), 또는 양자 모두는 하나 이상의 센서(1312)를 사용하여 하나 이상의 대상체(예를 들어, 차량(1328))의 존재를 검출한다. 인지 모듈(402) 또는 계획 모듈(404) 또는 양자 모두는, 하나 이상의 센서(1312)를 사용하여, 적어도 하나의 차량(1328)이 AV(1304)의 임계 거리 내에 위치되는 것을 추가로 결정한다. 계획 모듈(404)은 AV(1304)가 긴급 동작에 따라 동작하고 있다는 것을 표시하는 메시지를 차량(1328)에 나타내도록 디스플레이를 구성한다.
일 실시예에서, 메시지는 다른 차량(1328)이 AV(1304)를 따르라는 명령을 포함한다. 예를 들어, AV(1304)는 차량(1328)을 안전 위치(1332)로 안내할 수 있다. 메시지는 AV(1304)가 운행하고 있는 안전 위치(1332)의 주소를 포함할 수 있다. AV(1304)가 AV(1304) 인근의 보행자를 감지하는 경우, 계획 모듈(404)은 AV(1304)가 긴급 동작에 관여하고 있다는, 예를 들어 노변 정차 중이라는 청각 메시지를 방송함으로써 보행자에게 경고한다. AV(1304)는 안전을 위해 보행자에게 물러날 것을 요청할 수 있다.
메시지를 디스플레이하는 것은 AV(1304)의 하나 이상의 확성기를 사용하여, 차량(1328)에 대한 가청 정보를 보행자, 자전거 운전자, 또는 다른 대상체에게 방송(broadcasting)하는 것을 포함할 수 있다. 또한, AV(1304)는 문자 또는 그래픽 정보를 차량의 디스플레이 디바이스(312)에 송신할 수 있다. 예를 들어, AV(1304)는 AV(1304) 내부의 LCD 스크린 상에 승객에 대한 메시지를 디스플레이할 수 있다. 일 실시예에서, AV(1304)는 비컨 또는 점멸 또는 회전 조명, 라디오 신호, 청각 신호 등을 사용하여 방송함으로써 메시지를 디스플레이한다. 통신 디바이스(140)는, 서버(136)가 루트 재설정 정보를 하나 이상의 다른 차량(1328)으로 송신하는 것이 가능해지도록, 서버(136)에 메시지를 송신할 수 있다. AV(1304)는 AV(1304)의 윈도우, AV(1304)의 앞유리, AV(1304)의 도어, 또는 AV(1304)의 후드 상에 메시지를 제시 또는 투영함으로써 메시지를 디스플레이할 수 있다. AV(1304)는 AV(1304)의 승객의 태블릿 또는 스마트폰, 다른 차량(1328)의 전자 디바이스, 또는 교통 제어 시스템(1336)과 같은 전자 디바이스에 메시지를 송신함으로써 메시지를 디스플레이할 수 있다.
일 실시예에서, 통신 디바이스(140)는 제어기(1336)와 통신한다. 통신 디바이스(140)는, AV(1304)가 긴급 동작에 따라 동작하는 것을 허용하기 위해 제어기(1336)가 교통 신호를 녹색으로 전환하는 것이 가능해지도록, 제어기(1336)에 메시지를 송신한다. 예를 들어, 제어기(1336)는 다른 도로 상에서 신호등을 녹색 또는 적색으로 전환하여, AV(1304) 및 다른 차량(1328)이 긴급 영역을 벗어나서 긴급 차량(1324)을 회피하거나 또는 안전 위치(1332)로 진행하는 것을 허가한다.
제어기(1336)는 환경(1300) 내의 하나 이상의 교통 신호의 시퀀스를 제어한다. 제어기(1336)는 데이터 플랫폼(1308)에 통신 가능하게 결합되고, 긴급 차량(1324), AV(1304), 또는 차량(1328)에 통신 가능하게 결합될 수 있다. 예를 들어, 데이터 플랫폼(1308) 또는 긴급 차량(1324)은 긴급 차량이 긴급 상황 현장에 더 빠르게 도달할 수 있도록 교통 신호등을 녹색을 전환시키기 위한 메시지를 제어기(1336)에 송신할 수 있다.
환경(1300)은 AV(1304) 외부의 물리적 엔티티인 하나 이상의 대상체(1008)를 포함한다. 대상체(1008)는 도 10을 참조하여 위에서 예시 및 기술된 대상체(1008a 내지 1008b)의 예일 수 있다. 대상체는 정적이거나 동적일 수 있다. 정적 대상체는 교통 신호, 건물, 운전 가능 영역의 고도(elevation), 운전 가능 영역에 인접하게 위치된 연석, 운전 가능 영역의 2개의 차선을 분리하는 중앙선(median), 공사 구간, 및 환경(1300) 내에서 이동하지 않는 임의의 다른 대상체를 포함할 수 있지만, 이에 제한되지 않는다. 동적 대상체는 다른 차량, 보행자, 자전거 운전자, 및 환경(1300) 내에서 이동하는 임의의 다른 대상체를 포함할 수 있지만, 이에 제한되지 않는다. 상기 하나 이상의 차량(1328) 및 긴급 차량(1324)은 동적 대상체의 예이다.
일 실시예에서, AV(1304)는 AV(1304)가 관여되어 있는 사고, 예를 들어 충돌, 긴급상황 또는 위반, 그리고 긴급 차량(1324)에 대한 지원을 위한 신호를 검출한다. 상기 하나 이상의 센서(1312)는 센서 데이터를 수신하기 위해 사용된다. 예를 들어, 기계적 충격 데이터가 AV(1304)의 IMU(inertial measurement unit), 가속도계, 또는 접촉 센서로부터 수신될 수 있다. 일 실시예에서, 센서는 IMU를 포함하고 센서 데이터는 AV(1304)에 의해 경험되는 기계적 충격의 측정을 포함한다. 센서(1312)는 AV(1304)의 범퍼 또는 펜더 상에 내장된 접촉 센서를 포함할 수 있다. 센서(1312)는 차체 제어 모듈(body control module)을 포함할 수 있고, 센서 데이터는 AV(1304)의 에어백이 전개되었음을 표시할 수 있다.
또한, AV(1304)의 카메라는 대상체(1008)와 AV(1304)의 충돌 또는 법 집행 차량이 AV(1304)를 노변 정차시키는 것의 이미지를 포착할 수 있다. 계획 모듈(404)은, 센서 데이터를 사용하여, AV(1304)를 수반하는 긴급상황이 발생했는지를 결정한다. 긴급이 발생했다고 결정하는 것은, 센서 데이터를 사용하여 AV(1304)의 속력과 AV(1304)의 휠의 회전 속력 사이의 차이를 식별하는 것을 포함한다. 일 실시예에서, 계획 모듈(404)은, 센서 데이터를 사용하여, 소정 시간 내에서 AV(1304)의 속력의 변화를 식별함으로써 긴급상황이 발생했다고 결정한다. 속도의 변화는 임계 속력을 초과하고, 시간은 임계 시간 미만이다. 예를 들어, 1초에 60 mph에서 0 mph까지의 속력의 변화는 충돌이 발생했다는 것을 나타낸다.
일 실시예에서, 계획 모듈(404)은, 센서 데이터를 사용하여, 소정 수의 상기 하나 이상의 센서(1312)가 고장이 났고 그 수가 임계치를 초과한다고 결정함으로써 긴급상황이 발생했다고 결정한다. 예를 들어, 다수의 센서(1312)가 함께 고장난 경우, AV(1304)가 인지를 손실했기 때문에, 이것이 긴급상황이라는 것을 신호할 수 있다. 일 실시예에서, 계획 모듈(404)은, 하나 이상의 센서(1312)를 사용하여, AV(1304)의 윈도우 또는 앞유리가 파손된 것을 검출함으로써 긴급상황이 발생했다고 결정한다. 예를 들어, AV(1304)의 유리 파손 검출기(또는 유리 파손 센서)는 앞유리의 유리가 파손될 때 경보를 촉발할 수 있다. 유리 파손 검출기는 앞유리 또는 윈도우가 파손될 때뿐만 아니라 윈도우 또는 도어가 도둑에 의해 개방될 때도 검출할 수 있다. 유리 파손 검출기는 파손된 유리의 주파수를 인식하는 청각 마이크로폰(audio microphone)을 사용함으로써 기능한다. 정확한 주파수가 검출되면, 알람이 울린다. 일 실시예에서, 계획 모듈(404)은 AV(1304)의 입력 디바이스(314)를 사용하여 긴급상황을 표시하는 승객으로부터의 메시지를 수신함으로써 긴급상황이 발생했다고 결정한다. 예를 들어, 승객 입력 디바이스(314)는 "긴급 상황의 경우" 유리 패널 내의 버튼일 수 있다.
일 실시예에서, 상기 하나 이상의 센서(1312)은 단일의 마이크로폰을 포함한다. 계획 모듈(404)은, 마이크로폰에 의해 포착된 사운드를 사용하여, AV(1304)의 충돌을 검출함으로써 긴급상황이 발생했다고 결정한다. 예를 들어, 사운드의 특정 진폭 또는 주파수가 충돌을 신호할 수 있다. 다른 주파수 또는 진폭은 사소한 긁힘을 신호할 수 있다. 또 다른 주파수 및 진폭은 법 집행관이 AV(1304)를 노변 정차시키고 있다는 것을 신호할 수 있다. 상기 하나 이상의 센서(1312)는 카메라를 포함할 수 있다. 계획 모듈(404)은, 카메라에 의해 포착된 이미지를 사용하여, AV(1304)의 충돌을 검출함으로써 긴급상황이 발생했다고 결정할 수 있다. 계획 모듈(404)은, 카메라에 의해 포착된 이미지를 사용하여, 노변 정차할 것을 AV(1304)에 신호하고 있는 법 집행 차량을 검출함으로써 긴급상황이 발생했다고 결정할 수 있다.
긴급상황이 발생했다고 결정한 것에 응답하여, 계획 모듈(404)은, 센서 데이터를 사용하여, 긴급상황의 타입, 예를 들어, 충돌, 교통 위반 등을 식별한다. 계획 모듈(404)은 긴급상황의 타입을 사용하여, AV(1304)에 의해 수행될 긴급 동작을 검색한다. 예를 들어, 긴급 동작 커맨드의 리스트가 AV(1304)의 데이터 저장 유닛(142)으로부터 또는 데이터베이스(134)로부터 검색될 수 있다. 데이터 저장 유닛(142)은 도 1을 참조하여 위에서 예시 및 기술되었다. F4. AV(1304)는 긴급 동작에 대한 요청을 서버(136)로 송신할 수 있다. 요청은 긴급상황의 타입을 포함한다. 제어 모듈(406)은 긴급 동작에 따라 AV(1304)를 동작시킨다.
일 실시예에서, 긴급상황이 발생했다는 결정에 응답하여, 계획 모듈(404)은 지원 요청을 긴급 차량(1324)에 송신한다. 요청은 긴급상황의 타입에 기초하여 법 집행, 구급차, 또는 소방 트럭에 대한 것일 수 있다. 요청은 전화 호출, 문자 메시지, 또는 다른 통신일 수 있다. 지원 요청은 AV(1304)의 시공간적 위치를 포함할 수 있다. 일 실시예에서, AV(1304)를 수반하는 긴급상황이 발생했다고 결정하는 것에 응답하여, AV(1304)의 도난 방지기 유닛이 AV(1304)의 조향(420a) 및 스로틀(420b)(도 4를 참조하여 위에서 예시 및 기술됨)의 동작을 종료한다.
일 실시예에서, 계획 모듈(404)은 AV(1304)의 입력 디바이스를 사용하여 AV(1304) 외부에 있는 법 집행관의 신원을 인증한다. 예를 들어, 법 집행관은 자신의 배지를 카메라에 디스플레이하거나 메시지를 외부 키보드에 타이핑할 수 있다. 법 집행관의 신원을 인증하는 것에 응답하여, 제어 모듈(406)은 AV(1304)의 도어를 잠금해제할 수 있다. 계획 모듈(404)은 여전히 기능적인 AV(1304)의 일부를 결정하기 위해 자가-테스트 시퀀스를 실행할 수 있다. 예를 들어, AV(1304)가 충돌하면, AV(1304)는 어느 부분이 여전히 동작하고 있는지 그리고 계속 작동할 수 있는지를 결정한다. AV(1304)가 인지를 손실하면, AV(1304)는 인간 운전자에 의해 계속 운전될 수 있다. AV(1304)가 운전 능력을 손실했지만 인지를 갖춘 경우, AV(1304)는 교통 카메라 또는 통신 허브로서 사용될 수 있다. 계획 모듈(404)은 디스플레이 디바이스(314) 상에, 긴급 요원에 대한 명령을 추가로 디스플레이할 수 있다. 예를 들어, 긴급 요원이 접근하고 있다는 것을 AV(1304)가 인식할 때, 계획 모듈(404)은 도어를 잠금해제하고 자율 주행 모드를 불능화시키고 AV(1304)를 수동으로 운전하거나 또는 서버(136)와 통신하도록 긴급 요원에게 명령을 디스플레이할 수 있다.
계획 모듈(404)은, 센서(1312) 또는 긴급 차량(1324)으로부터의 메시지를 사용하여 긴급상황이 종료된 것을 검출한다. 이후, 제어 모듈(406)은 AV(1304)의 도어를 잠금한다. 긴급상황이 종료되면, 계획 모듈(404)은 긴급 요원의 인증을 종료할 수 있다.
본원에 개시된 실시예의 이익 및 장점 중에는, 긴급 차량 및 다른 대상체와의 충돌을 방지하기 위해 상이하고 복잡한 모션 제약이 AV 시스템에 의해 해결될 수 있다는 것이 있다. 개시된 실시예의 기술적 효과는 긴급 차량, 보행자, 및 다른 차량에 대해서 뿐만 아니라 AV에 대한 운행 안전성(navigational safety)을 증가시킨다. 긴급 상황은, AV가 다른 차량에게 긴급 동작을 착수하라고 명령하는 메시지를 방송할 때 다른 차량에 의해서 뿐만 아니라 AV에 의해도 해결될 수 있다. AV와 긴급 차량 사이의 통신이 설정되어, 긴급 차량이 긴급 모드에서 수행하는 것을 보조하기 위해 긴급 차량이 AV의 자율 주행 동작을 일시적으로 무효화할 수 있다. 무효화는 긴급 차량을 인증하는 것 및 일정량의 AV의 제어를 긴급 차량에게 승인하는 것을 포함한다.
AV의 센서는 대상체의 구조를 나타내는 센서 데이터를 포착하고 센서 데이터를 AV에 대한 물리적 동작으로 변환한다. 물리적 동작은 긴급 차량이 긴급상황을 처리하기 위한 측방향 간격을 증가시킨다. 실시예는 AV 및 긴급 차량에 의한 조작 시간을 감소시키고, 긴급 차량의 응답 시간을 감소시킨다. AV의 원래의 자율 주행 동작을 일시적으로 무효화하고 긴급 동작 모드에 AV를 배치함으로써, 긴급 차량 및 AV에 대한 조작에 취해지는 시간이 감소된다. 도로 상에서의 AV, 긴급 차량, 및 다른 차량의 안전성이 증가된다.
긴급 차량, AV, 및 다른 차량 사이의 통신 품질은 증가되는 반면에, 통신 시간은 감소된다. 다른 차량에 의해 공전 상태에서 소모되는 연료가 감소되어, 교통 정체가 회피된다. 데이터 플랫폼은 전반적인 상황을 기초로 AV, 다른 차량 및 긴급 차량을 효율적으로 루트 설정함으로써 교통 정체 및 도로 표면에 대한 손상을 감소시킨다. 국지적인 정체 핫스폿을 피함으로써, 본원에 개시된 실시예는 차량에 의한 연료 소비를 감소시킨다.
긴급상황 시의 동작의 예
도 14는 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작의 일 예를 도시한다. 도 14의 환경(1400)은 주, 시, 지역, 또는 도로망 또는 세그먼트와 같은 지리적 영역을 나타낸다. 환경(1400)은 도 1을 참조하여 위에서 예시 및 기술된 동작 환경(190)의 일 예일 수 있다. 환경(1400)은 도로(1412), 연석(1404), 도로(1412) 측면에 의한 안전 위치(1408), 대상체(1424) 및 지정된 안전 위치(1332)를 포함한다. 도 14의 예에서, 대상체(1424)는 공사 구간이다. AV(1304), 긴급 차량(1324), 및 다른 차량(1328, 1436)은 환경(1400) 내에서 동작하고 있다. 또한, 환경(1400)은 교통 신호등에 대한 제어기(1336)를 포함한다. 다른 실시예에서, 동작 환경(1400)은 본원에서 기술되는 것에 추가적인 엔티티 또는 대상체 또는 본원에서 기술되는 것보다 적은 엔티티 또는 대상체를 포함한다.
도 14를 참조하면, AV(1304)는 도로(1412)를 따라 진행하고 있다. AV(1304)는 궤적(1420) 상에서 진행하고 있다. AV(1304)는, 하나 이상의 센서(1312)를 사용하여, 환경(1400) 내에 위치된 대상체(긴급 차량(1324))를 나타내는 센서 데이터를 수신한다. 센서 데이터는 2D 또는 3D 시청각 데이터 또는 RF 신호일 수 있다. AV(1304)는, 센서 데이터를 사용하여, 대상체가 긴급 차량인지를 식별한다. 대상체가 긴급 차량(1324)인 것을 식별한 것에 응답하여, AV(1304)는, 센서 데이터를 사용하여, 긴급 차량(1324)이 긴급 모드에서 동작하고 있는지를 결정한다. 긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 결정에 응답하여, AV(1304)는 긴급 동작에 따라 동작하기 위해 그의 제어 모듈(406)을 사용한다. AV(1304)는, AV(1304)의 시공간적 위치를 사용하여, AV(1304)에 대한 임계 거리 내에 존재하는 안전 위치(1408)를 식별한다. AV(1304)는 시공간적 위치로부터 안전 위치(1408)로 AV(1304)를 동작시키기 위한 새로운 궤적(1416)을 생성한다. AV(1304)는 도로(1412)의 측면에 의한 안전 위치(1408)로 구동한다.
AV(1304)는, 긴급 차량(1324)으로부터, AV(1304)를 동작시키기 위한 명령을 수신할 수 있다. 명령은 하나 이상의 다른 차량(1328, 1436)에 의해 추가로 수신된다. 다른 차량(1328, 1436)은 수신된 명령을 다른 차량(1328, 1436)에 의해 실행 가능한 긴급 동작으로 변환한다. 다른 차량(1328, 1436)은 궤적(1440)을 생성하고 궤적(1440)을 사용하여 지정된 안전 위치(1440)로 운행한다. 다른 차량(1328, 1436)은, 다른 차량(1328, 1436)이 공사 구간인 대상체(1424)로부터 최소 측방향 간격(1428)을 유지하도록 궤적(1440)을 생성할 수 있다.
일 실시예에서, AV(1304)는, 차량(1328, 1436)이 긴급 상황에 따라 동작하는 것을 허용하기 위해 제어기(1336)가 교통 신호를 녹색으로 전환하는 것이 가능해지도록 긴급 동작을 나타내는 메시지를 제어기(1336)에 송신한다. 다른 실시예에서, 서버(136)는, 긴급 차량(1324)이 루트 재설정 정보에 따라 동작하는 것을 허용하기 위해 제어기(1336)가 교통 신호를 녹색으로 전환하는 것이 가능해지도록, 긴급 차량(1324)에 대한 루트 재설정 정보를 제어기(1336)로 송신할 수 있다.
긴급상황 시의 동작을 위한 머신 러닝 프로세스
도 15는 하나 이상의 실시예에 따른, 긴급 상황 시 AV(1304)의 동작을 위한 머신 러닝 프로세스(1500)를 도시한다. 머신 러닝 프로세스(1500)는 특징 추출 모듈(1508) 및 머신 러닝 모듈(1316)에 의한 동작을 포함한다. 다른 실시예에서, 머신 러닝 프로세스(1500)는 본원에서 기술된 것에 추가적인 단계 또는 컴포넌트 또는 본원에 기술된 것보다 적은 단계 또는 컴포넌트를 포함한다. 유사하게, 기능은 본원에서 기술되는 것과는 상이한 방식으로 컴포넌트 및/또는 상이한 엔티티 사이에 분산될 수 있다.
특징 추출 모듈(1508)은 센서 데이터(1528)로부터 특징 벡터(1512)를 추출한다. 특징 추출 모듈(1508)은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 특징 벡터(1512)는 하나 이상의 특징을 포함하는데, 이는 센서 데이터(1528)의 간결하고 장황하지 않은 표현이다. 예를 들어, 특징 벡터는 센서(1312)가 포착한 긴급 차량(1324)의 구조 또는 형상을 기술하는 특징을 포함할 수 있다. 일부 실시예에서, 특징 추출 모듈(1508)은 머신 러닝 모듈(1316) 내에 위치되거나 머신 러닝 모듈(1316) 내에 통합된다.
추출된 특징 벡터(1512)의 특징(1512a)은 긴급 차량(1324)의 긴급 모드를 나타낼 수 있다. 예를 들어, 특징(1512a)은 점멸 조명, 사이렌 작동 등을 나타낼 수 있다. 머신 비전은 점멸 조명을 식별하는 데 사용될 수 있다. 추출된 특징 벡터(1512)의 특징(1512b)은 긴급 차량(1324)의 번호판 상의 글자 또는 숫자를 포함할 수 있다. 대상체 인식은 긴급 차량(1324)의 타입을 결정하기 위해 사용될 수 있다. 추출된 특징 벡터(1512)의 특징(1512c)은 긴급 차량(1324)에 의해 방출되는 고주파 사운드 내에 내장된 코드를 포함할 수 있다. 코드는 긴급 차량(1324)의 타입(예를 들어, 구급차, 법 집행 차량, 소방 트럭 등)을 나타낼 수 있다. 예를 들어, 고주파 사운드는 실시간 위치 확인, 추적, 및 대상체 인식을 위해 사용되는 초음파 신호일 수 있다.
추출된 특징 벡터(1512)의 특징(1512d)은 노변 정차 영역, 휴식 영역(rest area), 또는 갓길 차선을 표시하는 표지를 나타낼 수 있다. 추출된 특징 벡터(1512)의 특징(1512e)은 긴급 차량이 도로에 진입하기 위한 환경(1300)의 시공간적 위치를 나타내는 표지를 나타낼 수 있다. 특정 도로는 법 집행 또는 다른 긴급 차량이 진입하기 위한 마킹된 차선 또는 입구를 가질 수 있다. 이러한 특징은 안전 위치가 인근에 있다는 것 또는 AV(1304)가 긴급 차량을 위해 마킹된 통로에 진입하지 말아야 한다는 것을 AV(1304)에 표시할 수 있다. 특징은 환경(1300) 내의 대상체(1008)의 색상 또는 운전 가능 영역 상의 마킹을 포함할 수 있다. 예를 들어, 주차 영역과 같은 지정된 안전 위치(1440)는 운전 가능 영역 상의 오렌지색 또는 자주색 표지 또는 마킹으로 마킹될 수 있다.
머신 러닝 모듈(1316)은 AV(1304)의 계획 모듈(404) 또는 다른 컴포넌트의 일부일 수 있다. 머신 러닝 모듈(1316)은 입력(특징(1512) 또는 센서 데이터(1528)) 및 원하는 출력 벡터(1524)(긴급 차량(1324)의 존재, 긴급 차량(1324)의 타입 등)를 포함하는 훈련 데이터(1516)로부터 모델을 빌드한다. 또한, 머신 러닝 모듈(1316)은 AV(1304)의 타입에 대응하는 긴급 동작(1520)의 리스트에 액세스할 수 있다. 일 실시예에서, 계획 모듈은 입력으로서 특징(1512)을 머신 러닝 모듈(1316)에 송신한다. 머신 러닝 모듈(1316)은, 하나 이상의 특징을 수신하고 상기 하나 이상의 특징이 긴급 차량(1324)에 대응하는 확률을 표시하는 스코어(예를 들어, 출력 벡터(1524))를 생성하도록 훈련된다. 스코어가 임계치를 초과하는 것에 응답하여, 통신 디바이스(140)는 AV(1304)의 시공간적 위치 및 아이덴티티 또는 AV(1304)의 동작 속력을 긴급 차량(1324)에 송신한다. 따라서, AV(1304)는 긴급 차량(1324)과의 통신 링크를 설정할 수 있다.
일 실시예에서, 머신 러닝 모듈(1316)은 긴급 차량(1324)이 긴급 모드에서 동작하고 있는지를 결정하기 위해 사용된다. 예를 들어, 머신 러닝 모듈(1316)은 특징(1512)을 사용하여 긴급 차량(1324)이 단순히 도로 상에서 조용하게 구동 중인지 또는 사실은 긴급상황 지원을 제공하고 있는지를 결정한다.
머신 러닝 모듈(1316)을 훈련시키기 위해 머신 러닝 기술이 사용되는데, 이는 특징 벡터(1512)에 적용될 때 특징 벡터(1512)가 연계된 특성 또는 특성들을 갖는지의 표시를 출력한다. 예를 들어, 수신된 센서 데이터(1528)의 특징에 적용될 때, 머신 러닝 모듈(1316)은 특징이 긴급 차량(1324)에 대응하는지, 어떤 타입의 긴급 차량인지, 또는 긴급 차량(1324)이 긴급 모드에서 동작하고 있는지(출력 벡터(1524))를 추정한다. 머신 러닝 모듈(1316)의 훈련의 일부로서, 특징의 훈련 세트 및 훈련 데이터(1516)는 해당 특성(예를 들어, 긴급 차량(1324)의 존재)을 갖는 것으로 결정된 포지티브 훈련 세트의 특징을 식별함으로써 형성되고, 일부 실시예에서는, 해당 특성이 없는 네거티브 훈련 세트의 특징을 형성한다.
일 실시예에서, 머신 러닝 모듈(1316)은 복수의 훈련 세트(예를 들어, 훈련 데이터(1516))을 수신하는 데, 각각의 훈련 세트는 하나 이상의 라벨링된 특징을 포함한다. 머신 러닝 모듈(1316)은 상기 하나 이상의 라벨링된 특징을 사용하여, 상기 하나 이상의 라벨링된 특징이 긴급 차량에 대응하는 확률을 표시하는 스코어를 생성하도록 훈련된다.
일 실시예에서, 감독된 머신 러닝이 입력의 역할을 하는 네거티브 훈련 세트 및 포지티브 훈련 세트의 특징을 갖는 머신 러닝 모듈(1316)을 훈련하기 위해 사용된다. 다른 실시예에서, 딥 러닝, 신경망, 선형 SVM(linear support vector machine), 다른 알고리즘을 위한 부스팅(예를 들어, AdaBoost), 로지스틱 회귀, 나이브 베이즈, 메모리-기반 러닝, 랜덤 포레스트, 베그드 트리(bagged trees), 결정 트리, 부스티드 트리, 또는 부스티드 스텀프와 같은, 상이한 머신 러닝 기술이 사용될 수 있다.
일부 예시적인 실시예에서, 검증 세트(validation set)는 훈련 데이터 내의 특징 외에, 해당 특성을 갖거나 갖지 않는 것으로 이미 결정된 추가적인 특징으로 형성된다. 훈련된 머신 러닝 모듈(1316)은 머신 러닝 모듈(1316)의 정확도를 정량화하기 위해 검증 세트의 특징에 적용된다. 정확도 측정에 적용되는 공통 메트릭은 다음을 포함한다: Precision = TP/(TP + FP) 및 Recall = TP / (TP + FN)이고, 여기서 Precision은 머신 러닝 모듈(1316)이 예측한 총량(TP + FP 또는 폴스 포지티브(false positive)) 중 머신 러닝 모듈(1316)이 올바르게 예측한 양(TP 또는 트루 포지티브)이 얼마인지이며, 및 Recall은 해당 특성을 갖는 특징의 총량(TP+ FN 또는 폴스 네거티브(false negatives)) 중 머신 러닝 모듈(1316)이 올바르게 예측한 양(TP)이 얼마인지이다. F 스코어(F-score = 2 x PR / (P + R))는 Precision과 Recall을 하나의 측정값으로 통합한다. 일 실시예에서, 머신 러닝 모듈(1316)은 머신 러닝 모듈(1316)이 충분히 정확하거나 또는 다수의 훈련 라운드 이루어졌다는 정확도 측정 지표와 같은 중지 조건의 발생까지 반복적으로 재학습된다.
긴급 상황 시 동작을 위한 프로세스
도 16은 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작을 위한 프로세스(1600)를 예시한다. 일 실시예에서, 도 16의 프로세스는 AV(1304)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1304)의 하나 이상의 컴포넌트(계획 모듈(404))는 다른 실시예에서 프로세스(1600)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
AV(1304)는 하나 이상의 센서(1312)를 사용하여 환경(1300) 내에 위치된 대상체를 나타내는 센서 데이터를 수신한다(1604). 센서 데이터는 2D 또는 3D 시청각 데이터일 수 있다. 대상체는 긴급 차량으로 분류되는 것이다.
AV(1304)는, 센서 데이터를 사용하여, 대상체가 긴급 차량(1324)인지를 식별한다(1608). AV(1304)는 결정을 행하기 위해 위에서 기술한 머신 러닝 기법, 패턴 매칭, 또는 RF 또는 고주파 청각 코드의 분석을 사용할 수 있다.
대상체가 긴급 차량(1304)인 것을 식별한 것에 응답하여, AV(1304)는 센서 데이터를 사용하여, 긴급 차량(1324)이 긴급 모드에서 동작하고 있는지를 결정한다(1612). AV(1304)는, 긴급 차량(1304)의 조명이 점멸하는지, 또는 긴급 차량(1304)의 사이렌이 작동하는지를 분석함으로써, 또는 긴급 차량(1304)으로부터의 메시지를 분석함으로써 결정을 행할 수 있다.
긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 결정에 응답하여, AV(1304)는 AV(1304)에 대한 긴급 동작을 나타내는 명령을 제어 모듈(406)에 송신한다(1616). 명령은 노변 정차하거나, 정지하거나, 특정 속력으로 계속 구동하거나, 또는 긴급 차량(1324) 또는 서버(136)에 메시지를 송신하도록 AV(1304)에게 명령할 수 있다.
AV(1304)는 제어 모듈(406)을 사용하여, 긴급 동작에 따라 AV(1304)를 동작시킨다(1620). 따라서, AV(1304)의 센서(1312)는 대상체의 구조를 나타내는 센서 데이터를 포착하고, 그 센서 데이터를 AV(1304)를 위한 물리적 동작으로 변환한다. 물리적 동작은 긴급 차량(1324)이 긴급상황을 처리하기 위한 측방향 간격을 증가시킨다. 이는 AV(1304) 및 긴급 차량(1324)에 의한 조작 시간을 감소시키고, 긴급 차량(1324)의 응답 시간을 감소시킨다.
긴급 상황 시 동작을 위한 프로세스
도 17은 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작을 위한 프로세스(1700)를 예시한다. 일 실시예에서, 도 17의 프로세스는 AV(1304)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1304)의 하나 이상의 컴포넌트는 다른 실시예에서 프로세스(1700)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
AV(1304)는, 긴급 차량(1324)이 환경(1300) 내에서 이루어진 긴급 모드에서 동작하고 있다는 것을 결정한다(1704). AV(1304)는 긴급상황의 지표, 예를 들어 긴급 차량(1304)의 조명이 점멸되거나 또는 긴급 차량(1304)의 사이렌이 작동하고 있는지를 분석함으로써, 또는 긴급 차량(1304)으로부터의 메시지를 분석함으로써 결정을 행할 수 있다.
AV(1304)는 AV(1304)의 시공간적 위치를 사용하여 AV(1304)에 대한 임계 거리 내에 있는 안전 위치(1332)를 식별한다(1708). AV(1304)는 안전 위치(1332)를 식별하기 위해 맵에서 검색을 수행하거나, 긴급 차량(1324) 또는 서버(136)에 질의하거나, 또는 센서(1312)를 사용할 수 있다
AV(1304)는 시공간적 위치로부터 안전 위치(1332)로 AV(1304)를 동작시키기 위한 궤적(1416)을 생성한다(1712). AV(1304)는 궤적(1416)에 따라 AV(1304)를 동작시키면서 임계치보다 큰, 긴급 차량(1324)으로부터의 거리를 유지한다. 따라서, AV(1304)는 긴급 차량(1324)으로부터 최소 측방향 간격을 유지하면서 안전 위치(1332)로 구동한다.
AV(1304)는 궤적(1416)에 따라 동작한다(1716). 따라서, AV(1304)의 자율 주행 동작은 무효화되고 AV(1304)는 긴급 동작 모드에 놓인다. AV(1304)에 대한 조작 시간이 감소된다. 도로 상에서의 AV(1304), 긴급 차량(1324), 및 다른 차량(1328)의 안전성이 증가된다.
긴급 상황 시 동작을 위한 프로세스
도 18은 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작을 위한 프로세스(1800)를 예시한다. 일 실시예에서, 도 18의 프로세스는 AV(1304)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1308)의 하나 이상의 컴포넌트는 다른 실시예에서 프로세스(1800)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
AV(1304)는 하나 이상의 긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 하나 이상의 통지를 수신한다(1804). 통지는 RF 신호, 점멸 조명, 사이렌, 또는 전자 메시지일 수 있다.
AV(1304)는 적어도 하나의 긴급 차량(1324)에게 AV(1304)의 타입을 송신한다(1808). 따라서, AV(1304)는 긴급 차량(1324)에게 자신을 식별한다.
AV(1304)는 적어도 하나의 긴급 차량(1324)으로부터 AV(1304)를 동작시키기 위한 명령을 수신한다(1812). 명령은 상이한 타입을 갖는 하나 이상의 다른 차량(1328)에 의해 추가로 수신된다. 예를 들어, 차량(1328)의 제조사 및 모델은 상이할 수 있거나 컴퓨터 시스템 및 구동렬은 상이할 수 있다.
AV(1304)는 수신된 명령을 AV(1304)의 타입에 의해 실행 가능한 긴급 동작으로 변환한다(1816). 예를 들어, AV(1304)는 고급 언어로 작성된 명령 또는 코드를 대상체 또는 머신 코드와 같은 저급 수준 언어로 변환할 수 있다. 따라서, AV(1304)는 AV(1304)를 위한 실행 가능 프로그램을 생성하기 위해 소스 명령을 변환할 수 있다.
AV(1304)는 제어 모듈(406)을 사용하여, 긴급 동작에 따라 AV(1304)를 동작시킨다(1820). 긴급 차량(1324), AV(1304), 및 다른 차량(1328) 사이의 통신 품질은 증가되는 반면에, 통신 시간은 감소된다. 다른 차량(1324)에 의해 공전 상태에서 소모되는 연료가 감소되어, 교통 정체가 회피된다.
긴급 상황 시 동작을 위한 프로세스
도 19는 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작을 위한 프로세스(1900)를 예시한다. 일 실시예에서, 도 19의 프로세스는 AV(1304)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1308)의 하나 이상의 컴포넌트는 다른 실시예에서 프로세스(1900)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
긴급 차량(1324)이 긴급 모드에서 동작하고 있다는 결정에 응답하여, AV(1304)는 AV(1304)에 대한 긴급 동작을 나타내는 명령을 AV(1304)의 제어 모듈(406)에 송신한다(1904). 예를 들어, 명령은 노변 정차하거나, 정지하거나, 특정 속력으로 계속 구동하거나, 또는 긴급 차량(1324)에 메시지를 송신하도록 AV(1304)에게 명령할 수 있다.
AV(1304)는 하나 이상의 센서(1312)를 사용하여, 하나 이상의 대상체(1008)의 존재를 검출한다(1908). AV(1304)는 검출(1908)을 행하기 위해 머신 비전 기술, 청각 인식, 패턴 매칭, 또는 머신 러닝을 사용할 수 있다. 대상체(1008)는 다른 차량(예를 들어, 차량(1328)) 일 수 있다.
AV(1304)는, 하나 이상의 센서(1312)를 사용하여, AV(1304)의 임계 거리 내에 적어도 하나의 대상체(1008)가 위치되는 것을 결정한다(1912). AV(1304)는 결정을 행하기 위해 LiDAR과 같은 비행 시간(time-of-flight) 방법을 사용할 수 있다.
AV(1304)는 AV(1304)가 긴급 동작에 따라 동작하고 있다는 것을 표시하는 메시지를 대상체(1008)에 디스플레이한다(1916). AV(1304)는 스크린 상에 메시지를 디스플레이하거나, AV(1304)의 윈도우 상에 메시지를 투영하거나, 메시지를 전자 디바이스에 송신할 수 있다.
AV(1304)는 긴급 동작에 따라 동작한다(1920). 본원에 개시된 실시예는 긴급 차량(1324)과 다른 차량(1328) 사이의 통신에 대한 필요성을 감소시킨다. 동작하는 방법을 다른 차량(1328)에 명령함으로써, AV(1304)는 긴급 모드에서의 분산 시간을 고속화하고 안전성을 증가시킨다
긴급 상황 시 동작을 위한 프로세스
도 20은 하나 이상의 실시예에 따른, 긴급 상황 시의 차량의 동작을 위한 프로세스(2000)를 예시한다. 일 실시예에서, 도 20의 프로세스는 데이터 플랫폼(1308)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1304)의 하나 이상의 컴포넌트는 다른 실시예에서 프로세스(2000)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
데이터 플랫폼(1308)은 환경(1300)에서 동작하는 하나 이상의 차량으로부터, 차량의 시공간적 위치 및 차량의 동작 모드를 포함하는 정보를 수신한다(2004). 동작 모드는 어느 차량이 수동 또는 자율 주행 모드에서 동작하고 있는지를 나타낸다. 차량은 정보를 데이터 플랫폼(1308)에 송신할 수 있거나, 데이터 플랫폼(1308)은 카메라, GNSS 디바이스, 또는 센서로부터 정보를 획득할 수 있다.
데이터 플랫폼(1308)은, 환경(1300) 내에서 동작하는 하나 이상의 긴급 차량(1324)으로부터, 긴급 차량(1324)의 궤적을 수신한다(2008). 긴급 차량(1324)은 그의 궤적을 데이터 플랫폼(1308)에 송신하거나, 데이터 플랫폼(1308)은 교통 카메라 또는 센서로부터 궤적을 획득할 수 있다.
데이터 플랫폼(1308)은, 각각의 차량의 시공간적 위치를 사용하여, 차량이 각각의 긴급 차량(1324)의 궤적을 회피하기 위한 루트 재설정 정보를 결정한다(2012). 따라서, 데이터 플랫폼(1308)은 AV 및 긴급 차량(1324)과의 실시간 통신에 관여한다.
데이터 플랫폼(1308)은 루트 재설정 정보를 각각의 차량에 송신한다(2016). 개시된 실시예는 전반적인 상황을 기초로 AV(1304), 다른 차량(1328) 및 긴급 차량(1324)을 효율적으로 루트 재설정함으로써 교통 정체 및 도로 표면에 대한 손상을 감소시킨다. 국지적인 정체 핫스폿을 피함으로써, 차량에 의한 연료 소비가 감소된다.
긴급 상황 시 동작을 위한 프로세스
도 21은 하나 이상의 실시예에 따른, 긴급 상황 시의 AV(1304)의 동작을 위한 프로세스(2100)를 예시한다. 일 실시예에서, 도 21의 프로세스는 AV(1304)에 의해 수행된다. 다른 엔티티, 예를 들어, AV(1304)의 하나 이상의 컴포넌트는 다른 실시예에서 프로세스(2100)의 단계의 일부 또는 전부를 수행한다. 유사하게, 실시예는 상이한 및/또는 추가적인 단계를 포함할 수 있거나 또는 상이한 순서로 단계를 수행할 수 있다.
AV(1304)는 하나 이상의 센서(1312)를 사용하여 센서 데이터를 수신한다(2104). 예를 들어, 센서 데이터는 IMU 또는 접촉 센서로부터의 기계적 충격 데이터, 또는 카메라로부터의 시각 데이터를 나타낼 수 있다.
AV(1304)는 센서 데이터를 사용하여, AV(1304)를 수반하는 긴급상항이 발생했는지를 결정한다(2108). 예를 들어, AV(1304)는 AV(1304)가 대상체(1008)와 충돌했는지 또는 AV(1304)가 교통 위반으로 인해 노변 정차 중인지를 결정한다.
긴급상황이 발생했다고 결정한 것에 응답하여, AV(1304)는 센서 데이터를 사용하여, 긴급상황의 타입, 예를 들어, 충돌 또는 교통 위반을 식별한다(2112).
AV(1304)는 긴급상황의 타입을 사용하여, AV(1304)에 의해 수행될 긴급 동작을 검색한다(2116). 예를 들어, AV(1304)는 도어를 잠금해제하거나, 법 집행관을 인증하거나, 메시지를 서버(136)에 송신하거나, 디스플레이 디바이스 상에 메시지를 디스플레이할 수 있다.
AV(1304)는 긴급 동작에 따라 동작한다(2120). 실시예는 AV(1304)가 관여되는 긴급상황에 응답하기 위해 긴급 차량(1324)에 의해 취해지는 시간을 감소시킨다. AV(1304), 서버(136), 및 긴급 차량(1324) 사이의 데이터 전송이 최소화된다.
추가 실시예
일 실시예에서, 환경 내에서 동작하는 차량의 하나 이상의 센서는 환경 내에 위치된 대상체를 나타내는 센서 데이터를 수신한다. 센서 데이터를 사용하여, 대상체가 긴급 차량인지가 결정된다. 대상체가 긴급 차량이라는 것을 식별하는 것에 응답하여, 센서 데이터를 사용하여, 긴급 차량이 긴급 모드에서 동작하고 있는지가 결정된다. 긴급 차량이 긴급 모드에서 동작하고 있다는 결정에 응답하여, 차량에 대한 긴급 동작을 나타내는 명령이 차량의 제어 모듈에 송신된다. 제어 모듈을 사용하여, 차량은 긴급 동작에 따라 동작된다.
일 실시예에서, 센서 데이터는 대상체의 구조적 특징의 이미지를 포함한다.
일 실시예에서, 센서 데이터는 대상체 상의 마킹의 이미지를 포함한다.
일 실시예에서, 긴급 차량이 긴급 모드에서 동작하고 있는지를 결정하는 것은, 센서 데이터를 사용하여, 긴급 차량의 조명이 점멸하고 있는지를 검출하는 것을 포함한다.
일 실시예에서, 차량의 긴급 동작은 차량의 궤적을 조정하는 것을 포함한다.
일 실시예에서, 차량에 대한 긴급 동작은 안전 위치로의 운행을 포함한다.
일 실시예에서, 센서 데이터는 긴급 차량으로부터의 라디오-주파수(RF) 신호를 포함한다. RF 신호는 긴급 차량의 표시한다.
일 실시예에서, 센서 데이터는 긴급 차량에 의해 방출된 고주파 사운드를 포함한다.
일 실시예에서, 차량의 시공간적 위치, 차량에 대한 긴급 동작, 긴급 차량의 타입, 차량의 동작 속력, 또는 차량의 자율 주행 동작의 무효화를 나타내는 정보 중 적어도 하나가 서버에 송신된다.
일 실시예에서, 센서 데이터로부터 특징 벡터가 추출된다. 특징 벡터는 긴급 모드를 나타내는 적어도 하나의 특징을 포함한다.
일 실시예에서, 특징 벡터는 입력으로서 머신 러닝 모듈에 송신된다. 머신 러닝 모듈은, 하나 이상의 특징을 수신하고 상기 하나 이상의 특징이 긴급 차량에 대응하는 확률을 표시하는 스코어를 생성하도록 훈련된다.
일 실시예에서, 스코어가 임계치를 초과하는 것에 응답하여, 차량의 시공간적 위치 또는 차량의 동작 속력이 긴급 차량에 송신된다.
일 실시예에서, 머신 러닝 모듈을 사용하여, 긴급 차량이 긴급 모드에서 동작하고 있는지가 결정된다.
일 실시예에서, 머신 러닝 모듈은, 상기 하나 이상의 특징을 수신하고 긴급 차량의 타입을 결정하도록 추가로 훈련된다.
일 실시예에서, 상기 하나 이상의 특징은 긴급 차량의 번호판 상의 글자 또는 숫자를 포함한다.
일 실시예에서, 훈련 세트가 수신된다. 각각의 훈련 세트는 하나 이상의 라벨링된 특징을 포함한다. 하나 이상의 라벨링된 특징을 사용하여, 머신 러닝 모듈은 상기 하나 이상의 라벨링된 특징이 긴급 차량에 대응하는 확률을 표시하는 스코어를 생성하도록 훈련된다.
일 실시예에서, 차량의 동작은, 긴급 차량의 타입이 구급차라는 결정에 응답하여, 차량의 제어 모듈을 사용하여 이전에 결정된 궤적에 따른 차량의 운행을 종료하는 것을 포함한다.
일 실시예에서, 차량의 동작은, 긴급 차량의 타입이 구급차라는 결정에 응답하여, 제어 모듈을 사용하여 차량이 동작하고 있는 도로의 일 측으로 차량을 운행하는 것을 포함한다.
일 실시예에서, 특징 벡터의 특징은 고주파 사운드 내에 내장된 코드를 포함한다. 코드는 긴급 차량의 타입을 나타낸다.
일 실시예에서, 하나 이상의 센서를 사용하여, 환경의 특징을 포함하는 센서 데이터가 생성된다.
일 실시예에서, 센서 데이터를 사용하여, 특징은 환경의 맵 내에서 운전 가능 영역에 대해 매핑된다.
일 실시예에서, 특징을 사용하여, 운전 가능 영역에 대응하는 시맨틱 데이터가 추출된다.
일 실시예에서, 시맨틱 데이터를 사용하여, 차량이 긴급 상황 시에 운전 가능 영역으로 운행할 수 있는지가 결정된다. 시맨틱 데이터를 사용하여, 운전 가능 영역이 맵 내에 주석 표기된다.
일 실시예에서, 운전 가능 영역은 갓길 차선(breakdown lane)이다.
일 실시예에서, 특징은 휴식 영역을 표시하는 부호를 나타낸다.
일 실시예에서, 긴급 상황 시 운전 가능 영역으로 운행하기 위해 명령이 맵 내에 내장된다.
일 실시예에서, 내장된 명령은 차량이 동작하고 있는 도로의 일 측으로 노변 정차하는 명령을 포함한다.
일 실시예에서, 내장된 명령은 운전 가능 영역 내에서 차량을 정지시키는 명령을 포함한다.
일 실시예에서, 내장된 명령은 차량이 운전 가능 영역에 도달할 때까지 차량의 동작 속력을 감소시키는 명령을 포함한다.
일 실시예에서, 내장된 명령은 운전 가능 영역을 향한 차량의 궤적을 조정하는 명령을 포함한다.
일 실시예에서, 특징은, 긴급 차량이 도로에 진입하기 위한 환경의 시공간적 위치를 표시하는 표지를 나타낸다.
일 실시예에서, 내장된 명령은 긴급 커맨드를 요청하는 긴급 차량에 메시지를 송신하고 긴급 커맨드에 따라 차량을 운행하는 명령을 포함한다.
일 실시예에서, 특징을 운전 가능 영역에 대해 매핑하는 것은, 센서 데이터를 사용하여, 복수의 기하학적 블록을 포함하는 다각형을 추출하는 것을 포함한다. 각각의 기하학적 블록은 운전 가능한 영역의 운전 가능한 세그먼트에 대응한다.
일 실시예에서, 다수의 기하학적 블록은 센서 데이터 상에 중첩된다. 중첩된 기하학적 블록의 연합이 생성된다.
일 실시예에서, 환경에서 동작하는 차량의 하나 이상의 프로세서는 긴급 차량이 환경에서 이루어진 긴급 모드에서 동작하고 있다는 것을 결정한다. 차량의 시공간적 위치를 사용하여, 차량에 대한 제1 임계 거리 내에 있는 안전 위치가 식별된다. 하나 이상의 프로세서를 사용하여, 궤적에 따라 차량을 동작시키는 상태에서 차량과 긴급 차량 사이의 거리가 제2 임계 거리보다 크도록, 시공간적 위치로부터 안전 위치로 차량을 동작시키기 위한 궤적이 생성된다. 차량의 제어 모듈이 상기 궤적에 따라 차량을 동작시킨다.
일 실시예에서, 상기 하나 이상의 프로세서를 사용하여, 차량과 긴급 차량 사이에 상기 하나 이상의 다른 차량이 위치된 것이 결정된다.
일 실시예에서, 차량의 동작은 차량과 상기 하나 이상의 다른 차량 사이의 측방향 간격을 감소시키는 것을 포함한다.
일 실시예에서, 안전 위치를 식별하는 것은, 하나 이상의 프로세서를 사용하여 환경의 맵을 스캐닝하는 단계를 포함한다.
일 실시예에서, 안전 위치를 식별하는 것은 맵 내의 아이콘을 검출하는 것을 더 포함하며, 아이콘은 안전 위치에 대응한다.
일 실시예에서, 차량의 하나 이상의 센서를 사용하여, 안전 위치 내의 차량을 위한 빈 주차 스폿이 식별된다.
일 실시예에서, 하나 이상의 프로세서를 사용하여, 환경의 그래픽 표현이 상기 그래픽 표현에서 하나 이상의 진행 세그먼트의 하나 이상의 가중치를 증가시키도록 조정된다. 상기 하나 이상의 진행 세그먼트는 긴급 차량에 대한 제3 임계 거리 내에 존재한다.
일 실시예에서, 궤적을 생성하는 것은, 조정된 그래픽 표현을 사용하여, 복수의 진행 세그먼트의 집계 가중치를 최소화하는 것을 포함한다. 궤적은 복수의 진행 세그먼트를 포함한다.
일 실시예에서, 안전 위치를 식별하는 것은 차량의 시공간적 위치를 서버에 송신하는 것을 포함한다. 안전 위치의 주소가 서버로부터 수신된다.
일 실시예에서, 상기 하나 이상의 센서를 사용하여, 긴급 차량의 시공간적 위치가 결정된다.
일 실시예에서, 긴급 차량의 시공간적 위치는 서버에 송신된다. 서버는 긴급 차량을 피하기 위해 루트 재설정 정보를 다른 차량에 송신할 수 있게 된다.
일 실시예에서, 긴급 차량의 시공간적 위치는 상기 하나 이상의 다른 차량에 송신된다. 상기 하나 이상의 다른 차량은 안전 위치로의 하나 이상의 궤적을 생성할 수 있게 된다.
일 실시예에서, 안전 위치의 리스트가, 상기 하나 이상의 프로세서를 사용하여, 긴급 차량으로의 요청 송신에 응답하여, 긴급 차량으로부터 수신된다. 수신된 안전 위치의 리스트를 사용하여, 안전 위치가 식별된다.
일 실시예에서, 궤적을 생성하는 것은, 상기 하나 이상의 프로세서를 사용하여, 긴급 차량으로의 요청 송신에 응답하여 복수의 진행 세그먼트를 긴급 차량으로부터 수신하는 것을 포함한다. 환경의 그래픽 표현을 사용하여, 궤적이 결정된다. 궤적은 수신된 진행 세그먼트 중 적어도 하나를 포함한다.
일 실시예에서, 하나 이상의 센서를 사용하여, 긴급 차량이 긴급 모드에서 동작을 완료했다는 것이 결정된다. 상기 하나 이상의 프로세서를 사용하여, 안전 위치로부터 목적지 위치로의 제2 궤적이 생성된다.
일 실시예에서, 상기 하나 이상의 센서를 사용하여, 긴급 차량이 긴급 차량의 조명을 점멸하는 것을 중지하였다는 것이 검출된다.
일 실시예에서, 자율 주행 동작을 재개하기 위한 명령이 긴급 차량으로부터 수신된다.
일 실시예에서, 상기 하나 이상의 센서를 사용하여, 긴급 차량이 사이렌의 작동을 중단하였다는 것이 검출된다.
일 실시예에서, 차량의 하나 이상의 프로세서가 하나 이상의 긴급 차량이 긴급 모드에서 동작하고 있다는 하나 이상의 통지를 수신한다. 차량의 타입이 상기 하나 이상의 긴급 차량 중 적어도 하나에 송신된다. 상기 하나 이상의 긴급 차량 중 적어도 하나로부터, 차량을 동작시키기 위한 명령이 수신된다. 명령은 상이한 타입을 갖는 하나 이상의 다른 차량에 의해 추가로 수신된다. 상기 하나 이상의 프로세서는 수신된 명령을 차량의 타입에 의해 실행 가능한 긴급 동작으로 변환한다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작시킨다.
일 실시예에서, 수신된 명령은 상기 하나 이상의 다른 차량에 의해 실행 가능한 하나 이상의 긴급 동작으로 상기 하나 이상의 다른 차량에 의해 추가로 변환된다.
일 실시예에서, 차량과 상기 하나 이상의 다른 차량 중 적어도 하나의 차량의 충돌 확률이 0 보다 큰 것이 결정된다. 제어 모듈은 차량을 정지시킨다.
일 실시예에서, 상기 하나 이상의 프로세서를 사용하여, 긴급 차량의 궤적이 결정된다.
일 실시예에서, 차량의 동작은 상기 하나 이상의 프로세서를 사용하여, 긴급 차량의 결정된 궤적을 피하기 위해 차량을 운행하는 것을 포함한다.
일 실시예에서, 상기 하나 이상의 다른 차량 중 또 다른 차량으로부터, 상기 다른 차량이 안전 위치로 운행하고 있다는 메시지가 수신된다.
일 실시예에서, 제어 모듈을 사용하여, 다른 차량에는 차량에 의한 안전 위치가 이어진다.
일 실시예에서, 차량의 하나 이상의 센서로부터 획득된 센서 데이터를 사용하여, 상기 하나 이상의 다른 차량의 하나 이상의 시공간적 위치가 결정된다.
일 실시예에서, 제어 모듈을 사용하여, 차량은 차량과 상기 하나 이상의 다른 차량의 충돌을 회피하도록 동작된다.
일 실시예에서, 차량의 시공간적 위치가 서버에 송신된다. 차량에 대한 임계 거리 내에 있는 상기 하나 이상의 다른 차량 중 하나의 시공간적 위치가 서버로부터 수신된다.
일 실시예에서, 센서를 사용하여, 긴급 차량으로부터의 음파의 주파수의 변화가 검출된다.
일 실시예에서, 음파의 주파수의 변화를 사용하여, 차량에 대한 긴급 차량의 속력이 결정된다.
일 실시예에서, 긴급 차량의 시공간적 위치 및 차량에 대한 긴급 차량의 속력을 사용하여, 긴급 차량을 피하기 위해 차량에 대한 궤적이 결정된다.
일 실시예에서, 차량의 다수의 마이크로폰을 사용하여, 음파의 다중 강도가 결정된다.
일 실시예에서, 센서를 사용하여, 긴급 차량의 지향성 배향이 결정되고, 여기서 센서는 다수의 지향성 마이크로폰을 포함한다.
일 실시예에서, 센서를 사용하여, 음파의 파장의 변화가 결정된다.
일 실시예에서, 각각의 마이크로폰은 차량의 별개의 측면 상에 위치된다.
일 실시예에서, 데이터 플랫폼은, 소정 환경에서 동작하는 하나 이상의 차량의 각각의 차량으로부터, 차량의 시공간적 위치 및 차량의 동작 모드를 포함하는 정보를 수신하도록 구성되는 하나 이상의 프로세서를 포함한다. 환경에서 동작하는 하나 이상의 긴급 차량의 각각의 긴급 차량으로부터, 긴급 차량의 궤적이 수신된다. 상기 하나 이상의 차량의 각각의 차량의 시공간적 위치를 사용하여, 차량이 상기 하나 이상의 긴급 차량의 각각의 긴급 차량의 궤적을 피하기 위한 루트 재설정 정보가 결정된다. 루트 재설정 정보는 상기 하나 이상의 차량의 각각의 차량에 송신된다.
일 실시예에서, 하나 이상의 데이터베이스가 상기 하나 이상의 프로세서에 통신 가능하게 결합된다. 프로세서는 하나 이상의 데이터베이스 상에, 상기 하나 이상의 차량의 각각의 차량의 시공간적 위치 및 상기 하나 이상의 차량의 각각의 차량의 동작 모드를 포함하는 정보를 저장하도록 추가로 구성된다.
일 실시예에서, 동작 모드는 수동 또는 자율 주행이다.
일 실시예에서, 상기 하나 이상의 프로세서는, 하나 이상의 교통 카메라로부터, 환경 내의 교통상황을 나타내는 하나 이상의 이미지를 수신하도록 추가로 구성된다.
일 실시예에서, 루트 재설정 정보를 결정하는 것은 차량이 교통상황을 회피하기 위한 궤적을 결정하는 것을 포함한다.
일 실시예에서, 상기 하나 이상의 프로세서는, 하나 이상의 이미지를 사용하여, 교통상황을 피하기 위해 상기 하나 이상의 긴급 차량의 각각의 긴급 차량에 대한 제2 루트 재설정 정보를 결정하도록 추가로 구성된다.
일 실시예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 긴급 차량의 각각의 긴급 차량에 제2 루트 재설정 정보를 송신하도록 추가로 구성된다.
일 실시예에서, 상기 하나 이상의 프로세서는, 교통상황을 나타내는 상기 하나 이상의 이미지를 사용하여, 환경의 가중된 그래픽 표현을 업데이트하도록 추가로 구성된다.
일 실시예에서, 가중된 그래픽 표현의 진행 세그먼트의 가중치가 진행 세그먼트 상에서 동작하는 차량의 수를 나타낸다.
일 실시예에서, 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 대상체를 갖는 차량의 예측된 충돌의 수를 추가로 나타낸다.
일 실시예에서, 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 차량에 대한 예측된 정지의 수를 추가로 나타낸다.
일 실시예에서, 진행 세그먼트의 가중치는 진행 세그먼트를 따라 진행할 때 차량과 대상체 사이의 예측된 측방향 간격을 추가로 나타낸다.
일 실시예에서, 진행 세그먼트의 가중치는 진행 세그먼트의 도로 표면 손상의 양을 추가로 나타낸다.
일 실시예에서, 가중된 그래픽 표현의 진행 세그먼트의 가중치는 진행 세그먼트 상에서 동작하는 상기 하나 이상의 긴급 차량의 수를 나타낸다.
일 실시예에서, 상기 하나 이상의 프로세서는 교통 신호의 제어기에게 루트 재설정 정보를 송신하도록 추가로 구성된다. 제어기는 상기 하나 이상의 차량의 차량이 루트 재설정 정보에 따라 동작하는 것을 허용하도록 교통 신호를 녹색을 변환하는 것이 가능하게 된다.
일 실시예에서, 상기 하나 이상의 프로세서는, 제어 모듈을 사용하여, 긴급 차량의 타입이 법 집행 차량이라고 결정한 것에 응답하여, 차량을 정지시키도록 추가로 구성된다.
일 실시예에서, 상기 하나 이상의 프로세서는, 긴급 차량의 타입이 법 집행 차량이라고 결정한 것에 응답하여, 차량의 도어를 잠금해제하도록 추가로 구성된다.
일 실시예에서, 차량의 하나 이상의 센서를 사용하여, 센서 데이터가 수신된다. 센서 데이터를 사용하여, 차량을 수반하는 긴급상황이 발생했는지가 결정된다. 긴급상황이 발생했다는 결정에 응답하여, 센서 데이터를 사용하여, 긴급상황의 타입이 식별된다. 긴급상황의 타입을 사용하여, 차량에 의해 수행될 긴급 동작이 검색된다. 차량의 제어 모듈은 긴급 동작에 따라 차량을 동작시킨다.
일 실시예에서, 긴급상황은 대상체와 차량의 충돌을 포함한다.
일 실시예에서, 긴급상황은 법 집행 차량에 의해 노변 정차되고 있는 차량을 포함한다.
일 실시예에서, 긴급 동작에 대한 요청이 서버에 송신된다. 요청은 긴급상황의 타입을 포함한다.
일 실시예에서, 긴급상황이 종료된 것이 검출된다. AV의 도어가 잠금된다.
일 실시예에서, 긴급상황이 종료된 것이 검출된다. 긴급 요원의 인증이 종료된다.
일 실시예에서, 긴급상황이 발생했다는 결정하는 것에 응답하여, 지원 요청이 긴급 차량에 송신된다.
일 실시예에서, 지원 요청은 차량의 시공간적 위치를 포함한다.
일 실시예에서, 상기 하나 이상의 센서는 IMU(inertial measurement unit)를 포함한다. 센서 데이터는 차량에 의해 경험되는 기계적 충격의 측정을 포함한다.
일 실시예에서, 하나 이상의 센서는 차량의 범퍼 또는 펜더 상에 내장된 접촉 센서를 포함한다.
일 실시예에서, 상기 하나 이상의 센서는 차체 제어 모듈을 포함한다. 센서 데이터는 차량의 에어백이 전개되었다는 것을 표시한다.
일 실시예에서, 차량을 수반하는 긴급상황이 발생했다고 결정하는 것에 응답하여, 차량의 도난 방지기 유닛이 차량의 엔진의 동작을 종료한다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것은, 센서 데이터를 사용하여, 차량의 속력과 차량의 휠 회전 속력 사이의 차이를 식별하는 것을 포함한다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것은, 센서 데이터를 사용하여, 소정 시간 내에 차량의 속력 변화를 식별하는 것을 포함한다. 속도의 변화는 임계 속력을 초과하고, 시간은 임계 시간 미만이다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것은, 센서 데이터를 사용하여, 소정 수의 상기 하나 이상의 센서가 고장이 났다고 결정하는 것을 포함한다. 상기 수는 임계 수를 초과한다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것은, 상기 하나 이상의 센서를 사용하여, 차량의 윈도우 또는 앞유리가 파손된 것을 검출하는 것을 포함한다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것은, 차량의 입력 디바이스를 사용하여, 긴급을 표시하는 승객으로부터 메시지를 수신하는 것을 포함한다.
일 실시예에서, 상기 하나 이상의 센서는 마이크로폰을 포함한다. 긴급상황이 발생했다고 결정하는 것은, 마이크로폰에 의해 포착된 사운드를 사용하여 차량의 충돌을 검출하는 것을 포함한다.
일 실시예에서, 상기 하나 이상의 센서는 카메라이다. 긴급상황이 발생했다고 결정하는 것은 카메라에 의해 포착된 이미지를 사용하여 차량의 충돌을 검출하는 것을 포함한다.
일 실시예에서, 상기 하나 이상의 센서는 카메라이다. 긴급상황이 발생했다고 결정하는 것은, 카메라에 의해 포착된 이미지를 사용하여, 노변 정차할 것을 차량에게 신호하고 있는 법 집행 차량을 검출하는 것을 포함한다.
일 실시예에서, 차량의 입력 디바이스를 사용하여, 차량 외부에 있는 법 집행관의 신원이 인증된다.
일 실시예에서, 법 집행관의 신원 인증에 응답하여, 상기 하나 이상의 프로세서는 차량의 도어를 잠금해제한다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것에 응답하여, 차량의 일부가 기능적이라는 것이 결정된다.
일 실시예에서, 긴급상황이 발생했다고 결정하는 것에 응답하여, 차량의 도어가 잠금해제된다. 차량의 디스플레이 디바이스 상에, 명령이 디스플레이된다.
상기 설명에서, 본 발명의 실시예는 구현예에 따라 변경될 수 있는 다수의 특정 세부사항을 참조하여 기술되었다. 따라서, 상세한 기술 및 도면은 제한적이기 보다는 예시적인 관점에서 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인이 본 발명의 범위가 되도록 의도한 것은, 본 출원에서 특정한 형태로 발행되는 청구항 세트의 문자 그대로의 등가 범위이며, 그런 청구항의 특정 형태는 임의의 후속 보정을 포함한다. 이러한 청구항에 포함된 용어에 대해 본원에서 명시적으로 개시된 모든 정의는 청구항에서 사용되는 이러한 용어의 의미를 지배한다. 또한, 상기 설명 및 후속하는 청구항에서 용어 "더 포함하는"이라는 용어가 사용될 때, 이 어구에 후속하는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브-단계/서브-엔티티일 수 있다.

Claims (20)

  1. 방법이며,
    긴급 차량이 긴급 모드에서 동작하고 있다고 결정한 것에 응답하여, 차량에 대한 긴급 동작을 나타내는 명령을 상기 차량의 제어 모듈에 송신하는 단계,
    상기 차량의 하나 이상의 센서를 사용하여, 하나 이상의 대상체의 존재를 검출하는 단계,
    상기 하나 이상의 센서를 사용하여, 상기 하나 이상의 대상체 중 적어도 하나의 대상체가 상기 차량의 임계 거리 내에 위치된다는 것을 결정하는 단계,
    상기 차량이 긴급 동작에 따라 동작하고 있다는 것을 표시하는 메시지를 상기 적어도 하나의 대상체에 디스플레이하는 단계, 및
    상기 차량의 제어 모듈을 사용하여, 긴급 동작에 따라 상기 차량을 동작시키는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 적어도 하나의 대상체는 다른 차량이고, 메시지는 상기 다른 차량이 상기 차량을 따르는 명령을 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 적어도 하나의 대상체는 보행자인, 방법.
  4. 제1항 또는 제2항에 있어서, 긴급 동작은, 상기 차량이 동작하고 있는 도로의 일 측으로 노변 정차하는 것, 상기 차량을 정지시키는 것, 상기 차량의 동작 속력을 감소시키는 것, 또는 상기 차량의 궤적을 조정하는 것 중 적어도 하나를 포함하는 방법.
  5. 제1항 또는 제2항에 있어서, 메시지는 상기 차량이 운행하고 있는 안전 위치의 주소를 포함하는, 방법.
  6. 제1항 또는 제2항에 있어서, 메시지를 디스플레이하는 단계는 상기 차량의 하나 이상의 확성기를 사용하여, 가청 정보를 방송하는 단계를 포함하는, 방법.
  7. 제1항 또는 제2항에 있어서, 메시지를 디스플레이하는 단계는 상기 차량의 디스플레이 디바이스에 문자 또는 그래픽 정보를 송신하는 단계를 포함하는, 방법.
  8. 제1항 또는 제2항에 있어서, 메시지를 디스플레이하는 단계는 상기 차량의 비컨을 사용하여 메시지를 방송하는 단계를 포함하는, 방법.
  9. 제1항 또는 제2항에 있어서, 서버가 하나 이상의 다른 차량으로 루트 재설정 정보를 송신하는 것이 가능해지도록 메시지를 상기 서버에 송신하는 단계를 더 포함하는 방법.
  10. 제1항 또는 제2항에 있어서, 메시지를 교통 신호의 제어기로 송신하는 단계를 더 포함하여, 제어기는 상기 차량이 긴급 동작에 따라 동작하는 것을 허용하기 위해 교통 신호를 녹색으로 전환할 수 있게 되는, 방법.
  11. 제1항 또는 제2항에 있어서, 시맨틱 데이터는 상기 차량을 운전 가능 영역으로 운행하는 것과 연계된 논리적 운전 제약을 포함하는, 방법.
  12. 제1항 또는 제2항에 있어서, 내장된 명령은 센서 데이터를 사용하여, 운전 가능 영역의 경계에 대한 상기 차량의 공간 위치를 결정하는 명령을 더 포함하는, 방법.
  13. 제1항 또는 제2항에 있어서, 센서는 GNSS(global navigation satellite system) 센서 또는 IMU(inertial measurement unit)를 포함하는, 방법.
  14. 제1항 또는 제2항에 있어서, 특징은 환경 내의 대상체의 색상 또는 운전 가능 영역 상의 마킹을 포함하는, 방법.
  15. 제1항 또는 제2항에 있어서,
    상기 긴급 차량으로부터, 상기 차량에 대한 긴급 동작을 나타내는 명령을 수신하는 단계로서, 상기 차량은 자율 주행적으로 동작하고 있는, 명령 수신 단계, 및
    상기 하나 이상의 프로세서를 사용하여, 상기 차량의 자율 주행 동작을 무효화하는 단계를 더 포함하는, 방법.
  16. 제15항에 있어서,
    센서를 사용하여 상기 긴급 차량이 긴급 모드에서 동작하는 것을 종료했다는 것을 결정하는 단계, 및
    제어 모듈을 사용하여, 자율 주행 동작을 재개하는 단계를 포함하는, 방법.
  17. 제15항에 있어서, 상기 차량의 비컨을 사용하여, 상기 차량이 상기 자율 주행 동작을 재개하고 있다는 것을 표시하는 정보를 방송하는 단계를 더 포함하는, 방법.
  18. 제1항 또는 제2항에 있어서, 메시지를 디스플레이하는 단계는 상기 차량의 윈도우, 상기 차량의 앞유리, 상기 차량의 도어, 또는 상기 차량의 후드 중 적어도 하나 상에 메시지를 제시하는 단계를 포함하는, 방법.
  19. 하나 이상의 컴퓨터 프로세서에 의해 실행 가능한 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체이며, 상기 명령은 상기 하나 이상의 컴퓨터 프로세서에 의해 실행될 때 상기 하나 이상의 컴퓨터 프로세서로 하여금,
    긴급 차량이 긴급 모드에서 동작하고 있다고 결정한 것에 응답하여, 차량에 대한 긴급 동작을 나타내는 제1 메시지를 상기 차량의 제어 모듈에 송신하고,
    상기 차량의 하나 이상의 센서를 사용하여, 하나 이상의 대상체의 존재를 검출하고,
    상기 하나 이상의 센서를 사용하여, 상기 하나 이상의 대상체 중 적어도 하나의 대상체가 상기 차량의 임계 거리 내에 위치되는 것을 결정하고,
    상기 차량이 긴급 동작에 따라 동작하고 있다는 것을 표시하는 제2 메시지를 상기 적어도 하나의 대상체에 디스플레이하고,
    상기 차량의 제어 모듈을 사용하여, 긴급 동작에 따라 상기 차량을 동작시키게 하는, 비-일시적 컴퓨터 판독 가능 저장 매체.
  20. 차량이며,
    하나 이상의 컴퓨터 프로세서, 및
    하나 이상의 컴퓨터 프로세서에 의해 실행 가능한 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 명령은 상기 하나 이상의 컴퓨터 프로세서에 의해 실행될 때 상기 하나 이상의 컴퓨터 프로세서로 하여금,
    긴급 차량이 긴급 모드에서 동작하고 있다고 결정한 것에 응답하여, 차량에 대한 긴급 동작을 나타내는 제1 메시지를 상기 차량의 제어 모듈에 송신하고,
    상기 차량의 하나 이상의 센서를 사용하여, 하나 이상의 대상체의 존재를 검출하고,
    상기 하나 이상의 센서를 사용하여, 상기 하나 이상의 대상체 중 적어도 하나의 대상체가 상기 차량의 임계 거리 내에 위치되는 것을 결정하고,
    상기 차량이 긴급 동작에 따라 동작하고 있다는 것을 표시하는 제2 메시지를 상기 적어도 하나의 대상체에 디스플레이하고,
    상기 차량의 제어 모듈을 사용하여, 긴급 동작에 따라 상기 차량을 동작시키게 하는, 차량.
KR1020200025208A 2019-03-01 2020-02-28 긴급 상황 시의 차량의 동작 KR20200106131A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962812945P 2019-03-01 2019-03-01
US62/812,945 2019-03-01

Publications (1)

Publication Number Publication Date
KR20200106131A true KR20200106131A (ko) 2020-09-11

Family

ID=69742875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025208A KR20200106131A (ko) 2019-03-01 2020-02-28 긴급 상황 시의 차량의 동작

Country Status (4)

Country Link
US (1) US20200276973A1 (ko)
EP (1) EP3703028A1 (ko)
KR (1) KR20200106131A (ko)
CN (1) CN111708358A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026983A (ko) * 2020-08-25 2022-03-07 모셔널 에이디 엘엘씨 자율주행 차량의 안전성 및 신뢰성을 개선하기 위한 자율주행 차량의 시뮬레이션
US20220126866A1 (en) * 2020-10-23 2022-04-28 Tusimple, Inc. Safe driving operations of autonomous vehicles
KR20220075245A (ko) * 2020-11-27 2022-06-08 제이비 주식회사 지중 가스 배관의 위험물 접근 감시를 위한 드라이빙 패트롤 시스템

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567510B2 (en) 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
US11107302B2 (en) * 2019-05-20 2021-08-31 Here Global B.V. Methods and systems for emergency event management
US11892835B2 (en) * 2019-07-26 2024-02-06 Zoox, Inc. System and method for controlling an autonomous vehicle
US11409278B2 (en) 2019-07-26 2022-08-09 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
US11450205B2 (en) * 2019-12-31 2022-09-20 Zoox, Inc. Emergency vehicle detection and response
US11295757B2 (en) 2020-01-24 2022-04-05 Motional Ad Llc Detection and classification of siren signals and localization of siren signal sources
US11430091B2 (en) * 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
KR20210145881A (ko) * 2020-05-25 2021-12-03 현대자동차주식회사 자율주행차량의 비상정차 제어 방법
US11891075B2 (en) * 2020-06-23 2024-02-06 Tusimple, Inc. Redundant hardware and software architecture for autonomous vehicles
US11328823B2 (en) * 2020-10-13 2022-05-10 Steven W. Goldstein Wearable device for reducing exposure to pathogens of possible contagion
CN112224202B (zh) * 2020-10-14 2021-11-23 南京航空航天大学 一种紧急工况下的多车协同避撞系统及方法
US20220222296A1 (en) * 2021-01-12 2022-07-14 Baidu Usa Llc Automatic audio data labelling utilizing autonomous driving vehicle
WO2022154588A1 (ko) * 2021-01-14 2022-07-21 엘지전자 주식회사 무선통신시스템에서 단말이 제1 신호를 전송하는 방법 및 이를 위한 장치
WO2022183023A1 (en) * 2021-02-25 2022-09-01 Autonomous Solutions, Inc. Intelligent urgent stop system for an autonomous vehicle
FR3125600A1 (fr) * 2021-07-21 2023-01-27 Psa Automobiles Sa Procédé et dispositif d’aide à la navigation
US11364910B1 (en) * 2021-08-26 2022-06-21 Motional Ad Llc Emergency vehicle detection system and method
CN113911117A (zh) * 2021-11-03 2022-01-11 北京胜能能源科技有限公司 一种车辆让路方法、装置、电子设备及存储介质
CN114582115B (zh) * 2022-04-11 2022-08-19 北京车晓科技有限公司 一种基于v2x的车队交通调度系统及调度方法
CN114454889B (zh) * 2022-04-14 2022-06-28 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
US11914914B2 (en) * 2022-04-29 2024-02-27 Ford Global Technologies, Llc Vehicle interface control
EP4280193A1 (en) * 2022-05-16 2023-11-22 Zenseact AB Emergency vehicle passage
US20240087450A1 (en) * 2022-09-14 2024-03-14 Gm Cruise Holdings Llc Emergency vehicle intent detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6152653B2 (ja) * 2013-02-14 2017-06-28 三菱自動車工業株式会社 緊急車両通行支援システム
DE102014202453B4 (de) * 2014-02-11 2018-12-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Systeme zur Erkennung von autonom betriebenen Fahrzeugen, zur Abstandsmessung und zur Abstandssteuerung
US10049570B2 (en) * 2015-10-21 2018-08-14 Globalfoundries Inc. Controlling right-of-way for priority vehicles
WO2017148531A1 (en) * 2016-03-04 2017-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and traffic control entity for controlling vehicle traffic
US20180137756A1 (en) * 2016-11-17 2018-05-17 Ford Global Technologies, Llc Detecting and responding to emergency vehicles in a roadway

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026983A (ko) * 2020-08-25 2022-03-07 모셔널 에이디 엘엘씨 자율주행 차량의 안전성 및 신뢰성을 개선하기 위한 자율주행 차량의 시뮬레이션
US11568688B2 (en) 2020-08-25 2023-01-31 Motional Ad Llc Simulation of autonomous vehicle to improve safety and reliability of autonomous vehicle
US20220126866A1 (en) * 2020-10-23 2022-04-28 Tusimple, Inc. Safe driving operations of autonomous vehicles
US11884298B2 (en) * 2020-10-23 2024-01-30 Tusimple, Inc. Safe driving operations of autonomous vehicles
KR20220075245A (ko) * 2020-11-27 2022-06-08 제이비 주식회사 지중 가스 배관의 위험물 접근 감시를 위한 드라이빙 패트롤 시스템

Also Published As

Publication number Publication date
CN111708358A (zh) 2020-09-25
EP3703028A1 (en) 2020-09-02
US20200276973A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
EP3703028A1 (en) Operation of a vehicle in the event of an emergency
KR102532546B1 (ko) 미리 계산되거나 동적으로 생성된 궤적 뱅크로부터의 궤적 예측
KR102551208B1 (ko) 차량의 교통 신호등 검출 시스템
US11567510B2 (en) Using classified sounds and localized sound sources to operate an autonomous vehicle
KR20200126935A (ko) 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법
KR102542970B1 (ko) 데이터 기반 규칙 북
US11472291B2 (en) Graphical user interface for display of autonomous vehicle behaviors
KR20210112293A (ko) 주석 달기를 위한 데이터 샘플의 자동 선택
KR102402293B1 (ko) 자율 주행 차량 거동을 디스플레이하기 위한 그래픽 사용자 인터페이스
KR20210013094A (ko) 복수의 모션 제약을 사용하는 차량의 동작
KR102555318B1 (ko) 조건부 움직임 예측
KR20210013756A (ko) 교통 신호등 추정
KR20200138673A (ko) 속력 프로파일 추정
KR20210032278A (ko) 내비게이션 정보의 이용 가능성에 기반한 자율 주행 차량의 동작
KR20220047532A (ko) 보행자에게 차량 정보 전달
GB2616739A (en) Traffic light estimation
KR20210109615A (ko) 활동에 기초한 인지된 대상체 분류
US11926342B2 (en) Autonomous vehicle post-action explanation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal