KR20220013579A - 자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법 - Google Patents

자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법 Download PDF

Info

Publication number
KR20220013579A
KR20220013579A KR1020220005367A KR20220005367A KR20220013579A KR 20220013579 A KR20220013579 A KR 20220013579A KR 1020220005367 A KR1020220005367 A KR 1020220005367A KR 20220005367 A KR20220005367 A KR 20220005367A KR 20220013579 A KR20220013579 A KR 20220013579A
Authority
KR
South Korea
Prior art keywords
road
adv
sound signals
determining
road condition
Prior art date
Application number
KR1020220005367A
Other languages
English (en)
Inventor
웨이 왕
치 루오
케청 쑤
홍이 순
웨슬리 레이놀즈
유링 조우
제준 린
Original Assignee
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 유에스에이 엘엘씨 filed Critical 바이두 유에스에이 엘엘씨
Publication of KR20220013579A publication Critical patent/KR20220013579A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00184—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only  for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/70—Indexing codes relating to the special location or mounting of sensors on the wheel or the tire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/80—Indexing codes relating to the special location or mounting of sensors on wheel hub bearing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들이 수신된다. 사운드 신호들은 ADV가 주행하고 있는 도로의 특징부를 추출하기 위해 분석된다. 추출된 특징부에 기초하여 도로의 도로 상황이 결정된다. 도로 상황에 기초하여 궤적을 생성하기 위해 경로 계획 및 속력 계획이 수행된다. ADV는 생성된 궤적에 따라 자율적으로 주행하도록 제어된다.

Description

자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법{AUDIO-BASED TECHNIQUE TO SENSE AND DETECT THE ROAD CONDITION FOR AUTONOMOUS DRIVING VEHICLES}
본 개시내용의 실시예들은 일반적으로 자율 주행 차량들을 동작시키는 것에 관한 것이다. 보다 구체적으로, 본 개시내용의 실시예들은 자율 주행 차량(autonomous driving vehicle, AD)을 위한 도로 상황(road condition)을 검출하는 것에 관한 것이다.
자율 모드(예컨대, 무인(driverless))에서 동작하는 차량들은 탑승자들, 특히 운전자를 몇몇 운전 관련 책임(driving-related responsibility)들로부터 구제할 수 있다. 자율 모드에서 동작할 때, 차량은 온보드 센서들을 사용하여 다양한 위치들로 내비게이트하여 차량이 최소의 인간 상호작용으로 또는 일부 경우들에 있어서는 어떠한 승객도 없이 이동하게 할 수 있다.
모션 계획 및 제어는 자율 주행에서 중요한 동작들이다. 도로 표면의 상황을 검출하는 것은 중요하다. 상이한 도로 상황들의 경우에, 주행 안전성(driving safety)을 위해 상이한 주행 전략들 및 상이한 행동들이 채택될 수 있다. 그러나, 도로 상황들을 감지하고 검출하는 것은 어렵다. 카메라들 및 LiDAR와 같은 광학 센서들은 소정 도로 표면 상황들, 예를 들어, 도로를 덮은 눈의 두께 및 물의 깊이를 검출할 수 없다. 그 문제는 어두운 환경에서 더 엄중하다.
본 개시는 자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법을 제공한다.
본 발명은 자율 주행 차량(autonomous driving vehicle, ADV)을 동작시키기 위한 컴퓨터 구현 방법으로서, 상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 단계; 상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 단계; 상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 단계; 경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 단계; 및 상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 단계를 포함하는, 방법을 제공한다.
일부 예들에서, 상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치될 수 있다.
일부 예들에서, 상기 하나 이상의 마이크로폰들은 상기 ADV의 저부 패널에 배치될 수 있다.
일부 예들에서, 상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 단계는 상기 사운드 신호들을 분석하여 상기 도로의 도포 표면의 조도(roughness)를 표현하는 주파수 특징부를 추출하는 단계를 포함할 수 있다.
일부 예들에서, 상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 단계는 상기 사운드 신호들을 분석하여 상기 도로의 전력 스펙트로그램(spectrogram)을 추출하는 단계를 포함할 수 있다.
일부 예들에서, 도로 상황을 결정하는 단계는 머신 러닝 알고리즘 또는 심층 러닝 알고리즘을 사용하여 상기 도로 상황을 결정하는 단계를 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 도로의 표면 유형 또는 보도 상황 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 도로의 커버링(covering)의 깊이를 결정하는 단계를 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 ADV의 하나 이상의 타이어들과 상기 도록의 도로 표면 사이의 마찰을 표현하는 마찰 계수를 결정하는 단계를 포함할 수 있다.
본 발명은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작들을 수행하게 하는 명령어들이 저장되는 비일시적 머신 판독가능 매체로서, 상기 동작들은, 상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 동작; 상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 동작; 상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 동작; 경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 동작; 및 상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 동작을 포함하는, 머신 판독가능 매체를 제공한다.
일부 예들에서, 상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치될 수 있다.
일부 예들에서, 상기 하나 이상의 마이크로폰들은 상기 ADV의 저부 패널에 배치될 수 있다.
일부 예들에서, 상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 동작은 상기 사운드 신호들을 분석하여 상기 도로의 도포 표면의 조도를 표현하는 주파수 특징부를 추출하는 동작을 포함할 수 있다.
일부 예들에서, 상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 동작은 상기 사운드 신호들을 분석하여 상기 도로의 전력 스펙트로그램을 추출하는 동작을 포함할 수 있다.
일부 예들에서, 도로 상황을 결정하는 동작은 머신 러닝 알고리즘 또는 심층 러닝 알고리즘을 사용하여 상기 도로 상황을 결정하는 동작을 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 도로의 표면 유형 또는 보도 상황 중 적어도 하나를 결정하는 동작을 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 도로의 커버링의 깊이를 결정하는 동작을 포함할 수 있다.
일부 예들에서, 상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 ADV의 하나 이상의 타이어들과 상기 도록의 도로 표면 사이의 마찰을 표현하는 마찰 계수를 결정하는 동작을 포함할 수 있다.
본 발명은 데이터 프로세싱 시스템으로서, 프로세서; 및 상기 프로세서에 커플링되어, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 포함하고, 상기 동작들은, 상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 동작; 상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 동작; 상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 동작; 경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 동작; 및 상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 동작을 포함할 수 있다.
일부 예들에서, 상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치될 수 있다.
본 발명은 비일시적 컴퓨터 판독가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램이 실행되어 상기 제1항목 내지 상기 제9항목 중 어느 한 항에 따른 자율 주행 차량(autonomous driving vehicle, ADV)을 동작시키기 위한 컴퓨터 구현 방법을 수행하는 컴퓨터 프로그램을 제공한다.
본 개시는 자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법을 제공한다.
본 개시내용의 실시예들은 도면에서 제한이 아니라 예로서 예시되며, 도면에서 유사한 참조부호들은 유사한 요소들을 나타낸다.
도 1은 하나의 실시예에 따른 네트워킹된 시스템을 예시하는 블록도이다.
도 2는 하나의 실시예에 따른 자율 주행 차량의 일례를 예시하는 블록도이다.
도 3 및 도 4는 하나의 실시예에 따른, 자율 주행 차량과 함께 사용되는 자율 주행 시스템의 일례를 예시하는 블록도들이다.
도 5는 하나의 실시예에 따른, 자율 주행 차량의 사운드 검출 모듈의 일례를 예시하는 블록도이다.
도 6은 하나의 실시예에 따른, 사운드 검출 모듈을 갖는 자율 주행 차량의 일례를 예시하는 블록도이다.
도 7은 하나의 실시예에 따른, 사운드 검출 모듈을 갖는 자율 주행 차량의 다른 예를 예시하는 블록도이다.
도 8은 하나의 실시예에 따른, ADV를 동작시키기 위한 사운드 검출에 기초하여 도로 상황을 결정하기 위한 방법의 일례를 예시하는 흐름도이다.
도 9는 하나의 실시예에 따른, ADV를 동작시키기 위한 사운드 검출에 기초하여 도로 상황을 결정하기 위한 프로세스의 일례를 예시하는 흐름도이다.
본 개시내용의 다양한 실시예들 및 양태들은 아래에서 논의되는 세부사항들을 참조하여 기술될 것이고, 첨부 도면은 다양한 실시예들을 예시할 것이다. 아래의 설명 및 도면은 본 개시내용을 예시하며, 본 발명을 제한하는 것으로 이해되어서는 안 된다. 본 개시내용의 다양한 실시예들에 대한 철저한 이해를 제공하기 위해 수많은 특정 세부사항들이 기술된다. 그러나, 소정 경우들에 있어서, 주지의 또는 종래의 세부사항들은 본 개시내용의 실시예들의 간결한 논의를 제공하기 위해 기술되지 않는다.
명세서에서 "하나의 실시예" 또는 "일 실시예"에 대한 언급은, 그 실시예와 관련하여 기술된 특정 특징부, 구조, 또는 특성이 개시내용의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서 내의 다양한 곳들에서의 구문 "하나의 실시예에서"의 출현이 반드시 모두가 동일한 실시예를 지칭하는 것은 아니다.
일부 실시예들에 따르면, 타이어/휠 허브들 내부에 또는 ADV의 본체에 탑재되는 마이크로폰(들)은 휠들과 도로 표면 사이의 마찰음을 수집하는 데 사용된다. 주파수 도메인, 시간 도메인 및 에너지 특징부들은 머신 러닝 및 심층 러닝 모델들을 사용하여 평가된다. 표면 유형(예컨대, 마른 상태, 젖은 상태, 결빙 상태) 및 보도 상황(예컨대, 아스팔트, 암석, 모래)이 결정되고, 도로 커버링(예컨대, 눈, 물)의 깊이가 결정되거나 추정된다. 보도의 마찰 계수가 그에 따라 계산될 수 있고, 정보가 제어 및 경로 계획의 최적화를 위해 사용된다. 이러한 방식으로, 도로 상황을 감지하고 검출하고 결정하기 위한 전천후 능력(all-weather capability)이 가능해진다. 도로 상황은 도로의 표면 유형, 도로의 보도 상황, 도로 커버링의 깊이 등을 포함한다. 도로 상황의 상이한 유형들 및 다양한 레벨들이 ADV에 탑재된 마이크로폰(들)에 의해 수집된 사운드 신호들에 기초하여 결정될 수 있다. ADV는 검출된 도로 상황을 고려하여 제어 커맨드들(예컨대, 트로틀, 브레이크, 스티어링 제어 커맨드들)을 생성할 수 있다.
일부 실시예들에 따르면, ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들이 수신된다. 사운드 신호들은 ADV가 주행하고 있는 도로의 특징부를 추출하기 위해 분석된다. 추출된 특징부에 기초하여 도로의 도로 상황이 결정된다. 도로 상황에 기초하여 궤적을 생성하기 위해 경로 계획 및 속력 계획이 수행된다. ADV는 생성된 궤적에 따라 자율적으로 주행하도록 제어된다.
도 1은 본 개시내용의 하나의 실시예에 따른 자율 주행 네트워크 구성을 예시하는 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 이상의 서버들(103, 104)에 통신가능하게 커플링될 수 있는 자율 주행 차량(ADV)(101)을 포함한다. 하나의 ADV가 도시되어 있지만, 다수의 ADV들이 네트워크(102)를 통해 서로에게 커플링될 수 있고/있거나 서버들(103, 104)에 커플링될 수 있다. 네트워크(102)는 근거리 통신망(local area network, LAN), 인터넷, 셀룰러 네트워크, 위성 네트워크와 같은 광역 통신망(wide area network, WAN), 또는 이들의 조합, 유선 또는 무선과 같은 임의의 유형의 네트워크들일 수 있다. 서버(들)(103, 104)는 임의의 종류의 서버들 또는 서버들의 클러스터, 예컨대 웹 또는 클라우드 서버들, 애플리케이션 서버들, 백엔드 서버들, 또는 이들의 조합일 수 있다. 서버들(103, 104)은 데이터 분석 서버들, 콘텐츠 서버들, 교통 정보 서버들, 지도 및 관심 지점(map and point of interest, MPOI) 서버들, 또는 위치 서버들 등일 수 있다.
ADV는 차량이 운전자로부터의 입력이 거의 또는 전혀 없는 환경을 통해 내비게이트하는 자율 모드에 있도록 구성될 수 있는 차량을 지칭한다. 그러한 ADV는 차량이 동작하는 환경에 관한 정보를 검출하도록 구성되는 하나 이상의 센서들을 갖는 센서 시스템을 포함할 수 있다. 차량 및 그의 연관된 제어기(들)는 검출된 정보를 사용하여 환경을 통해 내비게이트한다. ADV(101)는 수동 모드, 완전 자율 모드, 또는 부분 자율 모드에서 동작할 수 있다.
하나의 실시예에서, ADV(101)는 자율 주행 시스템(autonomous driving system, ADS)(110), 차량 제어 시스템(111), 무선 통신 시스템(112), 사용자 인터페이스 시스템(113), 및 센서 시스템(115)을 포함하지만, 이들로 제한되지 않는다. ADV(101)는, 예를 들어, 가속 신호들 또는 커맨드들, 감속 신호들 또는 커맨드들, 스티어링 신호들 또는 커맨드들, 브레이킹 신호들 또는 커맨드들 등과 같은 다양한 통신 신호들 및/또는 커맨드들에 의해 제어될 수 있는 일반 차량들 내에 포함되는 소정의 공통 컴포넌트들, 예컨대 엔진, 휠들, 스티어링 휠, 변속기 등을 추가로 포함할 수 있다.
컴포넌트들(110 내지 115)은 상호접속부, 버스, 네트워크, 또는 이들의 조합을 통해 서로에게 통신가능하게 커플링될 수 있다. 예를 들어, 컴포넌트들(110 내지 115)은 제어기 영역 네트워크(controller area network, CAN) 버스를 통해 서로에게 통신가능하게 커플링될 수 있다. CAN 버스는 마이크로제어기들 및 디바이스들이 호스트 컴퓨터 없이 애플리케이션들로 서로에게 통신할 수 있도록 설계된 차량 버스 표준이다. 그것은, 원래 자동차들 내의 다중 전기 배선을 위해 설계된 메시지 기반 프로토콜이지만, 또한 많은 다른 상황들에서도 사용된다.
이제 도 2를 참조하면, 하나의 실시예에서, 센서 시스템(115)은 하나 이상의 카메라들(211), 글로벌 포지셔닝 시스템(global positioning system, GPS) 유닛(212), 관성 측정 유닛(inertial measurement unit, IMU)(213), 레이더 유닛(214), 광 검출 및 레인지(light detection and range, LiDAR) 유닛(215), 및 마이크로폰 유닛(216)을 포함하지만, 그것은 이들로 제한되지 않는다. GPS 시스템(212)은 ADV의 포지션에 관한 정보를 제공하도록 동작가능한 송수신기를 포함할 수 있다. IMU 유닛(213)은 관성 가속도에 기초하여 ADV의 포지션 및 배향 변화들을 감지할 수 있다. 레이더 유닛(214)은 무선 신호들을 활용하여 ADV의 국부적 환경 내의 물체들을 감지하는 시스템을 표현할 수 있다. 일부 실시예들에서, 물체들을 감지하는 것 외에도, 레이더 유닛(214)은 물체들의 속력 및/또는 기수방위(heading)를 추가적으로 감지할 수 있다. LIDAR 유닛(215)은 레이저들을 사용하여 ADV가 위치되는 환경 내의 물체들을 감지할 수 있다. LIDAR 유닛(215)은, 다른 시스템 컴포넌트들 중에서도, 하나 이상의 레이저 소스들, 레이저 스캐너, 및 하나 이상의 검출기들을 포함할 수 있다. 카메라들(211)은 ADV 주변 환경의 이미지들을 캡처하기 위한 하나 이상의 디바이스들을 포함할 수 있다. 카메라들(211)은 정지 카메라들 및/또는 비디오 카메라들일 수 있다. 카메라는, 예를 들어, 회전용 및/또는 틸팅용 플랫폼 상에 카메라를 탑재함으로써, 기계적으로 이동가능할 수 있다. 마이크로폰 유닛(216)은 ADV의 타이어들 또는 휠 허브들 내부에 또는 ADV의 저부 패널에 탑재되는 하나 이상의 마이크로폰들을 포함할 수 있다. 하나 이상의 마이크로폰들은 도로로부터의 사운드 신호들을 수집하여 도로 상황을 검출하기 위해 배치될 수 있다.
센서 시스템(115)은 다른 센서들, 예컨대 소나 센서, 적외선 센서, 스티어링 센서, 트로틀 센서, 브레이킹 센서, 및 오디오 센서(예컨대, 마이크로폰)를 추가로 포함할 수 있다. 오디오 센서는 ADV 주변 환경으로부터의 사운드를 캡처하도록 구성될 수 있다. 스티어링 센서는 차량의 스티어링 휠, 휠들의 스티어링 각도, 또는 이들의 조합을 감지하도록 구성될 수 있다. 트로틀 센서 및 브레이킹 센서는 각각 차량의 트로틀 포지션 및 브레이킹 포지션을 감지한다. 일부 상황들에 있어서, 트로틀 센서 및 브레이킹 센서는 일체형 트로틀/브레이킹 센서로서 일체화될 수 있다.
하나의 실시예에서, 차량 제어 시스템(111)은 스티어링 유닛(201), 트로틀 유닛(202)(가속 유닛으로도 지칭됨), 및 브레이킹 유닛(203)을 포함하지만 이들로 제한되지 않는다. 스티어링 유닛(201)은 차량의 방향 또는 기수방위를 조정하기 위한 것이다. 트로틀 유닛(202)은 모터 또는 엔진의 속력을 제어하기 위한 것이고, 모터 또는 엔진은 차례차례 차량의 속력 및 가속을 제어한다. 브레이킹 유닛(203)은 차량의 휠들 또는 타이어들의 속력을 줄이기 위해 마찰을 제공함으로써 차량을 감속시키기 위한 것이다. 도 2에 도시된 바와 같은 컴포넌트들은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있음에 유의한다.
도 1을 다시 참조하면, 무선 통신 시스템(112)은 ADV(101)와 외부 시스템들, 예컨대 디바이스들, 센서들, 다른 차량들 등 사이의 통신을 허용하기 위한 것이다. 예를 들어, 무선 통신 시스템(112)은, 직접적으로 또는 통신 네트워크를 통해 하나 이상의 디바이스들과, 예컨대 네트워크(102)를 통해 서버들(103, 104)과 무선으로 통신할 수 있다. 무선 통신 시스템(112)은 임의의 셀룰러 통신 네트워크 또는 무선 근거리 통신망(wireless local area network, WLAN)을 사용하여, 예컨대 WiFi를 사용하여, 다른 컴포넌트 또는 시스템과 통신할 수 있다. 무선 통신 시스템(112)은, 예를 들어 적외선 잉크, 블루투스 등을 사용하여, 디바이스(예컨대, 승객의 모바일 디바이스, 디스플레이 디바이스, 차량(101) 내의 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은, 예를 들어 키보드, 터치 스크린 디스플레이 디바이스, 마이크로폰, 및 스피커 등을 포함하는, 차량(101) 내에 구현되는 주변기기 디바이스들의 부분일 수 있다.
ADV(101)의 기능들 중 일부 또는 전부는, 특히 자율 주행 모드에서 동작할 때, ADS(110)에 의해 제어되거나 관리될 수 있다. ADS(110)는, 센서 시스템(115), 제어 시스템(111), 무선 통신 시스템(112), 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고, 수신된 정보를 프로세싱하고, 시작 포인트로부터 목적지 포인트까지의 루트 또는 경로를 계획하고, 이어서 계획 및 제어 정보에 기초하여 차량(101)을 주행시키기 위해, 필수적인 하드웨어(예컨대, 프로세서(들), 메모리, 저장소) 및 소프트웨어(예컨대, 운영 체제, 계획 및 라우팅 프로그램들)를 포함한다. 대안적으로, ADS(110)는 차량 제어 시스템(111)과 일체화될 수 있다.
예를 들어, 승객으로서의 사용자가, 예를 들어 사용자 인터페이스를 통해, 이동의 시작 위치 및 목적지를 특정할 수 있다. ADS(110)는 이동 관련 데이터를 획득한다. 예를 들어, ADS(110)는 서버들(103, 104)의 부분일 수 있는 MPOI 서버로부터 위치 및 루트 데이터를 획득할 수 있다. 위치 서버는 위치 서비스들을 제공하고, MPOI 서버는 지도 서비스들 및 소정 위치들의 POI들을 제공한다. 대안적으로, 그러한 위치 및 MPOI 정보는 ADS(110)의 영구 저장 디바이스에 국부적으로 캐싱될 수 있다.
ADV(101)가 루트를 따라 이동하고 있는 동안, ADS(110)는 또한 교통 정보 시스템 또는 서버(traffic information system/server, TIS)로부터 실시간 교통 정보를 획득할 수 있다. 서버들(103, 104)은 제3자 엔티티에 의해 동작될 수 있음에 유의한다. 대안적으로, 서버들(103, 104)의 기능들은 ADS(110)와 일체화될 수 있다. 실시간 교통 정보, MPOI 정보, 및 위치 정보뿐만 아니라 센서 시스템(115)에 의해 검출되거나 감지되는 실시간 국부적 환경 데이터(예컨대, 장애물들, 물체들, 인근 차량들)에 기초하여, ADS(110)는 최적의 루트를 계획할 수 있고, 계획된 루트에 따라, 예를 들어 제어 시스템(111)을 통해, 차량(101)을 주행시켜서, 특정된 목적지에 안전하고 효율적으로 도달하게 할 수 있다.
서버(103)는 다양한 클라이언트들을 위한 데이터 분석 서비스들을 수행하기 위한 데이터 분석 시스템일 수 있다. 하나의 실시예에서, 데이터 분석 시스템(103)은 데이터 수집기(121) 및 머신 러닝 엔진(122)을 포함한다. 데이터 수집기(121)는 ADV들이든 또는 인간 운전자들에 의해 구동되는 일반 차량들이든, 다양한 차량들로부터 주행 통계자료(123)를 수집한다. 주행 통계자료(123)는 상이한 시점들에서 차량들의 센서들에 의해 발행되는 주행 커맨드들(예컨대, 트로틀, 브레이크, 스티어링 커맨드들) 및 그들에 의해 캡처되는 차량들의 응답들(예컨대, 속력들, 가속도들, 감속도들, 방향들)을 나타내는 정보를 포함한다. 주행 통계자료(123)는, 예를 들어 루트들(시작 및 목적지 위치들을 포함함), MPOI들, 도로 상황들, 기상 조건들 등과 같은, 상이한 시점들에서의 주행 환경들을 서술하는 정보를 추가로 포함할 수 있다.
주행 통계자료(123)에 기초하여, 머신 러닝 엔진(122)은 다양한 목적들을 위해 일정 세트의 규칙들, 알고리즘들, 및/또는 예측 모델들(124)을 생성하거나 트레이닝시킨다. 하나의 실시예에서, 알고리즘들(124)은 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 알고리즘 또는 모델, 사운드 신호들을 분석하여 ADV가 주행하고 있는 도로의 특징부를 추출하는 알고리즘 또는 모델, 추출된 특징부에 기초하여 도로의 도로 상황을 결정하는 알고리즘 또는 모델, 도로 상황에 기초하여 궤적을 생성하는 알고리즘 또는 모델, 및 생성된 궤적에 따라 자율적으로 주행하도록 ADV를 제어하는 알고리즘 또는 모델을 포함할 수 있다. 알고리즘들(124)은 이어서 ADV 상에 업로드되어, 자율 주행 동안 실시간으로 활용될 수 있다.
도 3 및 도 4는 하나의 실시예에 따른, ADV와 함께 사용되는 자율 주행 시스템의 일례를 예시하는 블록도들이다. 시스템(300)은 ADS(110), 제어 시스템(111), 및 센서 시스템(115)을 포함하는 도 1의 ADV(101)의 부분으로서 구현될 수 있지만 이들로 제한되지 않는다. 도 3 및 도 4를 참조하면, ADS(110)는 위치측정 모듈(301), 인지 모듈(302), 예측 모듈(303), 결정 모듈(304), 계획 모듈(305), 제어 모듈(306), 라우팅 모듈(307), 및 사운드 검출 모듈(308)을 포함하지만, 이들로 제한되지 않는다.
모듈들(301 내지 308) 중 일부 또는 전부는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이들 모듈들은 영구 저장 디바이스(352)에 설치될 수 있고, 메모리(351) 내에 로딩될 수 있고, 하나 이상의 프로세서들(도시되지 않음)에 의해 실행될 수 있다. 이들 모듈들 중 일부 또는 전부는 도 2의 차량 제어 시스템(111)의 일부 또는 전체 모듈들에 통신가능하게 커플링될 수 있거나 이들과 일체화될 수 있음에 유의한다. 모듈들(301 내지 308) 중 일부는 일체형 모들로서 함께 통합될 수 있다.
위치측정 모듈(301)은 ADV(300)(예컨대, 레버리징 GPS 유닛(212))의 현재 위치를 결정하고, 사용자의 이동 또는 루트에 관련된 임의의 데이터를 관리한다. 위치측정 모듈(301)(지도 및 루트 모듈로도 지칭됨)은 사용자의 이동 또는 루트에 관련된 임의의 데이터를 관리한다. 사용자는, 예를 들어 사용자 인터페이스를 통해, 로그인할 수 있고, 이동의 시작 위치 및 목적지를 특정할 수 있다. 위치측정 모듈(301)은 지도 및 루트 데이터(311)와 같은 ADV(300)의 다른 컴포넌트들과 통신하여 이동 관련 데이터를 획득한다. 예를 들어, 위치측정 모듈(301)은 위치 서버 및 지도 및 POI(MPOI) 서버로부터 위치 및 루트 데이터를 획득할 수 있다. 위치 서버는 위치 서비스들을 제공하고, MPOI 서버는 지도 서비스들 및 소정 위치들의 POI들을 제공하며, 이들은 지도 및 루트 데이터(311)의 부분으로서 캐싱될 수 있다. ADV(300)가 루트를 따라 이동하고 있는 동안, 위치측정 모듈(301)은 또한 교통 정보 시스템 또는 서버로부터 실시간 교통 정보를 획득할 수 있다.
센서 시스템(115)에 의해 제공되는 센서 데이터 및 위치측정 모듈(301)에 의해 획득된 위치측정 정보에 기초하여, 주변 환경의 인지가 인지 모듈(302)에 의해 결정된다. 인지 정보는, 일반 운전자가, 운전자가 운전하고 있는 차량 주변에서 인지하는 것을 표현할 수 있다. 인지는 차선 구성, 신호등 신호들, 다른 차량의 상대적 포지션, 보행자, 건물, 횡단보도, 또는 다른 교통 관련 표지판들(예컨대, 정지 표지판들, 양보 표지판들) 등을, 예를 들어 물체의 형태로 포함할 수 있다. 차선 구성은, 예를 들어 차선의 형상(예컨대, 직선 또는 곡선), 차선의 폭, 도로에 차선들이 얼마나 많은가, 일방 또는 양방 통행 차선, 병합 또는 분리 차선들, 나가기 차선 등과 같은 차선 또는 차선들을 서술하는 정보를 포함한다.
인지 모듈(302)은 ADV의 환경에서 물체들 및/또는 특징부들을 식별하기 위해 하나 이상의 카메라들에 의해 캡처되는 이미지들을 프로세싱하고 분석하는 컴퓨터 시각 시스템 또는 컴퓨터 시각 시스템의 기능들을 포함할 수 있다. 물체들은 교통 신호들, 도로 경계들, 다른 차량들, 보행자들, 및/또는 장애물들 등을 포함할 수 있다. 컴퓨터 시각 시스템은 물체 인식 알고리즘, 비디오 트래킹, 및 다른 컴퓨터 시각 기법들을 사용할 수 있다. 일부 실시예들에서, 컴퓨터 시각 시스템은 환경을 맵핑할 수 있고, 물체들을 추적할 수 있고, 물체들의 속력을 추정할 수 있고, 등등을 할 수 있다. 인지 모듈(302)은 또한, 레이더 및/또는 LIDAR와 같은 다른 센서들에 의해 제공된 다른 센서 데이터에 기초하여 물체들을 검출할 수 있다.
마이크로폰 유닛(216)에 의해 제공된 사운드 신호들에 기초하여, ADV가 주행하고 있는 도로의 도로 상황은 사운드 검출 모듈(308)에 의해 결정된다. 도로 상황은 표면 유형(예컨대, 마른 상태, 젖은 상태, 결빙 상태), 보도 상황(예컨대, 아스팔트, 암석, 모래), 도로 커버링(예컨대, 눈, 물)의 깊이 등을 포함할 수 있다. 사운드 검출 모듈(308)은 컴퓨터 오디오 시스템 또는 컴퓨터 오디오 시스템의 기능들을 포함할 수 있다. 사운드 검출 모듈(308)은 사운드 검출 알고리즘들 및 모델들(313), 또는 알고리즘들 및 모델들(124)에 기초하여 하나 이상의 마이크로폰들에 의해 캡처된 사운드 신호들을 프로세싱하고 분석할 수 있다. 사운드 신호들의 주파수 및 에너지 특징부들은 머신 러닝 알고리즘 도는 모델들 및/또는 심층 러닝 알고리즘 또는 모델들을 사용하여 평가될 수 있다. 사운드 검출 알고리즘들 및 모델들(313)은 머신 러닝 알고리즘 도는 모델들 및/또는 심층 러닝 알고리즘 도는 모델들을 포함할 수 있다. 도로 상황은 사운드 신호들의 주파수 및 에너지 특징부들에 기초하여 결정될 수 있다. 사운드 검출 모듈(308)이 별개의 모듈로서 도시되어 있지만, 사운드 검출 모듈(308)은 또한 인지 모듈(302), 예측 모듈(303), 및/또는 결정 모듈(304)의 부분으로서 구현될 수 있다. 대안적으로, 사운드 검출 모듈(308)은, 예를 들어 애플리케이션 프로그래밍 인터페이스(application programming interface, API)를 통해, 모듈들(302 내지 306)에 통신가능하게 커플링되는 별개의 모듈일 수 있다.
물체들 각각에 대해, 예측 모듈(303)은 환경들 하에서 물체가 무엇을 거동할지를 예측한다. 예측은 지도/루트 정보(311) 및 트래픽 규칙들(312)의 세트를 고려하여 그 시점에서 주행 환경을 인지하는 인지 데이터에 기초하여 수행된다. 예를 들어, 물체가 반대편 방향에 있는 차량이고 현재 주행 환경이 교차로를 포함하는 경우, 예측 모듈(303)은 차량이 일직선으로 이동할 가능이 있는지 아니면 회전할 가능성이 있는지를 예측할 것이다. 인지 데이터가 교차로에 어떠한 신호등도 없음을 나타내는 경우, 예측 모듈(303)은 차량이 교차로에 진입하기 전에 완전히 멈춰야 할 수도 있음을 예측할 수 있다. 인지 데이터가, 차량이 현재 좌회전 전용 차선에 있거나 우회전 전용 차선에 있음을 나타내는 경우, 예측 모듈(303)은 각각 차량이 좌회전을 행하거나 우회전을 행할 가능성이 더 큼을 예측할 수 있다.
물체들 각각에 대해, 결정 모듈(304)은 물체를 어떻게 핸들링할지에 관한 결정을 행한다. 예를 들어, 특정 물체(예컨대, 교차 루트 내의 다른 차량)뿐만 아니라 물체를 서술하는 그의 메타데이터(예컨대, 속력, 방향, 회전각)에 대해, 결정 모듈(304)은 물체와 어떻게 조우할지(예컨대, 추월, 양보, 정지, 통과)를 결정한다. 결정 모듈(304)은 영구 저장 디바이스(352)에 저장될 수 있는, 교통 규칙들 또는 주행 규칙들(312)과 같은 규칙들의 세트에 따라 그러한 결정들을 행할 수 있다.
라우팅 모듈(307)은 시작 지점으로부터 목적지 지점까지의 하나 이상의 루트들 또는 경로들을 제공하도록 구성된다. 시작 위치로부터 목적지 위치까지의, 예를 들어 사용자로부터 수신된, 주어진 이동에 대해, 라우팅 모듈(307)은 루트 및 지도 정보(311)를 획득하고, 목적지 위치에 도달하기 위한 시작 위치로부터의 모든 가능한 루트들 또는 경로들을 결정한다. 라우팅 모듈(307)은 목적지 위치에 도달하기 위해 그것이 시작 위치로부터 결정하는 루트들 각각에 대한 지형도의 형태로 기준 라인을 생성할 수 있다. 기준 라인은 다른 차량들, 장애물들, 또는 교통 상황과 같은 다른 것들로부터의 어떠한 간섭 없이 이상적인 루트 또는 경로를 지칭한다. 즉, 도로 상에 어떠한 다른 차량, 보행자들, 또는 장애물들도 없는 경우, ADV는 기준 라인을 정확하게 또는 긴밀하게 추종해야 한다. 이어서, 지형도들이 결정 모듈(304) 및/또는 계획 모듈(305)에 제공된다. 결정 모듈(304) 및/또는 계획 모듈(305)은, 위치측정 모듈(301)로부터의 교통 상황들, 인지 모듈(302)에 의해 인지되는 주행 환경, 및 예측 모듈(303)에 의해 예측되는 교통 상황과 같은, 다른 모듈들에 의해 제공되는 다른 데이터를 고려하여, 가능한 루트들 모두를 검사하여 가장 최적의 루트들 중 하나를 선택하고 수정한다. ADV를 제어하기 위한 실제 경로 또는 루트는 시점에서의 특정 구동 환경에 따라 라우팅 모듈(307)에 의해 제공되는 기준 라인에 가까울 수 있거나 또는 그와는 상이할 수 있다.
인지된 물체들 각각에 대한 결정에 기초하여, 계획 모듈(305)은 라우팅 모듈(307)에 의해 제공된 기준 라인을 기초로서 사용하여 ADV에 대한 경로 또는 루트뿐만 아니라 주행 파라미터들(예컨대, 거리, 속력, 및/또는 회전각)을 계획한다. 즉, 주어진 물체에 대해, 결정 모듈(304)은 물체와 관련하여 무엇을 할 것인지를 결정하는 한편, 계획 모듈(305)은 그것을 어떻게 할지를 결정한다. 예를 들어, 주어진 물체에 대해, 결정 모듈(304)은 물체를 통과시킬 것을 결정할 수 있는 한편, 계획 모듈(305)은 물체의 좌측으로 통과할지 우측으로 통과할지를 결정할 수 있다. 차량(300)이 다음 이동 사이클(예컨대, 다음 루트/경로 세그먼트)에서 어떻게 이동할지를 서술하는 정보를 포함하는 계획 및 제어 데이터가 계획 모듈(305)에 의해 생성된다. 예를 들어, 계획 및 제어 데이터는 시간당 30 마일(30 mph)의 속력으로 10 미터를 이동하고, 이어서 25 mph의 속력으로 우측 차선으로 변경할 것을 차량(300)에 명령할 수 있다.
계획 및 제어 데이터에 기초하여, 제어 모듈(306)은, 계획 및 제어 데이터에 의해 정의된 루트 또는 경로에 따라, 적절한 커맨드들 또는 신호들을 차량 제어 시스템(111)으로 전송함으로써, ADV를 제어하고 주행시킨다. 계획 및 제어 데이터는 경로 또는 루트를 따라 상이한 시점들에서 적절한 차량 설정들 또는 주행 파라미터들(예컨대, 트로틀, 브레이킹, 스티어링 커맨드들)을 사용하여 루트 또는 경로의 제1 지점으로부터 제2 지점까지 차량을 주행시키기에 충분한 정보를 포함한다.
하나의 실시예에서, 계획 단계는, 예를 들어 100밀리초(ms)의 매 시간 구간에서와 같은, 주행 사이클로도 지칭되는 다수의 계획 사이클들에서 수행된다. 계획 사이클들 또는 주행 사이클들 각각에 대해, 하나 이상의 제어 커맨드들이 계획 및 제어 데이터에 기초하여 발행될 것이다. 즉, 매 100 ms마다, 계획 모듈(305)은, 예를 들어 타깃 포지션 및 ADV가 타깃 포지션에 도달하기 위해 필요한 시간을 포함하는, 다음 루트 세그먼트 또는 경로 세그먼트를 계획한다. 대안적으로, 계획 모듈(305)은 특정 속력, 방향, 및/또는 스티어링 각 등을 추가로 특정할 수 있다. 하나의 실시예에서, 계획 모듈(305)은 5초와 같은 다음의 미리결정된 시간 동안 루트 세그먼트 또는 경로 세그먼트를 계획한다. 각각의 계획 사이클에 대해, 계획 모듈(305)은 이전 사이클에서 계획된 타깃 포지션에 기초하여 현재 사이클(예컨대, 다음의 5초)에 대한 타깃 포지션을 계획한다. 이어서, 제어 모듈(306)은 현재 사이클의 계획 및 제어 데이터에 기초하여 하나 이상의 제어 커맨드들(예컨대, 트로틀, 브레이크, 스티어링 제어 커맨드들)을 생성한다.
결정 모듈(304) 및 계획 모듈(305)은 일체형 모듈로서 일체화될 수 있음에 유의한다. 결정 모듈(304)/계획 모듈(305)은 ADV에 대한 주행 경로를 결정하기 위해 내비게이션 시스템 또는 내비게이션 시스템의 기능들을 포함할 수 있다. 예를 들어, 내비게이션 시스템은, 궁극적인 목적지로 이어지는 도로 기반 경로를 따라 ADV를 일반적으로 전진시키면서 인지된 장애물들을 실질적으로 회피하는 경로를 따라 ADV의 이동에 영향을 미치는 일련의 속력들 및 지향성 기수방위들을 결정할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통해 사용자 입력들에 따라 설정될 수 있다. 내비게이션 시스템은 ADV가 동작 중인 동안에 주행 경로를 동적으로 업데이트할 수 있다. 내비게이션 시스템은 ADV에 대한 주행 경로를 결정하기 위해 GPS로부터의 데이터 및 하나 이상의 지도들을 포함할 수 있다.
도 5는 하나의 실시예에 따른, 자율 주행 차량의 사운드 검출 모듈(308)의 일례를 예시하는 블록도이다. 도 6을 참조하면, 사운드 검출 모듈(308)은 분석기 모듈(401), 도로 상황 모듈(402)을 포함하지만 이들로 제한되지 않으며, 이들은 ADV가 주행하고 있는 도로의 도로 상황을 검출하기 위해 사운드 검출 알고리즘들 및 모델들(313)을 사용하여 함께 작동한다. 계획 모듈(305)은 도로 상황에 기초하여 궤적을 계획한다. 제어 모듈(305)은 계획된 궤적에 따라 자율적으로 주행하도록 ADV를 제어한다. 하나의 실시예에서, 제어 모듈(305)은, 추가로, 검출된 도로 상황에 따라 자율적으로 주행하도록 ADV를 제어한다.
하나의 실시예에서, ADV에 배치된 마이크로폰 유닛(216) 내의 하나 이상의 마이크로폰들에 의해 사운드 신호들이 수신된다. 하나 이상의 마이크로폰들로부터의 사운드 신호들에 기초하여, 분석기 모듈(401)은 사운드 신호들을 분석하여 도로의 특징부를 추출하도록 구성된다. 하나의 실시예에서, 분석기 모듈(401)은 도로의 주파수 특징부를 추출하도록 구성된다. 하나의 실시예에서, 분석기 모듈(401)은 도로의 시간적 특징부를 추출하도록 구성된다. 하나의 실시예에서, 분석기 모듈(401)은 도로의 전력 스펙트럼을 추출하도록 구성된다. 하나의 실시예에서, 분석기 모듈(401)은 머신 러닝 알고리즘 또는 모델, 또는 심층 러닝 알고리즘 또는 모델에 기초하여 도로의 특징부를 추출하도록 구성된다.
하나의 실시예에서, 도로 상황 모듈(402)은 추출된 특징부에 기초하여 도로 상황을 결정하도록 구성된다. 하나의 실시예에서, 도로 상황 모듈(402)은 도로의 표면 유형을 결정하도록 구성된다. 하나의 실시예에서, 도로 상황 모듈(402)은 도로의 보도의 상황을 결정하도록 구성된다. 하나의 실시예에서, 도로 상황 모듈(402)은 도로의 커버링의 깊이를 결정하도록 구성된다. 하나의 실시예에서, 도로 상황 모듈(402)은 추출된 특징부에 기초하여 도로의 마찰 계수를 결정하도록 구성된다.
하나의 실시예에서, 제어 모듈(306)은 주행 안전성을 증가시키기 위해 최적화된 제어 커맨드를 생성할 수 있다. 일례로서, 표현 유형이 젖은 상태이고, 마찰 계수가 미리결정된 임계치 미만일 때, 제어 모듈(306)은 도로 상황에 기초하여 조기의 그리고/또는 적당한 브레이킹 커맨드들을 생성할 수 있다. 다른 예로서, 표현 유형이 젖은 상태이고, 마찰 계수가 미리결정된 임계치 미만일 때, 제어 모듈(306)은 도로 상황에 기초하여 느린 그리고/또는 적당한 스티어링 커맨드들을 생성할 수 있다.
도 6은 하나의 실시예에 따른, 사운드 검출 모듈(예컨대, 모듈(308))을 갖는 자율 주행 차량의 일례를 예시하는 도면(700a)이다. 도로 상황을 검출하고 결정하는 것은 ADV를 동작시키기 위해 중요하다. 이전의 노력들은 주로, 광학적/시각적 감지를 사용하여 상이한 도로 상황들 사이를 구별한다. 그러나, 광학 센서들의 특성들로 인해, 그러한 접근법들은 어둠 속에서 안정적이고 정확한 검출을 제공하는 데 있어서 상당한 제한을 갖는다. 게다가, 시각적 솔루션들은 소정 도로 상황들의 레벨, 예컨대 도로를 덮는 눈의 깊이 및 물의 깊이를 검출할 수 없다. 본 명세서에서는, 사운드 신호들, 예를 들어 ADV와 도로 표면 사이의 마찰 사운드 신호들에 기초하여 도로 상황들을 감지하고 검출하는 사운드 검출 모듈(예컨대, 모듈(308))을 갖는 ADV가 개시된다.
도 6을 참조하면, ADV가 주행하고 있는 도로(예컨대, 720)로부터 사운드 신호들을 검출하기 위해 하나 이상의 마이크로폰들(예컨대, 701 내지 706)이 타이어들(711) 또는 휠 허브들(712) 내부에 탑재될 수 있다. 하나의 실시예에서, ADV의 각각의 휠(예컨대, 710)과 도로(예컨대, 720)의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV의 각각의 타이어(예컨대, 711)에 하나의 마이크로폰(예컨대, 701)이 탑재될 수 있다. 하나의 실시예에서, ADV의 각각의 휠(예컨대, 710)과 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV의 각각의 타이어(예컨대, 711)에 적어도 2개의 마이크로폰들(예컨대, 701 내지 705)이 탑재될 수 있다. 적어도 2개의 마이크로폰들로부터의 사운드 신호들은 평균화 알고리즘들 또는 다른 잡음 저감 알고리즘들을 적용함으로써 감소된 잡음을 가질 수 있다. 하나의 실시예에서, ADV의 각각의 휠과 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV의 각각의 휠(예컨대, 710)의 허브(예컨대, 712)에 마이크로폰(예컨대, 706)이 탑재될 수 있다. 하나의 실시예에서, ADV의 각각의 휠과 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV의 각각의 휠(예컨대, 710)의 허브(예컨대, 712)에 적어도 2개의 마이크로폰들이 탑재될 수 있다. 하나 이상의 마이크로폰들(예컨대, 701 내지 706)은 도로의 표면에 가깝게 탑재될 수 있지만, 도로(예컨대, 720)의 표면과 직접 접촉하지는 않는다.
도 7은 하나의 실시예에 따른, 사운드 검출 모듈을 갖는 자율 주행 차량의 다른 예를 예시하는 도면(700b)이다. 도 7을 참조하면, ADV가 주행하고 있는 도로로부터 사운드 신호들을 검출하기 위해 하나 이상의 마이크로폰들(예컨대, 731 내지 735)이 ADV(예컨대, 740)의 저부 패널(예컨대, 738)에 탑재될 수 있다. 하나의 실시예에서, ADV(예컨대, 740)와 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV(예컨대, 740)의 각각의 측면에 하나의 마이크로폰(예컨대, 731, 732)이 탑재될 수 있다. 하나의 실시예에서, ADV와 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV(예컨대, 740)의 각각의 측면에 적어도 2개의 마이크로폰들(예컨대, 731, 734)이 탑재될 수 있다. 적어도 2개의 마이크로폰들로부터의 사운드 신호들은 평균화 알고리즘들 또는 다른 잡음 저감 알고리즘들을 적용함으로써 감소된 잡음을 가질 수 있다. 하나의 실시예에서, ADV(예컨대, 740)와 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV의 각각의 코너에 하나의 마이크로폰(예컨대, 731, 732)이 탑재될 수 있다. 하나의 실시예에서, ADV와 도로의 표면 사이의 마찰로부터 사운드 신호들을 검출하기 위해 ADV(예컨대, 740)의 저부 패널(예컨대, 738)의 중심에 마이크로폰(예컨대, 735)이 탑재될 수 있다. 하나 이상의 마이크로폰들(예컨대, 731 내지 735)은 도로의 표면에 가깝게 탑재될 수 있지만, 도로의 표면과 직접 접촉하지는 않는다.
도 8은 하나의 실시예에 따른, ADV를 동작시키기 위한 사운드 검출에 기초하여 도로 상황을 결정하는 일례를 예시하는 흐름도이다. 위에서 논의된 바와 같이, ADV의 타이어들/휠 허브들 내부에 또는 그의 저부 패널에 탑재된 하나 이상의 마이크로폰들은 ADV와 ADV가 주행하고 있는 도로의 도로 표면 사이의 마찰 사운드 신호들을 수집하는 데 사용된다. 블록(801)에서, 사운드 신호들은 ADV에 배치된 하나 이상의 마이크로폰들에 의해 수신되거나 획득된다. 예를 들어, 사운드 신호들은 ADV와 ADV가 주행하고 있는 도로의 도로 표면 사이의 마찰 사운드 신호들을 포함한다.
블록(802)에서, 사운드 신호들은 추가 프로세싱을 위해 상이한 프레임들로 세그먼트화된다. 블록(803)에서, 사운드 신호들은 도로의 특징부를 추출하기 위해 분석된다. 예를 들어, 사운드 신호들은, 블록(804)에 예시된 바와 같이, 원치 않는 잡음들을 필터링하는 대역통과 필터를 통과할 수 있다. 대역통과 필터는 제1 미리결정된 임계치 및 제2 미리결정된 임계치를 가질 수 있다. 제1 미리결정된 임계치 아래이고 제2 미리결정된 임계치 위의 사운드 신호들이 필터링될 수 있다.
하나의 실시예에서, 도로의 주파수 특징부는, 블록(805)에 예시된 바와 같이, 예를 들어 고속 푸리에 변환(fast Fourier transform, FFT)을 사운드 신호들에 적용함으로써, 마이크로폰들에 의해 수신된 사운드 신호들에 기초하여 추출될 수 있다. FFT는 시퀀스의 이산 푸리에 변환(discrete Fourier transform, DFT) 또는 그의 역을 계산하는 알고리즘이다. 푸리에 분석은 신호를 그의 원래 도메인(종종, 시간 또는 공간)으로부터 주파수 도메인에서의 표현으로 변환하고, 그 역이 성립한다. 도로의 주파수 특징부는 소정 도로 상황들에 대응할 수 있다. 하나의 실시예에서, 마이크로폰들에 의해 수신된 사운드 신호들에 기초하여 도로의 시간적 특징부, 예를 들어 0 교차 속도, 진폭, 단구간 에너지(short-term energy), 주기성(cyclicity), 평탄도(smoothness) 등이 추출될 수 있다.
하나의 실시예에서, 블록(806)에 예시된 바와 같이, 마이크로폰들에 의해 수신된 사운드 신호들에 기초하여 도로의 전력 스펙트로그램(spectrogram)이 추출될 수 있다. 스펙트로그램은 신호의 주파수들의 스펙트럼의, 시간에 따라 변화할 때의 시각적 표면이다. 전력 스펙트로그램은 시간 경과에 따라 각각의 주파수 대역 내의 신호의 전력 레벨을 표현한다. 도로의 전력 스펙트로그램은 소정 도로 상황들에 대응할 수 있다.
하나의 실시예에서, 마이크로폰들에 의해 수신된 사운드 신호들에 기초하여 도로의 전력 스펙트럼이 추출될 수 있다. 전력 스펙트럼은 각각의 주파수 대역 내의 신호의 전력 레벨을 표현한다. 주파수에 걸친 전력 분포는 상이한 도로 상황들에 대해 상이할 것이다. 하나의 실시예에서, 머신 러닝/심층 러닝 알고리즘들/모델들에 의해 일부 다른 특징부들, 예컨대 신경 네트워크들이 자동으로 추출될 수 있다.
블록(807)에서, 도로의 도로 상황은 추출된 특징부, 예를 들어 추출된 주파수 특징부, 추출된 시간적 특징부, 도로의 추출된 전력 스펙트럼, 또는 도로의 추출된 전력 스펙트럼에 기초하여 결정될 수 있다. 상이한 도로 상황들은 상이한 추출된 특징부들에 대응할 수 있다. 주파수에 걸친 전력 분포 및 음파의 시간-도메인 특성들이 상이한 도로 상황들에 대해 상이할 것이기 때문에, 도로의 도로 상황은 추출된 시간적 특징부, 추출된 주파수 특징부, 추출된 전력 스펙토그램, 또는 도로의 추출된 전력 스펙트럼에 기초하여 결정될 수 있다.
하나의 실시예에서, 도로 상황은, 블록(808)에 예시된 바와 같이, 머신 러닝 알고리즘 또는 심층 러닝 알고리즘에 기초하여 결정될 수 있다. 예를 들어, 도로 유형 및 보도 상황을 결정하는 데 분류 모델이 사용될 수 있고, 도로 커버링의 깊이를 결정하는 데 회귀 알고리즘이 사용될 수 있다. 예를 들어, 도로의 추출된 주파수 특징부 및 추출된 전력 스펙트로그램은 콘볼루션 신경 네트워크(convolutional neural network, CNN) 알고리즘들에 의해 프로세싱될 수 있다.
하나의 실시예에서, 도로의 표면 유형 및/또는 보도 상황이, 블록(809)에 예시된 바와 같이, 추출된 특징부에 기초하여 결정될 수 있다. 예를 들어, 도로의 표면 유형은, 마른 상태 표면, 젖은 상태 표면, 결빙 상태 표면, 눈에 덮인 표면 등을 포함할 수 있지만, 이들로 제한되는 것이 아니다. 예를 들어, 도로의 보도 상황은 아스팔트, 모래, 오염 등을 포함하지만 이들로 제한되는 것이 아니다.
하나의 실시예에서, 도로의 커버링의 깊이가, 블록(810)에 예시된 바와 같이, 추출된 특징부에 기초하여 결정될 수 있다. 예를 들어, 도로의 커버링은 물, 눈, 모래 등을 포함할 수 있지만, 이들로 제한되지는 것이 아니다. 예를 들어, 물 또는 눈의 깊이는 0.1, 0.2, 0.3, 0.5, 0.6, 0.7, 0.8, 0.9, 1 미터 또는 이들 사이의 임의의 값들일 수 있다.
하나의 실시예에서, 도로의 마찰 계수가, 블록(811)에 예시된 바와 같이, 추출된 특징부에 기초하여 결정될 수 있다. 예를 들어, 도로의 마찰 계수는 도로의 표면 유형, 보도 상황, 또는 도로의 커버링의 깊이에 기초하여 결정될 수 있다. 예를 들어, 하나의 실시예에서, 도로의 마찰 계수는 규칙 기반 방법들을 사용하여 결정될 수 있다. 예를 들어, 하나의 실시예에서, 도로의 마찰 계수는 머신 러닝/심층 러닝 방법들(예컨대, 회귀 모델들)을 사용하여 결정될 수 있다.
블록(812) 에서, 도로 상황에 관한 정보, 예컨대 표면 유형, 보도 상황, 마찰 계수는 자율 주행 유닛(예컨대, 도 3a 및 도 3b와 관련하여 기술된 ADS(110)) 내로 입력될 수 있다.
하나의 실시예에서, 계획 모듈(305)은 경로 계획 및 속력 계획을 수행하여 도로 상황에 기초하여 궤적을 생성할 수 있다. 검출된 도로 상황들은 경로 계획 및 소력 계획의 최적화를 위해 사용될 수 있다. 일례로서, 표면 유형이 젖은 상태이고 마찰 계수가 미리결정된 임계치보다 작을 때, 도로는 미끄러울 수 있다. 따라서, 계획 모듈(305)은 주행 전략을 조정함으로써, 예를 들어 도로 상황에 기초하여 경로를 변경하거나 속력을 낮춤으로써, 궤적을 생성하여, 이에 의해 주행 안전성을 증가시킬 수 있다.
블록(814)에서, 제어 모듈은 계획된 궤적에 따라 자율적으로 주행하도록 ADV를 제어하여, 주행 안전성을 개선할 수 있다. 일례로서, 표면 유형이 젖은 상태이고 마찰 계수가 미리결정된 임계치보다 작을 때, 도로는 미끄러울 수 있다. 따라서, 제어 모듈은 구동 전략을 조정함으로써, 예를 들어 정지의 필요 시에 조기의 그리고 적당한 브레이크를 적용하거나 도로 상황에 기초하여 느린 그리고 적당한 스티어링 커맨드들을 생성함으로써 커맨드들을 생성하여, 이에 의해 주행 안전성을 증가시킬 수 있다.
도 9는 하나의 실시예에 따른, ADV를 동작시키기 위한 사운드 검출에 기초하여 도로 상황을 결정하기 위한 프로세스(900)의 일례를 예시하는 흐름도이다. 프로세스(900)는 소프트웨어, 하드웨어, 또는 이들의 조합을 포함할 수 있는 프로세싱 로직에 의해 수행될 수 있다. 예를 들어, 프로세스(900)는 마이크로폰 유닛(216), 사운드 검출 모듈(308), 계획 모듈(305) 및 제어 모듈(306)에 의해 수행될 수 있다. 이러한 프로세스에 의해, 도로의 표면 유형, 보도 상황, 커버링의 깊이, 및/또는 도로의 마찰 계수를 포함한 도로 상황이 사운드 신호들에 기초하여 검출될 수 있다. 따라서, 도로 상황을 검출하는 전천후 능력이 가능해져서, 이에 의해 주행 안전성이 개선된다.
도 9를 참조하면, 동작(901)에서, 프로세싱 로직은 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신한다. 하나의 실시예에서, 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치된다. 하나의 실시예에서, 하나 이상의 마이크로폰들은 ADV의 저부 패널에 배치된다.
동작(902)에서, 프로세싱 로직은 사운드 신호들을 분석하여, ADV가 주행하고 있는 도로의 특징부를 추출한다. 하나의 실시예에서, 프로세싱 로직은 사운드 신호들을 분석하여 도로의 주파수 특징부를 추출한다. 하나의 실시예에서, 프로세싱 로직은 사운드 신호들을 분석하여 도로의 전력 스펙트로그램을 추출한다. 하나의 실시예에서, 프로세싱 로직은 사운드 신호들을 분석하여 도로의 시간-도메인 특징부를 추출한다. 하나의 실시예에서, 프로세싱 로직은 사운드 신호들을 분석하여 도로의 전력 스펙트럼을 추출한다. 하나의 실시예에서, 프로세싱 로직은 사운드 신호들을 분석하여 도로의 다른 관련 특징부들을 자동으로 추출한다.
동작(903)에서, 프로세싱 로직은 추출된 특징부에 기초하여 도로의 도로 상황을 결정한다. 추출된 특징부는 추출된 주파수 특징부, 추출된 시간-도메인 특징부, 도로의 추출된 스펙트로그램, 또는 도로의 추출된 전력 스펙트럼을 포함할 수 있다. 추출된 특징부는 머신 러닝 또는 심층 러닝 알고리즘들에 의해 추출된 특징부를 포함할 수 있다.
하나의 실시예에서, 프로세싱 로직은 머신 러닝 알고리즘 또는 심층 러닝 알고리즘에 기초하여 도로 상황을 결정한다. 하나의 실시예에서, 프로세싱 로직은 추출된 특징부에 기초하여 도로의 표면 유형을 결정한다. 하나의 실시예에서, 프로세싱 로직은 추출된 특징부에 기초하여 도로의 보도 상황을 결정한다. 하나의 실시예에서, 프로세싱 로직은 추출된 특징부에 기초하여 도로의 커버링의 깊이를 결정한다. 하나의 실시예에서, 프로세싱 로직은 추출된 특징부에 기초하여 도로의 마찰 계수를 결정한다.
동작(904)에서, 프로세싱 로직은 경로 계획 및 속력 계획을 수행하여 도로 상황에 기초하여 궤적을 생성한다. 검출된 도로 상황들은 경로 계획 및 소력 계획의 최적화를 위해 사용될 수 있다. 일례로서, 표면 유형이 젖은 상태이고 마찰 계수가 미리결정된 임계치보다 작을 때, 도로는 미끄러울 수 있다. 따라서, 프로세싱 로직은 주행 전략을 조정함으로써 궤적을 생성하여 주행 안전성을 증가시킨다. 하나의 실시예에서, 프로세싱 로직은 도로 상황에 기초하여 속력을 낮춘다. 하나의 실시예에서, 프로세싱 로직은 도로 상황에 기초하여 경로를 변경한다.
동작(905)에서, 프로세싱 로직은 생성된 궤적에 따라 자율적으로 구동하도록 ADV를 제어한다. 이러한 방식으로, 주행 전략은 검출된 도로 상황들에 기초하여 조정되고, 따라서, 주행 안전성이 개선된다.
하나의 실시예에서, 프로세싱 로직은, 추가로, 검출된 도로 상황에 따라 자율적으로 주행하도록 ADV를 제어한다. 프로세싱 로직은 주행 안전성을 증가시키기 위해 최적화된 제어 커맨드를 생성할 수 있다. 일례로서, 표현 유형이 젖은 상태이고, 마찰 계수가 미리결정된 임계치 미만일 때, 프로세싱 로직은 도로 상황에 기초하여 조기의 그리고/또는 적당한 브레이킹 커맨드들을 생성할 수 있다. 다른 예로서, 표현 유형이 젖은 상태이고, 마찰 계수가 미리결정된 임계치 미만일 때, 프로세싱 로직은 도로 상황에 기초하여 느린 그리고/또는 적당한 스티어링 커맨드들을 생성할 수 있다.
위에서 기술되고 도시된 컴포넌트들 중 일부 또는 전부는 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있음에 유의한다. 예를 들어, 그러한 컴포넌트들은, 설치되고 영구 저장 디바이스에 저장되는 소프트웨어로서 구현될 수 있는데, 이는 본 출원 전체에 걸쳐 기술된 프로세스들 또는 동작들을 수행하기 위해 프로세서(도시되지 않음)에 의해 메모리에서 로딩되고 실행될 수 있다. 대안적으로, 그러한 컴포넌트들은 집적 회로(예컨대, 주문형 IC 또는 ASIC), 디지털 신호 프로세서(digital signal processor, DSP), 또는 필드 프로그래밍가능 게이트 어레이(field programmable gate array, FPGA)와 같은 전용 하드웨어 내에 프로그래밍되거나 임베드된 실행가능 코드로서 구현될 수 있는데, 이들은 애플리케이션으로부터 대응하는 드라이버 및/또는 운영 체제를 통해 액세스될 수 있다. 더욱이, 그러한 컴포넌트들은 하나 이상의 특정 명령들을 통해 소프트웨어 컴포넌트에 의해 액세스가능한 명령 세트의 일부로서 프로세서 또는 프로세서 코어 내의 특정 하드웨어 로직으로서 구현될 수 있다.
앞선 상세한 설명의 일부 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 심볼 표현들 및 알고리즘들과 관련하여 제시되었다. 이들 알고리즘 서명들 및 표현들은 당업자들이 그들의 작업의 실체를 다른 당업자들에게 가장 효과적으로 전달하기 위해 사용하는 방식들이다. 알고리즘은 본 명세서에서, 그리고 일반적으로, 원하는 결과로 이어지는 동작들의 자가-일관성 시퀀스가 되는 것으로 생각된다. 동작들은 물리적 수량들의 물리적 조작들을 필요로 하는 동작들이다.
그러나, 이들 및 유사한 용어들 전부는 적절한 물리적 수량들과 연관되어야 하고, 단지 이들 수량들에 적용되는 편리한 라벨들임을 염두에 두어야 한다. 위의 논의로부터 명백한 바와 같이 달리 구체적으로 진술되지 않는 한, 설명 전체에 걸쳐서, 아래의 청구범위에 설명된 것들과 같은 용어들을 활용하는 논의들은 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리적(전자적) 수량들로서 표현되는 데이터를, 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장소, 송신 또는 디스플레이 디바이스들 내에 물리적 수량들로서 유사하게 표현되는 다른 데이터로 조작하고 변형하는 컴퓨터 시스템 또는 유사한 전자적 컴퓨팅 디바이스의 액션 및 프로세스들을 지칭한다는 것이 이해된다.
하나의 실시예에서, 비일시적 컴퓨터 판독가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램이 실행되어 전술한 자율 주행 차량(autonomous driving vehicle, ADV)을 동작시키기 위한 컴퓨터 구현 방법을 수행한다.
본 개시내용의 실시예들은 또한, 본 명세의의 동작들을 수행하기 위한 장치에 관한 것이다. 그러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독가능 매체에 저장된다. 머신 판독가능 매체는 머신(예컨대, 컴퓨터)에 의해 판독가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 머신 판독가능(예컨대, 컴퓨터 판독가능) 매체는 머신(예컨대, 컴퓨터) 판독가능 저장 매체(예컨대, 판독 전용 메모리(read only memory, “ROM”), 랜덤 액세스 메모리(random access memory, “RAM”), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 디바이스)를 포함한다.
앞선 도면들에 묘사된 프로세스들 또는 방법들은 하드웨어(예컨대, 회로부, 전용 로직 등), 소프트웨어(예컨대, 비일시적 컴퓨터 판독가능 매체 상에서 구체화됨), 또는 둘 모두의 조합을 포함하는 프로세싱 로직에 의해 수행될 수 있다. 프로세스들 또는 방법들이 일부 순차적 동작들과 관련하여 전술되었지만, 설명된 동작들 중 일부는 상이한 순서로 수행될 수 있음이 이해되어야 한다. 게다가, 일부 동작들은 순차적이 아니라 병행하여 수행될 수 있다.
본 개시내용의 실시예들은 임의의 특정 프로그래밍 언어를 참조하여 기술되지 않는다. 다양한 프로그래밍 언어들은 본 명세서에 기술된 바와 같은 본 개시내용의 실시예들의 교시를 구현하는 데 사용될 수 있음이 이해될 것이다.
전술한 명세서에서, 본 개시내용의 실시예들은 그의 특정 예시적 실시예들을 참조하여 기술되었다. 아래의 청구범위에서 설명되는 바와 같은 본 개시내용의 더 넓은 사상 및 범주로부터 벗어남이 없이 다양한 수정들이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면들이 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다.

Claims (21)

  1. 자율 주행 차량(autonomous driving vehicle, ADV)을 동작시키기 위한 컴퓨터 구현 방법으로서,
    상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 단계;
    상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 단계;
    상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 단계;
    경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 단계; 및
    상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치되는, 방법.
  3. 제1항에 있어서,
    상기 하나 이상의 마이크로폰들은 상기 ADV의 저부 패널에 배치되는, 방법.
  4. 제1항에 있어서,
    상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 단계는 상기 사운드 신호들을 분석하여 상기 도로의 도포 표면의 조도(roughness)를 표현하는 주파수 특징부를 추출하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 단계는 상기 사운드 신호들을 분석하여 상기 도로의 전력 스펙트로그램(spectrogram)을 추출하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    도로 상황을 결정하는 단계는 머신 러닝 알고리즘 또는 심층 러닝 알고리즘을 사용하여 상기 도로 상황을 결정하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 도로의 표면 유형 또는 보도 상황 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 도로의 커버링(covering)의 깊이를 결정하는 단계를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 단계는 상기 추출된 특징부에 기초하여 상기 ADV의 하나 이상의 타이어들과 상기 도록의 도로 표면 사이의 마찰을 표현하는 마찰 계수를 결정하는 단계를 포함하는, 방법.
  10. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작들을 수행하게 하는 명령어들이 저장되는 비일시적 머신 판독가능 매체로서, 상기 동작들은,
    상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 동작;
    상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 동작;
    상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 동작;
    경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 동작; 및
    상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 동작을 포함하는, 머신 판독가능 매체.
  11. 제10항에 있어서,
    상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치되는, 머신 판독가능 매체.
  12. 제10항에 있어서,
    상기 하나 이상의 마이크로폰들은 상기 ADV의 저부 패널에 배치되는, 머신 판독가능 매체.
  13. 제10항에 있어서,
    상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 동작은 상기 사운드 신호들을 분석하여 상기 도로의 도포 표면의 조도를 표현하는 주파수 특징부를 추출하는 동작을 포함하는, 머신 판독가능 매체.
  14. 제10항에 있어서,
    상기 사운드 신호들을 분석하여 도로의 상기 특징부를 추출하는 동작은 상기 사운드 신호들을 분석하여 상기 도로의 전력 스펙트로그램을 추출하는 동작을 포함하는, 머신 판독가능 매체.
  15. 제10항에 있어서,
    도로 상황을 결정하는 동작은 머신 러닝 알고리즘 또는 심층 러닝 알고리즘을 사용하여 상기 도로 상황을 결정하는 동작을 포함하는, 머신 판독가능 매체.
  16. 제10항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 도로의 표면 유형 또는 보도 상황 중 적어도 하나를 결정하는 동작을 포함하는, 머신 판독가능 매체.
  17. 제10항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 도로의 커버링의 깊이를 결정하는 동작을 포함하는, 머신 판독가능 매체.
  18. 제10항에 있어서,
    상기 추출된 특징부에 기초하여 도로 상황을 결정하는 동작은 상기 추출된 특징부에 기초하여 상기 ADV의 하나 이상의 타이어들과 상기 도록의 도로 표면 사이의 마찰을 표현하는 마찰 계수를 결정하는 동작을 포함하는, 머신 판독가능 매체.
  19. 데이터 프로세싱 시스템으로서,
    프로세서; 및
    상기 프로세서에 커플링되어, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작들을 수행하게 하는 명령어들을 저장하는 메모리를 포함하고, 상기 동작들은,
    상기 ADV에 배치된 하나 이상의 마이크로폰들에 의해 사운드 신호들을 수신하는 동작;
    상기 사운드 신호들을 분석하여, 상기 ADV가 주행하고 있는 도로를 표현하는 특징부를 추출하는 동작;
    상기 추출된 특징부에 기초하여 상기 도로의 도로 상황을 결정하는 동작;
    경로 계획 및 속력 계획을 수행하여 상기 도로 상황에 기초하여 궤적을 생성하는 동작; 및
    상기 생성된 궤적에 따라 자율적으로 주행하도록 상기 ADV를 제어하는 동작을 포함하는, 시스템.
  20. 제19항에 있어서,
    상기 하나 이상의 마이크로폰들은 타이어들 또는 휠 허브들 내부에 배치되는, 시스템.
  21. 비일시적 컴퓨터 판독가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램이 실행되어 제1항 내지 제9항 중 어느 한 항에 따른 자율 주행 차량(autonomous driving vehicle, ADV)을 동작시키기 위한 컴퓨터 구현 방법을 수행하는 컴퓨터 프로그램.
KR1020220005367A 2021-01-13 2022-01-13 자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법 KR20220013579A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/148,254 2021-01-13
US17/148,254 US20220219704A1 (en) 2021-01-13 2021-01-13 Audio-based technique to sense and detect the road condition for autonomous driving vehicles

Publications (1)

Publication Number Publication Date
KR20220013579A true KR20220013579A (ko) 2022-02-04

Family

ID=79601507

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220005367A KR20220013579A (ko) 2021-01-13 2022-01-13 자율 주행 차량들을 위한 도로 상황을 감지하고 검출하는 오디오 기반 기법

Country Status (5)

Country Link
US (1) US20220219704A1 (ko)
EP (1) EP3960568A3 (ko)
JP (1) JP2022050599A (ko)
KR (1) KR20220013579A (ko)
CN (1) CN114802291A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220185292A1 (en) * 2020-12-11 2022-06-16 Toyota Jidosha Kabushiki Kaisha Update system for related value information and update method for related value information

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4283256A1 (en) * 2022-05-23 2023-11-29 TuSimple, Inc. Systems and methods for detecting road surface condition
DE102022119464A1 (de) * 2022-08-03 2023-05-04 Frank Bauder Verfahren zur Ermittlung einer Fahrbahnbeschaffenheit und Geschwindigkeitsregulierung

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298613A (ja) * 1995-04-26 1996-11-12 Mitsubishi Electric Corp 路面状態検出装置
JP3382502B2 (ja) * 1997-05-20 2003-03-04 本田技研工業株式会社 車両の自動制動装置
US6223108B1 (en) * 1997-05-22 2001-04-24 Honda Giken Kogyo Kabushiki Kaisha Tire contact load control system
JP2002039854A (ja) * 2000-07-21 2002-02-06 Bridgestone Corp タイヤ振動検知装置
JP2002340863A (ja) * 2001-05-15 2002-11-27 Toyota Central Res & Dev Lab Inc 路面判定装置及びシステム
US20040258254A1 (en) * 2003-06-17 2004-12-23 Mollon Eric L. Automotive audio system adapted to roadway conditions
JP5241556B2 (ja) * 2009-02-18 2013-07-17 株式会社ブリヂストン 路面状態推定装置
JP5523023B2 (ja) * 2009-08-26 2014-06-18 株式会社ブリヂストン 路面状態の推定方法とその装置、及び、車両制御方法
JP5657917B2 (ja) * 2010-05-19 2015-01-21 株式会社ブリヂストン 路面状態推定方法
US10142758B2 (en) * 2013-08-20 2018-11-27 Harman Becker Automotive Systems Manufacturing Kft System for and a method of generating sound
FR3015036B1 (fr) * 2013-12-18 2016-01-22 Michelin & Cie Methode de detection acoustique de l'etat de la route et du pneumatique
US20160232542A1 (en) * 2015-02-09 2016-08-11 Caterpillar Inc. Forecasting demands for equipment based on road surface conditions
FR3036354A1 (fr) * 2015-05-20 2016-11-25 Michelin & Cie Procede de determination d'une vitesse limite de roulage
FR3045815A1 (fr) * 2015-12-17 2017-06-23 Michelin & Cie Procede de representation cartographique de donnees concernant l'etat d'une route
US20170369069A1 (en) * 2016-06-22 2017-12-28 GM Global Technology Operations LLC Driving behavior analysis based on vehicle braking
US10331141B2 (en) * 2016-06-30 2019-06-25 GM Global Technology Operations LLC Systems for autonomous vehicle route selection and execution
US11416942B1 (en) * 2017-09-06 2022-08-16 State Farm Mutual Automobile Insurance Company Using a distributed ledger to determine fault in subrogation
JP7193927B2 (ja) * 2018-04-26 2022-12-21 株式会社Subaru 車両の制御装置及び車両の制御方法
US11186276B2 (en) * 2018-07-27 2021-11-30 Baidu Usa Llc Adjusting speeds along a path for autonomous driving vehicles
EP3891691A4 (en) * 2018-12-07 2022-11-09 Warner Bros. Entertainment Inc. CONFIGURABLE CONTENT ACCORDING TO DISPLACEMENT
US11567510B2 (en) * 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
IT201900003875A1 (it) * 2019-03-18 2020-09-18 Ask Ind Spa Sistema per monitorare una scena acustica all'esterno di un veicolo.
DE102019204609A1 (de) * 2019-04-01 2020-10-01 Robert Bosch Gmbh Verfahren zum Ermitteln eines Fahrbahnzustands während eines Fahrbetriebs eines Fahrzeugs
US11226623B2 (en) * 2019-04-03 2022-01-18 Waymo Llc Detection of anomalous trailer behavior
US20210097786A1 (en) * 2019-09-19 2021-04-01 Steering Solutions Ip Holding Corporation Method and product for monitoring and responding to component changes in an autonomous driving system
US11535274B2 (en) * 2020-03-26 2022-12-27 Pony Ai Inc. Self-learning vehicle performance optimization
CN114915886A (zh) * 2021-02-08 2022-08-16 苏州佳世达电通有限公司 动态播音方法及播音装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220185292A1 (en) * 2020-12-11 2022-06-16 Toyota Jidosha Kabushiki Kaisha Update system for related value information and update method for related value information
US11904864B2 (en) * 2020-12-11 2024-02-20 Toyota Jidosha Kabushiki Kaisha Update system for related value information and update method for related value information

Also Published As

Publication number Publication date
JP2022050599A (ja) 2022-03-30
US20220219704A1 (en) 2022-07-14
CN114802291A (zh) 2022-07-29
EP3960568A3 (en) 2022-07-06
EP3960568A2 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN112572451A (zh) 用于自主驾驶车辆执行的方法和装置
CN112498365A (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
US20220219704A1 (en) Audio-based technique to sense and detect the road condition for autonomous driving vehicles
CN113448329B (zh) 减少用于规划自主驾驶车辆的路径的障碍物的方法及系统
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
US11880201B2 (en) Fastest lane determination algorithm under traffic jam
CN112149487A (zh) 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法
US11620903B2 (en) Machine learning model to fuse emergency vehicle audio and visual detection
US11897331B2 (en) In-vehicle acoustic monitoring system for driver and passenger
CN112793584B (zh) 紧急车辆音频检测
CN114379590B (zh) 紧急车辆音频和视觉检测后融合
CN113508350A (zh) 基于反馈的实时转向校准系统
JP2023517105A (ja) 点群の特徴に基づく障害物濾過システム
KR20220012955A (ko) 자율 주행 차량을 이용하는 모델 트레이닝 및 온보드 검증을 위한 오디오 로깅
US11787440B2 (en) Lane boundary and vehicle speed based nudge decision
US11919537B2 (en) IMU feedback based HD map speed limit adjustment system
CN113815640A (zh) 用于具有不同速度限制的车道的车道变更系统
CN112985435A (zh) 用于操作自主驾驶车辆的方法及系统
CN113428173A (zh) 用于自动驾驶车辆的静态曲率误差补偿控制逻辑
CN113002534A (zh) 碰撞后减损制动系统
KR102597917B1 (ko) 자율 주행 차량을 위한 음원 검출 및 위치 측정
US20210370941A1 (en) Precautionary slowdown speed planning
CN113815526A (zh) 用于自动驾驶车辆的早期制动灯警告系统
CN113366440A (zh) 具有致动延时的动态模型

Legal Events

Date Code Title Description
E902 Notification of reason for refusal