KR20220013581A - 운전자 및 승객용 차량탑재 음향 모니터링 시스템 - Google Patents

운전자 및 승객용 차량탑재 음향 모니터링 시스템 Download PDF

Info

Publication number
KR20220013581A
KR20220013581A KR1020220005533A KR20220005533A KR20220013581A KR 20220013581 A KR20220013581 A KR 20220013581A KR 1020220005533 A KR1020220005533 A KR 1020220005533A KR 20220005533 A KR20220005533 A KR 20220005533A KR 20220013581 A KR20220013581 A KR 20220013581A
Authority
KR
South Korea
Prior art keywords
vehicle
driver
passenger
behavior
action
Prior art date
Application number
KR1020220005533A
Other languages
English (en)
Inventor
웨이 왕
치 루오
커청 수
홍이 순
웨슬리 레이놀즈
제준 린
Original Assignee
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 유에스에이 엘엘씨 filed Critical 바이두 유에스에이 엘엘씨
Publication of KR20220013581A publication Critical patent/KR20220013581A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0217—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for loud-speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00259—Surveillance operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G01S15/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S15/586—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0071—Controller overrides driver automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

비가청 신호가 차량에 설치된 하나 또는 복수의 스피커에 의해 생성된다. 차량의 운전자 또는 승객에서 반사된 비가청 신호가 차량에 설치된 하나 또는 복수의 마이크에 의해 수신된다. 반사된 초음파 신호에 기반하여 행동 유도 음향 패턴이 검출된다. 행동 유도 음향 패턴을 분석하여 차량의 운전자 또는 승객의 행동이 인식된다. 인식된, 차량의 운전자 또는 승객의 행동에 의해 응답 또는 경보가 생성된다.

Description

운전자 및 승객용 차량탑재 음향 모니터링 시스템{IN-VEHICLE ACOUSTIC MONITORING SYSTEM FOR DRIVER AND PASSENGER}
본 발명의 실시형태는 전반적으로 자율 주행 차량(ADV)의 조작에 관한 것으로, 보다 구체적으로 본 발명의 실시형태는 ADV용 감지 시스템에 관한 것이다.
자율 주행 차량의 조작에 있어서, 액티브 드라이버의 존재 여부에 관계없이 운전자 및/또는 승객에 대한 실시간 행동 감지 및 모니터링은 매우 중요하다. 휴대폰의 사용, 식사, 졸음운전 및 공격성 행동 등의 부적절한 행동은 특히, 자율 주행 모드가 꺼져있거나(또는 부분적으로 꺼져 있는) 경우, 운전의 안전성을 크게 해칠 가능성이 있다. 손짓과 같은 기타 동작은 차량 제어 및 차량과의 상호작용에 이용할 수 있다. 그러나 차량탑재 카메라 및 시각적 솔루션은 개인 정보 보호 문제를 일으킬 수 있다. 특히, 자율 주행 차량(ADV)은 차량의 운전자 또는 승객을 모니터링하기 위한 효과적인 방법이 줄곧 결핍한 상태이다.
본 출원의 일 양태는, 차량을 조작하기 위한 컴퓨터 구현방법을 제공하며, 상기 방법은, 상기 차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계; 상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계; 상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계; 상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및 하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계를 포함한다.
본 출원의 다른 양태는, 명령어가 저장되어 있는 비 일시적 기계 판독 가능 매체를 제공하고, 상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서에 조작을 수행하도록 하되, 상기 조작은, 차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계; 상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계; 상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계; 상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및 하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계를 포함한다.
본 출원의 또 다른 양태는, 프로세서와, 명령어를 저장하기 위해 상기 프로세서에 연결되고, 상기 프로세서에 의해 상기 명령어가 실행될 경우, 상기 프로세서에 조작을 실행하도록 하는 메모리를 구비하는 데이터 처리 시스템을 제공하고, 상기 조작은, 상기 차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호를 생성하는 단계; 차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계; 상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계; 상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계; 상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및 하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계를 포함한다.
본 발명의 실시형태는 첨부한 각 도면에 있어서 제한이 아닌 예시의 형태로서 제공되며, 도면에 있어서 동일한 부호는 유사한 구성요소를 나타낸다.
도 1은 하나의 실시형태에 따른 네트워크화 시스템을 나타내는 블록도이다.
도 2는 하나의 실시형태에 따른 자율 주행 차량의 일례를 나타내는 블록도이다.
도 3a ~ 도 3b는 하나의 실시형태에 따른 자율 주행 차량과 함께 사용되는 자율 주행 시스템의 일례를 나타내는 블록도이다.
도 4는 하나의 실시형태에 따른 모니터링 시스템의 일례를 나타내는 블록도이다.
도 5a는 하나의 실시형태에 따른, 하나 또는 복수의 스피커를 가진 ADV의 평면도를 도시한 블록도이다.
도 5b는 하나의 실시형태에 따른 하나 또는 복수의 스피커를 가진 ADV의 측면도를 나타내는 블록도이다.
도 5c 및 도 5d는 하나의 실시형태에 따른 ADV에 배치된 하나 또는 복수의 마이크를 나타내는 블록도이다.
도 6은 하나의 실시형태에 따른 자율 주행 차량의 운전자 또는 승객의 행동을 음향적으로 모니터링하는 예를 나타내는 흐름도이다.
도 7a는 하나의 실시형태에 따른 음향 모니터링에서 수신한 데이터의 예를 나타낸다.
도 7b는 하나의 실시형태에 따른 음향 모니터링에서 검출된 이벤트의 예를 나타낸다.
도 7c는 하나의 실시형태에 따른 음향 모니터링 유래의 파워 스펙트럼의 예를 나타낸다.
도 7d는 하나의 실시형태에 따른 음향 모니터링 유래의 강화된 파워 스펙트럼의 예를 나타낸다.
도 7e는 강화된 파워 스펙트럼에서 검출된 행동 유도 음향 패턴의 예를 나타낸다.
도 7f는 인식된, 도 7e에서 검출된 행동 유도 음향 패턴에 대응하는 행동의 예를 나타낸다.
도 8은 하나의 실시형태에 따른 음향 모니터링에서 검출된 ADV 행동 및 응답의 예를 나타내는 블록도이다.
도 9는 ADV의 운전자 또는 승객의 행동을 음향적으로 모니터링하는 과정을 나타내는 흐름도이다.
아래, 상세한 내용을 참조하면서 본 발명의 다양한 실시형태 및 양태를 설명하며, 첨부된 도면은 다양한 실시형태를 나타낸다. 다음의 설명 및 도면은 본 발명을 설명하기 위한 것으로서, 본 발명을 한정하는 것으로 해석되어서는 안 된다. 본 발명의 다양한 실시형태에 대한 전반적인 이해를 제공하기 위해 많은 특정의 세부사항이 설명되어 있다. 단지 일부 경우에 있어서, 본 발명의 실시형태에 대한 논술의 간결성을 제공하기 위해 공지되었거나 또는 통상적인 세부사항들에 대한 설명은 생략한다.
본 명세서에 있어서, "일 실시형태" 또는 "실시형태"에 대한 언급은 해당 실시형태에 결합된 특정된 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 본 명세서의 여러부분에 나타나는 문구 "하나의 실시형태에 있어서"는 모두 동일한 실시형태를 가리키는 것은 아니다.
일부 실시형태에 따르면, 음향 감지 및 도플러 효과를 사용하여 자율 주행 차량(ADV)의 운전자 및 승객의 행동을 감지하고 있다. 예를 들어, 차량탑재 오디오 시스템은 운전자 / 승객의 행동 감지를 실행하는데 사용된다. 음성 발생기 또는 음성 캡처장치(예를 들어, 차량 내의 스피커 및 마이크)는 음성신호(예를 들면, 초음파 신호)의 송신기 및 수신기로 사용된다. 행동 유도 음향 패턴은 예를 들어, 기계학습 및 심층학습 방법을 사용하여, 또는 행동 유도 음향 패턴을 사전에 분류된 행동 리스트를 나타내는 소정의 음향 패턴 리스트와 매칭하여 추출 및 분석한다. 실행자의 행동 및 신분에 기반하여 ADV는 행동의 위험수준을 추측할 수 있다. ADV는 상응한 주행전략의 변경 및/또는 응답을 선택할 수 있으며, 이를 통해 운전의 안전성을 향상시키고 지능적이고 순리로운 승객 - 차량과의 상호작용이 실현된다.
일부 실시형태에 따르면, 비가청 음성신호는 하나 또는 복수의 음성 생성장치(예를 들어, 차량에 배치된 스피커)에 의해 생성된다. 차량의 운전자 또는 승객에서 반사 또는 반송된 반사 음성신호는 차량에 배치된 하나 또는 복수의 음성 캡처장치(예를 들어, 마이크)에 의해 포착된다. 반사된 초음파 신호에 기반하여 행동 유도 음향 패턴이 검출된다. 예를 들어, 인공지능(AI) 모델을 사용하거나, 또는 행동 유도 음향 패턴을 소정의 행동 리스트에 대응하는 소정의 음향 패턴 리스트와 비교 및 매칭함으로써 행동 유도 음향 패턴을 분석하여 차량의 운전자 또는 승객의 행동을 인식한다. 차량의 운전자 또는 승객의 인식된 행동에 의해 응답 또는 경보가 생성된다.
도 1은 본 발명의 하나의 실시형태에 따른 자율 주행 네트워크 구성을 나타내는 블록도이다. 도 1을 참조하면, 네트워크 구성(100)은 네트워크(102)를 통해 하나 또는 복수의 서버(103, 104)에 통신 가능하게 연결되는 자율 주행 차량(ADV)(101)을 포함한다. 하나의 ADV가 예시되어 있지만, 여러 ADV가 네트워크(102)를 통해 서로 연결될 수 있으며, 및/또는 서버(103, 104)에 연결될 수 있다. 네트워크(102)는 유선 또는 무선 로컬영역 네트워크(LAN), 인터넷 등과 같은 광역 네트워크(WAN), 셀룰러 네트워크, 위성 네트워크, 또는 이들의 조합 등 모든 유형의 네트워크일 수 있다. 서버(103, 104)는 예를 들어, 네트워크 또는 클라우드 서버, 애플리케이션 서버, 백엔드 서버 또는 이들의 조합 등 모든 유형의 서버 또는 서버 클러스터일 수 있다. 서버(103, 104)는 데이터 분석 서버, 콘텐츠 서버, 교통정보 서버, 지도 및 관심점(MPOI) 서버 또는 위치 서버 등일 수 있다.
ADV는 차량이 운전자로부터 입력이 거의없거나 전혀없는 환경을 네비게이션을 통해 통과하는, 자율 주행 모드로 구성할 수 있는 차량을 가리킨다. 이러한 ADV는 차량 주행 환경과 연관된 정보를 검출하도록 구성된 하나 또는 복수의 센서를 갖는 센서 시스템을 포함할 수 있다. 해당 차량 및 차량과 연관된 컨트롤러는 검출된 정보를 이용하여 해당 환경을 네비게이션을 통해 통과한다. ADV(101)는 수동모드, 완전 자율 주행 모드 또는 부분 자율 주행 모드로 주행할 수 있다.
하나의 실시형태에 있어서, ADV(101)는 자율 주행 시스템(ADS)(110), 차량 제어 시스템(111), 무선통신 시스템(112), 사용자 인터페이스 시스템(113) 및 센서 시스템(115)을 포함하되, 이에 국한되지 않는다. ADV(101)는 엔진, 바퀴, 핸들, 변속기 등 일반 차량에 포함되는 일부 통상의 구성요소를 더 구비할 수 있으며, 해당 구성요소는 차량 제어 시스템(111) 및/또는 ADS(110)가 다양한 통신신호 및/또는 명령, 예를 들어, 가속신호 또는 명령, 감속신호 또는 명령, 스티어링 신호 또는 명령, 브레이크 신호 또는 명령 등을 사용하여 제어할 수 있다. 하나의 실시형태에 있어서, ADV(101)는 음성신호에 기반하여 운전자 또는 승객의 행동을 감시하기 위한 모니터링 시스템(116)을 포함할 수 있다. 이에 대해서는 아래에서 자세히 설명하기로 한다.
구성요소(110~116)는 인터커넥터, 버스, 네트워크 또는 이들의 조합을 통해 서로 통신 가능하게 연결될 수 있다. 예를 들어, 구성요소(110~116)는 컨트롤러 로컬영역 네트워크(CAN) 버스를 통해 서로 통신 가능하게 연결될 수 있다. CAN 버스는 호스트 컴퓨터가 없는 애플리케이션에 있어서 마이크로 컨트롤러 및 장치가 서로 통신할 수 있도록 설계된 차량 버스 규격이다. 이는 초기에는 자동차 내의 다중 전기배선을 위해 설계된 메시지 기반 프로토콜이지만 많은 기타 환경에도 이용되고 있다.
도 2를 참조하면, 하나의 실시형태에 있어서, 센서 시스템(115)은 하나 또는 복수의 카메라(211), 글로벌 포지셔닝 시스템(GPS) 유닛(212), 관성 측정 유닛(IMU)(213), 레이더 유닛(214) 및 광 검출 및 측거(LIDAR)유닛(215)을 포함하나 이에 국한되지 않는다. GPS 유닛(212)은 ADV의 위치에 관한 정보를 제공하도록 조작 가능한 송수신기를 포함할 수 있다. IMU 유닛(213)은 관성 가속도에 기반하여 ADV의 위치 및 방위 변화를 감지할 수 있다. 레이더 유닛(214)은 무선신호를 이용하여 ADV의 로컬환경 내의 오브젝트를 감지하는 시스템을 나타낼 수 있다. 일부 실시형태에 있어서, 오브젝트를 감지하는 외에, 레이더 유닛(214)은 또한 오브젝트의 속도 및/또는 전진방향을 감지할 수 있다. LIDAR 유닛(215)은 ADV가 위치하고 있는 환경의 오브젝트를 레이저로 감지할 수 있다. 기타 시스템의 구성요소를 제외한 외, LIDAR 유닛(215)은 또한 하나 또는 복수의 레이저 광원, 레이저 스캐너 및 하나 또는 복수의 검출기를 구비할 수 있다. 카메라(211)는 ADV의 주위환경의 이미지를 수집하기 위한 하나 또는 복수의 장치를 구비할 수 있다. 카메라(211)는 스틸 카메라 및/또는 비디오 카메라일 수 있다. 카메라는 예를 들어, 회전 및/또는 경사진 플랫폼에 카메라를 설치하여 기계적으로 이동할 수 있다.
센서 시스템(115)은 예를 들어, 소나 센서, 적외선 센서, 스티어링 센서, 스로틀 센서, 브레이크 센서 및 오디오 센서(예를 들어, 마이크) 등 기타 센서를 더 구비할 수 있다. 오디오 센서는 ADV의 주변의 환경에서 음성을 수집하도록 구성될 수 있다. 스티어링 센서는 스티어링 휠, 차량의 바퀴 또는 이들의 조합의 조향 각도를 감지하도록 구성될 수 있다. 스로틀 센서 및 브레이크 센서는 각각 차량의 스로틀 위치 및 브레이크 위치를 감지한다. 일부 상황에 있어서, 스로틀 센서 및 브레이크 센서는 통합형 스로틀 / 브레이크 센서로 통합될 수 있다.
하나의 실시형태에 있어서, 차량 제어 시스템(111)은 스티어링 유닛(201), 스로틀 유닛(202)(가속 유닛이라고도 함) 및 브레이크 유닛(203)을 포함하나 이에 국한되지 않는다. 스티어링 유닛(201)은 차량의 방향 또는 전진방향을 조정하는데 사용된다. 스로틀 유닛(202)은 모터 또는 엔진의 속도를 제어하는데 사용되며, 모터 또는 엔진의 속도는 진일보 차량의 속도 및 가속도를 제어한다. 브레이크 유닛(203)은 마찰을 제공함으로써 차량의 바퀴 또는 타이어의 속도를 줄임으로써 차량의 속도를 줄인다. 유의해야 할 것은 도 2에 나타내는 구성요소는 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다는 점이다.
다시 도 1을 참조하면, 무선통신 시스템(112)은 ADV(101)와, 장치, 센서, 기타 차량 등의 외부 시스템 간의 통신을 가능하게 한다. 예를 들어, 무선통신 시스템(112)은 하나 또는 복수의 장치와 직접 무선으로 통신하거나 네트워크(102)를 통해 서버(103, 104)와 통신하는 등 통신 네트워크를 통해 무선으로 통신할 수 있다. 무선통신 시스템(112)은 모든 셀룰러통신 네트워크 또는 무선 근거리 통신망(WLAN)을 사용할 수 있으며, 예를 들어, WiFi를 사용하여 다른 구성요소 또는 시스템과 통신할 수 있다. 무선통신 시스템(112)은 예를 들어, 적외선 링크, 블루투스 등을 사용하여 장치(예를 들어, 승객의 이동 장치, 디스플레이 장치, 차량(101) 내의 스피커)와 직접 통신할 수 있다. 사용자 인터페이스 시스템(113)은 차량(101) 내에서 구현되는 주변장치의 부분이며, 예를 들어, 키보드, 터치 스크린 디스플레이 장치, 마이크 및 스피커 등을 포함할 수 있다.
ADV(101)의 기능 중의 일부 또는 전부는, 특히 자율 주행 모드에서 조작할 경우, ADS(110)에 의해 제어 또는 관리될 수 있다. ADS(110)는 센서 시스템(115), 제어 시스템(111), 무선통신 시스템(112) 및/또는 사용자 인터페이스 시스템(113)으로부터 정보를 수신하고 수신된 정보를 처리하고 출발지에서 목적지까지의 노선 또는 경로를 계획한 후, 계획 및 제어정보에 기반하여 차량(101)을 운전하기 위해 필요한 하드웨어(예를 들어, 프로세서, 메모리, 저장장치) 및 소프트웨어(예를 들어, 조작 시스템, 계획 및 라우팅 프로그램)를 포함한다. 경우에 따라, ADS(110)는 차량 제어 시스템(111)과 함께 통합될 수 있다.
예를 들어, 승객으로서의 사용자가 예를 들어, 사용자 인터페이스를 통해 노정의 출발지와 목적지를 지정할 수 있다. ADS(110)는 노정 관련 데이터를 취득한다. 예를 들어, ADS(110)는 MPOI 서버로부터 위치 및 노선 데이터를 취득할 수 있으며, MPOI 서버는 서버(103, 104)의 일부일 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 특정 위치의 POI를 제공한다. 경우에 따라, 이러한 위치 및 MPOI 정보는 ADS(110)의 영구 저장 장치에 로컬로 캐싱될 수 있다.
ADV(101)가 노선을 따라 이동할 때, ADS(110)도 교통정보 시스템 또는 서버(TIS)로부터 실시간 교통정보를 얻을 수 있다. 유의해야 할 것은, 서버(103, 104)는 제3자 실체에 의해 조작 가능하다는 점이다. 경우에 따라, 서버(103, 104)의 기능은 ADS(110)와 함께 통합될 수 있다. 실시간 교통정보, MPOI정보와 위치정보, 및 센서 시스템(115)에 의해 검출 또는 감지된 실시간 로컬환경 데이터(예를 들어, 장애물, 오브젝트, 부근 차량)에 기반하여 ADS(110)는 최적의 노선을 계획하고 계획한 노선에 따라 예를 들어, 제어 시스템(111)을 통해 차량(101)을 운전하여 지정된 목적지에 안전하고 효율적으로 도착할 수 있다.
서버(103)는 다양한 클라이언트를 위해 데이터 분석 서비스를 실행하기 위한 데이터 분석 시스템일 수 있다. 하나의 실시형태에 있어서, 데이터 분석 시스템(103)은 데이터 수집기(121)와 기계 학습 엔진(122)을 포함한다. 데이터 수집기(121)는 각종 차량((ADV) 또는 인간의 운전자에 의해 운전되는 차량)으로부터 주행 통계 데이터(123)를 수집한다. 주행 통계 데이터(123)는 송신된 주행 명령(예를 들어, 스로틀, 브레이크, 스티어링 명령) 및 차량의 센서에 의해 상이한 시점에서 포착된 차량의 응답(예를 들면, 속도, 가속, 감속, 방향)을 지시하는 정보를 포함한다. 주행 통계 데이터(123)는 또한 상이한 시점에서의 주행환경을 설명하는 정보, 예를 들어, 노선(출발 위치와 목적지 위치를 포함), MPOI, 도로상황, 날씨상황 등을 포함할 수 있다.
주행 통계 데이터(123)에 기반하여 기계 학습 엔진(122)은 다양한 목적에 따라 규칙세트, 알고리즘 및/또는 예측 모델(124)을 생성 또는 훈련한다. 하나의 실시형태에 있어서, 알고리즘(124)은 하나 또는 복수의 스피커에 의해 비가청 음성신호를 생성하기 위한 알고리즘 또는 모델, 하나 또는 복수의 마이크에 의해 비가청 반사 음성신호를 수신하기 위한 알고리즘 또는 모델, 반사된 초음파 신호에 기반하여 행동 유도 음향 패턴을 검출하기 위한 알고리즘 또는 모델, 행동 유도 음향 패턴을 분석하여 운전자 또는 승객의 행동을 인식하기 위한 알고리즘 또는 모델, 운전자 또는 승객의 행동의 위험수준을 결정하기 위한 알고리즘 또는 모델, 및/또는 결정된, 운전자 또는 승객의 행동의 위험수준에 따라 응답을 생성하기 위한 알고리즘 또는 모델을 포함할 수 있다. 그다음, 알고리즘(124)을 ADV에 업로드하여 자율 주행 과정에 실시간으로 사용할 수 있다.
도 3a 및 도 3b는 하나의 실시형태에 따른 ADV와 함께 사용되는 자율 주행 시스템의 일례를 나타내는 블록도이다. 시스템(300)은 도 1의 ADV(101)의 일부로 구현될 수 있으며, ADS(110), 제어 시스템(111) 및 센서 시스템(115)을 포함하되 이에 국한되지 않는다. 도 3a ~ 도 3b를 참조하면, ADS(110)는 측위 모듈(301), 감지 모듈(302), 예측 모듈(303), 결정 모듈(304), 계획 모듈(305), 제어 모듈(306) 및 라우팅 모듈(307)을 포함하되 이에 국한되지 않는다.
모듈(301~307)은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 이러한 모듈은 영구 저장 장치(352)에 설치된 메모리(351)에 로딩되어 하나 또는 복수의 프로세서(미도시)에 의해 수행될 수 있다. 유의해야 할것은 이러한 모듈의 일부 또는 전부가 도 2의 차량 제어 시스템(111)의 일부 또는 전부의 모듈에 통신 가능하게 연결되거나, 또는 이들과 함께 통합될 수 있다는 점이다. 모듈(301~307)의 일부는 통합 모듈로 통합될 수 있다.
측위 모듈(301)은(예를 들어, GPS 유닛(212)을 사용하여) ADV(300)의 현재 위치를 확인하고, 사용자의 노정 또는 노선에 관련된 모든 데이터를 관리한다. 측위 모듈(301)(지도 및 노선 모듈이라고도 함)은 사용자의 노정 또는 노선에 관련된 모든 데이터를 관리한다. 사용자는 예를 들어, 사용자 인터페이스를 통해 로그인하고 노정의 출발지와 목적지를 지정할 수 있다. 측위 모듈(301)은 ADV(300)의 지도 및 노선 데이터(311) 등과 같은 기타 구성요소와 통신하여 노정 관련 데이터를 취득한다. 예를 들어, 측위 모듈(301)은 위치 서버 및 지도와 POI(MPOI) 서버로부터 위치 및 노선 데이터를 얻을 수 있다. 위치 서버는 위치 서비스를 제공하고, MPOI 서버는 지도 서비스 및 특정 위치의 POI를 제공하고, 지도 및 노선 데이터(311)의 일부분으로 캐싱될 수 있다. ADV(300)가 노선에 따라 이동할 때, 측위 모듈(301)은 교통정보 시스템 또는 서버로부터 실시간 교통정보를 얻을 수 있다.
감지 모듈(302)은 센서 시스템(115)에 의해 제공된 센서 데이터와 측위 모듈(301)에 의해 취득된 측위정보에 기초하여 주위환경에 대한 감지를 결정한다. 감지정보는 일반 운전자가 운전자가 지금 현재 주행하고 있는 차량의 주변에서 감지한 것들을 나타낼 수 있다. 감지는 예를 들어, 오브젝트 형식을 채용한 차선구성, 신호등의 신호, 다른 차량의 상대적 위치, 보행자, 건물, 횡단보도 또는 기타 교통 관련 표지(예를 들어, 정지표지, 양보표지) 등을 포함할 수 있다. 차선구성은 예를 들면, 차선의 형상(예를 들어, 직선 또는 곡선), 차선 폭, 도로 중의 차선 수량, 단방향 또는 양방향 차선, 합류 또는 분류 차선, 출구 차선 등과 같은 하나 또는 복수의 차선을 설명하는 정보가 포함된다.
감지 모듈(302)은 하나 또는 복수의 카메라에서 수집된 이미지를 처리, 분석하여 ADV 환경 중의 오브젝트 및/또는 특징을 인식하기 위해 컴퓨터 비전 시스템 또는 컴퓨터 비전 시스템의 기능을 포함할 수 있다. 해당 오브젝트는 교통신호, 도로의 경계, 기타 차량, 보행자 및/또는 장애물 등을 포함할 수 있다. 컴퓨터 비전 시스템은 오브젝트 인식 알고리즘, 비디오 추적 및 기타 컴퓨터 비전기술을 사용할 수 있다. 일부 실시형태에 있어서, 컴퓨터 비전 시스템은 환경지도를 작성하여 오브젝트를 추적하고 오브젝트의 속도 등을 추정할 수 있다. 감지 모듈(302)은 레이더 및/또는 LIDAR 등 기타 센서에 의해 제공되는 기타 센서의 데이터에 기반하여 오브젝트를 검출할 수 있다.
각 오브젝트에 대해, 예측 모듈(303)은 오브젝트가 이러한 경우에 어떻게 표현할지를 예측한다. 예측은 일련의 지도 / 노선 데이터(311) 및 교통규칙(312)을 고려한 시점에서 주행환경을 감지하는 감지 데이터에 기반하여 실행된다. 예를 들어, 오브젝트가 반대방향의 차량에 있고 또한 현재의 주행환경에 교차로가 포함되어 있는 경우, 예측 모듈(303)은 차량이 직진할 것인지 회전할 것인지 여부를 예측한다. 감지 데이터가 교차로에 신호등이 없음을 나타내는 경우, 예측 모듈(303)은 차량이 교차로에 들어서기 전에 완전히 정지해야 함을 예측할 수 있다. 감지 데이터가 차량이 현재 좌회전 전용차선 또는 우회전 전용차선에 있음을 나타내는 경우, 예측 모듈(303)은 차량이 각각 좌회전 또는 우회전할 가능성이 있음을 예측할 수 있다.
매개 오브젝트에 대해, 결정 모듈(304)은 오브젝트를 어떻게 대처할 것인지에 관하여 결정한다. 예를 들어, 특정 오브젝트(예를 들어, 교차 노선 중의 다른 차량) 및 오브젝트를 설명하는 메타 데이터(예를 들면, 속도, 방향, 조향 각도)에 대해 결정 모듈(304)은 해당 오브젝트와 어떻게 마주칠 것인가(예를 들어, 추월, 양보, 정지, 초과)를 결정한다. 결정 모듈(304)은 교통규칙 또는 운전규칙(312) 등의 규칙 세트에 따라 위에서와 같은 결정을 할 수 있으며, 상기 규칙 세트는 영구 저장 장치(352)에 저장될 수 있다.
라우팅 모듈(307)은 출발 지점으로부터 목표 지점까지의 하나 또는 복수의 노선 또는 경로를 제공하도록 구성된다. 예를 들어, 사용자로부터 접수한, 출발지로부터 목적지까지의 소정의 노정에 대해, 라우팅 모듈(307)은 노선 및 지도 데이터(311)를 취득하고, 출발지로부터 목적지에 도착하기 위한 모든 가능한 노선 또는 경로를 결정한다. 라우팅 모듈(307)은 출발지로부터 목적지에 도착하기 위한 매개 노선이 결정된 지형도 형태의 참고선을 생성할 수 있다. 참고선은 다른 차량, 장애물 또는 교통상황 등과 같은 다른 사물로부터 어떠한 간섭도 받지 않는 이상적인 노선 또는 경로를 가리킨다. 즉, 도로에 다른 차량, 보행자 또는 장애물이 존재하지 않으면, ADV는 참고선을 정확히 또는 엄격히 준수한다. 그다음 지형도가 결정 모듈(304) 및/또는 계획 모듈(305)에 제공된다. 결정 모듈(304) 및/또는 계획 모듈(305)은 모든 가능한 경로를 조사하고 기타 모듈에 의해 제공되는 기타 데이터, 예를 들면, 측위 모듈(301)에 의한 교통상황, 감지 모듈(302)에 의해 감지된 주행환경, 및 예측 모듈(303)에 의해 예측된 교통상황 등에 의해 최적의 노선 중의 하나를 선택하고 수정한다. ADV를 제어하기 위한 실제 경로 또는 노선은 시간상의 특정 주행환경에 의해 라우팅 모듈(307)에 의해 제공되는 참고선과 비슷하면서 상이할 수 있다.
계획 모듈(305)은 감지된 오브젝트 각각에 대한 결정에 기반하여 라우팅 모듈(307)에 의해 제공되는 참고선을 기반으로, ADV를 위해 경로 또는 노선 및 주행 파라미터(예를 들면, 거리, 속도 및/또는 조향 각도)를 계획한다. 즉, 소정의 오브젝트에 대해, 결정 모듈(304)은 해당 오브젝트에 대해 무엇을 할 것인지를 결정하는 한편, 계획 모듈(305)은 그것을 어떻게 실행할 것인지를 결정한다. 예를 들어, 소정의 오브젝트에 대해, 결정 모듈(304)은, 해당 오브젝트를 따라잡는 것을 결정할 수 있고, 계획 모듈(305)은 해당 오브젝트를 왼쪽 또는 오른쪽으로 추월하는 것을 결정할 수 있다. 계획 및 제어 데이터는 계획 모듈(305)에 의해 생성되며, 차량(300)이 다음 이동 사이클(예를 들어, 다음 노선 / 경로 구간)에서 어떻게 이동할 것인지를 설명하는 정보를 포함한다. 예를 들어, 계획 및 제어 데이터는 차량(300)에 30 마일 / 시간(mph)의 속도로 10미터 이동한 다음 25mph의 속도로 오른쪽 차선으로 변경하도록 지시할 수 있다.
제어 모듈(306)은 계획 및 제어 데이터에 기반하여, 계획 및 제어 데이터에 의해 한정된 노선 또는 경로에 따라 적절한 명령 또는 신호를 차량 제어 시스템(111)에 전송하여 ADV를 제어 및 운전한다. 계획 및 제어 데이터는 경로 또는 노선에 따라, 서로 다른 시점에서 적절한 차량 설정 또는 주행 파라미터(예를 들어, 스로틀, 브레이크, 스티어링 명령)를 사용하여, 차량을 노선 또는 경로의 제1 지점에서 제2 지점까지 주행하기에 충분한 정보를 포함한다.
하나의 실시형태에 있어서, 계획단계는 여러 계획 사이클(주행 사이클이라고도 함)에서 실행된다. 예를 들어, 100밀리초(ms) 시간간격에서 실행된다. 계획 사이클 또는 주행 사이클마다 계획 및 제어 데이터에 기반하여 하나 또는 복수의 제어 명령이 송신된다. 즉 100ms마다 계획 모듈(305)은 예를 들어, 목표 위치 및 ADV가 목표 위치에 도달하는데 필요한 시간을 포함한 다음 노선 구간 또는 경로 구간을 계획한다. 혹은, 계획 모듈(305)은 구체적인 속도, 방향 및/또는 조향 각도 등을 추가로 지정할 수 있다. 하나의 실시형태에 있어서, 계획 모듈(305)은 다음의 소정 기간(예를 들어, 5초동안)의 노선 구간 또는 경로구 간을 계획한다. 각 계획 사이클에 대해, 계획 모듈(305)은 전의 사이클에서 계획한 목표 위치에 기반하여 현재 사이클(예를 들어, 다음 5초)의 목표 위치를 계획한다. 그다음, 제어 모듈(306)은 현재 사이클의 계획 및 제어 데이터에 기반하여 하나 또는 복수의 제어 명령(예를 들어, 스로틀, 브레이크, 스티어링 제어 명령)을 생성한다.
유의할것은, 결정 모듈(304) 및 계획 모듈(305)은 통합 모듈로 통합할 수 있다는 점이다. 결정 모듈(304) / 계획 모듈(305)은 ADV의 주행 경로를 결정하기 위한 네비게이션 시스템이나 네비게이션 시스템의 기능을 포함할 수 있다. 예를 들어, 네비게이션 시스템은 다음과 같은 경로를 따라 ADV의 움직임에 영향을 주는 일련의 속도 및 전진방향을 결정할 수 있는바, 여기서 경로는 최종 목적지에 이르는 도로 기반 경로에 기반하여 ADV를 전진시킴과 동시에 감지된 장애물을 실질적으로 회피할 수 있다. 목적지는 사용자 인터페이스 시스템(113)을 통해 사용자가 입력함으로써 설정할 수 있다. 네비게이션 시스템은 ADV가 주행하는 동안의 주행 경로를 동적으로 업데이트할 수 있다. 네비게이션 시스템은 ADV의 주행 경로를 결정하기 위해 GPS 시스템 및 하나 또는 복수의 지도의 데이터를 합병할 수 있다.
도 4는 하나의 실시형태에 따른 모니터링 시스템(116)의 예를 나타내는 블록도이다. 모니터링 시스템(116)은 운전자 또는 승객의 행동을 모니터링하고 응답을 생성하도록 구현될 수 있다. 도 4를 참조하면, 모니터링 시스템(116)은 스피커 유닛(401), 마이크 유닛(402), 검출기 유닛(403), 인식 유닛(404), 위험수준 유닛(405) 및 응답 유닛(406)을 포함하되 이에 국한되지 않는다. 모니터링 시스템(116)은 주행의 안전성을 높이고 지능적이고 순리롭게 승객과 차량과의 상호 작용을 실현하기 위해, 이동 중인 차량의 행동을 인식하고 모니터링하도록 구성된다. 모니터링 시스템(116)은 작업 인식과 차량 조작 모드 조정 간의 간격을 연결하여 폐쇄루프 시스템을 형성한다.
하나의 실시형태에 있어서, 스피커 유닛(401)은 스피커와 같은 하나 또는 복수의 음성 발생기를 포함하고, 차량 내의 각 위치에 배치된 하나 또는 복수의 음성 발생기를 사용하여 비가청 음성신호를 생성하도록 구성된다. 음성신호는 차량의 운전자 또는 승객으로부터 반사 또는 반송될 수 있다. 마이크 유닛(402)은 마이크와 같은 하나 또는 복수의 음성 캡처장치를 포함하고, 차량 내의 부동한 위치에 배치된 하나 또는 복수의 마이크를 사용하여 차량의 운전자 또는 승객으로부터 반사 또는 반송된 비가청 반사 음성신호를 포착하도록 구성된다. 검출기 유닛(403)은 반사된 초음파 신호에 기반하여 행동 유도 음향 패턴을 검출하도록 구성된다. 인식 유닛(404)은 행동 유도 음향 패턴을 분석하여 차량의 운전자 또는 승객의 행동을 결정하고 인식하도록 구성된다.
음성신호는 하나 또는 복수의 스피커에서 공기를 통해 전파되며, 하나 또는 복수의 마이크에 의해 수신된다. 예를 들어, 도플러 효과에 기반하여, 음파는 도중에 사용자의 움직임에 의해 편향 또는 중단될 가능성이 있지만 여전히 마이크에 도달할 수 있다. 예를 들어, 음성신호는 차량의 운전자 또는 승객에 부딛히고, 운전자 또는 승객으로부터 반사되어 되돌아올 수 있다. 운전자 또는 승객으로부터 반사된 음성신호는 도플러 효과에 의해 음성신호에 급격한 변화를 일으킬 수 있다.
하나의 실시형태에 있어서, 운전자 또는 승객의 행동은 반사 음성신호로부터 추출된 특징 세트에 AI모델 또는 기계 학습 모델을 적용하여 결정할 수 있다. 하나의 실시형태에 있어서, 행동은 음향 패턴을 소정의 행동 리스트를 나타내는 소정의 음향 패턴 리스트와 비교 또는 매칭하여 결정할 수 있다. 음향 패턴을 분석하여 사람의 행동을 결정할 수 있다. 예를 들어, ADV의 운전자 또는 승객이 이동하는 경우, 도플러 효과에 기반하여, 반사신호(운전자 또는 승객으로부터 반사된 비가청 음성신호)는 음성신호에 급격한 변화를 일으킬 수 있다. 도플러 효과(또는 도플러 시프트)는 파원에 대해 이동하는 관찰자에 대한 파 주파수의 변화이다. 음성신호의 급격한 변화는 운전자 또는 승객으로부터 검출된 행동 이벤트를 나타낼 수 있다. 하나의 실시형태에 있어서, 반사 음성신호에 대역 통과 필터를 적용한 후, 밴드 스톱 필터를 적용하여 프로브 신호의 정확한 주파수를 갖는 오디오 성분을 제거할 수 있으며, 프로브 신호는 하나 또는 복수의 스피커에 의해 생성된 비가청 음성신호일 수 있다. 따라서, 도플러 효과에 기반하여 인체의 움직임으로부터 발생 또는 초래된 반사 음성신호만을 유지할 수 있다.
위험수준 유닛(405)은 위험수준 임계값의 세트에 의해, 운전자 또는 승객의 행동에 기반하여 운전자 또는 승객의 행동의 위험수준을 결정하도록 구성된다. 예를 들어, 승객의 특정 행동은 위험하지 않을 수 있지만, 운전자의 같은 행동은 위험하다고 간주될 수 있다. 응답 유닛(406)은 결정된, 운전자 또는 승객의 행동의 위험수준에 의해 응답 또는 경보를 생성하도록 구성된다.
도 5a는 ADV(501)에 배치된 하나 또는 복수의 스피커(510)의 평면도를 도시한 블록도(500a)이다. 도 5b는 ADV(501)에 배치된 하나 또는 복수의 스피커(510)의 측면도를 나타내는 블록도(500b)이다. 도 5a 및 도 5b를 참조하면, 모니터링 시스템(116)은 하나 또는 복수의 스피커(510)를 포함하는 스피커 유닛(401)을 포함한다. 하나 또는 복수의 스피커(510)는 인간에게 들리지않는 음성신호를 생성하도록 구성된다. 음성신호는 고정 주파수 또는 변조된 변화 주파수로 생성할 수 있다. 예를 들어, 하나 또는 복수의 스피커(510)는 초음파 신호를 생성하도록 구성된다. 일반 인간이 들을 수 있는 주파수 범위는 약 20Hz에서 20kHz이다. 따라서, 일반적으로 이 범위(>20kHz 또는 <20Hz)에서 벗어난 음성신호는 인간에게 들리지 않는다. 일반적으로 주파수가 20kHz 이상의 소리는 초음파로 간주된다. 인간의 귀로 검출할 수 없는 저주파 소리를 초 저주파음이라고 부른다. 하나의 실시형태에 있어서, 비가청 음성신호는 초음파 신호를 포함할 수 있다. 하나의 실시형태에 있어서, 비가청 음성신호는 초 저주파 음성신호를 포함할 수 있다.
하나 또는 복수의 스피커(510)는 ADV의 네 모퉁이에 배치될 수 있다. 하나 또는 복수의 스피커(510)는 ADV의 왼쪽 앞측, 왼쪽 뒷측, 오른쪽 앞측, 오른쪽 뒷측에 배치될 수 있다. 하나의 실시형태에 있어서, 하나 또는 복수의 스피커(510)는 ADV의 차량탑재 오디오 시스템을 이용할 수 있다. 하나의 실시형태에 있어서, 하나 또는 복수의 스피커(510)는 초음파 신호를 생성하도록 구성될 수 있다. 하나 또는 복수의 스피커(510)는 인간에게 들리지 않는 음성신호를 생성할 수 있는 것이라면 모든 유형 또는 모든 종류의 스피커일 수 있다.
도 5c 및 도 5d는 ADV(501)에 배치된 하나 또는 복수의 마이크(예를 들어, 521 ~ 527)의 블록도(500c),(500d)이다. 하나 또는 복수의 마이크는 왼쪽 위 앞(예를 들어, 521), 오른쪽 위 앞(예를 들어, 522) 또는 운전석과 조수석 사이(예를 들어, 523)에 배치될 수 있다. 하나 또는 복수의 마이크는 운전석의 뒷측(예를 들어, 524) 또는 조수석의 뒷측(예를 들어, 525) 또는 두명의 승객 뒷좌석 사이(예를 들어, 526) 또는 앞부분의 중앙위치(예를 들어, 527)에 배치될 수 있다. 하나 또는 복수의 마이크는 ADV(501) 내의 다른 위치에 배치될 수 있으며, 운전자 또는 승객에서 반사된 음성신호는 ADV 내의 장애물(예를 들어, 차량의 좌석, 도어, 콘솔박스, 뒷모퉁이 등)의 지장을 받지 않는다. 하나 또는 복수의 마이크(예를 들어, 521 ~ 527)는 운전자 또는 승객에서 반사된 음성신호를 수신하도록 구성된다. 하나 또는 복수의 스피커(예를 들어, 510)에 의해 생성된 비가청 음성신호,(예를 들어, 초음파 신호)는 운전자 또는 승객에 입사될 수 있으며, 음성신호가 운전자 또는 승객으로부터 반사될 수도 있다. 운전자 또는 승객에서 반사된 음성신호는 하나 또는 복수의 마이크(예를 들어, 521 ~ 527)에 의해 수신될 수 있다.
도 6은 실시형태에 따른 자율 주행 차량의 운전자 또는 승객의 행동을 음향적으로 모니터링하는 예를 나타내는 흐름도이다. 모니터링 시스템(116)은 음향적 모니터링을 기반으로 ADV의 운전자 또는 승객의 행동을 모니터링하도록 구성된다. 이러한 방법은 개인정보의 과다누설을 우려하지 않아도 된다. 운전자에 의한 위험한 행동에 개입할 수 있어 주행의 안전성을 높일 수 있다. 또한 승객의 편안함을 향상시킬 수 있고 승객과 차량과의 원활한 상호작용을 실현할 수 있다.
블록(601a)에 있어서, ADV의 하나 또는 복수의 스피커 또는 기타 음성 발생기는 비가청 음성신호(예를 들면, 초음파 신호)를 생성할 수 있다.
블록(601)에 도시된 바와 같이, 하나 또는 복수의 마이크 또는 기타 음성 수신기는 비가청 음성신호(예를 들면, 초음파 신호)를 수신할 수 있다. 하나 또는 복수의 마이크 또는 기타 음성 수신기에서 취득한 데이터는(도 4를 결합하여 설명한 바와 같이) 모니터링 시스템(118)의 검출기 유닛(403)에 입력될 수 있다. 도 7a의 도700a는 하나 또는 복수의 마이크 또는 기타 음성 수신기로부터 수신된 데이터의 예를 나타낸다.
블록(602)에 있어서, 운전자 또는 승객의 행동 이벤트를 검출할 수 있다. 행동 이벤트는 ADV의 운전자 또는 승객에 의해 생기는 행동 또는 움직임의 이벤트이다. 예를 들어, ADV의 운전자 또는 승객이 움직이는 경우, 도플러 효과에 기반하여, 반사신호(운전자 또는 승객에서 반사되어 돌아온 비가청 음성신호)는 음성신호에 급격한 변화를 일으킬 수 있다. 도플러 효과(또는 도플러 시프트)는 파원에 대해 상대적으로 이동하는 관찰자에 대한 파 주파수의 변화이다. 음성신호의 급격한 변화는 운전자 또는 승객에서 검출된 행동 이벤트를 나타낼 수 있다. 도 7b의 도700b는 음성신호에서 검출된 행동 이벤트의 예를 나타낸다.
블록(603)에 있어서, 특징 추출 및 행동 인식을 위해 음성신호의 프레임을 분할한다.
블록(604)에 있어서, 음성신호로부터 행동 유도 음향 패턴을 포함하는 행동 특징을 추출한다. 블록(605)에 있어서, 음성신호는 필터링되어 노이즈 제거될 수 있다. 음성신호는 관심 주파수 범위 이외의 노이즈를 줄이기 위해 필터링을 행할 수 있다. 예를 들어, 필터는 대역 통과 필터 또는 대역 정지 필터일 수 있다. 예를 들어, 비가청 음성신호는 초음파 신호이며, 필터는 소정 범위 이외의 음성신호를 필터링하도록 구성할 수 있다. 예를 들어, 소정 범위는 19kHz ~ 21kHz일 수 있다. 소정 범위 이외의 음성신호는 노이즈 또는 이상치일 수 있다.
블록(606)에 있어서, 필터링된 음성신호의 파워 스펙트럼을 얻을 수 있다. 스펙트로그램은 시간에 따라 변화하는 신호의 주파수 스펙트럼을 직관적으로 나타낸 것이다. 파워 스펙트럼은 시간의 경과에 따른 각 주파수 대역의 신호의 파워 레벨을 나타낸다. 하나의 실시형태에 있어서, 음성신호에 대역 통과 필터를 적용한 후, 밴드 스톱 필터를 적용하여 프로브 신호의 정확한 주파수를 갖는 오디오 성분을 제거할 수 있으며, 프로브 신호는 하나 또는 복수의 스피커에 의해 생성하는 비가청 음성신호일 수 있다. 따라서, 도플러 효과에 기반하여 인체의 움직임에 의해 발생 또는 초래된 음성신호만을 보류할 수 있다. 예를 들어, 밴드 스톱 필터는 제1 소정의 임계치보다 크고 제2 소정의 임계치보다 작은, 원하지 않는 주파수 범위의 음성신호를 차단할 수 있다. 제1 소정의 임계치보다 크고 제2 소정의 임계치보다 작은 음성신호는 프로브 신호에 의해 지배된다. 하나의 실시형태에 있어서, 프로브 신호는 20kHz의 주파수를 가질 수 있다. 일례로서 제1 소정의 임계값은 20.2kHz일 수 있고, 제2 소정의 임계값은 19.8kHz일 수 있다.
그다음 단시간 푸리에 변환(STFT)을 적용하여 음성신호의 파워 스펙트럼을 얻을 수 있다. 도 7c는 음성신호의 파워 스펙트럼(700c)의 예를 나타낸다. 도 7c에 나타낸 바와 같이, x축은 시간을 나타내고, y축은 주파수를 나타내며, 각 좌표점의 값은 음성신호의 파워의 진폭을 나타낸다. 파워 스펙트럼에 있어서, 부동한 색상 또는 부동한 색상 음영은 부동한 파워 레벨을 나타내며, 이는 부동한 행동을 나타낼 수 있다. 도 7c에 있어서, 밝은 색상(노란색)은 높은 파워 레벨을 나타내고, 어두운 색상(진한 파란색)은 낮은 파워 레벨을 나타낸다.
블록(607)에 있어서, 파워 스펙트럼에 기반하여 진일보 처리 및 강화된 파워 스펙트럼을 얻을 수 있다. 도 7d는 강화된 파워 스펙트럼 700d의 예를 나타내고 있다. 파워 스펙트럼(700c)에 기반하여 파워값의 임계치를 결정할 수 있다. 파워값의 임계치는 음성신호 및 관련된 움직임에 의해 결정할 수 있다. 강화된 파워 스펙트럼(700d)은 파워 스펙트럼(700c)의 각 포인트에 대해, 대응 포인트의 파워값이 파워값의 임계치보다 작은 경우, 대응 포인트의 파워값의 진폭을 0으로 설정함으로써 얻을 수 있다. 추가적인 이미지 노이즈 제거 또는 평활화 필터를 적용하여 보다 좋은 효과를 취득함으로써 강화된 파워 스펙트럼(700d)을 얻을 수 있다.
블록(608)에 있어서, 운전자 또는 승객의 행동은, 예를 들어, 파워 스펙트럼을 소정의 행동 리스트에 대응하는 소정의 파워 스펙트럼 리스트와 비교 또는 매칭함으로써, 강화된 파워 스펙트럼에 기반하여 검출되는 행동 유도 음향 패턴에 기반하여 인식할 수 있다. 도 7e는 강화된 파워 스펙트럼(700e)에서 검출된 행동 유도 음향 패턴(710)의 예를 나타낸다. 도 7f는 검출된 행동 유도 음향 패턴(710)에 대응하는 인식된 행동(720)의 예를 나타낸다. 운전자 또는 승객의 부동한 행동 또는 움직임은 도플러 효과에 의해 부동한 행동 유도 음향 패턴에 대응된다. 일례로서 도 7f에 도시된 바와 같은 박수 행동은 도 7e에 도시된 행동 유도 음향 패턴(710)에 대응된다. 운전자 또는 승객의 이동 또는 행동(손짓, 전화 사용, 식사, 꾸벅꾸벅 졸고 있는 등)이 있을 경우, 행동 유도 음향 패턴을 검출할 수 있다. 기계 학습 및 심층 학습 방법을 사용하여 행동 유도 음향 패턴(예를 들어, 710)을 분석하여, 대응하는 행동(예를 들어, 720)을 인식할 수 있다.
하나의 실시형태에 있어서, 행동이 차량 운전자의 행동인지 승객의 행동인지를 진일보 결정한다. 행동이 운전자의 행동인 경우, 안전문제의 잠재적 위험이 존재할 가능성이 있다. 따라서, 행동이 차량 운전자의 행동인지 아니면 승객의 행동인지를 결정하는 것이 중요하다. 검출된 음성신호(예를 들어, 비가청 음성신호)의 발생원에 기반하여 행동이 차량 운전자의 행동인지 아니면 승객의 행동인지를 결정할 수 있다.
도 8은 검출된, ADV의 행동 및 응답의 예를 나타내는 블록도이다. 검출된 행동(801)은 운전자의 행동(802) 또는 승객의 행동(803)을 포함할 수 있다. 예를 들어, 운전자의 행동(802)은 손짓, 전화 사용, 식사, 졸음 운전 또는 부주의 운전 등을 포함할 수 있다. 승객의 행동(803)은 손짓, 전화 사용, 식사, 졸음 / 수면 등을 포함할 수 있다. 운전자 또는 승객의 기타 행동이 검출될 가능성도 있다. 도 8에 나타낸 바와 같이, 인식된, 운전자 또는 승객의 행동의 위험수준을 결정할 수 있다.
일례로서, 인식된, 행동의 위험수준은 위험없음, 잠재적 위험 또는 고위험으로 나눌수 있다. 예를 들어, 운전자의 손짓은 위험이 없는 것으로 결정되고, 운전자의 전화 사용 및 식사는 잠재적인 위험으로 결정되며, 졸음 운전이나 부주의 운전은 고위험으로 결정될 수 있다. 승객의 행동은 위험이 없는 것으로 결정될 수 있다. 이외에도 부동한 유형의 행동을 부동한 방법으로 분류할 수 있다.
ADV의 응답은 결정된, 운전자 또는 승객의 행동의 위험수준에 기반하여 생성할 수 있다. 하나의 실시형태에 있어서, 결정된 위험수준이 잠재적인 위험인 경우, 블록(804)에 나타낸 바와 같이, ADV는 경보를 생성하고 자율 주행 모드를 작동시켜 일시적으로 주행을 인수할 수 있다.
하나의 실시형태에 있어서, 결정된 위험수준이 고위험인 경우, 블록(805)에 나타낸 바와 같이, ADV는 경보를 생성하고 자율 주행 모드를 작동시켜 일시적으로 주행을 인수하여 길옆에 속도를 줄여 정지할 수 있다. 그러나 결정된 위험수준이 잠재적인 위험인 경우, 경보를 생성한 후 운전자로부터 응답이 없으면 ADV는 주행을 인수하여 길옆에 속도를 줄여 정지할 수 있다.
결정된 위험수준이 위험없음이고 또한 해당 행동이 운전자의 행동(예를 들어, 운전자가 손짓하고 있는 행동)인 경우, 블록(806)에 나타낸 바와 같이, ADV는 라디오 / 음악을 켜거나, 하나 또는 복수의 스피커의 가청 음량을 조절하거나 계속 모니터링하는 등의 응답을 할 수 있다.
검출된 행동이 승객의 행동이고 또한 차량이 자율 주행 모드에 있는 경우, 블록(808)에 나타낸 바와 같이, ADV는 ADV의 속도를 줄이거나 또는 자율 주행 모드의 컴포트 모드로 전환할 수 있으며, 또는 블록(807)에 나타낸 바와 같이, ADV는 하나 또는 복수의 스피커의 가청 음량을 낮출 수 있다.
도 9는 ADV의 운전자 또는 승객의 행동을 음향적으로 모니터링하는 과정을 나타내는 흐름도이다. 이 프로세스를 통해 ADV의 운전자 또는 승객의 행동이 모니터링될 수 있으나 개인정보의 과다누출은 우려하지 않아도 된다. 운전자 또는 승객의 행동의 위험수준을 결정할 수 있고, 운전의 안전성과 편안함을 증강하기 위해 응답을 생성할 수 있다. 프로세스(900)는 소프트웨어, 하드웨어, 또는 이들의 조합을 포함하는 처리 논리에 의해 수행할 수 있다. 예를 들어, 프로세스(900)는 모니터링 시스템(116)에 의해 수행할 수 있다.
도 9를 참조하면, 조작(901)에 있어서, 처리 논리는 차량 내에 배치된 하나 또는 복수의 스피커를 통해 비가청 음성신호를 생성한다. 하나의 실시형태에 있어서, 비가청 음성신호는 차량에 배치된 하나 또는 복수의 스피커에 의해 연속적으로 생성되며, 비가청 음성신호는 초음파 신호이다.
조작(902)에 있어서, 처리 논리는 차량 내에 배치된 하나 또는 복수의 마이크를 통해 비가청 반사 음성신호를 수신한다. 하나의 실시형태에 있어서, 하나 또는 복수의 마이크는 차량의 왼쪽 앞 위, 오른쪽 앞 위, 운전석과 조수석 사이, 운전석 또는 조수석의 뒷측, 또는 두 뒷좌석 사이에 배치된다.
조작(903)에 있어서, 처리 논리는 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출한다. 하나의 실시형태에 있어서, 처리 논리는 반사된 음성신호에 기반하여 행동 이벤트를 검출할 수 있다. 하나의 실시형태에 있어서, 처리 논리는 반사된 음성신호를 필터링할 수 있다.
하나의 실시형태에 있어서, 처리 논리는 또한 반사된 음성신호에 기반하여 파워 스펙트럼을 추출할 수 있다. 하나의 실시형태에 있어서, 처리 논리는 파워 스펙트럼에 기반하여 강화된 파워 스펙트럼을 얻을 수 있다. 하나의 실시형태에 있어서, 처리 논리는 강화된 파워 스펙트럼에 기반하여 행동 유도 음향 패턴을 얻을 수 있다.
조작(904)에 있어서, 처리 논리는 행동 유도 음향 패턴을 분석하여 차량의 운전자 또는 승객의 행동을 인식한다. 하나의 실시형태에 있어서, 처리 논리는 행동이 차량의 운전자의 행동인지 아니면 차량의 승객의 행동인지를 결정할 수 있다.
조작(905)에 있어서, 처리 논리는 인식된, 차량의 운전자 또는 승객의 행동에 의해 응답을 생성한다.
하나의 실시형태에 있어서, 처리 논리는 인식된, 운전자 또는 승객의 행동의 위험수준을 결정할 수 있으며, 또한 결정되고 인식된 운전자 또는 승객의 행동의 위험수준에 기반하여 응답을 생성할 수 있다.
하나의 실시형태에 있어서, 행동이 운전자의 행동인 경우, 처리 논리는 결정된 위험수준이 고위험인 것에 응답하여 경보를 생성함과 동시에 자율 주행 모드를 작동시키고 길옆에 속도를 줄여 정지하거나, 또는 결정된 위험수준이 잠재적인 위험인 것에 응답하여 경보를 생성함과 동시에 자율 주행 모드를 작동시킨다.
하나의 실시형태에 있어서, 행동이 승객의 행동이고, 또한 차량이 자율 주행 모드에 있는 경우, 처리 논리는 차량의 속도를 줄이거나, 또는 자율 주행 모드의 컴포트 모드로 전환할 수 있다.
유의해야 할것은 위에서 도시되고 설명된 바와 같은 구성요소의 일부 또는 전부가 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다는 점이다. 예를 들어, 이러한 구성요소는 영구 저장 장치에 설치되고 저장되는 소프트웨어로 구현될 수 있으며, 해당 소프트웨어는 프로세서(미도시)에 의해 메모리에 로드되어 실행됨으로써, 본 출원 전체에 걸쳐 설명되는 프로세스 또는 조작을 수행할 수 있다. 또는, 이러한 구성요소는 예를 들어, 집적회로(예를 들어, 주문형 집적회로 또는 ASIC), 디지털 신호 프로세서(DSP) 또는 필드 프로그래머블 게이트 어레이(FPGA)) 등의 전용 하드웨어에 프로그래밍되거나 또는 내장된 실행 가능 코드로 구현되며, 해당 실행 가능 코드는 애플리케이션에서 해당 드라이버 및/또는 운영 체제를 통해 액세스할 수 있다. 또한 이러한 구성요소는 소프트웨어 구성요소에 의해 하나 또는 복수의 특정 명령을 통해 액세스 가능한 명령 세트의 일부로 프로세서 또는 프로세서 코어에서 특정 하드웨어 로직으로 구현될 수 있다.
전술한 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 알고리즘 및 부호 표시에 따라 나타난다. 이러한 알고리즘의 설명과 표시는 데이터 처리 분야의 당업자가 작업 내용을 본 분야의 다른 기술자에게 가장 효과적으로 전달하기 위해 사용되는 방식이다. 본문에서, 알고리즘은 통상적으로 바라는 결과를 초래하는 일관된 조작 시퀀스인 것으로 간주된다. 이러한 조작은 물리량에 대해 물리적으로 조작 및 제어해야 하는 조작을 가리킨다.
그러나 모든 이러한 유사한 용어는 적절한 물리량과 관련되도록 의도된 것이며, 단지 이러한 양에 응용되기 위한 간편한 표기일 뿐이다. 이상 논의에서 달리 명시되지 않는 한, 명세서 전체에서, 용어(청구범위에 기술된 용어와 같음)를 이용하여 진행한 논의는 컴퓨터 시스템 또는 유사 전자 계산 장치의 동작 및 처리를 지칭하는 것으로 이해해야 하며, 상기 컴퓨터 시스템 또는 전자 계산 장치는 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로 표시되는 데이터를 조절하고, 상기 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 유형의 정보 저장 장치, 전송 또는 디스플레이 장치 내 유사하게 물리량으로 표시되는 다른 데이터로 변환시킨다.
본 발명의 실시형태는 또한 본문에서의 조작을 수행하기 위한 장치에 관한 것이다. 이러한 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장된다. 기계 판독 가능 매체는 기계(예를 들어, 컴퓨터)에 의해 판독 가능한 형태로 정보를 저장하기 위한 임의의 메커니즘을 포함한다. 예를 들어, 기계 판독 가능(예를 들어, 컴퓨터 판독 가능) 매체는 기계(예를 들어, 컴퓨터) 판독 가능 저장 매체(예를 들어, 판독 전용 메모리(“ROM”), 랜덤 액세스 메모리(“RAM”), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 장치)를 포함한다.
전술한 도면에 도시된 프로세스 또는 방법은 하드웨어(예를 들어, 회로, 전용 논리 등), 소프트웨어(예를 들어, 비일시적 컴퓨터 판독 가능 매체에 구현됨) 또는 이들의 조합을 포함하는 처리 논리에 의해 수행될 수 있다. 상기 프로세스 또는 방법이 일부 순차적 조작에 의해 설명되었지만, 상기 조작 중 일부는 상이한 순서에 따라 수행될 수 있음을 이해해야 한다. 이밖에, 일부 조작은 순차적이 아니라 병렬로 수행될 수 있다.
본 발명의 실시형태는 임의의 특정 프로그래밍 언어를 참조하여 설명된 것이 아니다. 다양한 프로그래밍 언어를 사용하여 본문에 기술된 바와 같이 본 발명의 실시형태의 교시를 구현할 수 있음을 이해해야 한다.
상기 명세서에서, 본 발명의 구체적인 예시적 실시형태를 참조하여 본 발명의 실시형태를 설명한다. 청구범위에 기술된 본 발명의 보다 광범위한 사상 및 범위를 벗어나지 않으면서 본 발명에 대해 다양한 수정을 진행할 수 있음은 자명한 것이다. 따라서, 본 명세서와 도면은 한정적 의미가 아닌 설명적 의미로 이해되어야 한다.

Claims (21)

  1. 차량을 조작하기 위한 컴퓨터 구현방법에 있어서,
    상기 차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계;
    상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계;
    상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계;
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및
    하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계
    를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  2. 제1항에 있어서,
    상기 음성신호가 초음파 신호를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  3. 제1항에 있어서,
    상기 하나 또는 복수의 마이크가 상기 차량의 왼쪽 위 앞, 오른쪽 위 앞, 운전석과 조수석 사이, 상기 운전석 또는 상기 조수석의 뒤쪽, 또는 두 뒷좌석 사이에 배치되는, 차량을 조작하기 위한 컴퓨터 구현방법.
  4. 제1항에 있어서,
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계는, 상기 행동 유도 음향 패턴을 소정의 행동 리스트를 표시하는 소정의 음향 패턴 리스트와 매칭하는 단계를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  5. 제1항에 있어서,
    반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계는, 반사된 음성신호에 기반하여 파워 스펙트럼을 추출하는 단계를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  6. 제5항에 있어서,
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계는, 상기 파워 스펙트럼을 특정 행동과 관련되는 소정의 파워 스펙트럼과 비교하는 단계를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  7. 제1항에 있어서,
    상기 운전자 또는 상기 승객의 행동의 위험수준을 결정하는 단계, 및 상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계를 더 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  8. 제7항에 있어서,
    상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계는, 상기 행동이 상기 운전자의 행동일 경우, 결정된 위험수준이 소정의 위험 임계값보다 높은 것에 응답하여, 경보를 생성함과 동시에 자율 주행 모드를 작동시켜 속도를 줄여 길옆에 정지시키는 단계를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  9. 제7항에 있어서,
    상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계는, 상기 행동이 상기 승객의 행동이며 또한 상기 차량이 자율 주행 모드에 있는 경우, 상기 차량의 속도를 줄이거나 또는 상기 자율 주행 모드의 컴포트 모드로 전환하는 단계를 포함하는, 차량을 조작하기 위한 컴퓨터 구현방법.
  10. 명령어가 저장되어 있는 비 일시적 기계 판독 가능 매체에 있어서,
    상기 명령어가 프로세서에 의해 실행될 경우, 상기 프로세서에 조작을 수행하도록 하되, 상기 조작은,
    차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계;
    상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계;
    상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계;
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및
    하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  11. 제10항에 있어서,
    상기 음성신호가 초음파 신호를 포함하는, 비 일시적 기계 판독 가능 매체.
  12. 제10항에 있어서,
    상기 하나 또는 복수의 마이크가 상기 차량의 왼쪽 위 앞, 오른쪽 위 앞, 운전석과 조수석 사이, 상기 운전석 또는 상기 조수석의 뒤쪽, 또는 두 뒷좌석 사이에 배치되는, 비 일시적 기계 판독 가능 매체.
  13. 제10항에 있어서,
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계는, 상기 행동 유도 음향 패턴을 소정의 행동 리스트를 표시하는 소정의 음향 패턴 리스트와 매칭하는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  14. 제10항에 있어서,
    반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계는, 상기 음성신호에 기반하여 파워 스펙트럼을 추출하는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  15. 제14항에 있어서,
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계는, 상기 파워 스펙트럼을 특정 행동과 관련되는 소정의 파워 스펙트럼과 비교하는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  16. 제10항에 있어서,
    상기 조작은, 상기 운전자 또는 상기 승객의 행동의 위험수준을 결정하는 단계, 및 상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계를 더 포함하는, 비 일시적 기계 판독 가능 매체.
  17. 제16항에 있어서,
    상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계는, 상기 행동이 상기 운전자의 행동인 경우, 상기 위험수준이 소정의 위험 임계값보다 높은 것에 응답하여, 경보를 생성함과 동시에 자율 주행 모드를 작동시켜 속도를 줄여 길옆에 정지시키는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  18. 제16항에 있어서,
    상기 운전자 또는 상기 승객의 행동의 위험수준에 기반하여 상기 경보를 생성하는 단계는, 상기 행동이 상기 승객의 행동이며 또한 상기 차량이 자율 주행 모드에 있는 경우, 상기 차량의 속도를 줄이거나 또는 상기 자율 주행 모드의 컴포트 모드로 전환하는 단계를 포함하는, 비 일시적 기계 판독 가능 매체.
  19. 프로세서와,
    명령어를 저장하기 위해 상기 프로세서에 연결되고, 상기 프로세서에 의해 상기 명령어가 실행될 경우, 상기 프로세서에 조작을 실행하도록 하는 메모리를 구비하는 데이터 처리 시스템에 있어서,
    상기 조작은,
    차량 내에 배치된 하나 또는 복수의 스피커를 사용하여 비가청 음성신호인 음성신호를 생성하는 단계;
    상기 차량 내에 배치된 하나 또는 복수의 마이크에 의해 상기 차량의 운전자 또는 승객에서 반사된 음성신호를 수신하는 단계;
    상기 하나 또는 복수의 마이크에 의해 수신된 반사된 음성신호에 기반하여 행동 유도 음향 패턴을 검출하는 단계;
    상기 행동 유도 음향 패턴을 분석하여 상기 차량의 운전자 또는 승객의 행동을 결정하는 단계; 및
    하나 또는 복수의 규칙의 세트에 기반하여, 상기 차량의 운전자 또는 승객의 행동에 따라 경보를 생성하는 단계를 포함하는, 데이터 처리 시스템.
  20. 제19항에 있어서,
    상기 음성신호가 초음파 신호를 포함하는, 데이터 처리 시스템.
  21. 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하도록 하는 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220005533A 2021-01-14 2022-01-13 운전자 및 승객용 차량탑재 음향 모니터링 시스템 KR20220013581A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/149,585 2021-01-14
US17/149,585 US11897331B2 (en) 2021-01-14 2021-01-14 In-vehicle acoustic monitoring system for driver and passenger

Publications (1)

Publication Number Publication Date
KR20220013581A true KR20220013581A (ko) 2022-02-04

Family

ID=78822499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220005533A KR20220013581A (ko) 2021-01-14 2022-01-13 운전자 및 승객용 차량탑재 음향 모니터링 시스템

Country Status (5)

Country Link
US (1) US11897331B2 (ko)
EP (1) EP3957535A3 (ko)
JP (1) JP7311648B2 (ko)
KR (1) KR20220013581A (ko)
CN (1) CN113799785A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114390254B (zh) * 2022-01-14 2024-04-19 中国第一汽车股份有限公司 一种后排驾驶舱监控方法、装置及车辆
EP4357739A1 (en) * 2022-10-21 2024-04-24 Valeo Telematik Und Akustik GmbH Method and a system for evaluating an emergency situation in a vehicle
CN115440221B (zh) * 2022-11-09 2023-03-24 佛山市天地行科技有限公司 一种基于云计算的车载智能语音交互方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080065291A1 (en) * 2002-11-04 2008-03-13 Automotive Technologies International, Inc. Gesture-Based Control of Vehicular Components
US8907929B2 (en) 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
EP3478557A4 (en) * 2016-07-01 2020-03-11 Eyesight Mobile Technologies Ltd. DRIVER MONITORING SYSTEM AND METHOD
US10349032B2 (en) * 2016-09-30 2019-07-09 Veoneer Us, Inc. Vehicle occupant head positioning system
US11065958B2 (en) * 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
US10891502B1 (en) * 2017-01-19 2021-01-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for alleviating driver distractions
EP3392670B1 (en) * 2017-04-20 2024-06-19 Polestar Performance AB A method and system for spatial modelling of an interior of a vehicle
EP3499941B1 (de) * 2017-12-15 2021-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur domänen-übergreifenden analyse von funksystemen
KR102649497B1 (ko) * 2017-12-22 2024-03-20 레스메드 센서 테크놀로지스 리미티드 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법
US11971714B2 (en) * 2018-02-19 2024-04-30 Martin Tremblay Systems and methods for autonomous vehicles
DE102019004822A1 (de) * 2019-07-10 2020-01-23 Daimler Ag Vorrichtung zur Durchführung einer Fahrzeugfunktion und zughöriges Verfahren
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications

Also Published As

Publication number Publication date
EP3957535A3 (en) 2022-06-08
US11897331B2 (en) 2024-02-13
JP7311648B2 (ja) 2023-07-19
CN113799785A (zh) 2021-12-17
JP2022058611A (ja) 2022-04-12
US20220219532A1 (en) 2022-07-14
EP3957535A2 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
US10210756B2 (en) Emergency vehicle alert system
JP7311648B2 (ja) 運転者及び乗客用の車載音響監視システム
CN112793584B (zh) 紧急车辆音频检测
KR102607029B1 (ko) 긴급 차량의 오디오 및 시각적 검출의 사후 융합
US12043263B2 (en) Audio-based technique to sense and detect the road condition for autonomous driving vehicles
JP2023517105A (ja) 点群の特徴に基づく障害物濾過システム
KR20220058492A (ko) 긴급 차량 오디오 및 시각적 감지를 융합한 기계 학습 모델
CN111002998A (zh) 状态提示方法、装置、自动驾驶车辆及存储介质
CN113366440A (zh) 具有致动延时的动态模型
KR102597917B1 (ko) 자율 주행 차량을 위한 음원 검출 및 위치 측정
CN111052193A (zh) 用于运输货物的自动驾驶车辆的防盗技术
CN113548043B (zh) 用于自主车辆的安全操作员的碰撞告警系统和方法
US11835629B2 (en) Neighbor-based point cloud filter system
CN111028531B (zh) 提示方法、装置、自动驾驶车辆及存储介质
CN113834636A (zh) 用于自动驾驶车辆的脏单目摄像机检测方法
CN113002534A (zh) 碰撞后减损制动系统
CN113492848B (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
US20240218911A1 (en) Brake pad wear detection and warning for autonomous driving vehicles

Legal Events

Date Code Title Description
WITB Written withdrawal of application