KR20220000654A - 차량 및 그 제어방법 - Google Patents

차량 및 그 제어방법 Download PDF

Info

Publication number
KR20220000654A
KR20220000654A KR1020200078535A KR20200078535A KR20220000654A KR 20220000654 A KR20220000654 A KR 20220000654A KR 1020200078535 A KR1020200078535 A KR 1020200078535A KR 20200078535 A KR20200078535 A KR 20200078535A KR 20220000654 A KR20220000654 A KR 20220000654A
Authority
KR
South Korea
Prior art keywords
driver
sound
vehicle
biosignal
input data
Prior art date
Application number
KR1020200078535A
Other languages
English (en)
Inventor
장경진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200078535A priority Critical patent/KR20220000654A/ko
Priority to US17/082,649 priority patent/US11450209B2/en
Priority to CN202011254205.4A priority patent/CN113850106A/zh
Publication of KR20220000654A publication Critical patent/KR20220000654A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

일률적인 주행 사운드를 출력하는 것이 아니라 운전자의 선호도에 기초하여 생성된 주행 사운드를 출력함으로써 사용자의 요구를 만족시킬 수 있는 차량은, 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 센서부; 운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스; 스피커; 및 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 운전자 정보를 산출하고, 상기 산출된 운전자 정보에 기초하여 상기 데이터 베이스에 저장된 복수의 음원들 중 어느 하나의 음원을 선택하고, 상기 선택된 음원에 기초하여 주행 사운드를 생성하고, 상기 스피커를 제어하여 상기 생성된 주행 사운드를 출력하는 제어부;를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}
본 발명은 운전자의 감정, 성별 및 연령에 기초하여 음원을 선택하고, 선택된 음원을 합성하여 주행 사운드를 출력하는 차량 및 그 제어방법에 관한 것이다.
현대 사회에서 자동차는 사람들이 가장 많이 이용하는 이동 수단으로서, 그 수는 점점 증가하고 있다. 과거에는 자동차는 단순히 이동 수단 이상의 의미는 존재하지 않았으나 현대사회에 들어와서는 자동차는 단순히 이동 수단을 넘어 자신을 표현하거나 드라이브를 즐기는 수단으로 많이 이용되어지고 있다.
이에 따라, 모터바이크나 경주용 자동차처럼 스피드를 즐기는 사람들이 많아지고 있는데 이러한 스피드를 즐기는 사람들은 단순한 자동차의 속도에서 나오는 속도감 뿐만 아니라 차량의 엔진에서 발생되는 작동음과 진동음으로부터도 많은 흥분을 느낀다. 이에 일부 운전자들은 자신이 원하는 주행 사운드를 얻기 위해 엔진을 개조하여 사용하기도 한다.
특히, 전기 차량의 경우 차량의 엔진에서 발생되는 작동음과 진동음이 부재하기 때문에, 스피커를 통해 인위적으로 생성된 주행 사운드를 출력하기도 한다.
다만, 차량에 제공되는 주행 사운드는 제조사가 미리 설계한 주행 사운드이기 때문에 운전자의 수요를 만족시키기 어렵다.
운전자의 감정, 성별 및 연령 별 선호도에 따라 음원을 선택하여 주행 사운드를 출력하는 차량 및 그 제어방법을 제공한다.
일 실시예에 따른 차량은, 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 센서부; 운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스; 스피커; 및 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여운전자 정보를 산출하고, 상기 산출된 운전자 정보에 기초하여 상기 데이터 베이스에 저장된 복수의 음원들 중 어느 하나의 음원을 선택하고, 상기 선택된 음원에 기초하여 주행 사운드를 생성하고, 상기 스피커를 제어하여 상기 생성된 주행 사운드를 출력하는 제어부;를 포함할 수 있다.
또한, 상기 운전자 정보는, 상기 운전자의 감정 상태 별 스코어, 성별 및 연령을 포함할 수 있다.
또한, 상기 센서부는, 상기 운전자의 안면 영상을 획득하는 카메라, 상기 운전자의 음성 신호를 획득하는 마이크 및 상기 운전자의 생체 신호를 획득하는 생체 신호 센서 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 운전자의 안면 영상을 미리 학습된 R-CNN(Region Based Convolutional Neural Networks)의 입력 데이터로 이용하여 상기 운전자 정보를 산출할 수 있다.
또한, 상기 제어부는, 상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출할 수 있다.
또한, 상기 제어부는, 상기 운전자의 안면 영상에 기초하여 상기 운전자의 입의 개구량(開口量)을 결정하고, 상기 운전자의 개구량이 미리 설정된 값 이상인 경우에만 상기 운전자의 음성 신호를 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용할 수 있다.
또한, 상기 제어부는, 상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출할 수 있다.
또한, 상기 차량은, 제1 주파수 대역의 신호를 통과시키는 제1 밴드패스 필터; 및 제2 주파수 대역의 신호를 통과시키는 제2 밴드패스 필터;를 포함하고, 상기 제어부는, 상기 제1 밴드패스 필터를 통과한 상기 운전자의 생체 신호와 상기 제2 밴드패스 필터를 통과한 상기 운전자의 생체 신호 각각을 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용할 수 있다.
또한, 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 복수의 목표 엔진음 차수를 결정하고, 상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성할 수 있다.
또한, 상기 제어부는, 상기 산출된 운전자 정보에 기초하여 상기 복수의 목표 엔진음 차수 중 일부의 목표 엔진음 차수를 선택하고, 상기 선택된 음원과 상기 선택된 일부의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성할 수 있다.
또한, 상기 제어부는, 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 상기 주행 사운드의 음량을 결정할 수 있다.
일 실시예에 따른 차량의 제어방법은, 운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스를 포함하는 차량의 제어방법에 있어서, 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 단계; 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 운전자 정보를 산출하는 단계; 상기 산출된 운전자 정보에 기초하여 상기 데이터 베이스에 저장된 복수의 음원들 중 어느 하나의 음원을 선택하는 단계; 상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계; 및 스피커를 제어하여 상기 생성된 주행 사운드를 출력하는 단계;를 포함할 수 있다.
또한, 상기 운전자 정보는, 상기 운전자의 감정 상태 별 스코어, 성별 및 연령을 포함할 수 있다.
또한, 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 단계는, 상기 운전자의 안면 영상을 획득하는 카메라, 상기 운전자의 음성 신호를 획득하는 마이크 및 상기 운전자의 생체 신호를 획득하는 생체 신호 센서 중 적어도 하나에 의해 수행될 수 있다.
또한, 상기 운전자 정보를 산출하는 단계는, 상기 운전자의 안면 영상을 미리 학습된 R-CNN(Region Based Convolutional Neural Networks)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함할 수 있다.
또한, 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 상기 운전자 정보를 산출하는 단계는, 상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함할 수 있다.
또한, 상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계는, 상기 운전자의 안면 영상에 기초하여 상기 운전자의 입의 개구량(開口量)을 결정하는 단계; 및 상기 운전자의 개구량이 미리 설정된 값 이상인 경우에만 상기 운전자의 음성 신호를 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 단계;를 포함할 수 있다.
또한, 상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 상기 운전자 정보를 산출하는 단계는, 상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함할 수 있다.
또한, 상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계는, 제1 주파수 대역의 신호를 통과시키는 제1 밴드패스 필터를 통과한 상기 운전자의 생체 신호와 제2 주파수 대역의 신호를 통과시키는 제2 밴드패스 필터를 통과한 상기 운전자의 생체 신호 각각을 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 단계;를 포함할 수 있다.
또한, 상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계는, 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 복수의 목표 엔진음 차수를 결정하는 단계; 및 상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계;를 포함할 수 있다.
또한, 상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계는, 상기 산출된 운전자 정보에 기초하여 상기 복수의 목표 엔진음 차수 중 일부의 목표 엔진음 차수를 선택하는 단계; 및 상기 선택된 음원과 상기 선택된 일부의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계;를 포함할 수 있다.
또한, 상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계는, 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 상기 주행 사운드의 음량을 결정하는 단계;를 포함할 수 있다.
개시된 발명의 일 실시예에 따른 차량 및 그 제어방법에 따르면, 일률적인 주행 사운드를 출력하는 것이 아니라 운전자의 선호도에 기초하여 생성된 주행 사운드를 출력함으로써 사용자의 요구를 만족시킬 수 있다.
도 1은 일 실시예에 따른 차량의 내부를 도시한 도면이다.
도 2는 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 일 실시예에 따른 차량의 제어 순서도이다.
도 4는 인공지능 알고리즘의 입력 데이터와 출력 데이터를 나타낸 도면이다.
도 5는 일 실시예에 따른 차량이 주행 사운드를 생성하는 과정을 도시한 도면이다.
도 6은 일 실시예에 따른 차량의 데이터 베이스를 구축하기 위한 과정을 나타낸 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA(Field-Programmable Gate Array) / ASIC(Application Specific Integrated Circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하에서는 첨부된 도면을 참조하여 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량의 내부를 도시한 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량은 차량의 내부를 향하는 촬영 영역을 갖는 카메라(111)와, 차량 내부에서 발설되는 음성 신호를 획득하는 마이크(112)와, 스티어링 휠에 부착되어 운전자의 생체 신호를 획득하는 생체 신호 센서(113)와, 차량 내부에 각종 사운드를 출력하는 스피커(140)를 포함할 수 있다.
카메라(111)는 운전석 상측에 마련될 수 있으나, 운전자의 안면 영상을 획득할 수 있는 위치라면 제한 없이 마련될 수 있다.
마이크(112) 또한 운전석 상측에 마련될 수 있으나, 운전자의 음성 신호를 획득할 수 있는 위치라면 제한 없이 마련될 수 있다.
생체 신호 센서(113)는 차량 내의 다양한 위치에 마련될 수 있다. 예를 들어, 생체 신호 센서(113)는 시트, 안전벨트, 스티어링 휠 및 도어에 마련되는 손잡이 등에 마련될 수 있다.
일 예로, 생체 신호 센서(113)는 스티어링 휠에 마련되어 운전자의 손으로부터 심전도 신호를 감지하는 심선도 센서를 포함할 수 있으나 이에 한정되는 것은 아니다.
예를 들어, 생체 신호 센서(113)는 차량의 운전석에 설치되어 운전자의 체온을 감지하는 체온 센서, 운전자의 웨어러블 디바이스로부터 생체 신호를 획득하는 수신 장치를 포함할 수 있다.
생체 신호의 일 예로서, 근전도 신호, 심전도 신호, 뇌전도 신호, 안전도 신호 등이 있다.
스피커(140)는 차량의 양쪽 도어에 마련될 수 있으나, 차량 내부의 운전자가 출력되는 사운드를 청취할 수 있는 위치라면 제한 없이 마련될 수 있다.
도 2는 일 실시예에 따른 차량의 제어블록도이다.
도 2를 참조하면, 일 실시예에 따른 차량은 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 센서부(110)와, 감정 상태 별 스코어, 성별 및 연령 등의 운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스(120)와, 데이터 베이스(120)로부터 음원을 선택하고 음원에 기초하여 주행 사운드를 생성하고 스피커(140)를 제어하는 제어부(130)와, 제어부(130)의 제어에 따라 주행 사운드를 출력하는 스피커(140)를 포함할 수 있다.
일 실시예에 따른 센서부(110)는, 운전자의 안면 영상을 획득하는 카메라(111)와, 운전자의 음성 신호를 획득하는 마이크(112)와, 운전자의 생체 신호를 획득하는 생체 신호 센서(113)를 포함할 수 있다.
카메라(111)는 운전자의 안면을 촬영함으로써 안면 영상을 획득하고 획득된 안면 영상을 제어부(130)로 전달할 수 있으며, 마이크(112)는 운전자의 음성 신호를 수신하여 증폭, 잡음 제거 등의 처리를 수행하고 운전자의 음성 신호를 제어부(130)로 전달할 수 있으며, 생체 신호 센서(113)는 운전자의 생체 신호를 수신하여 증폭, 잡음 제거 등의 처리를 수행하고, 운전자의 생체 신호를 제어부(130)로 전달할 수 있다.
일 실시예에 따른 데이터 베이스(120)는, 감정 상태 별 스코어, 성별 및 연령 등의 운전자 정보에 따라 분류된 복수의 음원들을 저장할 수 있다.
예를 들어, 데이터 베이스(120)는 기쁨 상태로 분류된 복수의 음원들을 저장할 수 있으며, 기쁨 상태로 분류된 복수의 음원들은 기쁨 상태의 스코어에 따라 기쁨 상태의 카테고리 내에서 다시 한번 구별될 수 있다. 또한, 데이터 베이스(120)는 성별에 따라 분류된 복수의 음원을 저장할 수 있으며, 연령에 따라 분류된 복수의 음원들을 저장할 수 있다.
이를 위한 데이터 베이스(120)는 각종 정보를 저장하기 위해 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(Hard Disk Drive, HDD), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나, 이에 한정되지는 않는다. 데이터 베이스(120)는 별개의 칩으로 구현된 메모리일 수 있고, 제어부(130)에 대응하는 프로세서(131)와 단일 칩으로 구현될 수도 있다.
구체적으로, 데이터 베이스(120)에는 운전자의 기쁨 상태의 스코어가 75이고, 성별이 남자이고, 연령이 30세인 경우에 대응되는 음원이 저장되어 있을 수 있다.
일 실시예에 따른 제어부(130)는 센서부(110)로부터 수신한 데이터에 기초하여 운전자 정보를 산출할 수 있다. 예를 들어, 제어부(130)는 센서부(110)로부터 수신한 데이터에 기초하여 운전자의 감정 상태 별 스코어, 성별, 및 연령을 판단할 수 있으며, 데이터 베이스(120)로부터 운전자의 감정 상태 별 스코어, 성별 및 연령에 대응되는 음원을 선택하고, 선택된 음원을 합성하여 주행 사운드를 생성할 수 있다.
이를 위한 제어부(130)는, 운전자의 감정 상태 별 스코어, 성별 및 연령 등을 포함하는 운전자 정보를 산출하기 위한 프로그램과, 주행 사운드를 생성하기 위한 프로그램과, 스피커(140)를 제어하기 위한 프로그램 등의 다양한 프로그램을 저장하고 있는 적어도 하나의 메모리(132)와, 적어도 하나의 메모리(132)에 저장된 프로그램을 실행할 수 있는 적어도 하나의 프로세서(131)를 포함할 수 있다.
메모리(132)에 저장된 운전자의 감정 상태 별 스코어, 성별 및 연령을 판단하기 위한 프로그램은, CNN(Convolutional Neural Networks) 알고리즘, GAN(Generative Adversarial Networks) 알고리즘, RNN(Recurrent Neural Networks) 알고리즘, RNN 알고리즘의 일종인 LSTM(Long Short-Term Memory) 알고리즘, R-CNN(Region Based Convolutional Neural Networks) 알고리즘 등의 인공지능 알고리즘(인공 신경망 모델)을 포함할 수 있다.
일 실시예에 따른 스피커(140)는, 제어부(130)로부터 전달 받은 제어 신호(전기 신호)를 주행 사운드로 출력할 수 있다. 이를 위한 스피커(140)는, 보이스 코일, 보이스 코일에 전류를 공급되는 전류의 크기를 조절하여 출력 사운드의 음량을 조절하는 앰프 등의 구성 요소를 포함할 수 있다.
이상으로 일 실시예에 따른 차량의 각종 구성 요소를 상세하게 설명하였다. 상술한 차량의 각종 구성 요소는 통상의 기술 범위 수준에서 자유롭게 변경될 수 있음은 물론이다. 이하에서는 상술한 차량의 각종 구성 요소를 이용한 차량의 제어방법을 상세하게 설명한다.
도 3은 일 실시예에 따른 차량의 제어 순서도이고, 도 4는 인공지능 알고리즘의 입력 데이터와 출력 데이터를 나타낸 도면이고, 도 5는 일 실시예에 따른 차량이 주행 사운드를 생성하는 과정을 도시한 도면이다.
도 3을 참조하면, 일 실시예에 따른 카메라(111)는 운전자의 안면 영상을 획득할 수 있으며, 제어부(130)는 카메라(111)로부터 운전자의 안면 영상을 수신할 수 있다(1000).
이후 제어부(130)는 운전자의 안면 영상을 미리 학습된 R-CNN에 입력할 수 있다(1010). 미리 학습된 R-CNN은 운전자의 안면 영상을 입력 데이터로 하여 운전자의 눈 영역을 분리하고, 입 영역을 분리하고, 눈 영역과 입 영역을 제외한 기타 영역을 분리한 후 각 영역에 대한 CNN 회귀 분석을 수행할 수 있다.
이후 R-CNN은 눈 영역에 대한 감정 상태 별 스코어, 입 영역에 대한 감정 상태 별 스코어, 기타 영역에 대한 감정 상태 별 스코어를 각각 산출한 후, 이를 종합하여 운전자의 감정 상태 별 스코어를 판단할 수 있다(1020).
또한, R-CNN은 운전자의 안면 전체에 대하여 CNN 분석을 수행하여 운전자의 성별 및 연령을 판단할 수 있다(1030).
위와 같이 제어부(130)는 운전자의 안면 영상을 R-CNN의 입력 데이터로 이용하여 운전자의 감정 상태 별 스코어, 성별 및 연령을 판단할 수 있다.
일 실시예에 따른 마이크(112)는 운전자의 음성 신호를 획득할 수 있으며, 제어부(130)는 운전자의 음성 신호를 수신할 수 있다(1100).
이후 제어부(130)는 운전자의 음성 신호를 LSTM에 입력할 수 있다(1110).
이 때, 제어부(130)는 카메라(111)로부터 획득한 운전자의 안면 영상에 기초하여 운전자의 입의 개구량(開口量)을 결정하고, 운전자의 개구량이 미리 설정된 값 이상인 경우에만 운전자의 음성 신호를 LSTM에 입력할 수 있다. 미리 설정된 값은 운전자의 발설이 합리적으로 추정될 수 있는 개구량으로 미리 설정될 수 있다.
위와 같이, 운전자의 개구량이 미리 설정된 값 이상인 경우에만 운전자의 음성 신호를 LSTM에 입력함으로써, 잡음 신호와 같은 무의미한 신호를 효과적으로 필터링할 수 있다.
미리 학습된 LSTM은 운전자의 음성 신호에 기초하여 감탄사에 대응되는 음성과 감탄사에 대응되지 않는 기타 음성을 분류할 수 있다.
이후 LSTM은 감탄사에 대응되는 음성과 기타 음성 각각에 기초하여 감정 상태 별 스코어를 판단한 후 이를 종합하여 운전자의 감정 상태 별 스코어를 판단할 수 있다(1120).
구체적으로, LSTM은 감탄사를 감정 별로 분류하여 감정 별 감탄사 개수를 기초로 감정 상태 별 스코어를 판단할 수 있다. 예를 들어, '와우', '대박' 등은 기쁨으로 분류하고, '어머나', '에구', '하' 등은 슬픔으로 분류하고, '헐', '진짜?' 등은 기쁨과 슬픔을 50%로 하여 다른 예측을 보완하는 방식으로 감정 상태 별 스코어를 판단할 수 있다.
또한, LSTM은 기타 음성의 톤, 발음, 발화 속도 등을 분석하여 감정 상태 별 스코어를 판단하고 이를 종합하여 운전자의 감정 상태 별 스코어를 판단할 수 있다. 예를 들어, 음성의 톤이 높거나 발화 속도가 빠른 경우 '기쁨'에 대한 감정 상태 스코어를 높게 판단할 수 있다.
LSTM은 분류되지 않은 운전자의 음성 신호에 기초하여 운전자의 성별 및 연령을 판단할 수 있다(1130).
위와 같이 제어부(130)는 운전자의 음성 신호를 LSTM의 입력 데이터로 이용하여 운전자의 감정 상태 별 스코어, 성별 및 연령을 판단할 수 있다.
일 실시예에 따른 생체 신호 센서(113)는 운전자의 생체 신호를 획득할 수 있으며, 제어부(130)는 운전자의 생체 신호를 수신할 수 있다(1200).
노이즈를 제거하고 의미 있는 생체 신호를 활용하기 위해, 생체 신호는 제1 주파수 대역의 신호를 통과시키는 제1 밴드패스 필터와, 제2 주파수 대역의 신호를 통과시키는 제2 밴드패스 필터에 의해 필터링 될 수 있다. 이 때, 제1 주파수 대역은 저주파 영역이고, 제2 주파수 대역은 고주파 영역일 수 있다.
위와 같이 제1 밴드패스 필터와 제2 밴드패스 필터는 생체 신호를 주파수 대역 별로 분리할 수 있다(1210).
제어부(130)는 주파수 대역 별 생체 신호를 LSTM에 입력할 수 있다(1220). 구체적으로, 제어부(130)는 제1 밴드패스 필터를 통과한 운전자의 생체 신호와 제2 밴드패스 필터를 통과한 운전자의 생체 신호 각각을 LSTM의 입력 데이터로 이용할 수 있다.
이후 LSTM은 제1 주파수 대역과 제2 주파수 대역 각각에서 운전자의 생체 신호를 회귀 분석하여 각 주파수 대역에 따른 감정 상태 별 스코어를 판단하고, 각 주파수 대역에 따른 감정 상태 별 스코어에 기초하여 운전자의 감정 상태 별 스코어를 판단할 수 있다(1230).
또한, LSTM은 운전자의 생체 신호를 분석하여 운전자의 성별 및 연령을 판단할 수 있다(1240). 예를 들어, LSTM은 성별/연령 별 맥박 정상 수치를 기준으로 하여 운전자의 성별 및 연령을 판단할 수 있다.
위와 같이 제어부(130)는 운전자의 안면 영상, 음성 신호 및 생체 신호에 기초하여 판단된 운전자의 감정 상태 중에서 스코어가 가장 높은 감정 상태, 가장 높은 스코어, 운전자의 성별 및 운전자의 연령을 판단할 수 있다.
예를 들어, 도 4를 참조하면, 제어부(130)는 운전자의 감정 상태 별 스코어를, '기쁨' 상태에 대하여 76.5점, '행복' 상태에 대하여 21.5점, '놀람' 상태에 대하여 1.5점으로 판단할 수 있다. 또한, 제어부(130)는 운전자의 성별을 여자로, 연령을 26세로 판단할 수 있다.
이후 제어부(130)는 운전자의 안면 영상, 음성 신호 및 생체 신호에 기초하여 판단된 운전자의 감정 상태 중에서 스코어가 가장 높은 감정 상태, 가장 높은 스코어, 운전자의 성별 및 운전자의 연령에 기초하여 데이터 베이스(120)에 저장된 복수의 음원들 중 어느 하나의 음원을 선택할 수 있다(1300).
구체적으로, 도 5를 참조하면, 제어부(130)는 운전자의 감정 상태 중에서 스코어가 가장 높은 감정 상태인 '기쁨' 상태를 운전자의 대표 감정으로 판단할 수 있고, '기쁨' 상태로 분류된 복수의 음원들(121a, 121b, 21c, 121d) 중에서 76.5점의 '기쁨' 상태에 대응되는 음원(121c)을 선택할 수 있다.
제어부(130)는 선택된 음원에 기초하여 주행 사운드를 생성할 수 있다(1400).
구체적으로, 도 5에 도시된 바와 같이, 제어부(130)는 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 복수의 목표 엔진음 차수를 결정하고, 선택된 음원(121c)과 복수의 목표 엔진음 차수에 기초하여 주행 사운드를 합성할 수 있다.
전기 차량의 경우 엔진을 갖고 있지 않으므로, 엔진 RPM에 기초하여 목표 엔진음 차수를 선택할 수가 없다. 따라서, 제어부(130)는 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 엔진이 있는 차량이라고 가정하였을 때의 RPM을 추정하고, 엔진 RPM에 기초하여 복수의 목표 엔진음 차수를 결정할 수 있다.
즉, 데이터 베이스(120) 또는 메모리(132)는 차량의 특정 출력 토크, 특정 속도 및 특정 가속도 페달 답력과 목표 엔진음 차수 사이의 관계를 나타내는 룩업 테이블을 저장할 수 있으며, 제어부(130)는 데이터 베이스(120) 또는 메모리(132)에 저장된 룩업 테이블에 기초하여 복수의 목표 엔진음 차수를 결정할 수 있다.
제어부(130)는 운전자의 감정 상태 중에서 스코어가 가장 높은 감정 상태, 가장 높은 스코어, 운전자의 성별 및 운전자의 연령에 기초하여, 룩업 테이블에 따라 결정된 목표 엔진음 차수들 중에서 일부의 목표 엔진음 차수를 선택할 수 있다.
예를 들어, 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 결정된 목표 엔진음 차수가 1차, 2차, 6차, 7차인 경우에도 운전자의 감정 상태, 연령 및 성별을 고려하여 목표 엔진음 차수로서 6차와 7차만을 선택할 수 있다.
일 예로, 운전자의 감정 상태가 슬픔 상태인 경우, 운전자의 성별이 여자인 경우는 고주파의 주행 사운드을 생성하기 위해 목표 엔진음 차수로서 높은 차수만을 선택할 수 있다.
위와 같이, 제어부(130)는 데이터 베이스(120)에서 선택된 음원과 선택된 목표 엔진음 차수를 갖는 신호를 합성하여 주행 사운드를 생성할 수 있다.
합성에 사용되는 목표 엔진음 차수를 갖는 신호는 메모리(132) 또는 데이터 베이스(120)에 저장되어 있을 수 있다.
이후 제어부(130)는 스피커(140)를 제어하여 최종적으로 생성된 주행 사운드를 출력할 수 있다. 이 때, 제어부(130)는 차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 상기 주행 사운드의 음량을 결정할 수 있으며, 이에 따라 스피커(140)의 음량을 제어할 수 있다.
예를 들어, 제어부(130)는 차량의 출력 토크, 속도 및 가속도 페달 답력이 클수록 주행 사운드의 음량을 크게 결정할 수 있다.
상술하여 설명한 일 실시예에 따른 차량 및 차량의 제어방법에 의하면, 차량 내에서 늘 동일한 주행 사운드가 아니라 운전자의 감정, 연령 및 성별에 따른 선호도를 자동으로 반영한 다양한 주행 사운드를 제공할 수 있다.
이에 따라, 운전자에게 주행의 즐거움을 줌으로써 차량의 상품성을 높일 수 있으며, 특히, 공유차와 같은 미래 모빌리티 분야에서 다양한 운전자에 맞추어 다양한 주행 사운드를 제공할 수 있는 장점이 있다.
또한 일 실시예에 따른 차량 및 차량의 제어방법에 의하면, 사용자의 선호도에 기초하여 목표 엔진음 차수를 달리 결정함으로써 동일한 음원이 선택되었다고 하더라도 운전자의 선호도에 맞춘 주행 사운드가 제공될 수 있다.
한편, 데이터 베이스(120)에 저장된 복수의 음원들은 도 6에 도시된 프로세스에 따라 저장된 복수의 음원들일 수 있다.
도 6은 일 실시예에 따른 차량의 데이터 베이스(120)를 구축하기 위한 과정을 나타낸 순서도이다. 도 6을 참조하면, 다양한 주행 음원을 출력함으로써(2000) 복수의 평가자들이 주행 음원을 평가할 수 있다(2100).
평가자들은 주행 음원에 대한 선호도와 자신의 감정 상태, 성별 및 연령을 기록함으로써 주행 음원을 평가할 수 있으며, 운용자는 다양한 평가자들의 평가 내용을 취합하여 주행 음원을 감정 상태 별 선호도에 따라 분류할 수 있고(2200), 성별 별 선호도에 따라 분류할 수 있고(2300), 연령 별 선호도에 따라 분류할 수 있다(2400).
이후 운용자는 음원을 편집하고(2500) 음원과 감정 상태 별 선호도, 성별 별 선호도, 연령 별 선호도를 매칭시켜 데이터 베이스(120)에 저장할 수 있다(2600).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
110: 센서부 111: 카메라
112: 마이크 113: 생체 신호 센서
120: 데이터 베이스 130: 제어부
131: 프로세서 132: 메모리
140: 스피커

Claims (22)

  1. 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 센서부;
    운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스;
    스피커; 및
    상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 운전자 정보를 산출하고, 상기 산출된 운전자 정보에 기초하여 상기 데이터 베이스에 저장된 복수의 음원들 중 어느 하나의 음원을 선택하고, 상기 선택된 음원에 기초하여 주행 사운드를 생성하고, 상기 스피커를 제어하여 상기 생성된 주행 사운드를 출력하는 제어부;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 운전자 정보는 상기 운전자의 감정 상태 별 스코어, 성별 및 연령을 포함하는 차량.
  3. 제1항에 있어서,
    상기 센서부는,
    상기 운전자의 안면 영상을 획득하는 카메라, 상기 운전자의 음성 신호를 획득하는 마이크 및 상기 운전자의 생체 신호를 획득하는 생체 신호 센서 중 적어도 하나를 포함하는 차량.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 운전자의 안면 영상을 미리 학습된 R-CNN(Region Based Convolutional Neural Networks)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 차량.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 차량.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 운전자의 안면 영상에 기초하여 상기 운전자의 입의 개구량(開口量)을 결정하고, 상기 운전자의 개구량이 미리 설정된 값 이상인 경우에만 상기 운전자의 음성 신호를 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 차량.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 차량.
  8. 제7항에 있어서,
    제1 주파수 대역의 신호를 통과시키는 제1 밴드패스 필터; 및
    제2 주파수 대역의 신호를 통과시키는 제2 밴드패스 필터;를 포함하고,
    상기 제어부는,
    상기 제1 밴드패스 필터를 통과한 상기 운전자의 생체 신호와 상기 제2 밴드패스 필터를 통과한 상기 운전자의 생체 신호 각각을 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 차량.
  9. 제1항에 있어서,
    상기 제어부는,
    차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 복수의 목표 엔진음 차수를 결정하고,
    상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 차량.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 산출된 운전자 정보에 기초하여 상기 복수의 목표 엔진음 차수 중 일부의 목표 엔진음 차수를 선택하고,
    상기 선택된 음원과 상기 선택된 일부의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 차량.
  11. 제1항에 있어서,
    상기 제어부는,
    차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 상기 주행 사운드의 음량을 결정하는 차량.
  12. 운전자 정보에 따라 분류된 복수의 음원들을 저장하는 데이터 베이스를 포함하는 차량의 제어방법에 있어서,
    운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 단계;
    상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나에 기초하여 운전자 정보를 산출하는 단계;
    상기 산출된 운전자 정보에 기초하여 상기 데이터 베이스에 저장된 복수의 음원들 중 어느 하나의 음원을 선택하는 단계;
    상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계; 및
    스피커를 제어하여 상기 생성된 주행 사운드를 출력하는 단계;를 포함하는 차량의 제어방법.
  13. 제12항에 있어서,
    상기 운전자 정보는 상기 운전자의 감정 상태 별 스코어, 성별 및 연령을 포함하는 차량의 제어방법.
  14. 제12항에 있어서,
    상기 운전자의 안면 영상, 음성 신호 및 생체 신호 중 적어도 하나를 획득하는 단계는,
    상기 운전자의 안면 영상을 획득하는 카메라, 상기 운전자의 음성 신호를 획득하는 마이크 및 상기 운전자의 생체 신호를 획득하는 생체 신호 센서 중 적어도 하나에 의해 수행되는 차량의 제어방법.
  15. 제12항에 있어서,
    상기 운전자 정보를 산출하는 단계는,
    상기 운전자의 안면 영상을 미리 학습된 R-CNN(Region Based Convolutional Neural Networks)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함하는 차량의 제어방법.
  16. 제12항에 있어서,
    상기 운전자 정보를 산출하는 단계는,
    상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함하는 차량의 제어방법.
  17. 제16항에 있어서,
    상기 운전자의 음성 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계는,
    상기 운전자의 안면 영상에 기초하여 상기 운전자의 입의 개구량(開口量)을 결정하는 단계; 및
    상기 운전자의 개구량이 미리 설정된 값 이상인 경우에만 상기 운전자의 음성 신호를 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 단계;를 포함하는 차량의 제어방법.
  18. 제12항에 있어서,
    상기 운전자 정보를 산출하는 단계는,
    상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계;를 포함하는 차량의 제어방법.
  19. 제18항에 있어서,
    상기 운전자의 생체 신호를 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하여 상기 운전자 정보를 산출하는 단계는,
    제1 주파수 대역의 신호를 통과시키는 제1 밴드패스 필터를 통과한 상기 운전자의 생체 신호와 제2 주파수 대역의 신호를 통과시키는 제2 밴드패스 필터를 통과한 상기 운전자의 생체 신호 각각을 상기 LSTM(Long Short-Term Memory)의 입력 데이터로 이용하는 단계;를 포함하는 차량의 제어방법.
  20. 제12항에 있어서,
    상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계는,
    차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 복수의 목표 엔진음 차수를 결정하는 단계; 및
    상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계;를 포함하는 차량의 제어방법.
  21. 제20항에 있어서,
    상기 선택된 음원과 상기 복수의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계는,
    상기 산출된 운전자 정보에 기초하여 상기 복수의 목표 엔진음 차수 중 일부의 목표 엔진음 차수를 선택하는 단계; 및
    상기 선택된 음원과 상기 선택된 일부의 목표 엔진음 차수에 기초하여 상기 주행 사운드를 합성하는 단계;를 포함하는 차량의 제어방법.
  22. 제12항에 있어서,
    상기 선택된 음원에 기초하여 주행 사운드를 생성하는 단계는,
    차량의 출력 토크, 속도 및 가속도 페달 답력 중 적어도 하나에 기초하여 상기 주행 사운드의 음량을 결정하는 단계;를 포함하는 차량의 제어방법.
KR1020200078535A 2020-06-26 2020-06-26 차량 및 그 제어방법 KR20220000654A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200078535A KR20220000654A (ko) 2020-06-26 2020-06-26 차량 및 그 제어방법
US17/082,649 US11450209B2 (en) 2020-06-26 2020-10-28 Vehicle and method for controlling thereof
CN202011254205.4A CN113850106A (zh) 2020-06-26 2020-11-11 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200078535A KR20220000654A (ko) 2020-06-26 2020-06-26 차량 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20220000654A true KR20220000654A (ko) 2022-01-04

Family

ID=78972945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200078535A KR20220000654A (ko) 2020-06-26 2020-06-26 차량 및 그 제어방법

Country Status (3)

Country Link
US (1) US11450209B2 (ko)
KR (1) KR20220000654A (ko)
CN (1) CN113850106A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117657170B (zh) * 2024-02-02 2024-05-17 江西五十铃汽车有限公司 一种新能源汽车智能安全和整车控制方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10223873A1 (de) * 2002-05-29 2003-12-11 Daimler Chrysler Ag Vorrichtung zur Geräuschgestaltung bei einem Kraftfahrzeug
US20090066499A1 (en) * 2007-07-17 2009-03-12 Enhanced Vehicle Acoustics, Inc. External sound generating system and method
WO2011050274A1 (en) * 2009-10-23 2011-04-28 Harman International Industries, Incorporated System for simulated multi-gear vehicle sound generation
JP4992989B2 (ja) * 2010-02-02 2012-08-08 株式会社デンソー 擬似エンジン音発生装置
US9347557B2 (en) * 2013-02-14 2016-05-24 Ford Global Technologies, Llc Transmission gear shift indication adjustment
US9674608B2 (en) * 2014-10-01 2017-06-06 Hyundai Motor Company Vehicle, apparatus for generating driving sound of vehicle, and apparatus and method for controlling driving sound of vehicle
KR101631872B1 (ko) * 2014-11-21 2016-06-20 현대자동차주식회사 차량, 차량의 제어 방법 및 차량 주행 음 제어 장치
US9721551B2 (en) 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
CN105893460B (zh) 2016-03-22 2019-11-29 无锡五楼信息技术有限公司 一种基于人工智能技术的音乐自动创作方法及装置
KR101886534B1 (ko) 2016-12-16 2018-08-09 아주대학교산학협력단 인공지능을 이용한 작곡 시스템 및 작곡 방법
KR101982345B1 (ko) 2017-07-21 2019-05-24 주식회사 마인드셋 인공지능을 이용한 음악 생성 장치 및 방법
KR20190100543A (ko) 2018-02-09 2019-08-29 삼성전자주식회사 전자장치 및 이를 이용한 인공지능 알고리즘 기반의 음악 작곡 방법
CN110364140B (zh) 2019-06-11 2024-02-06 平安科技（深圳）有限公司 歌声合成模型的训练方法、装置、计算机设备以及存储介质
KR20190137727A (ko) 2019-10-08 2019-12-11 (주)오렌지디지트코리아 인공지능 뮤직박스 운용 시스템

Also Published As

Publication number Publication date
US11450209B2 (en) 2022-09-20
US20210407295A1 (en) 2021-12-30
CN113850106A (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
KR102355911B1 (ko) 커뮤니케이션 장치, 커뮤니케이션 로봇 및 컴퓨터가 판독 가능한 기록 매체
KR20200123503A (ko) 인공지능을 이용한 운전자 성향 기반의 차량 엔진음 제어장치 및 제어방법
JP6639444B2 (ja) 情報提供装置及び情報提供方法
JP2003162294A (ja) 感情検出方法及び感情検出装置
US20190366844A1 (en) Method, system, and vehicle for preventing drowsy driving
JP7192222B2 (ja) 発話システム
JP2009134496A (ja) 運転支援装置及び運転支援方法
JP2021146214A (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
CN113448433A (zh) 情绪响应型虚拟个人助理
JP2017211703A (ja) 運転評価装置および運転評価プログラム
JP2023055910A (ja) ロボット、対話システム、情報処理方法及びプログラム
KR20220000654A (ko) 차량 및 그 제어방법
JP2006193002A (ja) エンジン音色制御システム
JP7183782B2 (ja) 感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム
CN114446322A (zh) 情绪调整系统与情绪调整方法
CN110297617B (zh) 一种主动对话的发起方法和装置
US20220269474A1 (en) Vehicle and control method thereof
US20160373859A1 (en) Vehicle, apparatus for generating driving sound of vehicle, and apparatus and method for controlling driving sound of vehicle
WO2020039994A1 (ja) カーシェアリングシステム、運転制御調整装置、および車両の嗜好適合化方法
JP2021165948A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP7443908B2 (ja) 制御装置、情報処理システム、および制御方法
CN113808281B (zh) 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
JP6358071B2 (ja) 車両用対話制御装置
CN109640228B (zh) 一种数据处理方法及电子设备
JP2006069358A (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
A201 Request for examination