KR20180042971A - 차량 및 차량의 제어방법 - Google Patents

차량 및 차량의 제어방법 Download PDF

Info

Publication number
KR20180042971A
KR20180042971A KR1020160135631A KR20160135631A KR20180042971A KR 20180042971 A KR20180042971 A KR 20180042971A KR 1020160135631 A KR1020160135631 A KR 1020160135631A KR 20160135631 A KR20160135631 A KR 20160135631A KR 20180042971 A KR20180042971 A KR 20180042971A
Authority
KR
South Korea
Prior art keywords
sound
output
model
signal
warning sound
Prior art date
Application number
KR1020160135631A
Other languages
English (en)
Inventor
김태형
손병선
김길주
윤준영
나선채
변득규
송민규
Original Assignee
현대자동차주식회사
미디어젠(주)
현대다이모스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 미디어젠(주), 현대다이모스(주) filed Critical 현대자동차주식회사
Priority to KR1020160135631A priority Critical patent/KR20180042971A/ko
Priority to US15/381,989 priority patent/US20180108253A1/en
Publication of KR20180042971A publication Critical patent/KR20180042971A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90—Details or parts not otherwise provided for
    • B60N2002/981—Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량은 음향 신호를 수신하는 음향 수신부, 음향 신호의 경고음 모델을 추정하는 제어부, 및 경고음 모델에 대응하는 결과물을 출력하는 출력부를 포함하되, 제어부는 미리 저장된 하나 이상의 경고음 모델 중 음향 신호와 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정한다.

Description

차량 및 차량의 제어방법 {VEHICLE AND CONTROL METHOD THEREOF}
차량 주변의 경고음을 판단하는 차량 및 차량의 제어방법에 관한 것이다.
차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
최근 청각 장애인 또는 청력이 저하된 사람들의 차량 운전에 대한 필요성이 증가하고 있는데, 종래의 차량은 아직 이러한 청각 장애인들과 청력이 저하된 사람들(이하, 청각 장애를 가진 운전자라 함)을 요구를 적절히 반영하지 못하고 있다.
예를 들어, 청각 장애를 가진 운전자는 주변의 다른 차량에서 경적음이 울리는 경우에도 이를 알아차리지 못할 수 있는데, 이 경우 사고가 발생할 가능성이 높아진다.
따라서, 주변의 다른 차량 등에서 발생한 경적음, 또는 응급 차량의 사이렌 소리 등 운전자의 인식이 필요한 경고음을 정확히 판단하고, 판단된 경고음에 대하여 운전자가 적절히 인지하고 대응하도록 하는 차량의 필요성이 점차 증대되고 있다.
개시된 실시예는 차량이 수신한 음향 신호가 운전자의 인식이 필요한 경고음인지 여부를 판단하는 차량 및 차량의 제어방법을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 측면에 따른 차량은 음향 신호를 수신하는 음향 수신부; 음향 신호의 경고음 모델을 추정하는 제어부; 및 경고음 모델에 대응하는 결과물을 출력하는 출력부를 포함하되, 제어부는 미리 저장된 하나 이상의 경고음 모델 중 음향 신호와 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정한다.
제어부는 음향 신호의 송신 방향을 추정하고, 출력부는 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
음향 수신부는 복수개 마련되고, 제어부는 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 도달 시간차에 기초하여 음향 신호의 송신 방향을 추정하고, 출력부는 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
음향 수신부는 복수개 마련되고, 제어부는 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 상호상관함수를 이용하여 음향 신호의 음원 발생지에 대한 공간좌표를 판단하고, 공간좌표에 기초하여 음향 신호의 송신 방향을 추정하고, 출력부는 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
송신 방향은 차량의 전후방, 좌측 방향, 및 우측 방향 중 적어도 어느 하나를 포함할 수 있다.
경고음 모델은 다른 차량의 경적음 모델, 및 사이렌 모델 중 적어도 어느 하나를 포함할 수 있다.
차량은 하나 이상의 경고음 모델이 저장된 저장부를 더 포함하되, 제어부는 저장부에 저장된 하나 이상의 경고음 모델 중 음향 신호와 매칭되는 경고음 모델을 판단할 수 있다.
제어부는 미리 설정된 시간 구간 동안 수신한 음향 신호를 주파수 도메인으로 변환하고, 주파수 도메인으로 변환된 음향 신호의 주파수 대역을 분할하고, 각 주파수 대역에서 음향 신호의 에너지를 산출함으로써 음향 신호의 특징 벡터를 추출하고, 음향 신호의 특징 벡터와 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정할 수 있다.
제어부는 MFCC(Mel-frequency cepstrum coefficients) 방식을 이용하여 음향 신호의 특징 벡터를 추출할 수 있다.
제어부는 음향 신호를 가우시안 함수를 합하여 만들어진 모델로 변환하고, 가우시안 함수를 합하여 만들어진 음향 신호의 모델과 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정할 수 있다.
제어부는 GMM(Gaussian Mixture Model) 및 DNN(Deep Neural Network) 중 적어도 어느 하나를 이용하여 음향 신호와 매칭되는 경고음 모델을 판단할 수 있다.
제어부는 음향 신호의 크기를 판단하고, 출력부는 음향 신호의 크기, 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
제어부는 음향 신호의 크기가 증가하거나 미리 설정된 기준값 이상인 경우, 출력부가 출력하는 결과물의 크기 또는 출력 속도를 증가시키고, 음향 신호의 크기가 감소하거나 기준값 미만인 경우, 출력부가 출력하는 결과물의 크기 또는 출력 속도를 감소시킬 수 있다.
출력부는 좌측 출력부 및 우측 출력부를 포함하고, 제어부는 송신 방향이 차량의 좌측 방향으로 추정된 경우, 좌측 출력부가 결과물을 출력하도록 제어하고, 송신 방향이 차량의 우측 방향으로 추정된 경우, 우측 출력부가 결과물을 출력하도록 제어하고, 송신 방향이 차량의 전후방으로 추정된 경우, 좌측 출력부 및 우측 출력부가 결과물을 출력하도록 제어할 수 있다.
출력부는 송신 방향 및 경고음 모델에 대응하는 진동을 출력하는 진동 출력부를 포함할 수 있다.
차량의 제어방법은 음향 신호를 수신하는 단계; 음향 신호의 경고음 모델을 추정하는 단계; 및 경고음 모델에 대응하는 결과물을 출력하는 단계를 포함하되, 경고음 모델을 추정하는 단계는 미리 저장된 하나 이상의 경고음 모델 중 음향 신호와 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정하는 단계를 포함한다.
경고음 모델을 추정하는 단계는 음향 신호의 송신 방향을 추정하는 단계를 포함하고, 결과물을 출력하는 단계는 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
경고음 모델을 추정하는 단계는 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 도달 시간차에 기초하여 음향 신호의 송신 방향을 추정하는 단계를 포함하고, 결과물을 출력하는 단계는 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력할 수 있다.
차량의 제어방법은 결과물을 출력하는 단계 이전에 음향 신호의 크기를 판단하는 단계를 더 포함하되, 결과물을 출력하는 단계는 음향 신호의 크기에 대응하는 결과물을 출력하는 단계를 포함할 수 있다.
결과물을 출력하는 단계는 송신 방향이 차량의 좌측 방향으로 추정된 경우, 좌측 출력부가 결과물을 출력하도록 제어하고, 송신 방향이 차량의 우측 방향으로 추정된 경우, 우측 출력부가 결과물을 출력하도록 제어하고, 송신 방향이 차량의 전후방으로 추정된 경우, 좌측 출력부 및 우측 출력부가 결과물을 출력하도록 제어할 수 있다.
전술한 과제 해결 수단에 의하면, 차량에 음향 신호가 수신되는 경우, 차량이 잡음과 운전자의 인식이 필요한 경고음을 구분함으로써, 운전자가 인식이 필요한 경고음에 대해서만 인지할 수 있도록 한다.
도 1은 일 실시예에 따른 차량의 외관도이다.
도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 다른 차량으로부터 송신된 경적음의 송신 방향 및 크기를 추정하는 일 실시예에 따른 차량의 예시도이다.
도 5은 음향 신호의 특징 벡터를 추출하는 과정을 설명하기 위한 흐름도이다.
도 6은 수신한 음향 신호와 매칭되는 경고음 모델을 판단하는 과정을 설명하기 위한 개념도이다.
도 7은 일 실시예에 따른 차량의 진동 출력부의 출력 결과물에 대한 예시도이다.
도 8은 차량의 제어방법에 대한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 차량의 외관도이고, 도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량(100)의 외관은 차량(100)을 이동시키는 차륜(12,13), 차량(100) 내부를 외부로부터 차폐시키는 도어(15L), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(16), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(14L,14R)를 포함한다. 또한, 일 실시예에 따른 차량(100)은 차량(100) 주변의 음향 신호를 수신하는 마이크(85, 86)를 더 포함할 수 있다.
차륜(12,13)은 차량의 전방에 마련되는 전륜(12), 차량의 후방에 마련되는 후륜(13)을 포함하며, 차량(100) 내부에 마련되는 구동 장치(미도시)는 차량(100)이 전방 또는 후방으로 이동하도록 전륜(12) 또는 후륜(13)에 회전력을 제공한다. 이와 같은 구동 장치는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있다.
도어(15L,15R(도 2 참조))는 차량(100)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자 또는 동승자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다. 또한, 차량(100) 외부에는 도어(15L,15R(도 2 참조))를 개폐할 수 있는 손잡이(17L, 17R)가 마련될 수 있다.
전면 유리(16)는 본체의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(14L,14R)는 차량(100)의 좌측에 마련되는 좌측 사이드 미러(14L) 및 우측에 마련되는 우측 사이드 미러(14R)를 포함하며, 차량(100) 내부의 운전자가 차량(100)의 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
마이크(85, 86)는 차량(100)의 전방, 후방, 또는 측방으로부터 발생한 음향 신호를 수신한다. 도 1에서는 두 개의 마이크(85, 86)가 차량(100)의 후방에 마련된 것으로서 도시되었으나, 트렁크나 본체의 상단 등 다른 곳에 마련되는 것도 가능하고, 차량(100)은 하나의 마이크를 포함하는 것도 가능하다.
이외에도 차량(100)은 전방, 후방, 또는 측방의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서, 차량 외부 환경의 조도를 감지하는 조도 센서 등의 감지 장치를 포함할 수 있다.
근접 센서는 차량의 전방, 후방, 또는 측방에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(100) 전방, 후방, 또는 측방의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다.
도 2를 참조하면, 대시보드(29)의 중앙 영역에는 AVN(Audio Video Navigation) 디스플레이(71)와 AVN 입력부(61)가 마련될 수 있다. AVN 디스플레이(71)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, 뿐만 아니라 차량(100)과 관련된 각종 제어 화면 또는 부가기능과 관련된 화면을 표시할 수 있다. 예를 들어, AVN 디스플레이(71)는 차량(100)의 전방, 후방. 또는 측방의 도로 상황 또는 장애물 등을 영상으로 표시할 수 있다.
AVN 디스플레이(71)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
AVN 입력부(61)는 AVN 디스플레이(71)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, AVN 디스플레이(71)가 터치 스크린 타입으로 구현되는 경우에는 AVN 디스플레이(71)의 전면에 터치 패널 형태로 마련될 수도 있다.
또한, 운전석(18L)와 조수석(18R) 사이에 죠그 셔틀(jog shuttle) 타입의 센터 입력부(62)가 마련될 수도 있다. 운전자는 센터 입력부(62)를 돌리거나 가압하거나 상, 하, 좌 또는 우 방향으로 미는 방식으로 제어 명령을 입력할 수 있다.
운전석(18L) 쪽의 대시보드(29)에는 스티어링 휠(31)이 마련된다.
또한, 일 실시예에 따른 차량(100)은 운전석(18L)에 마련된 진동 출력부(41, 42)를 더 포함할 수 있다. 진동 출력부(41, 42)는 운전석(18L)의 양 옆에 복수개 마련되어 운전자가 운전석(18L)에 앉는 경우, 운전자가 좌측 및 우측 진동을 각각 느낄 수 있도록 운전자가 앉는 위치에 마련될 수 있다.
한편, 차량(100)에는 공조 장치가 구비되어 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(21)를 통해 배출하여 차량(100) 내부의 온도를 제어할 수 있다.
이하, 도 3을 참조하여 일 실시예에 따른 차량(100)의 세부 구성에 대해 설명한다. 도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 3을 참조하면, 차량(100)은 음향 신호를 수신하는 음향 수신부(110), 음향 신호의 송신 방향을 추정하고, 음향 신호의 경고음 모델을 추정하는 제어부(130), 음향 신호의 송신 방향 및 경고음 모델에 대응하는 결과물을 출력하는 출력부(120)를 포함하고, 하나 이상의 경고음 모델이 저장된 저장부(140)를 더 포함할 수 있다.
음향 수신부(110)는 차량(100) 주변에서 들리는 음향 신호를 수신한다. 여기서, 차량(100) 주변의 범위는 음향 수신부(110)의 성능에 따라 달라질 수 있다.
음향 신호는 주변의 다른 차량에서 발생한 경적음, 응급 차량의 사이렌 소리 등 운전자의 인식이 필요한 "경고음"과, 그 외 "잡음"을 포함한다.
음향 수신부(110)는 마이크 등으로 구현될 수 있고, 도 1과 관련하여 전술한 마이크(85, 86)로 구현될 수 있으나 그 형태가 도 1에 한정되지는 아니한다.
또한, 음향 수신부(110)는 복수개 마련될 수 있다. 예를 들어, 음향 수신부(110)는 제 1 음향 수신부(111)와 제 2 음향 수신부(112)로 구현될 수 있다. 각각의 음향 수신부(111, 112)는 독립적으로 음향 신호를 수집한다. 여기서, 제 1 음향 수신부(111)는 도 1의 제 1 마이크(85), 제 2 음향 수신부(112)는 도 1의 제 2 마이크(86)가 될 수 있다. 음향 수신부(110)는 세 개 이상 마련되는 것도 가능하나, 이하 설명의 편의를 위해 두 개로 마련된 것을 예로 들어 설명한다.
출력부(120)는 제어부(130)의 제어 신호에 따라, 청각 장애를 가진 운전자가 감지할 수 있는 다양한 형태로 결과물을 출력할 수 있다.
일 실시예에 따른 출력부(120)는 진동 출력부로서 구현될 수 있고, 제어부(130)의 제어 신호에 따라 진동의 세기 또는 주파수를 다르게 출력할 수 있다. 진동 이외에도 출력부(120)는 촉각 또는 시각 등 운전자가 인지할 수 있는 다양한 형태로 결과물을 출력할 수 있다.
출력부(120)는 도 2와 관련하여 전술한 운전석(18L)에 마련된 진동 출력부(41, 42)를 포함할 수 있다. 이 경우, 진동 출력부(41, 42)는 음향 신호의 송신 방향에 따라 운전석(18L)의 좌측 또는 우측에서 운전자가 좌우 진동을 느낄 수 있도록 진동을 출력할 수 있다.
제어부(130)는 차량(100)의 각 구성요소들을 제어하기 위한 제어 신호를 생성한다.
일 실시예에 따른 제어부(130)는 복수의 음향 수신부(111, 112)가 각각 수신한 복수의 음향 신호의 도달 시간차에 기초하여 음향 신호의 송신 방향을 추정할 수 있다. 이 경우, 제어부(130)는 복수의 음향 신호의 상호상관함수를 이용하여 도달 시간차에 대응하는 공간좌표를 판단하고, 공간좌표에 기초하여 상기 송신 방향을 추정할 수 있다.
이 경우, 일 실시예에 따른 제어부(130)는 음향 수신부(110)가 수신한 음향 신호의 송신 방향를 추정하고, 출력부(120)가 송신 방향에 대응하는 결과물을 출력하도록 할 수 있다. 예를 들어, 제어부(130)는 송신 방향이 차량(100)의 좌측 방향으로 추정된 경우, 도 2의 좌측 진동 출력부(41)가 결과물을 출력하도록 제어하고, 송신 방향이 차량(100)의 우측 방향으로 추정된 경우, 도 2의 우측 진동 출력부(42)가 결과물을 출력하도록 제어하고, 송신 방향이 차량(100)의 전후방으로 추정된 경우, 좌 도 2의 측 진동 출력부(41) 및 우측 진동 출력부(42)가 결과물을 출력하도록 제어할 수 있다. 이와 관련된 자세한 설명은 도 4 및 도 7과 관련하여 후술한다.
또한, 일 실시예에 따른 제어부(130)는 음향 수신부(110)가 수신한 음향 신호의 음향 신호의 경고음 모델을 추정한다. 구체적으로, 제어부(130)는 미리 저장된 하나 이상의 경고음 모델 중 수신한 음향 신호와 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정할 수 있다.
이 경우, 일 실시예에 따른 제어부(130)는 음향 수신부(110)가 수신한 음향 신호의 경고음 모델을 추정한 결과, 수신한 음향 신호가 경고음으로 판단된 경우 출력부(120)가 음향 신호의 송신 방향 또는 크기에 대응하는 결과물을 출력하도록 할 수 있고, 수신한 음향 신호가 경고음 외 잡음으로 판단된 경우, 출력부(120)가 결과물을 출력하지 않도록 할 수 있다. 이와 관련하여서는 도 5 내지 도 7과 관련하여 후술한다.
또한, 일 실시예에 다른 제어부(130)는 음향 수신부(110)가 수신한 음향 신호의 크기를 판단하고, 출력부(120)가 음향 신호의 크기에 대응하는 결과물을 출력하도록 할 수 있다. 예를 들어, 제어부(130)는 수신한 음향 신호가 클수록 도 2의 진동 출력부(41, 42)의 진동 출력 세기를 증가시킬 수 있다.
제어부는 차량(100) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
저장부(140)에는 하나 이상의 경고음 모델이 저장되어 있다. 경고음 모델은 경적음 모델, 및 사이렌 모델 중 적어도 어느 하나를 포함할 수 있다. 경고음 모델에 대해서는 도 6과 관련하여 후술한다.
저장부(140)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(140)는 제어부(130)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
도 3에 도시된 차량(100)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 3에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소일 수 있다.
이하, 도 4 내지 도 6을 참조하여 일 실시예에 따른 차량(100)의 제어부(130)의 음향 신호의 송신 방향 및 크기를 추정하고, 음향 신호에 매칭되는 경고음 모델을 판단하는 과정에 대해 설명한다.
도 4는 다른 차량으로부터 송신된 경적음의 송신 방향 및 크기를 추정하는 일 실시예에 따른 차량의 예시도이고, 도 5은 음향 신호의 특징 벡터를 추출하는 과정을 설명하기 위한 흐름도이고, 도 6은 수신한 음향 신호와 매칭되는 경고음 모델을 판단하는 과정을 설명하기 위한 개념도이다.
도 4를 참조하면, 차량(100) 주변의 다른 차량(ob1)이 경적음 신호 또는 사이렌 신호를 음향 신호로서 발생시키는 경우, 차량(100)의 제 1 음향 수신부(111)로서 기능하는 제 1 마이크(85)와 제 2 음향 수신부(112)로서 기능하는 제 2 마이크(86)는 시간차를 두고 음향 신호를 수신한다. 다른 차량(ob1)이 제 1 마이크(85)에 비해 제 2 마이크(86)에 가까운 경우, 제 1 마이크(85)에 도달하는 음향 신호의 도달 시간(t1)은 제 2 마이크(86)에 도달하는 음향 신호의 도달 시간(t2)보다 길다.
일 실시예에 따른 제어부(130)는 제 1 마이크(85)에 도달하는 음향 신호의 도달 시간(t1)과 제 2 마이크(86)에 도달하는 음향 신호의 도달 시간(t2)의 차(t1-t2)을 산출하고, 다음과 같은 수학식 1을 이용하여 음향 신호의 송신 방향을 추정할 수 있게 된다.
[수학식 1]
Figure pat00001
여기에서 c는 공기에서의 음파의 속도이며, 2γ은 제 1 마이크(85)와 제 2 마이크(86) 간의 거리이며, d는 두 마이크(85, 86)에 수신된 음향 신호의 도달 시간차(도 4에서 t1-t2)이고, θ 는 음향 신호의 송신 방향을 나타낸다.
한편, 음향 수신부(110)는 세 개 이상 마련될 수도 있고, 음원의 정확한 위치를 추정하기 위해서 세 개 이상의 마이크가 적용되는 경우, 음원의 위치는 각 마이크 쌍에서 측정된 도달 시간차 값들로부터 추정될 수 있다.
한편, 일 실시예에 따른 제어부(130)는 음향 신호의 도달 시간차가 아닌 상호 상관 함수(generalized cross correlation, GCC)를 이용하여 음향 신호의 음원 발생지에 대한 공간좌표를 판단하고, 상기 공간좌표에 기초하여 상기 송신 방향을 추정할 수도 있다.
구체적으로, 제어부(130)는 수학식 2의 상호상관함수를 수학식 3의 매핑함수를 이용하여 공간좌표로 매핑시킨 후 음원의 위치를 추정할 수 있다.
[수학식 2]
Figure pat00002
여기서, Gi는 i번째 마이크 쌍에서 수신된 음향 신호의 상호스펙트럼밀도함수이며, Ri는 상호상관함수이다. 제 1 마이크(85) 및 제 2 마이크(86)가 사용되는 경우, Gi는 제 1 마이크(85)에서 수신된 음향 신호 및 제 2 마이크(86)에서 수신된 음향 신호의 상호스펙트럼밀도함수가 된다.
[수학식 3]
Figure pat00003
여기서, θ 는 매핑함수이고, mGCC(θ)는 공간좌표로 매핑된 상호상관함수를 나타낸다.
음원의 정확한 위치를 추정하기 위해서 세 개 이상의 마이크가 적용되는 경우, 각 마이크 쌍에 대한 mGCC(θ) 값의 총 합(sGCC(θ))을 수학식 4와 같이 계산할 수 있다.
[수학식 4]
Figure pat00004
여기서, M은 마이크 쌍의 개수, sGCC (θ)는 각 마이크 쌍에 대한 mGCC(θ) 값의 총 합을 나타낸다.
그리고 제어부(130)는 sGCC함수가 최대값을 갖게 하는 θ 를 음향 신호의 송신 방향으로서 판단할 수 있다.
전술한 실시예는 음향 신호의 도달 시간차 또는 상호상관함수를 이용하여 음향 신호의 송신 방향을 판단하는 것에 대해서만 설명했으나 송신 방향을 판단하는 방법은 반드시 이에 한정되지 아니한다.
한편, 일 실시예에 따른 제어부(130)는 음향 신호가 운전자에게 의미 있는 경고음인지 여부를 판단하기 위해, 음향 신호와 매칭되는 경고음 모델을 판단한다. 이를 위하여, 제어부(130)는 미리 설정된 시간 구간 동안 수신한 음향 신호를 주파수 도메인으로 변환하고, 주파수 도메인으로 변환된 음향 신호의 주파수 대역을 분할하고, 각 주파수 대역에서 음향 신호의 에너지를 산출함으로써 음향 신호의 특징 벡터를 추출하고, 음향 신호의 특징 벡터와 매칭되는 경고음 모델을 판단한다.
구체적으로, 도 5을 참조하면, 제어부(130)는 음향 신호를 미리 설정된 시간 구간(tT)으로 구분한다(211). 각 시간 구간의 음향 신호를 프레임이라 하는 경우, 임의의 n번째 시간 구간의 음향 신호는 제 n 프레임이라 할 수 있다(212).
이어서, 제어부(130)는 제 n 프레임에 대해 퓨리에 변환(FT; Fourier Transform) 또는 고속 퓨리에 변환(FFT; Fast Fourier Transform)을 수행함으로써, 음향 신호를 시간 도메인에서 주파수 도메인에 대한 신호로 변환시킨다(213).
그리고 제어부(130)는 주파수 도메인에서 음향 신호의 스케일을 수학식 5와 같이 멜 스케일(mel-scale)로 변환시키고, 하나 이상의 주파수 대역 별로 구분하여 하나 이상의 필터 뱅크를 생성한다(214). 이 경우, 필터 뱅크의 주파수 대역폭은 수학식 6에 의해 결정된다.
[수학식 5]
Figure pat00005
여기서, f는 멜 스케일 변환 전 주파수 도메인의 음향 신호이고, Mel(f)는 멜 스케일 변환 후 주파수 도메인의 음향 신호(즉, 주파수 응답)이다.
[수학식 6]
Figure pat00006
여기서, BW는 필터뱅크의 주파수 대역폭이고, f는 멜 스케일로 변환된 음향 신호의 주파수이다.
그리고 제어부(130)는 제 n 프레임을 구성하는 각 필터 뱅크의 에너지(E1, E2, E3)를 산출하고(215), 이에 기초하여 제 n 프레임의 MFCC(Mel-frequency cepstrum coefficients) 벡터를 산출한다(216).
제 n 프레임을 구성하는 하나 이상의 필터 뱅크의 에너지(E1, E2, E3)를 산출하는 방법은 수학식 7과 같다.
[수학식 7]
Figure pat00007
여기서, Emel(n, l)은 제 n 프레임을 구성하는 l번째 필터 뱅크의 에너지(El)이고, Rl(wk)는 l번째 필터 뱅크의 주파수 응답이고, X(n, wk)는 제n 프레임의 주파수 응답이고, LlHl는는 l번째 필터 뱅크에서 0이 아닌 주파수 대역의 상한, 및 하한 값을 의미한다.
제 n 프레임의 MFCC 벡터를 산출하는 방법은 수학식 8과 같다.
[수학식 8]
Figure pat00008
여기서, R은 제 n 프레임을 구성하는 필터 뱅크의 개수이고, Cmel[n, m]은 제 n 프레임에 대한 m번째 계수 벡터가 된다.
이와 같이 산출된 MFCC 벡터는 음향 신호의 특징 벡터가 될 수 있다.
전술한 실시예는 MFCC 방식을 이용하여 음향 신호의 특징 벡터를 추출하는 것으로 기술되었으나, 음향 신호의 특징 벡터를 추출하는 방식은 이에 한정되지 아니한다.
일 실시예에 따른 제어부(130)는 이러한 음향 신호의 특징 벡터를 미리 저장된 하나 이상의 경고음 모델과 비교하고, 음향 신호의 특징 벡터와 매칭되는 경고음 모델을 추정한다.
도 6을 참조하면, 예를 들어, 경고음 모델로서 제 1 모델(S1), 제 2 모델(S2), 및 제 3 모델(S3)이 저장되어 있고, 제 1 모델(S1)이 경적음 모델, 제 2 모델(S2)이 사이렌 모델, 제 3 모델(S3)이 음성 모델인 경우, 제어부(130)는 음향 수신부(110)로부터 입력된 음향 신호의 특징 벡터와 유사성이 가장 높은 경고음 모델이 제 1 모델(S1)임을 판단한다.
경고음 모델(S1, S2, S3)은 제어부(130)의 메모리에 미리 저장되거나, 저장부(140)에 데이터로서 저장되어 있을 수 있다.
또한, 각 경고음 모델(S1, S2, S3)에는 가중치가 부여되어 있을 수 있다. 이 경우, 제어부(130)는 입력된 음향 신호의 특징 벡터와 유사성이 가장 높은 경고음 모델의 가중치를 판단하고, 가중치에 따라 출력부(120)가 다양한 결과물을 출력하도록 할 수 있다.
일 예로서, 제어부(130)는 음향 신호의 특징 벡터와 경고음 모델의 유사성을 판단하기 위해, 음향 신호의 특징 벡터를 가우시안 함수를 합하여 만들어진 모델로 변환하고, 가우시안 함수를 합하여 만들어진 음향 신호의 모델과 매칭되는 경고음 모델을 판단함으로써 음향 신호의 경고음 모델을 추정할 수 있다.
이외에도, 제어부(130)는 GMM(Gaussian Mixture Model) 및 DNN(Deep Neural Network) 등 다양한 음향 신호의 유사성 판단 방법을 이용하여 음향 신호와 매칭되는 경고음 모델을 판단할 수 있다.
또한, 제어부(130)는 출력부(120)가 음향 신호의 크기, 송신 방향 및 추정된 경고음 모델에 각각 대응하는 결과물을 출력하도록 제어할 수 있다. 이하, 설명의 편의를 위해 도 2의 진동 출력부(41, 42)를 출력부(120)의 일 예로서 설명하나 출력부(120)의 실시예가 이에 한정되지는 아니한다.
도 7은 일 실시예에 따른 차량의 진동 출력부의 출력 결과물에 대한 예시도이다.
도 7을 참조하면, 운전석(18L)에 마련된 좌측 진동 출력부(41)와 우측 진동 출력부(42)는 제어부(130)가 판단한 음향 신호의 크기에 대응하는 결과물을 출력할 수 있다.
예를 들어, 좌측 진동 출력부(41)와 우측 진동 출력부(42)는 다른 차량의 접근으로 인해 음향 신호의 크기가 증가하거나, 음향 신호의 크기가 미리 설정된 제 기준값 이상인 경우, 출력하는 결과물의 크기 또는 출력 속도를 증가시키고, 음향 신호의 크기가 감소하거나 미리 설정된 기준값 미만인 경우, 출력하는 결과물의 크기 또는 출력 속도를 감소시킬 수 있다.
또한, 좌측 진동 출력부(41)와 우측 진동 출력부(42)는 제어부(130)가 추정한 음향 신호의 송신 방향에 대응하는 결과물을 출력할 수 있다.
예를 들어, 제어부(130)는 음향 신호의 송신 방향이 차량(100)의 좌측 방향으로 추정된 경우, 좌측 진동 출력부(41)가 결과물을 출력하도록 제어하고, 송신 방향이 차량(100)의 우측 방향으로 추정된 경우, 우측 진동 출력부(42)가 결과물을 출력하도록 제어하고, 송신 방향이 차량(100)의 전후방으로 추정된 경우, 좌측 진동 출력부(41) 및 우측 진동 출력부(42)가 결과물을 출력하도록 제어할 수 있다.
또한, 좌측 진동 출력부(41)와 우측 진동 출력부(42)는 제어부(130)가 추정한 경고음 모델에 대응하는 결과물을 출력할 수 있다.
예를 들어, 제어부(130)는 음향 신호에 대응하는 경고음 모델이 경적음 모델 또는 사이렌 모델로 추정된 경우, 좌측 진동 출력부(41)와 우측 진동 출력부(42)가 결과물을 출력하도록 제어할 수 있다. 그러나, 제어부(130)는 음향 신호에 매칭되는 경고음 모델이 음성 모델로 추정되거나 경고음 모델이 아닌 잡음으로서 추정된 경우, 좌측 진동 출력부(41)와 우측 진동 출력부(42)가 결과물을 출력하지 않도록 제어할 수 있다.
이하, 도 8을 참조하여 일 실시예에 따른 차량(100)의 제어방법에 대해 설명한다. 도 8은 차량의 제어방법에 대한 순서도이다. 도 8와 관련하여 기술되는 차량(100)의 각 구성요소는 도 1 내지 도 7과 관련하여 기술된 차량(100)의 구성요소와 동일한 바, 동일한 참조부호를 인용한다.
우선, 일 실시예에 따른 차량(100)의 음향 수신부(110)는 음향 신호를 수신한다(1111). 음향 신호는 주변의 다른 차량에서 발생한 경적음, 응급 차량의 사이렌 소리 등 운전자의 인식이 필요한 "경고음"과, 그 외 "잡음"을 포함한다.
이어서, 일 실시예에 따른 차량(100)의 제어부(130)는 음향 신호의 크기가 미리 설정된 제 1 기준값 이상인지 여부를 판단한다(1112). 그리고, 음향 신호의 크기가 제 1 기준값 이상인 경우(1112의 "예"), 유효한 음향 신호인 것으로서 판단하고, 음향 신호의 크기를 측정하고(1113), 음향 신호의 송신 방향을 추정하고(1114), 음향 신호의 경고음 모델을 추정한다(1115).
음향 신호의 크기가 측정된 경우(1113), 제어부(130)는 음향 신호의 크기에 대응하는 결과물이 출력되도록 출력부(120)를 제어할 수 있다.
예를 들어, 출력부(120)는 제어부(130)의 제어 신호에 따라, 다른 차량의 접근으로 인해 음향 신호의 크기가 증가하거나, 음향 신호의 크기가 제 1 기준값 보다 큰, 미리 설정된 제 2 기준값 이상인 경우, 출력하는 결과물의 크기 또는 출력 속도를 증가시키고, 음향 신호의 크기가 감소하거나 제 2 기준값 미만인 경우, 출력하는 결과물의 크기 또는 출력 속도를 감소시킬 수 있다.
음향 신호의 송신 방향이 추정된 경우(1114), 제어부(130)는 음향 신호의 송신 방향에 대응하는 결과물이 출력되도록 출력부(120)를 제어할 수 있다.
또한, 음향 신호의 경고음 모델이 추정된 경우(1115), 제어부(130)는 경고음 모델 별 가중치를 판단하고, 음향 신호에 매칭되는 경고음 모델 및 가중치에 대응하는 결과물이 출력되도록 출력부(120)를 제어할 수 있다.
예를 들어, 출력부(120)는 제어부(130)의 제어 신호에 따라 음향 신호에 매칭되는 경고음 모델이 경적음 모델 또는 사이렌 모델로 추정된 경우에만 결과물을 출력할 수 있다.
그리고, 출력부(120)는 매칭되는 경고음 모델의 가중치에 따라 결과물의 출력 크기 또는 속도를 다르게 할 수 있다.
예를 들어, 경적음 모델의 가중치가 사이렌 모델의 가중치보다 높은 경우, 음향 신호와 매칭되는 경고음 모델이 경적음 모델로서 추정되면 출력부(120)는 사이렌 모델보다 더 크거나 빠른 속도로 결과물을 출력할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량
110: 음향 수신부
111: 제 1 음향 수신부 112: 제 2 음향 수신부
120: 출력부
130: 제어부
140: 저장부

Claims (20)

  1. 음향 신호를 수신하는 음향 수신부;
    상기 음향 신호의 경고음 모델을 추정하는 제어부; 및
    상기 경고음 모델에 대응하는 결과물을 출력하는 출력부를 포함하되,
    상기 제어부는 미리 저장된 하나 이상의 경고음 모델 중 상기 음향 신호와 매칭되는 경고음 모델을 판단함으로써 상기 음향 신호의 경고음 모델을 추정하는 차량.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 음향 신호의 송신 방향을 추정하고,
    상기 출력부는 상기 음향 신호의 송신 방향 및 상기 경고음 모델에 대응하는 결과물을 출력하는 차량.
  3. 제 1 항에 있어서,
    상기 음향 수신부는 복수개 마련되고,
    상기 제어부는 상기 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 도달 시간차에 기초하여 상기 음향 신호의 송신 방향을 추정하고,
    상기 출력부는 상기 음향 신호의 송신 방향 및 상기 경고음 모델에 대응하는 결과물을 출력하는 차량.
  4. 제 1 항에 있어서,
    상기 음향 수신부는 복수개 마련되고,
    상기 제어부는 상기 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 상호상관함수를 이용하여 상기 음향 신호의 음원 발생지에 대한 공간좌표를 판단하고, 상기 공간좌표에 기초하여 상기 음향 신호의 송신 방향을 추정하고
    상기 출력부는 상기 음향 신호의 송신 방향 및 상기 경고음 모델에 대응하는 결과물을 출력하는 차량.
  5. 제 2 항에 있어서,
    상기 송신 방향은 상기 차량의 전후방, 좌측 방향, 및 우측 방향 중 적어도 어느 하나를 포함하는 차량.
  6. 제 1 항에 있어서,
    상기 경고음 모델은 다른 차량의 경적음 모델, 및 사이렌 모델 중 적어도 어느 하나를 포함하는 차량.
  7. 제 1 항에 있어서,
    상기 하나 이상의 경고음 모델이 저장된 저장부를 더 포함하되,
    상기 제어부는 상기 저장부에 저장된 하나 이상의 경고음 모델 중 상기 음향 신호와 매칭되는 경고음 모델을 판단하는 차량.
  8. 제 1 항에 있어서,
    상기 제어부는 미리 설정된 시간 구간 동안 수신한 음향 신호를 주파수 도메인으로 변환하고, 주파수 도메인으로 변환된 음향 신호의 주파수 대역을 분할하고, 각 주파수 대역에서 음향 신호의 에너지를 산출함으로써 음향 신호의 특징 벡터를 추출하고, 상기 음향 신호의 특징 벡터와 매칭되는 경고음 모델을 판단함으로써 상기 음향 신호의 경고음 모델을 추정하는 차량.
  9. 제 8 항에 있어서,
    상기 제어부는 MFCC(Mel-frequency cepstrum coefficients) 방식을 이용하여 상기 음향 신호의 특징 벡터를 추출하는 차량.
  10. 제 1 항에 있어서,
    상기 제어부는 상기 음향 신호를 가우시안 함수를 합하여 만들어진 모델로 변환하고, 상기 가우시안 함수를 합하여 만들어진 음향 신호의 모델과 매칭되는 경고음 모델을 판단함으로써 상기 음향 신호의 경고음 모델을 추정하는 차량.
  11. 제 1 항에 있어서,
    상기 제어부는 GMM(Gaussian Mixture Model) 및 DNN(Deep Neural Network) 중 적어도 어느 하나를 이용하여 상기 음향 신호와 매칭되는 경고음 모델을 판단하는 차량.
  12. 제 1 항에 있어서,
    상기 제어부는 상기 음향 신호의 크기를 판단하고,
    상기 출력부는 상기 음향 신호의 크기, 및 경고음 모델에 대응하는 결과물을 출력하는 차량.
  13. 제 12 항에 있어서,
    상기 제어부는 상기 음향 신호의 크기가 증가하거나 미리 설정된 기준값 이상인 경우, 상기 출력부가 출력하는 결과물의 크기 또는 출력 속도를 증가시키고, 상기 음향 신호의 크기가 감소하거나 상기 기준값 미만인 경우, 상기 출력부가 출력하는 결과물의 크기 또는 출력 속도를 감소시키는 차량.
  14. 제 5 항에 있어서,
    상기 출력부는 좌측 출력부 및 우측 출력부를 포함하고,
    상기 제어부는 상기 송신 방향이 차량의 좌측 방향으로 추정된 경우, 상기 좌측 출력부가 결과물을 출력하도록 제어하고, 상기 송신 방향이 차량의 우측 방향으로 추정된 경우, 상기 우측 출력부가 결과물을 출력하도록 제어하고, 상기 송신 방향이 차량의 전후방으로 추정된 경우, 상기 좌측 출력부 및 상기 우측 출력부가 결과물을 출력하도록 제어하는 차량.
  15. 제 2 항에 있어서,
    상기 출력부는 상기 송신 방향 및 상기 경고음 모델에 대응하는 진동을 출력하는 진동 출력부를 포함하는 차량.
  16. 음향 신호를 수신하는 단계;
    상기 음향 신호의 경고음 모델을 추정하는 단계; 및
    상기 경고음 모델에 대응하는 결과물을 출력하는 단계를 포함하되,
    상기 경고음 모델을 추정하는 단계는 미리 저장된 하나 이상의 경고음 모델 중 상기 음향 신호와 매칭되는 경고음 모델을 판단함으로써 상기 음향 신호의 경고음 모델을 추정하는 단계를 포함하는 차량의 제어방법.
  17. 제 16 항에 있어서,
    상기 경고음 모델을 추정하는 단계는 상기 음향 신호의 송신 방향을 추정하는 단계를 포함하고,
    상기 결과물을 출력하는 단계는 상기 음향 신호의 송신 방향 및 상기 경고음 모델에 대응하는 결과물을 출력하는 차량의 제어방법.
  18. 제 16 항에 있어서,
    상기 경고음 모델을 추정하는 단계는 복수의 음향 수신부가 각각 수신한 복수의 음향 신호의 도달 시간차에 기초하여 상기 음향 신호의 송신 방향을 추정하는 단계를 포함하고,
    상기 결과물을 출력하는 단계는 상기 음향 신호의 송신 방향 및 상기 경고음 모델에 대응하는 결과물을 출력하는 차량의 제어방법.
  19. 제 16 항에 있어서,
    상기 결과물을 출력하는 단계 이전에 상기 음향 신호의 크기를 판단하는 단계를 더 포함하되,
    상기 결과물을 출력하는 단계는 상기 음향 신호의 크기에 대응하는 결과물을 출력하는 단계를 포함하는 차량의 제어방법.
  20. 제 17 항에 있어서,
    상기 결과물을 출력하는 단계는 상기 송신 방향이 차량의 좌측 방향으로 추정된 경우, 좌측 출력부가 결과물을 출력하도록 제어하고, 상기 송신 방향이 차량의 우측 방향으로 추정된 경우, 우측 출력부가 결과물을 출력하도록 제어하고, 상기 송신 방향이 차량의 전후방으로 추정된 경우, 상기 좌측 출력부 및 상기 우측 출력부가 결과물을 출력하도록 제어하는 차량의 제어방법.
KR1020160135631A 2016-10-19 2016-10-19 차량 및 차량의 제어방법 KR20180042971A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160135631A KR20180042971A (ko) 2016-10-19 2016-10-19 차량 및 차량의 제어방법
US15/381,989 US20180108253A1 (en) 2016-10-19 2016-12-16 Vehicle and Control Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160135631A KR20180042971A (ko) 2016-10-19 2016-10-19 차량 및 차량의 제어방법

Publications (1)

Publication Number Publication Date
KR20180042971A true KR20180042971A (ko) 2018-04-27

Family

ID=61904672

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135631A KR20180042971A (ko) 2016-10-19 2016-10-19 차량 및 차량의 제어방법

Country Status (2)

Country Link
US (1) US20180108253A1 (ko)
KR (1) KR20180042971A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200048362A (ko) * 2018-10-30 2020-05-08 현대자동차주식회사 차량 및 그 제어 방법
KR102208421B1 (ko) * 2019-08-01 2021-01-27 숙명여자대학교산학협력단 청각장애인을 위한 자동차 안전운행 지원방법 및 그 전자장치
KR20210097257A (ko) * 2020-01-29 2021-08-09 김영언 차량주변 이상 신호 알림 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235031A1 (ja) * 2019-05-22 2020-11-26 日本電信電話株式会社 警報音処理装置、警報音処理方法、プログラム
KR20210136569A (ko) * 2020-05-08 2021-11-17 삼성전자주식회사 경보 장치, 상기 장치를 포함하는 경보 시스템, 및 경보 방법
JP2022156078A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 交通システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06328980A (ja) * 1993-05-25 1994-11-29 Casio Comput Co Ltd 車載用警報装置
JP2000127796A (ja) * 1998-10-21 2000-05-09 Matsushita Electric Ind Co Ltd 車内警報装置及び車内警報方法
KR100558854B1 (ko) * 2003-04-29 2006-03-10 현대자동차주식회사 청각장애가 있는 운전자를 위한 경음기 인지방법
JP2007065832A (ja) * 2005-08-30 2007-03-15 Aisin Seiki Co Ltd 車外音処理装置
KR20100043801A (ko) * 2008-10-21 2010-04-29 한국과학기술원 음원 위치 추정 장치 및 방법
KR101519255B1 (ko) * 2013-12-10 2015-05-19 현대자동차주식회사 차량 주변 소리 알림 시스템 및 그 방법
KR20150144636A (ko) * 2014-06-17 2015-12-28 인천광역시(인천광역시경제자유구역청장) 이상음원 위치 추적 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06328980A (ja) * 1993-05-25 1994-11-29 Casio Comput Co Ltd 車載用警報装置
JP2000127796A (ja) * 1998-10-21 2000-05-09 Matsushita Electric Ind Co Ltd 車内警報装置及び車内警報方法
KR100558854B1 (ko) * 2003-04-29 2006-03-10 현대자동차주식회사 청각장애가 있는 운전자를 위한 경음기 인지방법
JP2007065832A (ja) * 2005-08-30 2007-03-15 Aisin Seiki Co Ltd 車外音処理装置
KR20100043801A (ko) * 2008-10-21 2010-04-29 한국과학기술원 음원 위치 추정 장치 및 방법
KR101519255B1 (ko) * 2013-12-10 2015-05-19 현대자동차주식회사 차량 주변 소리 알림 시스템 및 그 방법
KR20150144636A (ko) * 2014-06-17 2015-12-28 인천광역시(인천광역시경제자유구역청장) 이상음원 위치 추적 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200048362A (ko) * 2018-10-30 2020-05-08 현대자동차주식회사 차량 및 그 제어 방법
KR102208421B1 (ko) * 2019-08-01 2021-01-27 숙명여자대학교산학협력단 청각장애인을 위한 자동차 안전운행 지원방법 및 그 전자장치
KR20210097257A (ko) * 2020-01-29 2021-08-09 김영언 차량주변 이상 신호 알림 시스템 및 방법

Also Published As

Publication number Publication date
US20180108253A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
KR20180042971A (ko) 차량 및 차량의 제어방법
US11351988B2 (en) Use of sound with assisted or autonomous driving
CN110691299B (zh) 音频处理系统、方法、装置、设备及存储介质
KR102011008B1 (ko) 노면 상태 감지 시스템 및 방법
US10152884B2 (en) Selective actions in a vehicle based on detected ambient hazard noises
US10607488B2 (en) Apparatus and method of providing visualization information of rear vehicle
WO2017081960A1 (ja) 音声認識制御システム
US10160413B2 (en) Vehicle and control method thereof
CN107018467A (zh) 用于车辆的外部声音合成的系统和方法
US11237241B2 (en) Microphone array for sound source detection and location
KR20000070673A (ko) 차량 충돌 경고 시스템
EP3712020B1 (en) System for monitoring an acoustic scene outside a vehicle
JP2013198065A (ja) 音声提示装置
US11628860B2 (en) Autonomous driving system that can eliminate a system distrust state of the driver
JP2006190193A (ja) 車両用警報装置
KR101747818B1 (ko) 지능형 차량경보 장치 및 그 방법
WO2017056707A1 (ja) 障害物報知装置及び障害物報知方法
KR102325691B1 (ko) 차량의 주행 경고 장치 및 방법
JP4735687B2 (ja) 車両用運転支援装置
US10382862B2 (en) Noise testing in an autonomous vehicle
KR102604054B1 (ko) 차량 내 경보 발생 장치
US20220272448A1 (en) Enabling environmental sound recognition in intelligent vehicles
Shabtai et al. Detecting the direction of emergency vehicle sirens with microphones
KR102591877B1 (ko) 차량 및 그 제어방법
KR102638989B1 (ko) 차량 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application