KR101519255B1

KR101519255B1 - 차량 주변 소리 알림 시스템 및 그 방법

Info

Publication number: KR101519255B1
Application number: KR1020130153277A
Authority: KR
Inventors: 장윤호; 김재광
Original assignee: 현대자동차주식회사
Priority date: 2013-12-10
Filing date: 2013-12-10
Publication date: 2015-05-19

Abstract

본 발명의 일 실시 예에 따른 차량용 음향 정보 제공 시스템은, 차량 주변에서 발생한 소리의 크기 및 도달 시간을 획득하는 복수 개의 데이터 수집부, 상기 획득된 소리의 크기 및 도달 시간을 이용하여 상기 소리의 발생 영역을 판단하는 데이터 처리부, 및 상기 소리가 발생한 영역에 대한 정보를 상기 차량의 운전자에게 제공하는 음향알림부를 포함할 수 있다.

Description

차량 주변 소리 알림 시스템 및 그 방법{Notification System for Direction of Sound around a Vehicle and Method thereof}

본 발명은 차량 주변에서 발생한 소리의 방향을 차량 운전자에게 제공하는 시스템 및 그 방법에 관한 것이다.

운행 중인 차량 주변에서는 다양한 소리가 발생한다. 그러나 청각 능력의 손실이 있는 고령자나 청각 방향 감각이 좋지 않은 운전자는, 경적 소리와 같이 운전자가 주의해야 할 소리에 대한 반응이 둔감할 수 있다. 즉 경적 소리가 어느 방향에서 울린 것인지, 자신의 차량을 향해 울린 것인지, 혹은 경적 소리가 울렸는지 여부에 대한 판단이 힘들 수 있다. 또한 차음 기술의 발달로 인해, 차량의 외부에서 발생하는 소음에 대해서 청력이 좋은 사람이라도 차량 외부에서 발생하는 소리를 정확하게 힘든 경우가 많다.

따라서, 차량 외부에서 발생한 소음에 대하여 운전자에게 알려주는 시스템이 필요하다. 본 발명은 차량 주변에서 발생한 소리의 위치 추적을 통해 그 소리가 운전자에게 주의를 요하는 소리인지 여부를 판단하고, 그 소리의 대상이 자신의 차량인지 여부를 판단하고, 소리의 발생 영역에 대한 정보를 운전자에게 제공하고, 자차의 교통 방해 흐름 여부 및 위협 운전 여부에 대하여 검출하여 안전 운전을 유도하는 시스템을 제공하는 것을 그 목적으로 한다.

그러나 상기한 목적으로 여기에 개시된 내용을 한정하는 것은 아니며, 발명을 실시하기 위한 구체적인 내용 또는 청구항에서 언급하는 의도는 모두 본 발명의 목적으로 포함된다.

또한 차량의 전면에 배치된 소리센서F, 차량의 후면에 배치된 소리센서B, 차량의 우측 면에 배치되는 소리센서R, 및 차량의 좌측 면에 배치되는 소리센서L을 포함할 수 있다.

또한 상기 데이터 처리부는, 상기 소리센서F와 상기 소리센서B에 의해 각각 감지된 소리 크기의 차이 ΔE_FB 및 도달 시간의 차이 ΔD_FB와, 상기 소리센서R과 상기 소리센서L에 의해 감지된 소리 크기의 차이 ΔE_RL 및 도달 시간의 차이 ΔD_RL에 기초하여, 및/또는 상기 ΔD_FB와 상기 ΔD_RL의 비에 기초하여 상기 소리의 발생 영역을 판단할 수 있다.

또한 상기 데이터 처리부는, 상기 차량이 위치한 평면을 복수 개의 영역으로 분할하고, 상기 소리의 발생 영역을 상기 복수 개의 영역 중 하나의 영역으로 판단할 수 있다.

또한 상기 음향알림부는, 상기 소리의 발생 영역에 대한 정보를 스크린에 디스플레이하여 제공하거나, 및/또는 음성으로 제공할 수 있다.

본 발명의 다른 실시 예에 따른 차량 시스템이 차량 주변에서 발생한 소리의 음향 정보를 제공하는 방법은, 차량 주변에서 발생한 소리 데이터를 획득하는 단계, 상기 소리 데이터의 크기 및 도달 시간을 이용하여 상기 소리의 발생 영역을 판단하는 단계, 및 상기 소리의 발생 영역에 대한 정보를 상기 차량의 운전자에게 제공하는 단계를 포함할 수 있다.

본 발명의 다양한 실시 예들은 종래의 시스템에 대하여, 차량의 외부에서 발생하는 모든 소리에 대하여 특징을 추출/인식하여 운전자에게 어떠한 소리가 발생하였는지 알려줄 수 있는 효과가 있다.

또한, 차량의 외부에서 발생한 소리의 방향을 알려주는 효과가 있다.

또한, 경적 소리, 사이렌, 타이어 마찰음과 같이 안전 경계가 필요한 상황에서 정확하게 상황 및 음향(direction of sound)을 판단하여 안전 운전을 지원할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 차량 주변에서 소리가 발생한 상황을 나타내는 예시적인 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 음향 정보 제공 시스템을 탑재한 차량의 예시적인 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 음향 정보 제공 시스템의 데이터 처리부의 예시적인 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 소리가 발생한 영역을 구별하는 예시적인 개념도이다.
도 5는 본 발명의 일 실시 예에 따른 소리의 발생 영역을 판단하는 방법을 나타내는 예시적인 개념도이다.
도 6은 본 발명의 일 실시 예에 따른 음향 안내 방법의 예시적인 화면을 나타낸다.
도 7은 본 발명의 일 실시 예에 따른 차량 주위에서 발생한 소리의 발생 영역에 대한 정보를 제공하는 방법의 예시적인 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 차량 주위에서 수집된 소리 데이터에 대한 처리 방법의 예시적인 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 차량 주위에서 수집된 소리의 발생 영역을 판단하는 방법의 예시적인 흐름도이다.

이하에서는 도면을 참조하여 본 발명의 다양한 실시 예들을 설명한다.

도 1은 본 발명의 일 실시 예에 따른 차량 주변에서 소리가 발생한 상황을 나타내는 예시적인 개념도이다. 도 1을 참조하면, 차량(10)의 진행방향을 y축, 진행방향과 수직인 방향을 x축으로 가정하였을 때, 차량(10)의 우측 상단 지점에서 소리(S)가 발생한 상황이 도시된다.

차량(10)의 진행 방향을 기준으로 하여 차량(10)이 포함된 평면이 복수 개의 영역으로 분할될 수 있다. 도 1에서는 차량(10)이 위치한 x-y 평면을 4개의 영역으로 분할되어 있다. x축과 y축을 기준으로, 제1사분면에 해당하는 영역을 영역1(area 1)로, 제2사분면에 해당하는 영역을 영역2(area 2)로, 제3사분면에 해당하는 영역을 영역3(area 3)으로, 제4사분면에 해당하는 영역을 영역4(area 4)로 정의할 수 있다. 후술하는 실시 예에 따라서, 평면은 더 많은 수의 영역으로 분할될 수 있다. 예를 들어, 도시된 평면은 x축에 대해 90도의 간격으로 4개 영역으로 분할되었으나, 45도의 간격으로 8개 영역, 또는 30도의 간격으로 12개의 영역 등으로 분할될 수도 있다. 이 예시에서, 소리는 영역1에서 발생하였다.

차량(10)은 소리가 발생한 영역을 탐지하기 위해 복수 개의 센서를 포함할 수 있다. 이 센서는 등방성 마이크일 수 있다. 도시된 예시에서, 차량(10)은 차량(10)의 전면과 후면, 및 좌우 측면에 각각 1개의 센서를 포함한다. 그러나 정확도의 향상을 위해서, 또는 데이터 처리 속도의 증가를 위해서 차량(10)은 더 많거나 더 적은 수의 센서를 포함할 수 있다. 센서의 수 또는 위치가 변경되면, 그에 따른 데이터 수집 및 처리의 알고리즘의 적절한 변형이 요구된다. 나아가, 소리가 발생한 영역의 디스플레이 방식에도 변형이 요구될 수 있다.

도 1의 예시에서, x-y 평면의 원점은 편의상 차량(10)의 중심 위치로 도시되었다. 또한, 차량(10)에 부착된 센서들은 x축 및 y축 상에 위치하는 것으로 도시되어 있다. 이 경우 차량(10)의 좌-우측에 부착된 센서를 연결하는 축은 x축과 일치하며, 전면과 후면에 부착된 센서를 연결하는 축은 y축과 일치한다. 그러나 운전자 친화적인 시스템 구축을 위해서, 또는 차량의 구조적인 문제로 인해 센서의 위치나 정렬이 차량(10)의 중심 위치를 기준으로 벗어날 수 있다. 이 경우, 각각의 센서를 연결하는 축이 x축과 y축으로 기능할 수 있다. 예를 들어, 차량(10)의 중심 위치는 좌-우측에 부착된 센서를 연결하는 x축에 비하여 상하 방향(즉, y방향)에 소정 거리만큼 이격되어 위치할 수 있다. 또한 전면과 후면에 부착된 센서를 연결하는 축에 비하여 좌우방향(즉, x방향)으로 소정 거리만큼 이격되어 위치할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 음향 정보 제공 시스템을 탑재한 차량의 예시적인 구성도이다. 편의상 이하에서는 음향 정보 제공 시스템과 음향 정보 제공 시스템을 탑재한 차량을 구별하지 않고 표기한다.

도 2를 참조하면, 음향 정보 제공 시스템(10)은 데이터 수집부(110), 데이터 처리부(120), 및 음향 알림부(130)를 포함할 수 있다. 음향 정보 제공 시스템(10)은 도시되지 않은 일반적인 구성요소를 포함할 수 있다. 예를 들어, 음향 정보 제공 시스템(10)은 사용자의 디바이스(예를 들어, 스마트폰, 태블릿 등)와 통신하기 위한 통신 모듈을 더 포함할 수 있다.

데이터 수집부(110)는 차량 주변에서 발생한 소리를 감지하기 위한 복수 개의 센서를 포함할 수 있다. 예를 들어, 데이터 수집부(110)는 전면 소리센서F, 후면 소리센서B, 우측면 소리센서R, 좌측면 소리센서L를 포함할 수 있다. 데이터 수집부(110)는 차량 주변에서 발생한 소리를 감지하여 그 데이터를 데이터 처리부(120)로 제공한다. 데이터 수집부(110)는 감지된 소리의 크기, 감지된 소리가 센서에 도달한 시간, 소리의 위상, 파형, 주파수 등의 정보를 수집할 수 있다. 이와 같은 정보들은 소리가 발생한 영역을 판단하기 위해 데이터 처리부(120)에서 이용될 수 있다.

데이터 처리부(120)는 데이터 수집부(110)에서 획득한 정보에 기초하여 소리가 발생한 영역을 판단한다. 데이터 처리부(120)는 일종의 프로세서일 수 있다. 예를 들어, 차량에 탑재된 텔레매틱스 시스템이 데이터 처리부(120)의 기능을 수행할 수 있다. 데이터 처리부(120)의 소리 발생 영역 판단 프로세스는 도 3을 참조하여 자세하게 후술한다.

음향 알림부(sound-direction notification unit)(130)는 데이터 처리부(120)에서 판단된 소리 발생 영역에 대한 정보를 운전자에게 제공한다. 음향 알림부(130)는 소리 발생 영역에 대한 정보를 운전자에게 제공한다. 음향 알림부(130)는 상기 정보를 시각적으로 제공할 수 있고, 청각적으로 제공할 수도 있다. 두 가지 방법을 모두 이용하여 제공하는 것도 가능하다.

음향 알림부(130)는 차량에 탑재된 HUD(head unit display) 또는 클러스터를 이용하여 소리 발생 영역에 대한 정보를 제공할 수 있다. 또한 데이터 처리부(120)와 CAN 버스 등과 같은 유선 통신으로 연결된 네비게이션이나, BLUETOOTH, NFC, Wi-Fi 등의 무선 통신으로 연결된 스마트 디바이스(스마트폰, 태블릿, 스마트 워치 등)를 통해 소리 발생 영역에 대한 정보를 운전자에게 제공할 수 있다. 즉, 데이터 수집부(110), 데이터 처리부(120), 및 음향 알림부(130)는 각각의 기능을 수행하기 위해 유선 또는 무선으로 연결되어 있으면 충분하고, 반드시 일체형의 장치일 것이 요구되지는 않는다.

도 3은 본 발명의 일 실시 예에 따른 음향 정보 제공 시스템의 데이터 처리부의 예시적인 개념도이다.

도 3을 참조하면, 데이터 처리부(120)는 신호처리모듈(122), 신호판단모듈(124), 영역판단모듈(126), 및 정보구성모듈(128)을 포함할 수 있다. 또한 영역판단모듈(126)은 실시 예에 따라 1차판단모듈(126A) 및 2차판단모듈(126B) 중 적어도 하나를 포함할 수 있다.

신호처리모듈(122)은 데이터 수집부(110)에서 획득된 차량 주변에서 발생한 소리와 관련된 데이터를 처리한다. 차량 주변에는 다양한 소리가 존재한다. 차량 주변에 위치한 다른 차량들의 엔진소리, 신호등, 전광판 등에서 나는 소리, 일반적인 자연의 소리 등이 존재한다. 그러나 운전자는 대부분의 소리에는 관심을 갖지 않는다. 일부의 소리는 차량의 방음 시스템을 뚫지 못해 운전자에게 전달되지도 않는다. 그러나 운전자는, 예를 들어 경적소리가 들리면 이 경적 소리가 자신의 차량 향한 것인지 아닌지 알고 싶어한다. 경적 소리의 인지에 따라서 운전자는 차량의 속도를 감소시키거나, 차선을 변경하거나, 비상등을 작동 시키는 등의 다양한 조치를 취할 수 있다.

또한, 운전자가 차량의 오디오 시스템의 볼륨을 너무 높게 설정한 나머지 주변의 경적 소리가 운전자에게 들리지 않을 수도 있는데, 이 경우에는 운전자의 안전을 위해 시각적으로, 또는 차량의 오디오 시스템을 통해 운전자의 차량 주변에서 경적이 발생했다는 사실을 알려줄 필요가 있다.

운전자는 다른 소리에도 관심이 있을 수 있다. 예를 들어, 차량이 급정거할 때에는 타이어와 지면 사이의 마찰에 의해 커다란 마찰음이 발생한다. 이러한 마찰음은 교통 사고의 발생 또는 교통 사고 직전의 상황과 관련 있을 수 있고, 따라서 운전자에게 주의를 요구한다. 또 다른 예시로서, 차량이 다른 차량과 충돌하는 사고가 발생하면 충돌음이 발생한다. 전방 또는 측면 등의 충돌음을 인지하여 운전자에게 충돌음이 일어난 방향에 대한 정보를 제공하면 후속 사고를 미연에 방지할 수 있다.

운전자 주위에서 경찰 또는 구급차 등의 사이렌이 울리는 경우, 운전자는 해당 차량이 지나갈 수 있도록 차선을 옮기는 등의 조치를 취해야 한다. 어떤 경우에, 그렇게 하지 않음으로써 사용자는 법적 처벌을 받을 수 있다. 따라서 공공기관에 속한 차량의 사이렌 소리를 운전자가 인지하도록 할 필요성이 있다.

신호처리모듈(122)은 운전 중 발생할 수 있는 다양한 소리 중 운전자가 관심 있어 할 소리를 판단하기 위해서 획득된 소리 데이터에 대한 신호처리를 수행할 수 있다. 신호처리모듈(122)은 획득된 소리 데이터에 대한 노이즈 필터링(noise filtering)을 수행할 수 있다. 이 노이즈 필터링을 통해 소리의 특성이나 출처를 파악하기 어려운 다양한 잡음이 제거될 수 있다. 또한 경적소리, 타이어 마찰음, 충돌음과 같이 사용자가 관심 있어 하는 소리들의 대부분은 충분한 크기의 데시벨(예를 들어, 70dB)을 갖는다. 따라서 신호처리모듈(122)은 노이즈 제거된 소리 데이터의 데시벨(즉, 소리의 크기)이 기준치 이상인지를 판단할 수 있다. 즉 소리의 크기가 기준치 미만인 소리 데이터는 신호처리모듈(122)에 의해 필터링 될 수 있다.

신호판단모듈(124)은 신호처리모듈(122)에 의해 필터링 된 소리 데이터의 특징을 판단한다. 미리 정해진 기준치 이상의 데시벨을 갖는 소리 데이터라 하더라도, 운전자에게 중요하지 않을 수 있다. 예를 들어, 기차 등이 지나갈 때 나는 소리나, 공항 근처에서 발생하는 비행기 소음 등은 상당히 높은 데시벨을 갖지만 운전에 크게 영향을 주지 않을 수 있다. 도로 복구나 재정비 공사 등을 할 때 발생하는 소음도 마찬가지이다. 오히려 이러한 소리 데이터를 계속해서 운전자에게 알려주는 것은, 정작 운전자가 인지해야 할 필요성이 있는 상황에서 운전자의 반응 속도를 느리게 만들거나, 또는 운전자가 미처 반응하지 못하게 할 수 있다. 따라서 신호판단모듈(124)은 필터링 된 소리 데이터의 특징을 분석하여, 이 소리가 운전자의 주의를 요하는 소리인지 여부를 판단할 수 있다. 만약 운전자의 주의를 요구할 필요가 없는 항공기 등의 소음인 경우, 해당 정보를 운전자에게 제공할 필요가 없다고 판단하여 이후의 단계를 수행하지 않을 수 있다.

신호판단모듈(124)은 신호처리모듈(122)에서 필터링이 수행된 소리 데이터(신호)에 대하여, 시간 영역(time domain)과 주파수 영역(frequency domain)에서 특징 값을 추출한다. 신호판단모듈(124)은 이 특징 값의 평균 값과 분산 값을 데이터베이스로 구축할 수 있다. 여기서 특징 값은, MFCC(Mel-Frequency Cepstral Coefficients), 파워 스펙트럼(Total Spectrum Power), 서브밴드 파워(Sub-band Spectrum Power), 및/또는 피치 주파수(peach frequency)일 수 있다. 신호판단모듈(124)은 신호에 대하여 소정의 시간 주기, 예를 들어 0.1초 동안의 프레임에 대한 평균 값 및 분산 값을 데이터베이스에 저장할 수 있다.

음성신호처리 분야에서 MFC(Mel-Frequency Cepstrum)은 단구간 신호의 파워 스펙트럼을 표현하는 방법 중 하나이다. 이는 비선형적 Mel 스케일의 주파수 도메인에서 로그(log) 파워 스펙트럼에 코사인변환을 취하여 획득될 수 있다. MFCC는 여러 MFC를 모아 놓은 계수를 의미한다. MFCC는 일반적으로, 단구간의 소리 데이터(신호)에 프리엠파시스(pre-emphasis) 필터를 적용하고, 이 값에 DFT(Discrete Fourier Transform)을 적용한다. 이제 Mel-scale의 Filter Bank(Mel Filter Banks)를 이용해 파워 스펙트럼을 구하고, 각각의 Mel-scale의 파워에 로그를 취한다. 이렇게 하여 획득된 값에 DCT(Discrete Cosine Transform)를 수행하면 MFCC 값이 얻어진다.

전체 파워 스펙트럼은 소정 프레임 구간 내의 전체 스펙트럼의 에너지 분포를 의미하며, 서브밴드 파워는 통상 [0, ⅛f0], [⅛f0, ¼f0], [¼f0, ½f0], 및 [½f0, f0]와 같은 4개의 서브밴드 구간에서의 스펙트럼의 에너지 분포 값을 의미한다. 피치 주파수는 정규화된 자기상관(autocorrelation) 함수의 최고점을 검출하여 획득될 수 있다.

이와 같이 획득된 특징 값을 SVM(Support Vector Machine) 분류기를 이용하여 분류함으로써, 획득된 소리 데이터가 경적 소리나 사이렌, 또는 타이어 마찰음과 같이 사용자가 관심 있어 하는 소리인지 여부를 판단할 수 있다.

이하에서는 운전자가 관심 있어 하는 소리, 예를 들어 경적소리 임이 판단되었을 때, 소리의 발생 영역을 판단하는 프로세스를 설명한다.

다시 도 1을 참조하면, 차량(10)은 4개의 센서를 포함한다. 이제 차량의 우측 상단에서 소리(S)가 발생하면, 우측 소리센서R이 감지한 소리의 크기는 좌측 소리센서L이 감지한 소리의 크기보다 크게 된다. 통상, 소리의 크기는 거리의 제곱에 반비례한다. 즉, 소리의 발생 위치로부터 거리가 2배 증가할 때, 소리의 크기는 1/4로 감소(약 6dB 감소)하게 된다. 통상적인 차량의 폭을 약 2m, 길이를 약 3m 정도로 가정할 때, 감지된 소리의 크기 차이는 소리가 발생된 지점의 위치에 따라서 충분히 유의미한 값을 가질 수 있다.

이제 우측 소리센서R에서 감지한 소리 신호의 크기를 E_R, 좌측 소리센서L에서 감지한 소리 신호의 크기를 E_L이라고 하면, 도 1에 도시된 위치에서 소리(S)가 발생한 경우, E_R ? E_L = ΔE_RL > 0이 된다. 마찬가지로, 전방 소리센서F에서 감지한 신호의 크기를 E_F, 후방 소리센서B에서 감지한 신호의 크기를 E_B라고 하면, ΔE_FB > 0이 된다.

다른 예시에서, 만약 소리(S)가 영역2에서 발생하였다면, 차량의 좌측에서 소리가 발생하였으므로, 좌측 소리센서L이 감지한 신호의 크기가 우측 소리센서R이 감지한 신호의 크기보다 큰 값을 가진다. 따라서 ΔE_RL은 음의 값을 가지며, ΔE_FB는 여전히 양의 값을 가지게 된다. 이상의 프로세스는 도 3에 도시된 1차판단모듈(126A)에 의해 수행될 수 있다. 각각의 영역에서 소리가 발생한 경우에 대한, ΔE_RL값과 ΔE_FB 값의 대응관계가 도 4에 도시된다.

소리의 크기는 거리의 제곱에 반비례하지만 소리의 진행 속도는 동일 매질(예를 들어, 대기 중)에서 일정하기 때문에, 각 센서가 감지한 소리의 도착 시간에 대한 정보를 이용하여 더욱 자세하게 소리의 발생 영역을 판단할 수 있다. 2차판단모듈(126B)는 이와 같은 특성을 이용하여 추가적인 분석을 수행하고, 1차판단모듈(126A)의 수행 결과와 종합하여 소리의 발생 영역을 판단할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 소리의 발생 영역을 판단하는 방법을 나타내는 예시적인 개념도이다. 만약, 도시된 예시에서 소리(S)가 x축 상에서 발생하면, 전방 소리센서F와 후방 소리센서B는 모두 동일한 시각에 소리(S)를 감지한다. 즉, ΔD_FB = 0이 된다. 이 경우, ΔD_FB/ΔD_RL의 값도 0이 된다. 만약 도시된 예시에서 소리(S)가 y축 상에서 발생하면, 우측 소리센서R과 좌측 소리센서L은 모두 동일한 시각에 소리(S)를 감지한다. 즉, ΔD_RL = 0이 된다. 이 경우, ΔD_FB의 값은 0이 아니기 때문에, ΔD_FB/ΔD_RL의 값은 무한대가 된다.

만약, 소리(S)가 x축에 대하여 45도의 각도를 이루는 선상에서 발생한 경우, 소리(S)가 발생한 지점에서 차량의 각 센서까지의 거리에 비하여 각 센서들 사이의 거리 차이는 충분히 무시 가능하고, 이때 소리(S)-전방센서F-후방센서B를 연결하는 삼각형과 소리(S)-좌측센서L-우측센서R을 연결하는 삼각형은 서로 동일하다. 따라서, ΔD_FB/ΔD_RL의 값은 약 1에 근접한다.

요약하면, ΔD_FB/ΔD_RL값을 이용하여 x축과 소리가 발생한 지점 사이의 각도를 획득할 수 있다. 즉, x축 상에서 소리(S)가 발생하면 ΔD_FB/ΔD_RL = tanθ = 0이 된다. y축 상에서 소리(S)가 발생하면, ΔD_FB/ΔD_RL = tanθ = ∞가 된다. 또한, 소리(S)가 x축에 대하여 45도의 각도를 이루는 선상에서 발생하면, ΔD_FB/ΔD_RL = tan45 = 1이 된다. 즉, 영역1 내지 영역4는 45도 간격으로 각각 2분할 될 수 있고, θ가 45도보다 작으면 x축에 가까운 영역에, 45보다 크면 y축에 가까운 영역으로 소리의 발생 영역이 판단될 수 있다. 이와 같은 관계가 도 5에 도시되어 있으며, 이를 수식으로 정리하면 다음과 같다.

다시 도 3을 참조하면, 영역판단모듈(126)은 1차판단모듈(126A)과 2차판단모듈(126B) 중 적어도 하나의 모듈에 의한 소리의 발생 영역 판단 결과를 정보구성모듈(128)로 제공한다. 정보구성모듈(128)은 상기 판단 결과에 기초하여 운전자에게 제공될 정보를 구성한다. 예를 들어, 정보구성모듈(128)은 소리의 발생 영역에 대한 정보가 HUD, 클러스터, 네비게이션 등의 표시장치에 디스플레이 되도록 구성할 수 있다. 다른 예시로서, 정보구성모듈(128)은 소리의 발생 영역에 대한 정보가 차량용 오디오 시스템을 통해 제공되도록 구성할 수 있다. 또 다른 예시에서, 정보구성모듈(128)은 시각적 및 청각적 방법을 모두 이용하여 사용자에게 소리의 발생 영역에 대한 정보가 제공되도록 할 수 있다. 정보구성모듈(128)은 이와 같이 소리의 발생 영역에 대한 정보의 제공 방법을 결정하고, 그 데이터를 음향 알림부(130)로 제공한다.

도 6은 본 발명의 일 실시 예에 따른 음향 안내 방법의 예시적인 화면을 나타낸다. 도 6의 제1화면(610)은 영역2에서 발생된 경적 소리를 운전자에게 알려주는 화면을 나타낸다. 데이터 처리부(120)에서 수행되는 소리 발생 영역의 판단 과정에 따라, 영역 구분은 더욱 세분화될 수 있다.

제1 화면(610)은 차량의 클러스터를 통해 정보가 제공되는 예시를 나타낸다. 음향알림부(130)는 데이터 처리부(120)에서 제공된 정보에 따라, 화면을 통해서 시각적인 정보만 제공할 수도 있고, 오디오 시스템을 통한 청각적 정보도 함께 제공할 수 있다. 시각적인 정보는 도시된 바와 같이 소리가 발생된 방향에 대한 정보(612), 발생된 소리의 종류(예를 들어, 경적)를 나타내는 정보(614), 및 이와 관련된 정보를 나타내는 문자열(616)을 포함할 수 있다.

도 6의 제2 화면(620)은 영역3에서 발생된 경적 소리를 운전자에게 알려주는 화면을 나타낸다. 제2 화면(620)은 발생된 경적 소리가 운전자의 차량을 향하는 경우를 나타낸다. 이 때 제공되는 디스플레이는 다양한 강조 패턴(예를 들어, 색상, 점멸 등)을 포함할 수 있다. 또한 청각적인 강조 패턴(예를 들어, 볼륨 증가, 경보음 등)이 동반될 수 있다. 데이터 수집부(610)는 경적 소리가 운전자의 차량을 향하는지 여부에 대한 정확성을 높이기 위해 도플러 센서 또는 기존의 음향 추적 센서를 추가로 포함할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 차량 주위에서 발생한 소리의 발생 영역에 대한 정보를 제공하는 방법의 예시적인 흐름도이다. 이하의 설명에 있어서, 전술한 내용과 중복되는 설명은 생략하도록 한다.

도 7을 참조하면, 차량의 음향 정보 제공 시스템은 소리 데이터를 획득한다(S710). 차량의 음향 정보 제공 시스템은 본 명세서에서 설명되는 방법이 구현 가능한 어떠한 형태의 시스템도 의미할 수 있다. 이 음향 정보 제공 시스템이 제공하는 방법은 단일 장치에 의해 수행될 수도 있으나, 두 개 이상의 장치가 연동하여 수행될 수도 있다. 예를 들어, 어떤 실시 예에서는 S710 내지 S730의 프로세스가 하나의 장치, 예를 들어 차량용 텔레매틱스 시스템에서 구현될 수 있다. 다른 실시 예에서는 S710과 S720은 차량용 텔레매틱스 시스템에서 구현되지만, S730은 S720까지 수행된 데이터를 제공받은 모바일 컴퓨팅 디바이스에 의해 구현될 수도 있다.

시스템은 획득된 소리 데이터를 처리한다(S720). 데이터를 처리하는 방법과 관련하여, 도 8 및 도 9를 참조하여 자세하게 후술한다.

시스템은 상기의 처리 결과에 기초하여 소리가 발생한 영역에 대한 정보를 차량의 운전자에게 시각적 및/또는 청각적으로 제공한다(S730).

도 8은 본 발명의 일 실시 예에 따른 차량 주위에서 수집된 소리 데이터에 대한 처리 방법의 예시적인 흐름도이다.

시스템은 소리를 획득하기 위한 복수 개의 센서를 포함할 수 있다. 각각의 센서는 하나의 채널(channel)로 이해될 수 있다. 예를 들어, 차량이 4개의 마이크 센서를 이용하여 소리 데이터를 획득한다면, 시스템은 4채널 음향 데이터(sound data)를 획득하는 것으로 이해될 수 있다. 획득된 소리 데이터(S710)는 다양한 잡음을 제거하기 위한 노이즈 제거 단계(S810)를 거친다. 노이즈가 제거된 데이터에 대하여, 신호의 크기가 기준 데시벨 이상인지 여부를 판단한다. 이는, 예를 들어 경적 소리와 같은 경우, 주변 소음에 비해 상당히 높은 데시벨을 가지고, 자신의 차량에서 20m 이내에서는 약 70dB 이상이라는 점에 기초하여, 음향 인식 알고리즘의 부하를 줄이는 효과를 가진다. 획득된 신호의 크기가 기준 데시벨 미만인 경우, 프로세스는 다시 S710으로 진행한다.

획득된 신호의 크기가 기준 데시벨 이상이면, 신호의 특징 값을 추출한다(S840). 특징 값이 MFCC, 파워 스펙트럼, 서브밴드 파워, 및/또는 피치 주파수일 수 있다는 점은 전술한 바 있다. 또한 신호에 대하여 소정의 시간 주기, 예를 들어 0.1초 동안의 프레임에 대한 평균 값 및 분산 값을 데이터베이스로 구축될 수 있다.

신호의 특징을 분석한 결과, 운전자가 관심 있어 하는 소리에 해당하는지 여부에 대한 판단이 수행된다(S850). 예를 들어, 다양한 차량 경적 소리, 사고시 발생하는 충돌음, 타이어 마찰음, 구급차 또는 경찰차 등의 사이렌 소리의 특징을 나타내는 특징 값들이 시스템이 구비한 메모리 등에 미리 저장되어 있을 수 있다. 신호의 특징이 이와 같이 기 저장된 기준 소리의 특징과 동일 또는 유사한 경우, 소리의 발생 영역을 판단하기 위한 프로세스(A)로 진행한다. 만약 신호의 특징 분석 결과, 사용자가 관심 있어 하는 소리가 아닌 것으로 판단되면, 프로세스는 다시 S710으로 진행한다.

도 9는 본 발명의 일 실시 예에 따른 차량 주위에서 수집된 소리의 발생 영역을 판단하는 방법의 예시적인 흐름도이다. 각각의 채널(센서)에서 획득된 신호의 크기에 대한 판단이 수행된다(S910). 이에 기초하여 1차 후보 영역의 판단이 수행된다(S920). 예를 들어, 좌측 센서에서 획득된 신호의 크기가 우측 센서에서 획득된 신호의 크기보다 크다면, 소리는 차량의 좌측에서 발생된 것으로 판단될 수 있다. 또한 전방 센서에서 획득된 신호의 크기가 후방 센서에서 획득된 신호의 크기보다 크다면, 소리는 차량의 전방에서 발생된 것으로 판단될 수 있다. 이에 기초하여, 전후좌우의 4개 채널을 가진 시스템에서는, 차량의 우측 전방(영역1), 좌측 전방(영역2), 좌측 후방(영역3), 우측 후방(영역4)의 4개 영역 중 하나의 영역으로 소리가 발생한 영역의 1차 후보군을 판단할 수 있다.

계속해서, 각각의 채널에서 신호가 획득된 시간을 판단한다(S930). 소리의 크기는 거리에 따라 선형적으로 감소하지 않지만, 소리의 진행 속도는 일정하므로 음향 발생 각도에 따라 소리 도착 시간에는 규칙성이 존재하게 된다. 이를 이용하여, 좌측 센서와 우측 센서에서 신호를 감지한 시간의 차이 값과, 전방 센서와 후방 센서에서 신호를 감지한 시간의 차이 값의 비를 이용하여 소리가 발생한 지점이 기준 축과 이루는 각도를 추정하여, 소리가 발생한 영역의 2차 후보군을 판단할 수 있다.

1차 후보군과 2차 후보군의 정보에 기초하여 소리 발생 영역이 결정되면(S960), 시스템은 디스플레이나 오디오 장치를 이용하여 음향 정보를 제공한다(S730).

이상, 본 발명에서 개시된 블록도들은 본 발명의 원리들을 구현하기 위한 회로를 개념적으로 표현한 형태라고 당업자에게 해석될 수 있을 것이다. 유사하게, 임의의 흐름 차트, 흐름도, 상태 전이도, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되어, 컴퓨터 또는 프로세서가 명시적으로 도시되든지 아니든지 간에 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것이 당업자에게 인식될 것이다. 따라서, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, HDD 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등)와 같은 저장매체를 포함한다.

도면들에 도시된 다양한 요소들의 기능들은 적절한 소프트웨어와 관련되어 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 이런 기능은 단일 전용 프로세서, 단일 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어부"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되지 말아야 하며, 제한 없이, 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 및 비휘발성 저장장치를 묵시적으로 포함할 수 있다.

본 명세서의 청구항들에서, 특정 기능을 수행하기 위한 수단으로서 표현된 요소는 특정 기능을 수행하는 임의의 방식을 포괄하고, 이러한 요소는 특정 기능을 수행하는 회로 요소들의 조합, 또는 특정 기능을 수행하기 위한 소프트웨어를 수행하기 위해 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함할 수 있다.

본 명세서에서 본 발명의 원리들의 '일 실시 예'와 이런 표현의 다양한 변형들의 지칭은 이 실시 예와 관련되어 특정 특징, 구조, 특성 등이 본 발명의 원리의 적어도 하나의 실시 예에 포함된다는 것을 의미한다. 따라서, 표현 '일 실시 예에서'와, 본 명세서 전체를 통해 개시된 임의의 다른 변형례들은 반드시 모두 동일한 실시 예를 지칭하는 것은 아니다.

본 명세서에서, 'A와 B 중 적어도 하나'의 경우에서 '~중 적어도 하나'의 표현은, 첫 번째 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 양쪽 옵션들 (A와 B)의 선택을 포괄하기 위해 사용된다. 추가적인 예로 'A, B, 및 C 중 적어도 하나'의 경우는, 첫 번째 열거된 옵션 (A)의 선택만, 또는 두 번째 열거된 옵션 (B)의 선택만, 또는 세 번째 열거된 옵션 (C)의 선택만, 또는 첫 번째와 두 번째 열거된 옵션들 (A와 B)의 선택만, 또는 두 번째와 세 번째 열거된 옵션 (B와 C)의 선택만, 또는 모든 3개의 옵션들의 선택(A와 B와 C)이 포괄할 수 있다. 더 많은 항목들이 열거되는 경우에도 당업자에게 명백하게 확장 해석될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 명세서를 통해 개시된 모든 실시 예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110 데이터 수집부
120 데이터 처리부
122 신호처리모듈
124 신호판단모듈
126 영역판단모듈
126A 1차판단모듈
126B 2차판단모듈
128 정보구성모듈
130 음향 알림부

Claims

차량용 음향 정보 제공 시스템에 있어서,
차량 주변에서 발생한 소리의 크기 및 도달 시간을 획득하는 복수 개의 데이터 수집부;
상기 복수 개의 데이터 수집부 중 적어도 두 개의 데이터 수집부에서 획득된 상기 소리의 크기 차이 및 상기 소리의 획득 시간 차이를 기반으로 각각 1차 후보영역과 2차 후보영역을 판단하여 상기 소리의 발생 영역을 판단하는 데이터 처리부; 및
상기 소리가 발생한 영역에 대한 정보를 상기 차량의 운전자에게 제공하는 음향알림부를 포함하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 1에 있어서,
상기 복수 개의 데이터 수집부는, 차량의 전면에 배치된 소리센서F, 차량의 후면에 배치된 소리센서B, 차량의 우측 면에 배치되는 소리센서R, 및 차량의 좌측 면에 배치되는 소리센서L을 포함하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 2에 있어서,
상기 데이터 처리부는, 상기 소리센서F와 상기 소리센서B에 의해 각각 감지된 상기 소리의 크기 차이 ΔE_FB 및 상기 소리의 획득 시간 차이 ΔD_FB와, 상기 소리센서R과 상기 소리센서L에 의해 각각 감지된 상기 소리의 크기 차이 ΔE_RL 및 상기 소리의 획득 시간 차이 ΔD_RL에 기초하여 상기 소리의 발생 영역을 판단하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 3에 있어서,
상기 데이터 처리부는, 상기 ΔD_FB와 상기 ΔD_RL의 비에 기초하여 상기 소리의 발생 영역을 판단하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 1 내지 4에 있어서,
상기 데이터 처리부는, 상기 차량이 위치한 평면을 복수 개의 영역으로 분할하고, 상기 소리의 발생 영역을 상기 복수 개의 영역 중 하나의 영역으로 판단하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 5에 있어서,
상기 음향알림부는, 상기 소리의 발생 영역에 대한 정보를 스크린에 디스플레이하여 제공하는 것을 특징으로 하는 음향 정보 제공 시스템.
청구항 5에 있어서,
상기 음향알림부는, 상기 소리의 발생 영역에 대한 정보를 음성으로 제공하는 것을 특징으로 하는 음향 정보 제공 시스템.
차량 시스템이 차량 주변에서 발생한 소리의 음향 정보를 제공하는 방법에 있어서,
차량 주변에서 발생한 소리 데이터를 복수 개의 채널을 통해 획득하는 단계;
상기 복수 개의 채널 중 적어도 두 개의 채널에서 획득된 상기 소리 데이터의 크기 차이 및 상기 소리 데이터의 획득 시간 차이를 이용하여 각각 1차 후보영역과 2차 후보영역을 판단하여 상기 소리의 발생 영역을 판단하는 단계; 및
상기 소리의 발생 영역에 대한 정보를 상기 차량의 운전자에게 제공하는 단계를 포함하는 음향 정보 제공 방법.
청구항 8항에 있어서,
상기 소리의 발생 영역을 판단하는 단계는,
상기 소리 데이터의 노이즈를 제거하는 단계;
상기 소리 데이터의 크기가 기준 값 이상인지 여부를 판단하는 단계;
상기 소리 데이터의 크기가 기준 값 이상이면 상기 소리 데이터의 신호 특징을 추출하는 단계; 및
상기 추출된 특징 값이 미리 정해진 기준을 만족하면, 상기 소리의 발생 영역을 판단하는 단계를 포함하는 것을 특징으로 하는 음향 정보 제공 방법.
삭제