KR101862461B1 - Method and apparatus for estimating location of sound source location based on wideband frequency - Google Patents

Method and apparatus for estimating location of sound source location based on wideband frequency Download PDF

Info

Publication number
KR101862461B1
KR101862461B1 KR1020160089458A KR20160089458A KR101862461B1 KR 101862461 B1 KR101862461 B1 KR 101862461B1 KR 1020160089458 A KR1020160089458 A KR 1020160089458A KR 20160089458 A KR20160089458 A KR 20160089458A KR 101862461 B1 KR101862461 B1 KR 101862461B1
Authority
KR
South Korea
Prior art keywords
sound source
unit
location
frequency response
signal
Prior art date
Application number
KR1020160089458A
Other languages
Korean (ko)
Other versions
KR20180007907A (en
Inventor
김대은
이창민
소재현
김슬기
천정훈
한정원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160089458A priority Critical patent/KR101862461B1/en
Publication of KR20180007907A publication Critical patent/KR20180007907A/en
Application granted granted Critical
Publication of KR101862461B1 publication Critical patent/KR101862461B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
    • B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
    • B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
    • B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

광대역 신호를 이용한 음원 위치 추정 장치 및 방법이 제공된다. 본 발명의 일 실시예에 따른 차량에 배치된 복수의 광대역 마이크 센서를 이용하여 음원의 발생 위치를 추정하는 장치는 상기 광대역 마이크 센서로부터 입력된 신호를 특정 시간 간격의 단위 구간으로 분할하고, 상기 단위 구간별 신호를 주파수 단에서의 결과로 변환하는 신호 변환부, 상기 단위 구간별로 변환된 주파수에 대하여 평균 및 분산을 계산하고, 상기 계산된 평균 및 분산을 기 저장된 기준 데이터(calibration data)의 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산하며, 상기 계산된 주파수 반응 특성을 가상의 중심점으로부터 방향과 크기를 가지는 벡터로 치환하는 주파수 반응 특성 계산부, 가상의 보팅 셀(voting cell)들을 설정하고, 상기 보팅 셀에 상기 치환된 벡터를 적용하여 보팅(voting)을 수행하며, 상기 보팅의 수행 결과에 따라서 하나 이상의 음원이 발생한 위치를 추정하는 음원 위치 추정부 및 상기 추정된 음원의 발생 위치를 디스플레이 장치에 시각적으로 표시하는 음원 위치 표시부를 포함하는 것을 특징으로 한다.An apparatus and method for estimating a sound source position using a wideband signal are provided. An apparatus for estimating a location of a sound source using a plurality of broadband microphone sensors disposed in a vehicle according to an embodiment of the present invention includes a unit for dividing a signal input from the wideband microphone sensor into unit sections at specific time intervals, A signal converter for converting the signal of each interval into a result of the frequency band, averaging and variance of the frequency converted for each unit interval, calculating the average and variance of the calculated average and the calibration data, A frequency response characteristic calculation unit for calculating a frequency response characteristic that is a difference from the dispersion and substituting the calculated frequency response characteristic with a vector having a direction and a size from a virtual center point, And the voting is performed by applying the substituted vector to the voting cell, Because it characterized in that it comprises a sound source position display unit for visual indication of the sound source position estimation unit, and generating the estimated position of the sound source for estimating the location, one or more sound sources generated in the display device.

Description

광대역 신호를 이용한 음원 위치 추정 장치 및 방법{METHOD AND APPARATUS FOR ESTIMATING LOCATION OF SOUND SOURCE LOCATION BASED ON WIDEBAND FREQUENCY}BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to an apparatus and method for estimating a sound source position using a wideband signal,

본 발명은 음원 위치 추정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 광대역 마이크 센서를 이용하여 음원의 위치를 추정하고 이를 시각적으로 표시하는 기술에 관한 것이다.The present invention relates to an apparatus and method for estimating a sound source position, and more particularly, to a technique for estimating a position of a sound source using a wideband microphone sensor and visually displaying the sound source position.

현재 차량에는 다양한 센서가 탑재되고 있다. 예를 들어, 후방 감지를 위한 초음파 센서가 뒷 범퍼에 배치되는 경우, 주차 시 주변의 장애물을 감지하여 소리 등으로 충돌 가능성이 있음을 운전자에게 알릴 수 있다.Currently, various sensors are mounted on the vehicle. For example, when an ultrasonic sensor for rearward detection is disposed on a rear bumper, an obstacle around the vehicle is detected at the time of parking, and the driver can be informed that there is a possibility of collision due to sound or the like.

그러나 초음파 센서를 이용하여 주변의 위험을 경고하는 방법은 초음파 센서가 배치된 방향에 장애물이 존재하는 경우로 한정되는 문제가 있다.However, there is a problem that the method of warning the danger of the surroundings by using the ultrasonic sensor is limited to the case where the obstacle exists in the direction in which the ultrasonic sensor is disposed.

또한, 장애물의 감지 여부만으로 위험을 경고하기 때문에, 초음파 센서가 미처 감지하지 못하는 주변의 위험 상황과 관련된 소리(예를 들어 주변 차량의 경적 소리, 차량의 접근으로 인해 놀라서 지르는 비명 소리 등)에 대해서는 위험을 경고할 수도 없고, 소리의 발생 위치 또한 파악할 수 없는 문제가 있다.In addition, since the danger is warned only by the detection of an obstacle, the sound related to the dangerous situation around the ultrasonic sensor can not be detected (for example, a horn sound of a nearby vehicle, a screaming sound due to the approach of the vehicle) There is a problem that the danger can not be warned and the location of the sound can not be grasped.

이에, 차량 주변에서 발생하는 소리를 감지하여 운전자에게 위험을 경고하되, 경고음뿐만 아니라 시각적으로도 위험 요소가 있는 방향을 운전자가 직관적으로 감지하도록 도움을 주는 방안이 요구되고 있다.Accordingly, there is a need for a method of sensing a sound generated in the vicinity of a vehicle to warn the driver of the danger, and helping the driver intuitively detect a direction in which not only a warning sound but also a visual danger is present.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 차량 주변에서 발생하는 소리를 감지하여 운전자에게 위험을 경고하되, 경고음뿐만 아니라 시각적으로도 위험 요소가 있는 방향을 운전자가 직관적으로 감지하도록 도움을 주는 방안을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the conventional art, and it is an object of the present invention to provide a vehicle driving assist system which senses a sound generated in the vicinity of a vehicle to warn a driver of a danger, To provide a way to give.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 차량에 배치된 복수의 광대역 마이크 센서를 이용하여 음원의 발생 위치를 추정하는 장치는 상기 광대역 마이크 센서로부터 입력된 신호를 특정 시간 간격의 단위 구간으로 분할하고, 상기 단위 구간별 신호를 주파수 단에서의 결과로 변환하는 신호 변환부, 상기 단위 구간별로 변환된 주파수에 대하여 평균 및 분산을 계산하고, 상기 계산된 평균 및 분산을 기 저장된 기준 데이터(calibration data)의 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산하며, 상기 계산된 주파수 반응 특성을 가상의 중심점으로부터 방향과 크기를 가지는 벡터로 치환하는 주파수 반응 특성 계산부, 가상의 보팅 셀(voting cell)들을 설정하고, 상기 보팅 셀에 상기 치환된 벡터를 적용하여 보팅(voting)을 수행하며, 상기 보팅의 수행 결과에 따라서 하나 이상의 음원이 발생한 위치를 추정하는 음원 위치 추정부 및 상기 추정된 음원의 발생 위치를 디스플레이 장치에 시각적으로 표시하는 음원 위치 표시부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for estimating a location of a sound source using a plurality of broadband microphone sensors disposed in a vehicle, the apparatus comprising: And a signal converter for converting the signal of each unit section into a result of the frequency section, an average and variance for the frequency converted for each unit section, A frequency response characteristic calculation unit for calculating a frequency response characteristic by comparing the mean and variance of calibration data with the mean and variance of calibration data and replacing the calculated frequency response characteristic with a vector having a direction and magnitude from a virtual center point, And the voting cells are applied to the voting cell to perform voting. Performs, characterized in that it comprises a sound source position display unit for visual indication of the sound source position estimation unit, and generating the estimated position of the sound source for estimating the location, one or more sound sources generated according to the execution result of the voting on the display device.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 음원 위치 추정 장치가 차량에 배치된 복수의 광대역 마이크 센서를 이용하여 음원의 위치를 추정하는 방법은 (a) 상기 광대역 마이크 센서로부터 입력된 신호를 특정 시간 간격의 단위 구간으로 분할하고, 상기 단위 구간별 신호를 주파수 단에서의 결과로 변환하는 단계, (b) 상기 단위 구간별로 변환된 주파수에 대하여 평균 및 분산을 계산하고, 상기 계산된 평균 및 분산을 기 저장된 기준 데이터(calibration data)의 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산하는 단계, (c) 상기 계산된 주파수 반응 특성을 가상의 중심점으로부터 방향과 크기를 가지는 벡터로 치환하는 단계, (d) 가상의 보팅 셀(voting cell)들을 설정하고, 상기 보팅 셀에 상기 치환된 벡터를 적용하여 보팅(voting)을 수행하며, 상기 보팅의 수행 결과에 따라서 하나 이상의 음원이 발생한 위치를 추정하는 단계 및 (e) 상기 추정된 음원의 발생 위치를 디스플레이 장치에 시각적으로 표시하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for estimating a position of a sound source using a plurality of wideband microphone sensors disposed in a vehicle, the method comprising the steps of: (a) Dividing the input signal into unit sections of a specific time interval and converting the signals of the unit sections into results of the frequency ends, (b) calculating an average and variance for the frequency converted per unit section, Comparing the calculated mean and variance with an average and variance of previously stored calibration data to calculate a frequency response characteristic that is a difference therebetween; (c) calculating the calculated frequency response characteristic from a virtual center point (D) setting virtual voting cells, applying the substituted vector to the voting cell, and performing a voting (vo and estimating a position where at least one sound source is generated according to the result of the voting; and (e) visually displaying the estimated location of the sound source on a display device .

본 발명의 일 실시예에 따르면, 차량 주변에서 발생하는 소리를 감지하여 운전자에게 주행 중 발생할 수 있는 위험을 경고할 수 있다.According to an embodiment of the present invention, a sound generated in the vicinity of the vehicle can be sensed to warn a driver of a danger that may occur while driving.

또한 경고음뿐만 아니라 시각적으로도 위험 요소가 있는 방향을 운전자가 직관적으로 감지하도록 하여 안전 운전에 기여할 수 있다.In addition, the driver can intuitively detect not only a warning sound but also a visually dangerous direction, thereby contributing to safe driving.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일 실시예에 따른 음원 위치 추정 방법에 대한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 음원 위치 추정 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 기준 데이터를 생성하는 과정을 도시한 흐름도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 음원 발생 위치를 추정하는 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 광대역 마이크 센서와 음원에 대한 위치 관계를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 보팅 셀을 이용한 음원 발생 위치 추정을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 보팅 셀을 이용하여 음원 발생 위치를 추정하는 시뮬레이션 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 음원 발생 위치의 표시를 도시한 도면이다.1 is a schematic diagram of a sound source position estimation method according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a structure of a sound source position estimating apparatus according to an embodiment of the present invention. Referring to FIG.
3 is a flowchart illustrating a process of generating reference data according to an embodiment of the present invention.
4A and 4B are flowcharts illustrating a process of estimating a sound source position according to an embodiment of the present invention.
5 is a diagram illustrating a positional relationship between a wide-band microphone sensor and a sound source according to an embodiment of the present invention.
6 is a diagram illustrating location estimation of a sound source using a voting cell according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a simulation result of estimating a sound source position using a voting cell according to an embodiment of the present invention. Referring to FIG.
FIG. 8 is a diagram showing a display of a sound source generating position according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" .

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as " comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 음원 위치 추정 방법에 대한 개략도이다.1 is a schematic diagram of a sound source position estimation method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 음원 위치 추정 방법은 차량에 복수의 광대역 마이크 센서를 배치하고, 각 광대역 마이크 센서를 통해 획득되는 신호를 주파수 단의 결과로 변환한 후, 기 저장된 기준 데이터(calibration data)와 비교하여 그 차이를 통해 음원 위치를 추정할 수 있다.A method for estimating a sound source position according to an exemplary embodiment of the present invention includes arranging a plurality of broadband microphone sensors in a vehicle, converting a signal obtained through each of the wideband microphone sensors to a frequency stage result, ), And the sound source position can be estimated through the difference.

여기서 복수의 음원에서 소리가 발생되는 경우, 각 광대역 마이크 센서에는 복수의 음원으로부터 입력되는 신호가 혼재되어 있으므로, 음원 위치 추정의 정확도를 높이기 위해 보팅 셀(voting cell)과 보팅(voting)의 개념을 적용하여 복수의 음원 위치를 추정할 수 있다.In this case, when a sound is generated from a plurality of sound sources, since the signals input from a plurality of sound sources are mixed in each wide-band microphone sensor, the concept of voting cell and voting A plurality of sound source positions can be estimated.

그리고, 본 발명의 일 실시예에 따른 음원 위치 추정 장치(100)는 가청 주파수 대역부터 초음파 대역까지의 신호를 입력 받는 광대역 마이크 센서와 유선 또는 무선으로 연결될 수 있으며, 음원 위치 추정 장치에서 추정된 음원의 위치를 시각적으로 표시하는 디스플레이 장치와 유선 또는 무선으로 연결될 수 있다.The sound source position estimation apparatus 100 according to an embodiment of the present invention may be connected to a broadband microphone sensor that receives signals from an audible frequency band to an ultrasonic band in a wired or wireless manner, May be wired or wirelessly connected to a display device for visually displaying the position of the display device.

음원 위치 추정 장치(100)의 다른 실시예로서, 음원 위치 추정 장치(100)는 스마트폰, 휴대폰, PDA, PMP, 태블릿 컴퓨터 등과 같은 휴대용 단말기를 사용할 수 있다.As another embodiment of the sound source localization apparatus 100, the sound source location estimation apparatus 100 may use a portable terminal such as a smart phone, a mobile phone, a PDA, a PMP, a tablet computer, and the like.

이 경우 음원 위치 추정 장치(100)는 광대역 마이크 센서와 근거리 무선 통신을 통해 연결되고, 음원 위치 추정을 위한 애플리케이션이 배치될 수 있으며, 애플리케이션의 동작을 통해 추정된 음원의 위치를 화면에 시각적으로 표시할 수 있다.In this case, the sound source position estimation apparatus 100 is connected to the broadband microphone sensor through short-range wireless communication, and an application for sound source position estimation can be arranged. The position of the sound source estimated through the operation of the application can be visually displayed can do.

이하, 도 2를 참조하여 음원 위치 추정 장치(100)에 대하여 상세하게 설명하도록 한다.Hereinafter, the sound source position estimation apparatus 100 will be described in detail with reference to FIG.

도 2는 본 발명의 일 실시예에 따른 음원 위치 추정 장치의 구성을 도시한 블록도이다.FIG. 2 is a block diagram illustrating a structure of a sound source position estimating apparatus according to an embodiment of the present invention. Referring to FIG.

본 발명의 일 실시예에 따른 음원 위치 추정 장치(100)는 광대역 마이크 센서(110), 신호 분리부(120), 신호 변환부(130), 주파수 반응 특성 계산부(140), 음원 위치 추정부(150), 음원 위치 표시부(160), 메모리(170) 및 제어부(180)를 포함할 수 있다.A sound source position estimation apparatus 100 according to an embodiment of the present invention includes a wideband microphone sensor 110, a signal separation unit 120, a signal conversion unit 130, a frequency response characteristic calculation unit 140, A display unit 150, a sound source position display unit 160, a memory 170, and a control unit 180.

각 구성 요소를 설명하면, 광대역 마이크 센서(110)는 차량의 특정 위치(예를 들어 앞 범퍼의 좌측과 우측, 양측 도어, 뒷 범퍼의 좌측과 우측 등)에 각각 배치될 수 있으며, 차량의 주변에서 발생하는 가청 주파수 영역 또는 초음파 영역의 신호를 획득할 수 있다.The wide-band microphone sensor 110 may be disposed at a specific position of the vehicle (e.g., the left and right sides of the front bumper, the two side doors, the left and right sides of the rear bumper, etc.) A signal of an audible frequency region or an ultrasonic wave region can be obtained.

이하에서는 광대역 마이크 센서(110)에 가청 주파수 영역대의 신호가 입력되는 실시예를 설명하도록 한다.Hereinafter, an embodiment will be described in which a signal of an audible frequency band is input to the wideband microphone sensor 110. [

한편, 신호 분리부(120)는 광대역 마이크 센서(110)로부터 수신되는 소리를 가청 주파수 영역 또는 초음파 영역으로 분리할 수 있다.Meanwhile, the signal separating unit 120 may separate the sound received from the broadband microphone sensor 110 into an audible frequency region or an ultrasonic wave region.

한편, 신호 변환부(130)는 신호 분리부(120)에서 분리된 가청 주파수 영역 또는 초음파 영역의 소리를 특정 시간 간격(예를 들어 0.1초)의 구간(이하, ‘단위 구간’이라 칭함)으로 분할하고, 각 단위 구간의 신호를 주파수 단에서의 결과로 변환할 수 있다.The signal converting unit 130 converts the sound of the audible frequency region or the ultrasonic wave region separated by the signal separating unit 120 into a signal having a predetermined time interval (for example, 0.1 second) And convert the signal of each unit section into a result at the frequency end.

이를 위해 신호 변환부(130)는 일 실시예로서 고속퓨리에변환(Fast Fourier Transform; FFT)을 이용할 수 있다.For this, the signal converting unit 130 may use Fast Fourier Transform (FFT) as an embodiment.

한편, 주파수 반응 특성 계산부(140)는 신호 변환부(130)를 통해 주파수 단에서의 결과로 변환된 각 단위 구간별 주파수에 대하여 평균과 분산을 계산할 수 있다.Meanwhile, the frequency response characteristic calculation unit 140 may calculate an average and a variance for the frequency of each unit section converted to the result at the frequency end through the signal conversion unit 130.

참고로, 주파수 반응 특성 계산부(140)는 미리 정해진 시간 동안(예를 들어 5초)의 상기 각 단위 구간별 주파수에 대한 평균과 분산을 기준 데이터(calibration data)로서 저장할 수 있다.For reference, the frequency response characteristic calculation unit 140 may store, as calibration data, a mean and a variance of the frequency of each unit section for a predetermined time (for example, five seconds).

여기서 ‘기준 데이터’는 휴지기의 데이터, 즉, 차량의 시동이 걸려있는 정차 상태에서 미리 정해진 시간동안 상기 구성 요소들(110~140)을 통해 획득된 각 단위 구간별 주파수에 대한 평균과 분산을 의미한다.Here, 'reference data' means an average and a variance of the frequency of each unit section acquired through the components 110 to 140 for a predetermined period of time in the data of the idle period, that is, the stationary state in which the vehicle is started do.

또한, 상기 기준 데이터는 다양한 기준 데이터 생성 조건에 따라서 생성될 수 있다. 예를 들어 주행 차량의 종류(자동차 메이커의 차종에 따라서 소음과 진동이 다를 수 있으므로), 연료(디젤, 가솔린, 전기 모터 등) 그리고 주행 장소(일반도로, 고속도로, 주택가, 번화가 등)와 주행 시간대(새벽, 아침, 점심, 저녁 등) 등을 고려하여 생성될 수 있다.Further, the reference data may be generated according to various reference data generation conditions. For example, the type of driving vehicle (noise and vibration may vary depending on the car model of the car maker), fuel (diesel, gasoline, electric motor, etc.), driving location (general road, highway, residential area, (Morning, morning, lunch, evening, etc.).

만일, 상기 기준 데이터 생성 조건별로 기준 데이터가 생성되는 경우, 음원 위치 추정 장치(100)는 운전자가 주행 상황에 적합한 조건을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.If reference data is generated for each reference data generation condition, the sound source position estimation apparatus 100 may provide a user interface that allows the driver to select a condition suitable for the driving situation.

주파수 반응 특성 계산부(140)는 주행 중 미리 정해진 시간 동안 획득된 각 단위 구간별 주파수에 대한 평균 및 분산을 기준 데이터의 각 단위 구간별 평균 및 분산과 비교하고 그 차이를 계산할 수 있다.The frequency response characteristic calculation unit 140 may compare the mean and variance of frequencies obtained for each unit section during a predetermined period of time with the mean and variance of each unit interval of the reference data and calculate the difference.

이는, 각 광대역 마이크 센서(110)로부터 획득되는 소리가 주파수 단에서 기준 데이터와 비교하여 얼마나 다른지를 계산하는 것이며, 상기 차이를 계산하는 일 실시예로서 마하라노비스 거리(Mahalanobis distance)를 이용할 수 있다.This is to calculate how much the sound obtained from each wide-band microphone sensor 110 differs from the reference data at the frequency end, and Mahalanobis distance can be used as an example of calculating the difference .

이후, 주파수 반응 특성 계산부(140)는 상기 계산된 차이(이하 ‘주파수 반응 특성’이라 칭함)를 ‘벡터’로 치환할 수 있다.Thereafter, the frequency response characteristic calculation unit 140 may replace the calculated difference (hereinafter, referred to as 'frequency response characteristic') with a 'vector'.

여기서, ‘벡터의 방향’은 각 광대역 마이크 센서(110)가 차량에 배치된 위치(각도)이며, ‘벡터의 크기(길이)’는 상기 주파수 반응 특성에 상응하는 길이(마하라노비스 거리)이다.Here, the 'vector direction' is a position (angle) at which each wideband microphone sensor 110 is disposed in the vehicle, and the 'vector length (length)' is a length corresponding to the frequency response characteristic (Mahalanobis distance) .

참고로, 각 광대역 마이크 센서(110)가 차량에 배치되는 위치(각도)의 기준은 복수의 광대역 마이크 센서(110)의 중심점이 될 수 있으며, 이 중심점은 가상으로 설정될 수 있다.For reference, the reference of the position (angle) at which each wide-band microphone sensor 110 is disposed in the vehicle may be a center point of the plurality of wide-band microphone sensors 110, and the center point may be set virtually.

한편, 음원 위치 추정부(150)는 주파수 반응 특성 계산부(140)에서 치환된 벡터들 중 상위 대표 벡터만을 선택하는 필터링 과정을 수행할 수 있다.Meanwhile, the sound source position estimation unit 150 may perform a filtering process of selecting only an upper representative vector among the substituted vectors in the frequency response characteristic calculation unit 140. [

여기서 상위 대표 벡터는 미리 정해진 기준 값을 초과하는 벡터를 의미할 수 있다.Here, the higher representative vector may mean a vector exceeding a predetermined reference value.

또한, 음원 위치 추정부(150)는 상기 선택된 상위 대표 벡터들 중 음원의 위치를 추정하기 위한 가상의 보팅 셀(voting cell)들을 설정할 수 있으며, 선택된 상위 대표 벡터들로부터 일정 수 이상의 보팅을 받은 보팅 셀을 음원이 발생한 위치로 추정할 수 있다.In addition, the sound source position estimating unit 150 may set virtual voting cells for estimating the position of a sound source among the selected higher representative vectors. In addition, The cell can be estimated as the location where the sound source is generated.

여기서 ‘보팅 셀’을 설정하는 이유는, 복수의 음원으로부터 소리가 발생하는 경우 각 광대역 마이크 센서(110)에는 복수의 음원으로부터 수신되는 신호가 혼재할 수 있기 때문이며, 음원 위치 추정부(150)는 보팅 셀들을 설정하고 음원의 발생 위치에 대한 보팅을 적용함으로써 음원 위치 추정의 정확도를 높일 수 있다.The reason for setting the 'calling cell' here is that when a sound is generated from a plurality of sound sources, signals received from a plurality of sound sources may be mixed in each of the wideband microphone sensors 110, The accuracy of the sound source location estimation can be improved by setting the voting cells and applying the voting to the location of the sound source.

이에 대한 더 상세한 설명은 도 5 및 도 6을 참조하여 후술하도록 한다.A more detailed description thereof will be described later with reference to Figs. 5 and 6. Fig.

한편, 음원 위치 표시부(160)는 음원 위치 추정부(150)에서 추정된 음원의 위치를 디스플레이 장치(미도시)에 시각적으로 표시할 수 있다.On the other hand, the sound source position display unit 160 can visually display the position of the sound source estimated by the sound source position estimating unit 150 on a display device (not shown).

여기서 디스플레이 장치(미도시)에는 차량에서 광대역 마이크 센서(110)가 배치된 위치에 상응하여 음원의 위치를 표시하는 사용자 인터페이스가 제공될 수 있으며, 음원의 위치뿐만 아니라 음원의 크기 또한 함께 표시될 수 있다.Here, the display device (not shown) may be provided with a user interface for displaying the location of the sound source corresponding to the position where the broadband microphone sensor 110 is disposed in the vehicle, and the location of the sound source as well as the size of the sound source may be displayed have.

이에 대한 더 상세한 설명은 도 7을 참조하여 후술하도록 한다.A more detailed description thereof will be described later with reference to Fig.

한편, 메모리(170)는 제어부(180)가 전술한 음원 위치 추정 방법을 수행하기 위해 필요한 다양한 알고리즘 및 그 과정에서 파생되는 다양한 데이터 등(예를 들어, 상기 기준 데이터와 실제 주행 시 획득되는 각 단위 구간별 주파수에 대한 평균과 분산, 주파수 반응 특성 등)을 저장할 수 있다.Meanwhile, the memory 170 stores various algorithms necessary for performing the sound source position estimating method described above and various data derived therefrom (for example, the reference data and each unit obtained in actual traveling) Average and variance for frequency per section, frequency response characteristics, etc.).

한편, 제어부(180)는 메모리(180)에 저장된 음원 위치 추정 방법을 수행하기 위해 필요한 다양한 알고리즘에 따라서 음원 위치 추정 장치(100)의 내부 구성 요소들, 예를 들어, 광대역 마이크 센서(110), 신호 분리부(120), 신호 변환부(130), 주파수 반응 특성 계산부(140), 음원 위치 추정부(150), 음원 위치 표시부(160) 및 메모리(170) 등을 제어할 수 있다.The control unit 180 controls the internal components of the sound source position estimating apparatus 100 according to various algorithms required to perform the method of estimating the sound source position stored in the memory 180, for example, the wideband microphone sensor 110, The frequency synthesizer 140 may control the signal separator 120, the signal converter 130, the frequency response characteristic calculator 140, the sound source position estimator 150, the sound source position indicator 160, and the memory 170.

도 3은 본 발명의 일 실시예에 따른 기준 데이터를 생성하는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of generating reference data according to an embodiment of the present invention.

참고로, 기준 데이터의 생성 조건(주행 차량의 종류, 연료 종료, 주행 장소 및 주행 시간대 등)은 미리 설정된 상태이다.For reference, the conditions for generation of the reference data (type of the traveling vehicle, fuel end, traveling place, traveling time, etc.) are preset.

음원 위치 추정 장치(100)는 기준 데이터 생성 조건에 따라서 미리 정해진 시간동안(예를 들어 5초) 각 광대역 마이크 센서(110)로부터 신호를 획득한다(S301).The sound source localization apparatus 100 acquires a signal from each wide-band microphone sensor 110 for a predetermined time (for example, five seconds) according to a reference data generation condition (S301).

여기서 음원 위치 추정 장치(100)는 각 광대역 마이크 센서(110)로부터 획득된 신호를 가청 주파수 영역 또는 초음파 영역별로 구분할 수 있다.Here, the sound source localization apparatus 100 can classify the signals obtained from the respective wideband microphone sensors 110 by an audible frequency region or an ultrasonic region.

S301 후, 음원 위치 추정 장치(100)는 획득된 신호를 특정 시간 간격(예를 들어 0.1초)의 단위 구간으로 분할한다(S302).After S301, the sound source localization apparatus 100 divides the obtained signal into unit sections of a specific time interval (for example, 0.1 second) (S302).

S302 후, 음원 위치 추정 장치(100)는 각 단위 구간의 신호를 고속퓨리에변환(FFT)하여 주파수 단에서의 결과로 변환한다(S303).After S302, the sound source localization apparatus 100 performs fast Fourier transform (FFT) on the signal of each unit section and converts it into a result at the frequency end (S303).

S303 후, 음원 위치 추정 장치(100)는 각 단위 구간별로 해당 주파수에 대한 평균과 분산을 계산하여 저장한다(S304).After S303, the sound source localization apparatus 100 calculates and stores the average and variance for the respective frequencies in each unit section (S304).

여기서, 미리 정해진 시간동안 각 단위 구간별로 저장되는 평균과 분산은 각 광대역 마이크 센서(110)별로 저장된다.Here, the average and variance stored for each unit section for a predetermined time are stored for each wideband microphone sensor 110.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 음원 발생 위치를 추정하는 과정을 도시한 흐름도이다.4A and 4B are flowcharts illustrating a process of estimating a sound source position according to an embodiment of the present invention.

참고로, 도 3에 도시된 과정을 통해 기준 데이터는 이미 존재하며, 도 4a 및 도 4b에서는 기준 데이터와의 비교를 통해 실제 주행 중 음원의 위치를 추정하는 과정이다.For reference, the reference data already exists through the process shown in FIG. 3, and in FIGS. 4A and 4B, the position of the sound source during actual traveling is estimated through comparison with reference data.

음원 위치 추정 장치(100)는 주행 조건을 입력받기 위한 사용자 인터페이스를 표시하고, 운전자로부터 주행 조건에 대한 선택을 입력받는다(S401).The sound source localization apparatus 100 displays a user interface for receiving driving conditions, and receives a selection of driving conditions from the driver (S401).

여기서 ‘주행 조건’은 주행 차량의 종류(자동차 메이커의 차종에 따라서 소음과 진동이 다를 수 있으므로), 연료(디젤, 가솔린, 전기 모터 등), 주행 장소(일반도로, 고속도로, 주택가, 번화가 등) 및 주행 시간대(새벽, 아침, 점심, 저녁 등) 등을 포함할 수 있다.Here, the term 'driving condition' means a type of driving vehicle (such as a diesel, a gasoline, an electric motor, etc.), a driving place (a public road, a highway, a residential area, And a driving time zone (morning, morning, lunch, dinner, etc.).

S401 후, 음원 위치 추정 장치(100)는 차량에 배치된 복수의 광대역 마이크 센서(110)로부터 미리 정해진 시간동안(예를 들어 5초) 소리 신호를 획득한다(S402).After S401, the sound source localization apparatus 100 acquires a sound signal for a predetermined time (for example, five seconds) from a plurality of wide-band microphone sensors 110 disposed in the vehicle (S402).

참고로, 음원 위치 추정 장치(100)는 각 광대역 마이크 센서(110)로부터 획득된 신호를 가청 주파수 영역 또는 초음파 영역으로 구분할 수 있다.For reference, the sound source localization apparatus 100 may divide a signal obtained from each wideband microphone sensor 110 into an audible frequency region or an ultrasonic wave region.

S402 후, 음원 위치 추정 장치(100)는 획득된 신호를 특정 시간 간격(예를 들어 0.1초)의 단위 구간으로 분할한다(S403).After S402, the sound source localization apparatus 100 divides the obtained signal into unit sections of a specific time interval (for example, 0.1 second) (S403).

S403 후, 음원 위치 추정 장치(100)는 각 단위 구간의 신호를 고속퓨리에변환(FFT)하여 주파수 단에서의 결과로 변환한다(S404).After step S403, the sound source localization apparatus 100 performs fast Fourier transform (FFT) on the signal of each unit section and converts it into a result at the frequency end (S404).

S404 후, 음원 위치 추정 장치(100)는 주파수 단에서의 결과로 변환된 각 단위 구간별 주파수에 대하여 평균 및 분산을 계산하고, 이를 기준 데이터의 단위 구간별 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산한다(S405).After step S404, the sound source localization apparatus 100 calculates an average and variance for each unit section frequency converted into a result at the frequency end, compares the mean and variance with the average and variance of the unit section of the reference data, The reaction characteristics are calculated (S405).

여기서 음원 위치 추정 장치(100)는 상기 주파수 반응 특성으로서 마하라노비스 거리(Mahalanobis distance)를 이용할 수 있다.Here, the sound source localization apparatus 100 may use the Mahalanobis distance as the frequency response characteristic.

S405 후, 음원 위치 추정 장치(100)는 계산된 주파수 반응 특성을 벡터로 치환하고, 치환된 벡터 중 상위 대표 벡터만을 선택하는 필터링 과정을 수행한다(S406).After step S405, the sound source localization apparatus 100 performs a filtering process of replacing the calculated frequency response characteristic with a vector and selecting only an upper representative vector among the substituted vectors (S406).

참고로 벡터의 치환 시, ‘벡터의 방향’은 각 광대역 마이크 센서(110)의 배치 위치, 즉 가상의 중심점으로부터 각 광대역 마이크 센서(110)가 위치하는 각도이며, ‘벡터의 크기(길이)’는 S405에서 계산된 주파수 반응 특성(마라하노비스 거리)에 상응할 수 있다.For reference, when the vector is substituted, the 'vector direction' is an angle at which each wide-band microphone sensor 110 is located from the placement position of each wide-band microphone sensor 110, that is, a virtual center point, May correspond to the frequency response characteristic (Marahanovis distance) calculated in S405.

S406 후, 음원 위치 추정 장치(100)는 최종 음원 위치 추정을 위한 보팅 셀들을 설정하고, 선택된 상위 대표 벡터를 이용하여 보팅을 수행하며, 보팅 결과에 따라서 하나 이상의 음원 위치를 추정한다(S407).After step S406, the sound source localization apparatus 100 sets voting cells for the final sound source position estimation, performs voting using the selected upper representative vector, and estimates one or more sound source positions according to the voting result (S407).

즉, 복수의 위치에서 음원이 발생하여도 주파수 대역의 차이가 있다면, 보팅 결과를 통해 복수의 음원 위치 추정이 가능하다.That is, even if a sound source occurs at a plurality of positions, if there is a difference in frequency bands, a plurality of sound source positions can be estimated through the result of the sounding.

S407 후, 음원 위치 추정 장치(100)는 추정된 하나 이상의 음원 위치를 디스플레이 장치에 표시한다(S408).After S407, the sound source localization apparatus 100 displays the estimated one or more sound source positions on the display device (S408).

이때, 음원 위치 추정 장치(100)는 디스플레이 장치에서 각 광대역 마이크 센서(110)의 위치에 상응하는 영역에 상기 추정된 음원의 위치를 표시할 수 있으며, 음원의 위치 표시 외에도 해당 음원의 크기에 따라서 빛의 밝기나 색상 등으로 표시할 수 있다.At this time, the sound source position estimation apparatus 100 can display the position of the estimated sound source in a region corresponding to the position of each wide-band microphone sensor 110 in the display device. In addition to the position indication of the sound source, It can be displayed by brightness or color of light.

참고로, 상기 음원의 크기는 S406의 벡터에서 ‘벡터의 크기(길이)’를 이용할 수 있다. 즉, 해당 벡터의 크기(길이)가 미리 정해진 값 미만인지 또는 그 이상인지에 따라서 음원의 크기를 판단할 수 있다.For reference, the size of the sound source may be 'vector size (length)' in the vector of S406. That is, the size of the sound source can be determined according to whether the size (length) of the vector is less than or equal to a predetermined value.

도 5는 본 발명의 일 실시예에 따른 광대역 마이크 센서와 음원에 대한 위치 관계를 도시한 도면이다.5 is a diagram illustrating a positional relationship between a wide-band microphone sensor and a sound source according to an embodiment of the present invention.

차량에 배치된 복수의 광대역 마이크 센서(110)에서 I번째 광대역 마이크 센서의 위치를 S라 하고, 가상의 중심점으로부터 해당 광대역 마이크 센서의 방향(각도)을 θ라고 하면, 광대역 마이크 센서의 위치와 방향(각도)은 아래의 [수학식 1]과 같이 나타낼 수 있다.Let S be the position of the I-th wide-band microphone sensor in a plurality of wide-band microphone sensors 110 disposed in the vehicle, and let θ be the direction (angle) of the broadband microphone sensor from the imaginary central point. (Angle) can be expressed by the following equation (1).

Figure 112016068437650-pat00001
Figure 112016068437650-pat00001

여기서 음원으로부터 발생되는 소리는 각 광대역 마이크 센서(110)로 입력된다.Here, the sound generated from the sound source is input to each broadband microphone sensor 110.

i번째 광대역 마이크 센서에 입력된 신호를 f(t)라 하고, 주파수 단에서의 반응을 알아내기 위해 f(t)에 대한 고속퓨리에변환을 수행하면 아래의 [수학식 2]와 같이 나타낼 수 있다.If a signal inputted to the i-th wide-band microphone sensor is f (t) and a fast Fourier transform is performed on f (t) to find out the response at the frequency end, it can be expressed as the following equation .

또한, 각 광대역 마이크 센서(110)의 위치에 대한 평균과 분산은 아래의 [수학식 3]과 같이 나타낼 수 있다.In addition, the average and variance of the positions of the respective wide-band microphone sensors 110 can be expressed by Equation (3) below.

Figure 112016068437650-pat00003
Figure 112016068437650-pat00003

즉, 기준 데이터로서 휴지기의 소리 신호를 주파수 단에서의 평균과 분산으로 기록하여 저장하고, 이후 실제 주행 중 입력되는 신호에 대해 주파수 단에서 기준 데이터와 얼마나 다른지를 비교하고 그 차이를 계산하는 것이다.That is, as the reference data, a resting sound signal is recorded and stored as an average and variance at the frequency end, and then the signal inputted during the actual running is compared with the reference data at the frequency end and compared.

I번째 광대역 마이크 센서의 주파수 반응 특성(Di)을 마하라노비스 거리 형태로 치환하고, 각 광대역 마이크 센서별 계수(Ci)를 적용한 형태로 모델링을 하면 아래의 [수학식 4]와 같이 나타낼 수 있다.When the frequency response characteristic (D i ) of the I-th broadband microphone sensor is replaced with the Mahalanobis distance type and the coefficient of each broadband microphone sensor (C i ) is applied, it can be expressed as shown in the following Equation (4) .

Figure 112016068437650-pat00004
Figure 112016068437650-pat00004

여기서, F^는 새로 입력된 신호이며, Ci는 가상의 중심점으로부터 각 광대역 마이크 센서(110)의 위치가 모두 동일한 상태가 아니기 때문에 이를 보정하기 위한 것이다.Here, F is a newly input signal, and C i is for correcting the C i because the positions of the respective wideband microphone sensors 110 are not the same from the imaginary central point.

결국, [수학식 4]의 결과를 벡터로 치환 시 각 광대역 마이크 센서의 방향(각도), 과 크기(길이)는 각 광대역 마이크 센서의 위치에 기초하여 아래의 [수학식 5]와 같이 나타낼 수 있다.When the result of Equation (4) is replaced with a vector, the direction (angle), and the size (length) of each wide-band microphone sensor can be expressed by the following Equation 5 based on the position of each wide- have.

Figure 112016068437650-pat00005
Figure 112016068437650-pat00005

도 6은 본 발명의 일 실시예에 따른 보팅 셀을 이용한 음원 발생 위치 추정을 도시한 도면이다.6 is a diagram illustrating location estimation of a sound source using a voting cell according to an embodiment of the present invention.

도 6의 (a)는 보팅 셀과 보팅 결과를 도시한 것으로, 원주 상에 존재하는 원은 각각의 방향을 나타내는 보팅 셀을 의미하며, 각 주파수 단에서의 연산 결과(기준 데이터와 주행 중 입력된 신호의 차이)는 화살표로 표시된다.6A shows the voting cell and the voting result. The circles on the circumference indicate the voting cell indicating the direction, and the calculation result (the reference data and the input Signal difference) is indicated by an arrow.

여기서, 12시 방향의 보팅 셀은 3개의 파란색 벡터의 영향으로 최종 음원 위치로 선정되었으며, 빨간색으로 표시된 다른 벡터들은 보팅 과정에서 생략되었다.Here, the 12 o'clock voting cell was selected as the final sound source location due to the influence of the three blue vectors, and other vectors marked in red were omitted from the voting process.

도 6의 (b)는 보팅 셀과 보팅 결과에 따라서 복수의 음원 위치를 추정하는 결과를 도시한 것으로서, 2개의 음원에서 소리가 발생한 경우의 보팅 셀과 보팅 결과가 나타나 있다.6B shows a result of estimating a plurality of sound source positions according to a voting cell and a voting result, and shows a voting cell and a voting result when a sound occurs in two sound sources.

음원 1과 음원 2에 대한 보팅 결과로서 3개 이상의 화살표의 투표를 받은 보팅 셀만이 활성화되어 해당 보팅 셀이 최종 음원 위치로 추정되었다.As the voting result for Sound Source 1 and Sound Source 2, only the voting cell that received the votes of three or more arrows was activated, and the corresponding voting cell was estimated as the final sound source position.

도 7은 본 발명의 일 실시예에 따른 보팅 셀을 이용하여 음원 발생 위치를 추정하는 시뮬레이션 결과를 도시한 도면이다.FIG. 7 is a diagram illustrating a simulation result of estimating a sound source position using a voting cell according to an embodiment of the present invention. Referring to FIG.

도 7에서는 도 6에 도시된 보팅 셀과 보팅 결과를 이용하여, 6개의 광대역 마이크 센서에 대한 보팅 결과에 따라서 음원 발생 위치를 추정한 시뮬레이션 결과이다.FIG. 7 is a simulation result of estimating a sound source position according to a voting result for six wideband microphone sensors using the voting cell and the voting result shown in FIG.

보팅 결과, 최종적으로 오른쪽 아래에서 음원이 발생한 것으로 추정되었으며, 실제 음원 또한 오른쪽 아래에서 발생하였다.As a result of the voting, it was estimated that the sound source was finally generated in the lower right, and the actual sound source also occurred in the lower right.

도 8은 본 발명의 일 실시예에 따른 음원 발생 위치의 표시를 도시한 도면이다.FIG. 8 is a diagram showing a display of a sound source generating position according to an embodiment of the present invention.

음원의 발생 위치가 표시되는 디스플레이 장치는 도 8에 도시된 바와 같이 LED 패널로 형성될 수 있으며, LED 패널은 각 광대역 마이크 센서에 상응하는 영역(810~860)으로 분할될 수 있다.The display device in which the location of the sound source is displayed may be formed of an LED panel as shown in FIG. 8, and the LED panel may be divided into areas 810 to 860 corresponding to the respective wide-band microphone sensors.

전술한 과정을 통해 특정 광대역 마이크 센서가 위치한 방향이 음원의 위치로 추정되면, 해당 광대역 마이크 센서에 상응하는 영역(860)에 LED 빛이 발광하여 음원의 위치를 표시할 수 있다.If the direction in which the specific broadband microphone sensor is located is estimated as the position of the sound source through the above-described process, the LED light is emitted in the area 860 corresponding to the corresponding broadband microphone sensor, and the position of the sound source can be displayed.

이때, 음원의 크기에 따라서 LED 빛이 발광하는 세기가 다르게 표시되거나, 다른 색상의 LED 빛이 발광되어 표시될 수 있다.At this time, depending on the size of the sound source, the intensity at which the LED light is emitted may be displayed differently, or LED lights of different colors may be emitted and displayed.

도 8과 같이 디스플레이 장치를 통해서 음원의 발생 위치를 표시하는 경우, 차량의 실내에서 큰 소리로 대화하거나 볼륨을 높여 음악을 감상하는 경우, 또는 청각에 문제가 있는 운전자에게 주변에서 발생하는 소리(경적음 등)를 직관적으로 알려줄 수 있다.In the case where the location of the sound source is displayed through the display device as shown in FIG. 8, when a loud voice is heard in the interior of the vehicle or when the user is listening to music by increasing the volume, Etc.) can be intuitively informed.

참고로, 도 8에서는 디스플레이 장치로 설명하였지만, 음원 위치 추정 장치(100)로서 스마트폰, 휴대폰, PDA, PMP, 태블릿 컴퓨터 등이 사용되는 경우, 도 8에 도시된 도면은 사용자 인터페이스로서 스마트폰, 휴대폰, PDA, PMP, 태블릿 컴퓨터 등의 화면에 표시될 수 있다.8 illustrates a display device, when a smartphone, a mobile phone, a PDA, a PMP, a tablet computer, or the like is used as the sound source position estimation device 100, A mobile phone, a PDA, a PMP, a tablet computer, or the like.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100 : 음원 위치 추정 장치
110 : 광대역 마이크 센서
120 : 신호 분리부
130 : 신호 변환부
140 : 주파수 반응 특성 계산부
150 : 음원 위치 추정부
160 : 음원 위치 표시부
170 : 메모리
180 : 제어부100: sound source position estimating device
110: Broadband microphone sensor
120:
130: Signal conversion unit
140: Frequency response characteristic calculation unit
150: sound source position estimating unit
160: sound source position indicator
170: memory
180:

Claims (11)

차량에 배치된 복수의 광대역 마이크 센서를 이용하여 음원의 발생 위치를 추정하는 장치에 있어서,
상기 광대역 마이크 센서로부터 입력된 신호를 특정 시간 간격의 단위 구간으로 분할하고, 상기 단위 구간별 신호를 주파수 단에서의 결과로 변환하는 신호 변환부;
상기 단위 구간별로 변환된 주파수에 대하여 평균 및 분산을 계산하고, 상기 계산된 평균 및 분산을 기 저장된 기준 데이터(calibration data)의 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산하며, 상기 계산된 주파수 반응 특성을 가상의 중심점으로부터 방향과 크기를 가지는 벡터로 치환하는 주파수 반응 특성 계산부;
가상의 보팅 셀(voting cell)들을 설정하고, 상기 보팅 셀에 상기 치환된 벡터를 적용하여 보팅(voting)을 수행하며, 상기 보팅의 수행 결과에 따라서 하나 이상의 음원이 발생한 위치를 추정하는 음원 위치 추정부; 및
상기 추정된 음원의 발생 위치를 디스플레이 장치에 시각적으로 표시하는 음원 위치 표시부
를 포함하되,
상기 기준 데이터는 시동이 걸려있는 정차 상태에서 미리 정해진 시간동안 상기 광대역 마이크 센서로부터 획득된 신호에 대한 주파수 변환을 통해 생성되고, 차량의 종류, 연료, 주행 장소 및 주행 시간대 중 하나 이상의 기준 데이터 생성 조건에 따라서 상기 각 광대역 마이크 센서별로 생성되며,
상기 주파수 반응 특성 계산부는
상기 각 데이터 생성 조건에 따라 생성된 기준 데이터들 중 사용자 인터페이스를 통해 입력된 주행 조건 - 주행 차량의 종류, 연료, 주행 장소 및 주행 시간대 중 하나 이상을 포함함 - 에 매칭되는 기준 데이터를 선택하여 상기 주파수 반응 특성을 계산하고,
상기 주파수 반응 특성 계산부는 다음의 수학식과 같이 상기 주파수 반응 특성(Di(f))을 계산하는 것을 특징으로 하는 음원 위치 추정 장치.
Figure 112018038848150-pat00015

여기서, F^는 새로 입력된 신호이며, Ci는 광대역 마이크 센서별 보정 상수이고, Fi(f)는 광대역 마이크 센서별로 주파수 변환된 신호이며, μ는 분산을 의미함.

An apparatus for estimating a location of a sound source using a plurality of broadband microphone sensors disposed in a vehicle,
A signal converter for dividing a signal inputted from the broadband microphone sensor into unit sections at specific time intervals and converting the signals of the unit sections into results at the frequency ends;
Calculating a mean and variance for the frequency converted for each unit section, comparing the calculated mean and variance with an average and variance of previously stored calibration data to calculate a frequency response characteristic of the difference, A frequency response characteristic calculation unit that replaces the frequency response characteristic of the input signal with a vector having a direction and a magnitude from a virtual center point;
The method includes setting virtual voting cells, voting by applying the substituted vector to the voting cell, and outputting a sound source location estimate for estimating a location where one or more sound sources occur according to the result of the voting government; And
A sound source position display unit for visually displaying the estimated location of the sound source on the display device,
, ≪ / RTI &
The reference data is generated through frequency conversion of a signal obtained from the wide-band microphone sensor for a predetermined time in a stationary state in which the engine is in a start-up state, and is generated based on at least one reference data generation condition And a microphone unit for generating a microphone signal,
The frequency response characteristic calculation unit
Selecting reference data matched to at least one of a driving condition, a type of a driving vehicle, a fuel, a driving location, and a driving time zone inputted through the user interface among the reference data generated according to the data generation conditions, Calculate the frequency response characteristics,
Wherein the frequency response characteristic calculation unit calculates the frequency response characteristic (D i (f)) according to the following equation.
Figure 112018038848150-pat00015

Here, F is a newly inputted signal, C i is a calibration constant for each wide-band microphone sensor, Fi (f) is a frequency-converted signal for each wide-band microphone sensor, and μ means dispersion.

삭제delete 삭제delete 제1 항에 있어서,
상기 주파수 반응 특성 계산부는
상기 치환된 벡터 중 상기 크기가 미리 정해진 값 미만인 벡터는 제거하는 필터링을 수행하는 것을 특징으로 하는 음원 위치 추정 장치.
The method according to claim 1,
The frequency response characteristic calculation unit
And performs filtering to remove a vector having a size smaller than a predetermined value among the substituted vectors.
제1 항에 있어서,
상기 음원 위치 추정부는
상기 벡터를 통해 보팅된 개수가 미리 정해진 수 이상인 보팅 셀을 음원이 발생한 위치로 추정하는 것을 특징으로 하는 음원 위치 추정 장치.
The method according to claim 1,
The sound source position estimating unit
Wherein the estimating unit estimates a voting cell having a number of times viewed through the vector equal to or greater than a predetermined number as a position at which a sound source occurs.
제1 항에 있어서,
상기 음원 위치 표시부는
상기 디스플레이 장치의 사용자 인터페이스에서, 상기 추정된 음원의 발생 위치에 상응하는 영역에 음원의 발생 위치 및 음원의 크기를 시각적으로 표시하되,
상기 사용자 인터페이스는
상기 광대역 마이크 센서의 배치 위치에 해당하는 복수의 영역을 포함하는 것을 특징으로 하는 음원 위치 추정 장치.
The method according to claim 1,
The sound source location display unit
A display unit for visually displaying a location of a sound source and a size of the sound source in an area corresponding to the estimated location of the sound source,
The user interface
And a plurality of regions corresponding to an arrangement position of the wideband microphone sensor.
음원 위치 추정 장치가 차량에 배치된 복수의 광대역 마이크 센서를 이용하여 음원의 위치를 추정하는 방법에 있어서,
(a) 상기 광대역 마이크 센서로부터 입력된 신호를 특정 시간 간격의 단위 구간으로 분할하고, 상기 단위 구간별 신호를 주파수 단에서의 결과로 변환하는 단계;
(b) 상기 단위 구간별로 변환된 주파수에 대하여 평균 및 분산을 계산하고, 상기 계산된 평균 및 분산을 기 저장된 기준 데이터(calibration data)의 평균 및 분산과 비교하여 그 차이인 주파수 반응 특성을 계산하는 단계;
(c) 상기 계산된 주파수 반응 특성을 가상의 중심점으로부터 방향과 크기를 가지는 벡터로 치환하는 단계;
(d) 가상의 보팅 셀(voting cell)들을 설정하고, 상기 보팅 셀에 상기 치환된 벡터를 적용하여 보팅(voting)을 수행하며, 상기 보팅의 수행 결과에 따라서 하나 이상의 음원이 발생한 위치를 추정하는 단계; 및
(e) 상기 추정된 음원의 발생 위치를 디스플레이 장치에 시각적으로 표시하는 단계
를 포함하되,
상기 기준 데이터는 시동이 걸려있는 정차 상태에서 미리 정해진 시간동안 상기 광대역 마이크 센서로부터 획득된 신호에 대한 주파수 변환을 통해 생성되고, 차량의 종류, 연료, 주행 장소 및 주행 시간대 중 하나 이상의 기준 데이터 생성 조건에 따라서 상기 각 광대역 마이크 센서별로 생성되며,
상기 단계(c)는
상기 각 데이터 생성 조건에 따라 생성된 기준 데이터들 중 사용자 인터페이스를 통해 입력된 주행 조건 - 주행 차량의 종류, 연료, 주행 장소 및 주행 시간대 중 하나 이상을 포함함 - 에 매칭되는 기준 데이터를 선택하여 상기 주파수 반응 특성을 계산하고,
상기 단계(c)는 다음의 수학식과 같이 상기 주파수 반응 특성(Di(f))을 계산하는 것을 특징으로 하는 음원 위치 추정 방법.
Figure 112018038848150-pat00016

여기서, F^는 새로 입력된 신호이며, Ci는 광대역 마이크 센서별 보정 상수이고, Fi(f)는 광대역 마이크 센서별로 주파수 변환된 신호이며, μ는 분산을 의미함.

A method for estimating a position of a sound source using a plurality of wide band microphone sensors disposed in a vehicle,
(a) dividing a signal inputted from the broadband microphone sensor into unit sections of a specific time interval and converting the signals of the unit sections into results at a frequency end;
(b) calculating an average and a variance for the frequency converted for each unit section, comparing the calculated average and variance with the average and variance of previously stored calibration data, and calculating a frequency response characteristic of the difference step;
(c) replacing the calculated frequency response characteristic with a vector having a direction and a size from a virtual center point;
(d) setting virtual voting cells, voting by applying the substituted vector to the voting cell, and estimating a location where one or more sound sources are generated according to the result of the voting step; And
(e) visually displaying the estimated location of the sound source on the display device
, ≪ / RTI &
The reference data is generated through frequency conversion of a signal obtained from the wide-band microphone sensor for a predetermined time in a stationary state in which the engine is in a start-up state, and is generated based on at least one reference data generation condition And a microphone unit for generating a microphone signal,
The step (c)
Selecting reference data matched to at least one of a driving condition, a type of a driving vehicle, a fuel, a driving location, and a driving time zone inputted through the user interface among the reference data generated according to the data generation conditions, Calculate the frequency response characteristics,
Wherein the step (c) calculates the frequency response characteristic (D i (f)) according to the following equation.
Figure 112018038848150-pat00016

Here, F is a newly inputted signal, C i is a calibration constant for each wide-band microphone sensor, Fi (f) is a frequency-converted signal for each wide-band microphone sensor, and μ means dispersion.

제7 항에 있어서,
상기 (c) 단계는
상기 치환된 벡터 중 상기 크기가 미리 정해진 값 미만인 벡터는 제거하는 필터링을 수행하는 단계
를 포함하는 것을 특징으로 하는 음원 위치 추정 방법
8. The method of claim 7,
The step (c)
Performing filtering to remove a vector having a size less than a predetermined value among the substituted vectors
And a sound source position estimation method
제7 항에 있어서,
상기 (d) 단계는
상기 벡터를 통해 보팅된 개수가 미리 정해진 수 이상인 보팅 셀을 음원이 발생한 위치로 추정하는 것을 특징으로 하는 음원 위치 추정 방법.
8. The method of claim 7,
The step (d)
And estimating the voting cell having the number of times viewed through the vector equal to or greater than a predetermined number as a location where the sound source occurs.
제7 항에 있어서,
상기 (e) 단계는
상기 디스플레이 장치의 사용자 인터페이스에서, 상기 추정된 음원의 발생 위치에 상응하는 영역에 음원의 발생 위치 및 음원의 크기를 시각적으로 표시하되,
상기 사용자 인터페이스는
상기 광대역 마이크 센서의 배치 위치에 해당하는 복수의 영역을 포함하는 것을 특징으로 하는 음원 위치 추정 방법.
8. The method of claim 7,
The step (e)
A display unit for visually displaying a location of a sound source and a size of the sound source in an area corresponding to the estimated location of the sound source,
The user interface
And a plurality of regions corresponding to an arrangement position of the wideband microphone sensor.
제7 항 내지 제10 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium comprising a series of instructions for performing the method according to any one of claims 7 to 10.
KR1020160089458A 2016-07-14 2016-07-14 Method and apparatus for estimating location of sound source location based on wideband frequency KR101862461B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160089458A KR101862461B1 (en) 2016-07-14 2016-07-14 Method and apparatus for estimating location of sound source location based on wideband frequency

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160089458A KR101862461B1 (en) 2016-07-14 2016-07-14 Method and apparatus for estimating location of sound source location based on wideband frequency

Publications (2)

Publication Number Publication Date
KR20180007907A KR20180007907A (en) 2018-01-24
KR101862461B1 true KR101862461B1 (en) 2018-05-29

Family

ID=61029123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160089458A KR101862461B1 (en) 2016-07-14 2016-07-14 Method and apparatus for estimating location of sound source location based on wideband frequency

Country Status (1)

Country Link
KR (1) KR101862461B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618636B1 (en) 2022-01-24 2023-12-27 주식회사 옵토노바 Photocatalytic-based photo fusion air purifier

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257378A (en) * 2007-04-03 2008-10-23 Honda Motor Co Ltd Object detection device
JP2012145461A (en) * 2011-01-12 2012-08-02 Panasonic Corp Device for specifying vehicle direction and method for specifying vehicle direction
KR101519255B1 (en) * 2013-12-10 2015-05-19 현대자동차주식회사 Notification System for Direction of Sound around a Vehicle and Method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257378A (en) * 2007-04-03 2008-10-23 Honda Motor Co Ltd Object detection device
JP2012145461A (en) * 2011-01-12 2012-08-02 Panasonic Corp Device for specifying vehicle direction and method for specifying vehicle direction
KR101519255B1 (en) * 2013-12-10 2015-05-19 현대자동차주식회사 Notification System for Direction of Sound around a Vehicle and Method thereof

Also Published As

Publication number Publication date
KR20180007907A (en) 2018-01-24

Similar Documents

Publication Publication Date Title
US10210756B2 (en) Emergency vehicle alert system
CN106114352B (en) Warning method and device based on electric vehicle and vehicle
US9764689B2 (en) System and method for monitoring driving behavior
US9024739B2 (en) Horn input to in-vehicle devices and systems
US20180290590A1 (en) Systems for outputting an alert from a vehicle to warn nearby entities
US20160371977A1 (en) Apparatus, systems, and methods for providing intelligent vehicular systems and services
US20130154852A1 (en) Apparatus for warning pedestrians of oncoming vehicle
CN108226854B (en) Apparatus and method for providing visual information of rear vehicle
US9967717B2 (en) Efficient tracking of personal device locations
WO2018119860A1 (en) Warning method, device and system for vehicle
WO2013121690A1 (en) Vehicle-use display control apparatus
RU2686387C2 (en) Vehicle, method of evaluating driver and driver performance server
CN108312985B (en) Vehicle information prompting method and device
US11341753B2 (en) Emergency vehicle detection
KR20110005113A (en) Video recording device for vehicle and installation state informing method thereof
US9409516B2 (en) Vehicle approach notification sound generating apparatus
EP3378706B1 (en) Vehicular notification device and vehicular notification method
US20220363261A1 (en) System and method for acoustic detection of emergency sirens
US10019902B2 (en) Enhanced sound generation for quiet vehicles with vehicle-to-vehicle communication capabilities
GB2547223A (en) Enhanced sound generation for quiet vehicles
CN112758088A (en) Dangerous source reminding method and advanced driving assistance system
CN110376589A (en) For carrying out the method for environment sensing and for the environmental sensing system of motor vehicle
KR101862461B1 (en) Method and apparatus for estimating location of sound source location based on wideband frequency
US20220230483A1 (en) Vehicle diagnosis system
JP5736398B2 (en) Vehicle approach notification device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant