KR101172354B1 - Sound source localization device using rotational microphone array and sound source localization method using the same - Google Patents

Sound source localization device using rotational microphone array and sound source localization method using the same Download PDF

Info

Publication number
KR101172354B1
KR101172354B1 KR1020110010595A KR20110010595A KR101172354B1 KR 101172354 B1 KR101172354 B1 KR 101172354B1 KR 1020110010595 A KR1020110010595 A KR 1020110010595A KR 20110010595 A KR20110010595 A KR 20110010595A KR 101172354 B1 KR101172354 B1 KR 101172354B1
Authority
KR
South Korea
Prior art keywords
sound source
microphone
microphone array
measured
microphones
Prior art date
Application number
KR1020110010595A
Other languages
Korean (ko)
Inventor
최종석
박영진
이상문
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110010595A priority Critical patent/KR101172354B1/en
Application granted granted Critical
Publication of KR101172354B1 publication Critical patent/KR101172354B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/04—Details
    • G01S3/12—Means for determining sense of direction, e.g. by combining signals from directional antenna or goniometer search coil with those from non-directional antenna
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/8022—Systems for determining direction or deviation from predetermined direction using the Doppler shift introduced by the relative motion between source and receiver

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

PURPOSE: A sound source direction sensing device and method are provided to effectively detect the direction of sound source while using a rotary type microphone array attached to a free end. CONSTITUTION: A sound source direction sensing device(10) comprises a rotary type microphone array(12), a position measurement part(14), a frequency measurement part(16), and a controller(18). The rotary type microphone array installs a microphone. The position measurement measures the location of the microphone installed in the rotary type microphone array. The frequency measurement part measures Doppler frequency of a sound source measured in the microphone. The controller determines the direction of the sound source buy using the Doppler frequency and the location of the microphone.

Description

회전형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법{SOUND SOURCE LOCALIZATION DEVICE USING ROTATIONAL MICROPHONE ARRAY AND SOUND SOURCE LOCALIZATION METHOD USING THE SAME}SOUND SOURCE LOCALIZATION DEVICE USING ROTATIONAL MICROPHONE ARRAY AND SOUND SOURCE LOCALIZATION METHOD USING THE SAME}

본 발명은 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법에 관한 것이다.
The present invention relates to a sound source direction detection apparatus and method using a microphone array.

기존의 음원 방향 검지 기술은 고정된 마이크로폰 어레이를 기반으로 발전하였다. 즉, 이는 마이크로폰 어레이를 구성하는 마이크로폰의 절대적인 위치 또는 적용의 대상(예: 로봇의 플랫폼)에 대한 상대적인 위치를 미리 알고 있는 경우에 대한 방향 검지 기술이다. 이러한 음원 방향 검지 기술에는 마이크로폰 사이의 도달 지연 시간(Time Difference of Arrival, TDOA)를 이용하는 방법과, 로봇 플랫폼의 머리전달함수(Head-Related Transfer Function, HRTF) 데이터베이스를 이용하는 방법과, 다수의 마이크로폰 어레이를 이용한 빔포밍(Beam-forming) 방법 등이 있다. The existing sound source direction detection technology has been developed based on a fixed microphone array. In other words, this is a direction detection technique for a case where the absolute position of the microphones constituting the microphone array or the relative position with respect to the object of application (for example, the platform of the robot) is known in advance. The sound source direction detection technique includes a method using a time difference of arrival (TDOA) between microphones, a head-related transfer function (HRTF) database of a robot platform, and a plurality of microphone arrays. Beam-forming method using the like.

도달 지연 시간을 이용하는 방법은 마이크로폰이 자유음장조건 하에 있는 경우에는 방향 검지를 위해 필요한 음원의 방향에 따른 시간지연정보를 필요로 하지 않으며, 알고리즘이 간단하고 계산량이 적어 실시간 음원 방향 검지에 많이 사용된다. 하지만, 일반적으로 자유음장조건을 만족시키기 위해서는 마이크로폰을 부착할 수 있는 고정단은 제한적이고 그러한 이유로 마이크로폰이 고정된 위치, 음원의 방향에 따른 시간지연정보가 필요하게 된다.The method of using the arrival delay time does not require time delay information according to the direction of the sound source required for direction detection when the microphone is under free sound field conditions, and it is widely used for real-time sound source direction detection due to its simple algorithm and small amount of calculation. . However, in general, in order to satisfy the free sound field condition, the fixed end to which the microphone can be attached is limited, and therefore, the time delay information according to the position where the microphone is fixed and the direction of the sound source is required.

머리전달함수를 이용하는 방법은 마이크로폰 어레이가 고정된 위치가 자유음장조건을 만족시킬 수 없을 때 적용이 가능하며 이를 위해서는 음원의 방향에 의존적인 스펙트럴 큐(spectral cue) 및 채널간의 레벨과 지연위상차이 등의 정보를 미리 확보해야 함으로 큰 메모리의 양, 느린 계산 속도 등으로 실시간에 적용시키기에는 한계가 있다.The method using the head transfer function can be applied when the fixed position of the microphone array cannot satisfy the free sound field condition. For this purpose, the spectral cue and the level and delay phase difference between channels depend on the direction of the sound source. Since information such as such must be secured in advance, there is a limit in applying it in real time due to a large amount of memory and a slow calculation speed.

다수의 마이크로폰 어레이를 이용한 빔포밍 방법은 다수의 마이크로폰으로 구성된 어레이를 사용하는 방법으로 저사양의 시스템 환경에는 적용하기 힘들다는 점에서 한계를 가진다. The beamforming method using a plurality of microphone arrays has a limitation in that it is difficult to apply to a low specification system environment by using an array composed of a plurality of microphones.

이상과 같이 기존에 사용되는 음원 방향 검지 기술은 고정된 마이크로폰 어레이에 기반하고 있다. 만약, 고정된 마이크로폰 어레이가 아닌 자유단의 마이크로폰 어레이를 구성하고, 시간에 따른 마이크로폰의 위치를 알 수 있다고 가정한다고 하더라도, 위의 방법들을 실시간으로 적용시키기에는 한계가 있다. 즉, 도달 지연 시간을 이용하는 방법의 경우만 살펴 보더라도 마이크로폰의 위치가 변화하면 각각의 위치에 따른 지연시간정보를 보유하고 있어야 하므로, 저 사양 시스템 환경에서는 적용하기 힘들다. 따라서, 기존에 고정된 마이크로폰 어레이에 적용되는 음원 방향 검지 알고리즘은 저 사양 시스템 환경에서 실시간 방향 검지에 적용시키기엔 한계가 있다. As described above, the conventional sound source direction detection technology is based on a fixed microphone array. Even if it is assumed that the microphone array of the free end is configured instead of the fixed microphone array and the position of the microphone is known over time, there is a limit to applying the above methods in real time. That is, even if only the method of using the arrival delay time is examined, it is difficult to apply it in a low specification system environment because the position of the microphone must have delay time information according to each position. Therefore, the sound source direction detection algorithm applied to the existing fixed microphone array has a limitation to be applied to real-time direction detection in a low specification system environment.

따라서, 이러한 종래의 기술은 그 성능과 응용가능성 측면에서 장단점이 존재하지만, 이와 같은 적용의 한계가 있기 때문에 음원의 방향에 독립적으로 일정한 방향 검지 성능을 가지며, 자유단에 부착된 센서를 이용할 수 있는 음원 방향 검지 장치 및 음원 방향 검지 방법의 개발이 필요하다.
Therefore, this conventional technology has advantages and disadvantages in terms of performance and applicability, but because of the limitation of such application, it has a constant direction detection performance independently of the direction of the sound source, and can use a sensor attached to the free end. There is a need for development of a sound source direction detecting device and a sound source direction detecting method.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 도플러 효과에 의한 주파수 편이를 측정하여 자유단에 부착된 마이크로폰 어레이를 이용하면서도 효과적으로 음원의 방향을 검출할 수 있으며, 음원의 방향에 변화하여도 성능이 보장되는 음성 인식 장치 및 방법을 제시하고자 한다.
The present invention is to solve the above problems, by measuring the frequency shift due to the Doppler effect, it is possible to effectively detect the direction of the sound source using a microphone array attached to the free end, even if the direction of the sound source changes performance An apparatus and a method for guaranteeing a speech are guaranteed.

이를 위해 본 발명의 일실시예에 따른 음원 방형 검지 장치는 하나 이상의 마이크로폰이 설치되는 회전형 마이크로폰 어레이와, 상기 회전형 마이크로폰 어레이에 설치된 마이크로폰의 위치를 측정하는 위치 측정부와, 상기 회전형 마이크로폰 어레이에 설치된 마이크로폰에서 측정되는 음원의 도플러 주파수를 측정하는 주파수 측정부와, 상기 위치 측정부에서 측정된 마이크로폰의 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 방향을 판단하는 제어부를 포함한다.To this end, the sound source rectangular detection device according to an embodiment of the present invention is a rotary microphone array, at least one microphone is installed, a position measuring unit for measuring the position of the microphone installed in the rotary microphone array, the rotary microphone array A control unit for determining the direction of the sound source using a frequency measuring unit for measuring the Doppler frequency of the sound source measured in the microphone installed in the microphone, the position of the microphone measured in the position measuring unit and the Doppler frequency of the sound source measured in the frequency measuring unit It includes.

이때, 상기 회전형 마이크로폰 어레이에 하나의 마이크로폰이 설치되는 경우, 상기 제어부는 상기 위치 측정부 및 상기 주파수 측정부를 이용하여 각각 다른 시간에 상기 하나의 마이크로폰의 위치와 음원의 도플러 주파수를 측정하고, 각각 다른 시간에 측정된 상기 하나의 마이크로폰의 위치와 음원의 도플러 주파수를 이용하여 음원의 방향을 판단할 수 있다.In this case, when one microphone is installed in the rotatable microphone array, the controller measures the position of the one microphone and the Doppler frequency of the sound source at different times using the position measuring unit and the frequency measuring unit, respectively. The direction of the sound source may be determined using the position of the microphone and the Doppler frequency of the sound source measured at different times.

또한, 상기 회전형 마이크로폰 어레이에 두 개의 마이크로폰이 설치되는 경우,In addition, when two microphones are installed in the rotatable microphone array,

상기 제어부는 상기 위치 측정부 및 상기 주파수 측정부를 이용하여 상기 두 개의 마이크로폰의 위치와 상기 두 개의 마이크로폰에서의 음원의 도플러 주파수를 동시에 측정하고, 상기 동시에 측정된 상기 두 개의 마이크로폰의 위치와 상기 두 개의 마이크로폰에서의 음원의 도플러 주파수를 이용하여 음원의 방향을 판단할 수 있다.The control unit simultaneously measures the position of the two microphones and the Doppler frequencies of the sound sources in the two microphones by using the position measuring unit and the frequency measuring unit, and simultaneously measures the positions of the two microphones and the two microphones. The direction of the sound source may be determined using the Doppler frequency of the sound source in the microphone.

이때, 상기 회전형 마이크로폰 어레이에 두 개의 마이크로폰이 상기 회전형 마이크로폰 어레이의 회전 중심을 기준으로 180도 위상차를 가지며 설치되고, 상기 제어부는 상기 두 개의 마이크로폰에서 측정되는 음원의 도플러 주파수의 차이가 최대가 되는 시점을 검출하고, 상기 시점에서의 상기 두 개의 마이크로폰의 각각의 위치와, 각각의 위치에서의 음원을 기준으로 한 운동 방향 정보를 이용하여 음원의 방향을 판단할 수 있다.In this case, two microphones are installed in the rotatable microphone array with a phase difference of 180 degrees with respect to the rotation center of the rotatable microphone array, and the control unit has a maximum difference between the Doppler frequencies of the sound sources measured by the two microphones. The direction of the sound source may be determined by using the respective positions of the two microphones at the time point and the movement direction information based on the sound source at each position.

상기 회전형 마이크로폰 어레이는 수직으로 회전하도록 구성될 수 있으며, 이때 상기 제어부는 상기 위치 측정부에서 측정된 마이크로폰의 수직 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 고도각을 판단할 수 있다.The rotatable microphone array may be configured to rotate vertically, wherein the control unit uses the vertical position of the microphone measured by the position measuring unit and the Doppler frequency of the sound source measured by the frequency measuring unit. You can judge.

이때, 상기 회전형 마이크로폰 어레이가 두 쌍으로 설치되고, 상기 제어부는 상기 두 쌍의 회전형 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 수평각을 더 판단할 수 있다.In this case, the rotatable microphone array is installed in two pairs, and the controller may further determine the horizontal angle of the sound source by using the time difference of arrival (TDOA) of the sound source signals measured by the two pairs of the rotatable microphone arrays.

또한, 상기 회전형 마이크로폰 어레이는 수평으로 회전하도록 구성될 수 있으며, 이때 상기 제어부는 상기 위치 측정부에서 측정된 마이크로폰의 수평 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 수평각을 판단할 수 있다.In addition, the rotatable microphone array may be configured to rotate horizontally, wherein the controller is a horizontal angle of the sound source using the horizontal position of the microphone measured by the position measuring unit and the Doppler frequency of the sound source measured by the frequency measuring unit. Can be judged.

이때, 상기 회전형 마이크로폰 어레이가 두 쌍으로 설치되고, 상기 제어부는 상기 두 쌍의 회전형 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 고도각을 더 판단할 수 있다.In this case, the rotatable microphone array is installed in two pairs, and the controller may further determine an altitude angle of the sound source by using a time difference of arrival (TDOA) of sound source signals measured by the two pairs of rotatable microphone arrays.

상기 위치 측정부는 엔코더일 수 있다.The position measuring unit may be an encoder.

또한, 본 발명의 일실시예에 따른 음원 방향 검지 방법은 하나 이상의 마이크로폰이 설치된 회전형 마이크로폰 어레이를 회전시키는 단계와, 상기 회전형 마이크로폰 어레이에 설치된 마이크로폰의 위치를 측정하는 단계와, 상기 회전형 마이크로폰 어레이에 설치된 마이크로폰에서 음원의 도플러 주파수를 측정하는 단계와, 상기 측정된 마이크로폰의 위치와 음원의 도플러 주파수를 이용하여 음원의 방향을 판단하는 단계를 포함한다.In addition, the sound source direction detection method according to an embodiment of the present invention comprises the steps of rotating the rotary microphone array is installed one or more microphones, measuring the position of the microphone installed in the rotary microphone array, and the rotary microphone And measuring the Doppler frequency of the sound source in the microphones installed in the array, and determining the direction of the sound source using the measured position of the microphone and the Doppler frequency of the sound source.

이때, 상기 회전형 마이크로폰 어레이에 하나의 마이크로폰이 설치되는 경우, 상기 음원의 방향을 판단하는 단계는, 각각 다른 시간에 측정된 상기 하나의 마이크로폰의 위치와 음원의 도플러 주파수를 이용하여 음원의 방향을 판단할 수 있다.In this case, when one microphone is installed in the rotatable microphone array, the determining of the direction of the sound source may include determining the direction of the sound source using the position of the one microphone measured at different times and the Doppler frequency of the sound source. You can judge.

이때, 상기 회전형 마이크로폰 어레이에 두 개의 마이크로폰이 설치되는 경우, 상기 음원의 방향을 판단하는 단계는, 동시에 측정된 상기 두 개의 마이크로폰의 위치와 상기 두 개의 마이크로폰에서의 음원의 도플러 주파수를 이용하여 음원의 방향을 판단할 수 있다.In this case, when two microphones are installed in the rotatable microphone array, the direction of the sound source may be determined by using the Doppler frequencies of the sound sources in the two microphones and the position of the two microphones simultaneously measured. The direction of can be determined.

이때, 상기 음원의 방향을 판단하는 단계는, 상기 두 개의 마이크로폰에서 음원의 도플러 주파수를 이용하여 상기 두 개의 마이크로폰의 운동 방향을 판단하는 단계와, 상기 판단된 두 개의 마이크로폰의 운동 방향 정보와 상기 두 개 의 마이크로폰의 위치를 이용하여 음원의 방향을 판단하는 단계를 포함할 수 있다.In this case, the determining of the direction of the sound source may include determining the movement direction of the two microphones by using the Doppler frequencies of the sound sources in the two microphones, the movement direction information of the determined two microphones, and the two microphones. It may include the step of determining the direction of the sound source using the position of the microphone.

또한, 상기 회전형 마이크로폰 어레이는 수직으로 회전하도록 구성될 수 있으며, 상기 음원의 방향을 판단하는 단계는, 상기 측정된 마이크로폰의 수직 위치와 음원의 도플러 주파수를 이용하여 음원의 고도각을 판단할 수 있다.The rotatable microphone array may be configured to rotate vertically, and the determining of the direction of the sound source may include determining the altitude angle of the sound source using the measured vertical position of the microphone and the Doppler frequency of the sound source. have.

이때, 상기 회전형 마이크로폰 어레이가 두 쌍으로 구성되며, 상기 음원의 방향을 판단하는 단계는, 상기 두 쌍의 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 수평각을 판단하는 단계를 더 포함할 수 있다.In this case, the rotatable microphone array is composed of two pairs, and the determining of the direction of the sound source includes determining a horizontal angle of the sound source by using a time difference of arrival (TDOA) of sound source signals measured by the two pairs of microphone arrays. It may further comprise a step.

또한, 상기 회전형 마이크로폰 어레이는 수평으로 회전하도록 구성될 수 있으며, 상기 음원의 방향을 판단하는 단계는, 상기 측정된 마이크로폰의 수평 위치와 음원의 도플러 주파수를 이용하여 음원의 수평각을 판단할 수 있다.The rotatable microphone array may be configured to rotate horizontally, and in the determining of the direction of the sound source, the horizontal angle of the sound source may be determined using the measured horizontal position of the microphone and the Doppler frequency of the sound source. .

이때, 상기 회전형 마이크로폰 어레이가 두 쌍으로 구성되며, 상기 음원의 방향을 판단하는 단계는, 상기 두 쌍의 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 고도각을 판단하는 단계를 더 포함할 수 있다.
At this time, the rotary microphone array is composed of two pairs, and the step of determining the direction of the sound source, the altitude angle of the sound source is determined using the time difference of arrival (TDOA) of the sound source signal measured by the two pair of microphone array It may further comprise the step.

본 발명에 따른 음원 방향 검지 장치 및 방법에 의하면, 음원의 방향이 변하여도 일정한 성능의 음원 방향 검지 성능을 제공할 수 있으며, 마이크로폰을 자유단에 부착할 수 있게 함으로써 음원 방향 검지 시스템을 간단한 구성으로 매우 효과적으로 구현할 수 있도록 한다.
According to the sound source direction detection apparatus and method according to the present invention, it is possible to provide a sound source direction detection performance of a constant performance even if the direction of the sound source is changed, and by allowing the microphone to be attached to the free end, the sound source direction detection system in a simple configuration It is very effective to implement.

도 1은 본 발명의 일실시예에 따른 음원 방향 검지 장치의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 음원 방향 검지 장치의 회전형 마이크로폰 어레이를 이용한 음원 방향 검지 방법의 개략도이다.
도 3은 본 발명의 일실시예에 따른 음원 방향 검지 장치가 채택하는 수직 극 좌표계이다.
도 4는 본 발명의 일실시예에 따른 회전형 마이크로폰 어레이의 마이크로폰의 위치 및 도플러 주파수에 따른 음원 방향 검지 방법을 설명하기 위한 도면이다.
도 5는 음원의 주파수 성분이 1kHz일 때의 도 4의 마이크로폰에 의해 측정되는 도플러 주파수를 나타내는 도면이다.
도 6은 도 5의 각 샘플링 위치에 따른 마이크로폰의 위치를 나타내는 도면이다.
도 7은 음원이 복수의 주파수 성분을 가지는 경우에 마이크로폰의 위치와 각각의 위치에서 측정되는 도플러 주파수를 나타내는 도면이다.
도 8은 본 발명의 다른 일실시예에 따른 마이크로폰 2개로 구성된 회전형 마이크로폰 어레이 2개를 포함하는 음원 방향 검지 장치를 이용한 음원의 수평각 및 고도각 측정 방법을 나타내는 도면이다.1 is a schematic configuration diagram of a sound source direction detection device according to an embodiment of the present invention.
Figure 2 is a schematic diagram of a sound source direction detection method using a rotary microphone array of the sound source direction detection apparatus according to an embodiment of the present invention.
3 is a vertical polar coordinate system adopted by the sound source direction detecting apparatus according to an embodiment of the present invention.
4 is a view for explaining a sound source direction detection method according to the position and the Doppler frequency of the microphone of the rotary microphone array according to an embodiment of the present invention.
Fig. 5 is a diagram showing the Doppler frequency measured by the microphone of Fig. 4 when the frequency component of the sound source is 1 kHz.
FIG. 6 is a diagram illustrating a position of a microphone according to each sampling position of FIG. 5.
7 is a diagram showing the position of the microphone and the Doppler frequency measured at each position when the sound source has a plurality of frequency components.
FIG. 8 is a diagram illustrating a horizontal angle and altitude angle measuring method of a sound source using a sound source direction detecting device including two rotary microphone arrays including two microphones, according to another exemplary embodiment.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 음원 방향 검지 장치 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 이 내용에 한정되지 아니한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings and the following descriptions are only possible embodiments of the sound source direction detecting apparatus and method according to the present invention, and the technical spirit of the present invention is not limited to this.

도 1은 본 발명의 일실시예에 따른 음원 방향 검지 장치의 개략 구성도이다.1 is a schematic configuration diagram of a sound source direction detection device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 음원 방향 검지 장치(10)는 마이크로폰 어레이(12)와, 위치 측정부(14)와, 주파수 측정부(16)와, 제어부(18)를 포함하여 구성된다.Referring to FIG. 1, the sound source direction detecting apparatus 10 according to an exemplary embodiment of the present invention may include a microphone array 12, a position measuring unit 14, a frequency measuring unit 16, and a controller 18. It is configured to include.

마이크로폰 어레이(12)는 하나 이상의 마이크로폰이 설치되어 음원으로부터 발생되는 소리 신호를 감지한다. 마이크로폰 어레이에 설치되는 마이크로폰의 위치는 다양하게 구성될 수 있다. 즉, 마이크로폰 어레이에 하나의 마이크로폰 어레이만 설치될 수도 있으며, 2개 이상의 마이크로폰 어레이가 설치될 수도 있다. 또한, 이러한 마이크로폰 어레이(12)는 두 쌍으로 구성되어 더 정확한 음원의 방향을 검지하도록 할 수 도 있다. 자세한 사항은 후술한다.The microphone array 12 detects sound signals generated from sound sources by installing one or more microphones. The location of the microphone installed in the microphone array can be variously configured. That is, only one microphone array may be installed in the microphone array, or two or more microphone arrays may be installed in the microphone array. In addition, the microphone array 12 may be configured in two pairs to detect the direction of the sound source more accurately. Details will be described later.

위치 측정부(14)는 마이크로폰 어레이(12)에 설치된 마이크로폰의 위치를 측정하는 역할을 한다. 위치 측정부(14)로 다양한 장치가 사용될 수 있지만, 엔코더가 사용될 수 있다. 즉, 마이크로폰 어레이(12)가 회전하는 경우, 엔코더는 상기 마이크로폰의 회전 각도 및 이동거리를 산출하여 원점에 대한 마이크로폰의 위치를 산출할 수 있다.The position measuring unit 14 serves to measure the position of the microphone installed in the microphone array 12. Various devices may be used as the position measuring unit 14, but encoders may be used. That is, when the microphone array 12 rotates, the encoder may calculate the position of the microphone relative to the origin by calculating the rotation angle and the moving distance of the microphone.

주파수 측정부(16)는 마이크로폰 어레이(12)에 설치된 각 마이크로폰으로부터 음원에서 발생된 소리 신호를 수신하여 각각의 소리 신호의 도플러 주파수를 측정하는 역할을 한다. 즉, 후술하겠지만, 음원에 대하여 마이크로폰 어레이(12)가 회전하고 있기 때문에 마이크로폰이 음원과 멀어지거나 가까워지는 경우의 주파수 편이가 발생하게 되는데 이 주파수 편이를 측정하는 역할을 한다.The frequency measuring unit 16 receives a sound signal generated from a sound source from each microphone installed in the microphone array 12 and measures a Doppler frequency of each sound signal. That is, as will be described later, since the microphone array 12 is rotated with respect to the sound source, a frequency shift occurs when the microphone moves away from or close to the sound source, which serves to measure the frequency shift.

제어부(18)는 위치 측정부(14)에서 측정된 마이크로폰의 위치와 주파수 측정부(16)에서 측정된 음원의 도플러 주파수를 이용하여 음원의 방향을 판단하는 역할을 한다. 본 발명에 따른 음원 방향 검지 장치(10)가 이와 같이 회전형 마이크로폰 어레이(12)를 이용한 도플러 주파수 편이를 이용하여 음원의 방향을 검지하게 된 이유는 다음과 같다.The controller 18 determines the direction of the sound source using the position of the microphone measured by the position measuring unit 14 and the Doppler frequency of the sound source measured by the frequency measuring unit 16. The reason why the sound source direction detecting device 10 according to the present invention detects the direction of the sound source using the Doppler frequency shift using the rotary microphone array 12 is as follows.

기존의 음원 방향 검지 기술은 고정된 마이크로폰 어레이를 기반으로 발전하였다. 예를 들어, 인지형 또는 지능형 로봇이 적용의 대상이 되는 경우 마이크로폰은 로봇의 바디 또는 플랫폼(Platform)과 같은 고정단에 부착되어 방향 검지에 사용되었다. 하지만, 이러한 고정된 마이크로폰의 구조를 이용할 경우, 음원의 방향에 따라서 검지 성능에 큰 차이가 나게 된다. 또한, 마이크로폰이 고정단이 아닌 자유단에 위치하는 경우에는 기존에 사용되던 음원 방향 검지 알고리즘을 적용시킬 수가 없게 된다. 이러한 이유로 음원의 방향에 독립적으로 일정한 방향 검지 성능을 가지며 자유단에 부착된 센서를 이용하는 음원 방향 검지 기술이 필요하다.The existing sound source direction detection technology has been developed based on a fixed microphone array. For example, when a cognitive or intelligent robot is the object of application, the microphone is attached to a fixed end such as a body or a platform of the robot and used for direction detection. However, when using the structure of the fixed microphone, there is a big difference in the detection performance according to the direction of the sound source. In addition, when the microphone is located at the free end instead of the fixed end, the existing sound source direction detection algorithm cannot be applied. For this reason, a sound source direction detection technique using a sensor attached to the free end having a constant direction detection performance independent of the direction of the sound source is required.

하지만, 자유단에 마이크로폰을 부착하는 경우 다음과 같은 문제점이 발생한다. 일반적으로 고정된 마이크로폰을 이용한 음원 방향 검지 방법은 측정되는 신호로부터 채널간 시간차(Inter-channel Time Difference, IcTD) 및 채널간 레벨차(Inter-channel Level Difference, IcLD) 정보를 이용하여 방향을 검지하는데, 자유단에 부착된 마이크로폰을 사용하는 경우 시간에 따라 IcTD 및 IcLD가 변환하므로 기존에 사용되는 음원 방향 검지 방법을 적용시키기 힘들다.However, when the microphone is attached to the free end, the following problems occur. In general, a sound source direction detection method using a fixed microphone detects a direction by using inter-channel time difference (ICTD) and inter-channel level difference (ICLD) information from the measured signal. In the case of using a microphone attached to the free end, IcTD and IcLD are converted according to time, so it is difficult to apply a conventional sound source direction detection method.

따라서, 본 발명은 마이크로폰을 자유단에 부착시키면서도 음원의 방향을 효과적으로 검지하기 위하여 음원과 마이크로폰의 속도 차이에 따른 주파수 편이 현상을 이용한다. 즉, 마이크로폰이 자유단에 부착되어 위치 및 속도가 변화하는 경우 마이크로폰과 음원과의 속도 차이에 따른 주파수 편이 현상을 이용하여 음원의 방향을 추정하는 것이다. 이하 도 2 내지 도 8을 참조하여 본 발명의 음원 방향 검지 방법에 대하여 상세히 설명하기로 한다.
Therefore, the present invention uses the frequency shift phenomenon according to the speed difference between the sound source and the microphone in order to effectively detect the direction of the sound source while attaching the microphone to the free end. That is, when the microphone is attached to the free end and the position and the speed change, the direction of the sound source is estimated using the frequency shift phenomenon according to the speed difference between the microphone and the sound source. Hereinafter, the sound source direction detection method of the present invention will be described in detail with reference to FIGS. 2 to 8.

도 2는 본 발명의 일실시예에 따른 음원 방향 검지 장치의 회전형 마이크로폰 어레이를 이용한 음원 방향 검지 방법의 개략도이다.Figure 2 is a schematic diagram of a sound source direction detection method using a rotary microphone array of the sound source direction detection apparatus according to an embodiment of the present invention.

도 2를 참조하면, 음원으로서 말하는 사람과 음원 방향 검지 장치(10)에 설치된 회전형 마이크로폰 어레이(12)가 도시되어 있다. 마이크로폰 어레이(12)는 수직으로 시계 방향으로 회전하며, 회전면에 두 개의 마이크로폰이 설치되어 같이 회전하게 된다. Referring to Fig. 2, a person speaking as a sound source and a rotary microphone array 12 provided in the sound source direction detecting device 10 are shown. The microphone array 12 rotates vertically in a clockwise direction, and two microphones are installed on the rotating surface to rotate together.

이때, 마이크로폰 어레이(12)에는 마이크로폰이 하나 이상이 설치될 수 있다. 만약, 한 개의 마이크로폰이 설치되는 경우에는 신호의 주파수 성분이 변화하지 않는 음원일 경우에는 음원의 방향을 검지할 수 있으나, 일반적인 음성의 경우, 시간에 따라 그 특성이 변환하기 때문에 음원의 방향을 검출하기 어렵다. 따라서, 신호의 주파수 성분이 변화하지 않는 음원일 경우에 하나의 마이크로폰이 설치된 마이크로폰 어레이(12)로 음원의 방향의 검지가 가능하며, 이 때에는 주파수 편이를 측정하기 위해서 각각 다른 시간에 마이크로폰의 위치와 해당 위치에서의 음원의 도플러 주파수를 측정해야 한다. 주파수 편이 및 마이크로폰의 위치가 측정되는 경우 음원의 위치를 추정하는 방법은 도 4를 참조하여 후술하기로 한다.
In this case, one or more microphones may be installed in the microphone array 12. If one microphone is installed, the direction of the sound source can be detected in the case of a sound source whose frequency component of the signal does not change. However, in the case of a general voice, the direction of the sound source is detected because its characteristics change with time. Difficult to do Therefore, in the case of a sound source in which the frequency component of the signal does not change, the microphone array 12 provided with one microphone can detect the direction of the sound source. In this case, the position and the position of the microphone are measured at different times to measure the frequency shift. The Doppler frequency of the sound source at that location must be measured. The method for estimating the position of the sound source when the frequency shift and the position of the microphone are measured will be described later with reference to FIG. 4.

도 3은 본 발명의 일실시예에 따른 음원 방향 검지 장치가 채택하는 수직 극 좌표계(Vertical Polar Coordinates)이다. 이 외에도 다른 좌표계를 사용할 수도 있지만, 본 발명에서는 수직 극좌표계를 기준으로 설명하기로 한다. 수직 극 좌표계에서 X 방향은 앞쪽(front)을 나타내고, Y 방향은 왼쪽(left) 방향, Z 방향은 위쪽(up) 방향을 나타낸다. 즉, 음원 방향 검지 장치(10)에 마이크로폰 어레이가(12)가 설치되는 경우, 음원 방향 검지 장치(10)의 전방 방향을 기준으로 수평각(θ) 및 고도각(φ)으로서 음원 방향을 판단하게 된다.
3 is a vertical polar coordinate system adopted by the sound source direction detecting apparatus according to an embodiment of the present invention. In addition to this, other coordinate systems may be used, but the present invention will be described based on the vertical polar coordinate system. In the vertical polar coordinate system, the X direction represents the front, the Y direction represents the left direction, and the Z direction represents the up direction. That is, when the microphone array 12 is installed in the sound source direction detecting device 10, the sound source direction is determined as the horizontal angle θ and the altitude angle φ based on the front direction of the sound source direction detecting device 10. do.

도 4는 본 발명의 일실시예에 따른 회전형 마이크로폰 어레이의 마이크로폰의 위치 및 도플러 주파수에 따른 음원 방향 검지 방법을 설명하기 위한 도면이다.4 is a view for explaining a sound source direction detection method according to the position and the Doppler frequency of the microphone of the rotary microphone array according to an embodiment of the present invention.

도 4에서는 두 개의 마이크로폰(L1, L2)이 마이크로폰 어레이(12)에 설치되어, 마이크로폰 어레이(12)가 회전하는 경우를 모델링 한 것이다. 앞에서 언급한 바와 같이, 마이크로폰 하나만이 마이크로폰 어레이(12)에 설치되는 경우 주파수 특성이 변화하는 경우 음원 방향 검지 방법에 한계가 있기 때문에 두 개 이상의 마이크로폰이 설치되는 것이 더 바람직하다. 본 발명에서는 두 개의 마이크로폰(L1, L2)을 마이크로폰 어레이(12)의 회전 중심인 원점으로부터 180도의 위상차가 나도록 설치한 경우를 예로 들어 설명하기로 한다. 이와 같이 두 개의 마이크로폰(L1, L2)만 설치하여도 음원 방향 검지을 하기에 충분하며, 180도 위상차가 나게 마이크로폰(L1, L2)을 설치한 것은 음원 방향의 판단이 용이하기 때문이다.In FIG. 4, two microphones L 1 and L 2 are installed in the microphone array 12 to model the case in which the microphone array 12 rotates. As mentioned above, when only one microphone is installed in the microphone array 12, it is more preferable that two or more microphones are installed because there is a limit in the sound source direction detection method when the frequency characteristic is changed. In the present invention, two microphones L 1 and L 2 will be described by taking an example in which a phase difference of 180 degrees is provided from the origin, which is the rotation center of the microphone array 12. In this way, and two microphones (L 1, L 2) only install also sufficient to sound source direction geomjieul, 180 is a phase difference is reminded to install the microphone (L 1, L 2) is due to facilitate the determination of the sound arrival direction .

도 4를 참조하여 상세히 설명하면 다음과 같다. θs의 시간에 대한 미분값이 마이크로폰 어레이(12)의 회전 각속도 wm (즉, θs=wmt)이고, rl은 마이크로 어레이의 반지름(즉, 회전 반경)이다. 이때, 초기 θs 가 0일 경우, 마이크로폰 L1 및 L2의 위치는 아래의 식(1) 및 식(2)에 의해서 구해진다.A detailed description with reference to FIG. 4 is as follows. The derivative with respect to time of θ s is the rotational angular velocity w m of the microphone array 12 (ie, θ s = w m t), and r 1 is the radius of the micro array (ie, the radius of rotation). At this time, when the initial θ s is 0, the positions of the microphones L 1 and L 2 are obtained by the following equations (1) and (2).

[수학식 1][Equation 1]

Figure 112011008505598-pat00001
Figure 112011008505598-pat00001

[수학식 2][Equation 2]

Figure 112011008505598-pat00002
Figure 112011008505598-pat00002

이때, 마이크로폰 L1 및 L2 의 속도는 아래의 식(3) 및 식(4)에 의해서 구해진다.At this time, the speeds of the microphones L 1 and L 2 are obtained by the following equations (3) and (4).

[수학식 3]&Quot; (3) "

Figure 112011008505598-pat00003
Figure 112011008505598-pat00003

[수학식 4]&Quot; (4) "

Figure 112011008505598-pat00004
Figure 112011008505598-pat00004

다음, 도플러 영향을 알아보기 위하여 마이크로폰의 속도 성분(x, y 방향) 중 음원의 방향에 해당하는 속도 성분은 식(5) 및 식(6)과 같이 나타낼 수 있다.Next, the speed component corresponding to the direction of the sound source among the speed components (x, y directions) of the microphone can be expressed as Equation (5) and Equation (6).

[수학식 5][Equation 5]

Figure 112011008505598-pat00005
Figure 112011008505598-pat00005

[수학식 6]&Quot; (6) "

Figure 112011008505598-pat00006
Figure 112011008505598-pat00006

식(5)와 식(6)을 간략히 하면 아래의 식(7) 및 식(8)로 표현할 수 있다.If equations (5) and (6) are simplified, they can be expressed by the following equations (7) and (8).

[수학식 7][Equation 7]

Figure 112011008505598-pat00007
Figure 112011008505598-pat00007

[수학식 8][Equation 8]

Figure 112011008505598-pat00008
Figure 112011008505598-pat00008

일반적으로 마이크로폰 어레이를 이용한 방향 검지 모델을 가정할 때에는 음원과 마이크로폰 사이간의 거리가 마이크로폰 간의 거리보다 상대적으로 크므로 Far-Field Condition을 적용할 수있다. 즉, rs >> rl 이라는 가정을 통해서 식(7)과 식(8)은 식(9)와 식(10)으로 간략화될 수 있다.In general, assuming a direction detection model using a microphone array, since the distance between the sound source and the microphone is larger than the distance between the microphones, the Far-Field Condition can be applied. That is, on the assumption that r s >> r l , equations (7) and (8) can be simplified to equations (9) and (10).

[수학식 9][Equation 9]

Figure 112011008505598-pat00009
Figure 112011008505598-pat00009

[수학식 10]&Quot; (10) "

Figure 112011008505598-pat00010
Figure 112011008505598-pat00010

도플러 효과(Doppler Effect)는 음원과 리스너(listener, 본 발명의 마이크로폰) 사이에서 발생하는 상대 속도에 의해 음원에서 발생된 음의 주파수가 마이크로포폰에 의해 측정되는 음의 주파수가 상이함을 나타낸다. 즉, 이러한 주파수 편이의 영향을 식(11)과 같이 간단히 표현된다. The Doppler Effect indicates that the frequency of the sound generated in the sound source is different from the frequency of the sound measured by the microphone by the relative speed occurring between the sound source and the listener (microphone of the present invention). That is, the influence of the frequency shift is simply expressed as in Equation (11).

[수학식 11]&Quot; (11) "

Figure 112011008505598-pat00011
Figure 112011008505598-pat00012
Figure 112011008505598-pat00011
Figure 112011008505598-pat00012

따라서, 식(9)와 식(10)을 식(11)에 적용하면 마이크로폰 L1 및 L2에서 측정되는 음의 주파수와 음원의 본래 주파수와의 관계를 도출할 수 있으며, 이는 식(12) 및 식(13)과 같다. Therefore, applying equations (9) and (10) to equation (11) can derive the relationship between the frequency of sound measured in microphones L 1 and L 2 and the original frequency of the sound source. And formula (13).

[수학식 12][Equation 12]

Figure 112011008505598-pat00013
Figure 112011008505598-pat00013

[수학식 13]&Quot; (13) "

Figure 112011008505598-pat00014
Figure 112011008505598-pat00014

식(12)와 식(13)을 통해 마이크로폰 어레이(12)의 회전에 의한 영향(도플러 영향)으로 시간이 변함에 따라 두 마이크로폰 L1 및 L2에서 측정되는 음의 주파수가

Figure 112011008505598-pat00015
만큼 서로 반대 위상을 가지며 변화하는 것을 확인할 수 있다. Equations (12) and (13) change the time due to the effect of the rotation of the microphone array 12 (the Doppler effect), so that the negative frequencies measured at the two microphones L 1 and L 2
Figure 112011008505598-pat00015
As you can see the phases are changing with each other.

따라서, 실시간으로 측정되는 마이크로폰 L1 및 L2의 위치와 주파수 정보를 이용하면 음원의 방향을 추정할 수 있다. 특히, 도 4에서와 같이 두 마이크로폰 L1 및 L2가 서로 회전 중심에 대하여 180도 위상차를 가지고 회전하는 경우에는 도 4에서 도시된 위치에서 마이크로폰 L1 은 음원으로 가까워지는 상태이므로 음원의 도플러 주파수가 최대가 되며, 마이크로폰 L2 는 음원에서 멀어지는 상태이므로 음원의 도플러 주파수가 최소가 된다. 따라서, 음원의 도플러 주파수가 최대가 될 때는 마이크로폰이 음원으로 가까워지는 방향으로 운동하고 있는 상태이며, 음원의 도플러 주파수가 최소가 될 때는 마이크로폰이 음원으로부터 멀어지는 방향으로 운동하고 있는 상태이므로, 이를 이용하면 음원의 방향을 추정할 수 있다. Therefore, the direction of the sound source can be estimated by using the position and frequency information of the microphones L 1 and L 2 measured in real time. In particular, when the two microphones L 1 and L 2 rotate with a phase difference of 180 degrees with respect to the center of rotation as shown in FIG. 4, the microphone L 1 is closer to the sound source at the position shown in FIG. Is maximum, and the microphone L 2 is far from the sound source, so the Doppler frequency of the sound source is minimum. Therefore, when the Doppler frequency of the sound source is maximized, the microphone is moving toward the sound source, and when the Doppler frequency of the sound source is minimum, the microphone is moving away from the sound source. The direction of the sound source can be estimated.

물론, 도 4에서와 같이 두 개의 마이크로폰이 서로 180도 위상을 갖지 않도록 설계할 수도 있다. 이 경우에는 각 마이크로폰의 위치 및 운동방향 그리고 음원의 위치와의 관계에 따른 알고리즘을 미리 준비하여 이용하여야 한다. Of course, as shown in FIG. 4, the two microphones may be designed not to have a phase of 180 degrees with each other. In this case, algorithms should be prepared in advance according to the relationship between the position and movement direction of each microphone and the position of the sound source.

도 5는 음원의 주파수 성분이 1kHz일 때의 도 4의 마이크로폰에 의해 측정되는 도플러 주파수를 나타내는 도면이며, 도 6은 도 5의 각 샘플링 위치에 따른 마이크로폰의 위치를 나타내는 도면이다.5 is a diagram illustrating a Doppler frequency measured by the microphone of FIG. 4 when the frequency component of the sound source is 1 kHz, and FIG. 6 is a diagram illustrating the position of the microphone according to each sampling position of FIG. 5.

본 발명에 따른 음원 방향 검지 장치(10)는 마이크로폰의 위치는 엔코더로 구성되는 위치 측정부(14)를 이용하여 측정하며, 주파수 측정부(16)에서 측정되는 주파수 변화 양상을 비교하여 음원의 방향을 검지한다. 예를 들어, 마이크로폰의 위치가 ②일 때, 마이크로폰에서 측정되는 신호의 주파수 차이가 최대가 되는 것을 알 수 있으며, 이때, 마이크로폰 L2 의 방향이 음원을 향하고 있음을 알 수 있다. 반대로 마이크로폰의 위치가 ④일 때, 마이크로폰 L2의 운동 방향이 음원의 반대 방향과 일치함을 알 수 있다. 이때, 역시 측정 신호의 주파수 차이는 최대가 된다. 이러한, ②와 ④의 시점에서 의 각각의 마이크로폰의 위치와 운동 방향 정보를 알면, 이로부터 음원의 방향을 검지할 수 있게 된다. 다만, 마이크로폰 어레이(12)의 위치가 ① 또는 ③인 경우에는 도플러 영향이 발생되지 않기 때문에 이는 음원 방향 검지에 이용할 수 없다.
In the sound source direction detecting apparatus 10 according to the present invention, the position of the microphone is measured by using the position measuring unit 14 configured as an encoder, and the direction of the sound source is compared by comparing the frequency variation measured by the frequency measuring unit 16. Detect. For example, when the position of the microphone is ②, it can be seen that the frequency difference of the signal measured by the microphone is maximum, and at this time, it can be seen that the direction of the microphone L 2 is toward the sound source. On the contrary, when the position of the microphone is ④, it can be seen that the direction of movement of the microphone L 2 coincides with the opposite direction of the sound source. At this time, the frequency difference of the measurement signal is also maximized. Knowing the position and the movement direction information of each microphone at the viewpoints of ② and ④, the direction of the sound source can be detected therefrom. However, since the Doppler effect does not occur when the position of the microphone array 12 is ① or ③, it cannot be used for sound source direction detection.

도 7은 음원이 복수의 주파수 성분을 가지는 경우에 마이크로폰의 위치와 각각의 위치에서 측정되는 도플러 주파수를 나타내는 도면이다.7 is a diagram showing the position of the microphone and the Doppler frequency measured at each position when the sound source has a plurality of frequency components.

즉, 도 6에서 순음에 대한 측정 주파수의 변화가 도시되었다면, 도 7에서는 특정한 스펙트럼을 가진 음에 대해서 측정 주파수의 변화가 도시되어 있다. 즉, 음원은 다양한 스펙트럼의 주파수를 포함하고 있는데, 도 6에서와 유사하게 마이크로폰 어레이(12)의 위치가 ① 또는 ③ 인 경우 각각의 주파수에 대한 도플러 영향이 없는 반면에 ② 또는 ④의 위치에서는 도플러에 의한 영향이 최대가 됨을 알 수 있다.That is, in FIG. 6, the change in the measurement frequency for pure sound is shown. In FIG. 7, the change in the measurement frequency is shown for a sound having a specific spectrum. That is, the sound source includes frequencies of various spectrums. Similarly to FIG. 6, when the position of the microphone array 12 is ① or ③, there is no Doppler effect on each frequency, whereas at the position of ② or ④ It can be seen that the effect by the maximum.

이와 같이, 음원의 주파수 스펙트럼이 다양한 경우에는 마이크로폰 어레이(12)에 부착된 마이크로폰 L1 및 L2를 이용하여 특정 시간에 동시에 마이크로폰 L1 및 L2의 위치와 주파수 영향에 따른 음원을 기준으로 한 운동 방향 정보를 이용하여 음원의 방향을 추정할 수 있다. In this way, when the frequency spectrum of the sound source is various, the microphone L 1 attached to the microphone array 12 Microphone L 1 at the same time using L and L 2 And the direction of the sound source using the motion direction information based on the sound source according to the position and the frequency influence of L 2 .

이때, 마이크로폰 어레이(12)는 수직 또는 수평으로 회전하도록 구성될 수 있다. 만약, 마이크로폰 어레이(12)가 수직으로 회전하도록 구성된 경우에는 음원을 기준으로 한 각각의 마이크로폰의 수직 위치를 검출할 수 있기 때문에 이를 이용하여 음원의 고도각 정보를 판단할 수 있다. 반대로, 마이크로폰 어레이(12)가 수평으로 회전하도록 구성된 경우에는 음원을 기준으로 한 각각의 마이크로폰의 수평 위치를 검출할 수 있기 때문에 이를 이용하여 음원의 수평각 정보를 판단할 수 있다.
At this time, the microphone array 12 may be configured to rotate vertically or horizontally. If the microphone array 12 is configured to rotate vertically, since the vertical position of each microphone based on the sound source can be detected, the altitude angle information of the sound source can be determined using the microphone array 12. On the contrary, when the microphone array 12 is configured to rotate horizontally, since the horizontal position of each microphone based on the sound source can be detected, the horizontal angle information of the sound source can be determined using the microphone array 12.

도 8은 본 발명의 다른 일실시예에 따른 마이크로폰 2개로 구성된 회전형 마이크로폰 어레이 2개를 포함하는 음원 방향 검지 장치를 이용한 음원의 수평각 및 고도각 측정 방법을 나타내는 도면이다.FIG. 8 is a diagram illustrating a horizontal angle and altitude angle measuring method of a sound source using a sound source direction detecting device including two rotary microphone arrays including two microphones, according to another exemplary embodiment.

도 8의 음원 방향 검지 장치(10)는 마이크로폰 어레이가 두 쌍으로 설치되어 수평각 및 고도각 정보를 모두 검출할 수 있다. 즉, 두 쌍의 마이크로폰 어레이는 수직으로 회전하도록 구성되어 음원의 고도각을 추정할 수 있게 된다. 이때, 각 좌측 및 우측의 마이크로폰 어레이 사이에서 측정되는 신호의 도달시간차(TDOA)를 이용하면 수평각 역시 추정할 수 있게 된다.In the sound source direction detecting apparatus 10 of FIG. 8, two pairs of microphone arrays are installed to detect both horizontal angle and elevation angle information. That is, the two pairs of microphone arrays are configured to rotate vertically to estimate the elevation angle of the sound source. In this case, the horizontal angle may also be estimated by using the time difference of arrival (TDOA) of the signal measured between the left and right microphone arrays.

물론, 도시하지는 않았지만, 두 쌍의 마이크로폰 어레이를 각각 수직 및 수평으로 회전하도록 구성하여 각각 고도각 및 수평각을 검출하도록 설계할 수도 있음은 물론이다. Of course, although not shown, two pairs of microphone arrays may be configured to rotate vertically and horizontally, respectively, to detect altitude and horizontal angles, respectively.

이와 같이 본 발명의 음원 방향 검지 장치 및 방법은 마이크로폰 어레이를 자유단에 위치하면서도 음원의 방향을 효과적으로 검지할 수 있게 된다.
As described above, the sound source direction detecting apparatus and method of the present invention can effectively detect the direction of the sound source while placing the microphone array at the free end.

10 : 음원 방향 검지 장치 12 : 마이크로폰 어레이
14 : 위치 측정부 16 : 주파수 측정부
18 : 제어부10: sound source direction detection device 12: microphone array
14: position measuring unit 16: frequency measuring unit
18: control unit

Claims (17)

마이크로폰이 설치되는 회전형 마이크로폰 어레이;
상기 회전형 마이크로폰 어레이에 설치된 마이크로폰의 위치를 측정하는 위치 측정부;
상기 회전형 마이크로폰 어레이에 설치된 마이크로폰에서 측정되는 음원의 도플러 주파수를 측정하는 주파수 측정부; 및
상기 위치 측정부에서 측정된 마이크로폰의 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 방향을 판단하는 제어부를 포함하고,
상기 회전형 마이크로폰 어레이에 두 개의 마이크로폰이 상기 회전형 마이크로폰 어레이의 회전 중심을 기준으로 180도 위상차를 가지며 설치되고,
상기 제어부는 상기 위치 측정부 및 상기 주파수 측정부를 이용하여 상기 두 개의 마이크로폰 위치와 상기 두 개의 마이크로폰에서의 음원의 도플러 주파수를 동시에 측정하고, 상기 두 개의 마이크로폰에서 측정되는 음원의 도플러 주파수의 차이가 최대가 되는 시점을 검출하고, 상기 시점에서의 상기 두 개의 마이크로폰의 각각의 위치와, 상기 각각의 위치에서의 음원을 기준으로 한 운동 방향 정보를 이용하여 음원의 방향을 판단하는 것을 특징으로 하는 음원 방향 검지 장치.
A rotatable microphone array on which microphones are installed;
A position measuring unit measuring a position of a microphone installed in the rotatable microphone array;
A frequency measuring unit measuring a Doppler frequency of a sound source measured by a microphone installed in the rotatable microphone array; And
It includes a control unit for determining the direction of the sound source using the position of the microphone measured by the position measuring unit and the Doppler frequency of the sound source measured by the frequency measuring unit,
Two microphones are installed in the rotatable microphone array with a 180 degree phase difference with respect to the center of rotation of the rotatable microphone array.
The control unit simultaneously measures the Doppler frequencies of the sound sources at the two microphones and the two microphones by using the position measuring unit and the frequency measuring unit, and the difference between the Doppler frequencies of the sound sources measured by the two microphones is maximum. A sound source direction, wherein the sound source direction is detected by using the positions of the two microphones at the time point and the movement direction information based on the sound sources at the respective positions. Detection device.
삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 회전형 마이크로폰 어레이는 수직으로 회전하도록 구성되며,
상기 제어부는 상기 위치 측정부에서 측정된 마이크로폰의 수직 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 고도각을 판단하는 것을 특징으로 하는 음원 방향 검지 장치.
The method of claim 1,
The rotatable microphone array is configured to rotate vertically,
And the control unit determines an altitude angle of the sound source using the vertical position of the microphone measured by the position measuring unit and the Doppler frequency of the sound source measured by the frequency measuring unit.
제 5 항에 있어서,
상기 회전형 마이크로폰 어레이가 두 쌍으로 설치되고,
상기 제어부는 상기 두 쌍의 회전형 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 수평각을 더 판단하는 것을 특징으로 하는 음원 방향 검지 장치.
The method of claim 5, wherein
The rotatable microphone array is installed in two pairs,
The control unit further determines the horizontal angle of the sound source using the time difference of arrival (TDOA) of the sound source signal measured by the two pairs of rotary microphone array.
제 1 항에 있어서,
상기 회전형 마이크로폰 어레이는 수평으로 회전하도록 구성되며,
상기 제어부는 상기 위치 측정부에서 측정된 마이크로폰의 수평 위치와 상기 주파수 측정부에서 측정된 음원의 도플러 주파수를 이용하여 음원의 수평각을 판단하는 것을 특징으로 하는 음원 방향 검지 장치.
The method of claim 1,
The rotatable microphone array is configured to rotate horizontally,
And the control unit determines a horizontal angle of the sound source using the horizontal position of the microphone measured by the position measuring unit and the Doppler frequency of the sound source measured by the frequency measuring unit.
제 7 항에 있어서,
상기 회전형 마이크로폰 어레이가 두 쌍으로 설치되고,
상기 제어부는 상기 두 쌍의 회전형 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 고도각을 더 판단하는 것을 특징으로 하는 음원 방향 검지 장치.
The method of claim 7, wherein
The rotatable microphone array is installed in two pairs,
The control unit further determines the altitude angle of the sound source using the time difference of arrival (TDOA) of the sound source signal measured by the two pairs of rotary microphone array.
제 1 항에 있어서,
상기 위치 측정부는 엔코더인 것을 특징으로 하는 음원 방향 검지 장치.
The method of claim 1,
And the position measuring unit is an encoder.
두 개의 마이크로폰이 설치된 회전형 마이크로폰 어레이를 회전시키는 단계;
상기 회전형 마이크로폰 어레이에 설치된 마이크로폰의 위치를 측정하는 단계;
상기 회전형 마이크로폰 어레이에 설치된 마이크로폰에서 음원의 도플러 주파수를 측정하는 단계; 및
상기 측정된 마이크로폰의 위치와 음원의 도플러 주파수를 이용하여 음원의 방향을 판단하는 단계를 포함하고,
상기 음원의 방향을 판단하는 단계는,
상기 두 개의 마이크로폰에서의 음원의 도플러 주파수를 이용하여 상기 두 개의 마이크로폰의 운동 방향을 판단하는 단계; 및
상기 판단된 두 개의 마이크로폰의 운동 방향 정보와 상기 두 개의 마이크로폰의 위치를 이용하여 음원의 방향을 판단하는 단계를 포함하는 음원 방향 검지 방법.
Rotating a rotating microphone array having two microphones installed thereon;
Measuring a position of a microphone installed in the rotatable microphone array;
Measuring a Doppler frequency of a sound source in a microphone installed in the rotatable microphone array; And
Determining the direction of the sound source using the measured position of the microphone and the Doppler frequency of the sound source,
Determining the direction of the sound source,
Determining the direction of movement of the two microphones using the Doppler frequencies of the sound sources in the two microphones; And
And determining the direction of a sound source by using the determined movement direction information of the two microphones and the positions of the two microphones.
삭제delete 삭제delete 삭제delete 제 10 항에 있어서,
상기 회전형 마이크로폰 어레이는 수직으로 회전하도록 구성되며,
상기 음원의 방향을 판단하는 단계는,
상기 측정된 마이크로폰의 수직 위치와 음원의 도플러 주파수를 이용하여 음원의 고도각을 판단하는 것을 특징으로 하는 음원 방향 검지 방법.
11. The method of claim 10,
The rotatable microphone array is configured to rotate vertically,
Determining the direction of the sound source,
And determining the altitude angle of the sound source using the measured vertical position of the microphone and the Doppler frequency of the sound source.
제 14 항에 있어서,
상기 회전형 마이크로폰 어레이가 두 쌍으로 구성되며,
상기 음원의 방향을 판단하는 단계는,
상기 두 쌍의 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 수평각을 판단하는 단계를 더 포함하는 것을 특징으로 하는 음원 방향 검지 방법.
15. The method of claim 14,
The rotatable microphone array consists of two pairs,
Determining the direction of the sound source,
And determining the horizontal angle of the sound source by using a time difference of arrival (TDOA) of the sound source signals measured by the two pairs of microphone arrays.
제 10 항에 있어서,
상기 회전형 마이크로폰 어레이는 수평으로 회전하도록 구성되며,
상기 음원의 방향을 판단하는 단계는,
상기 측정된 마이크로폰의 수평 위치와 음원의 도플러 주파수를 이용하여 음원의 수평각을 판단하는 것을 특징으로 하는 음원 방향 검지 방법.
11. The method of claim 10,
The rotatable microphone array is configured to rotate horizontally,
Determining the direction of the sound source,
And a horizontal angle of the sound source is determined using the measured horizontal position of the microphone and the Doppler frequency of the sound source.
제 16 항에 있어서,
상기 회전형 마이크로폰 어레이가 두 쌍으로 구성되며,
상기 음원의 방향을 판단하는 단계는,
상기 두 쌍의 마이크로폰 어레이에서 측정되는 음원 신호의 도달시간차(TDOA)를 이용하여 음원의 고도각을 판단하는 단계를 더 포함하는 것을 특징으로 하는 음원 방향 검지 방법.17. The method of claim 16,
The rotatable microphone array consists of two pairs,
Determining the direction of the sound source,
And determining the altitude angle of the sound source using a time difference of arrival (TDOA) of the sound source signals measured by the two pairs of microphone arrays.
KR1020110010595A 2011-02-07 2011-02-07 Sound source localization device using rotational microphone array and sound source localization method using the same KR101172354B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110010595A KR101172354B1 (en) 2011-02-07 2011-02-07 Sound source localization device using rotational microphone array and sound source localization method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110010595A KR101172354B1 (en) 2011-02-07 2011-02-07 Sound source localization device using rotational microphone array and sound source localization method using the same

Publications (1)

Publication Number Publication Date
KR101172354B1 true KR101172354B1 (en) 2012-08-08

Family

ID=46887157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110010595A KR101172354B1 (en) 2011-02-07 2011-02-07 Sound source localization device using rotational microphone array and sound source localization method using the same

Country Status (1)

Country Link
KR (1) KR101172354B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345774B1 (en) 2012-12-12 2014-01-06 한국과학기술연구원 Three dimensional sound source localization device using rotational microphone array and sound source localization method using the same
KR20150034720A (en) * 2012-07-19 2015-04-03 닛토보 온쿄 엔지니어링 가부시키가이샤 Noise identification device and noise identification method
CN108269470A (en) * 2018-03-02 2018-07-10 贺宜琛 A kind of experimental provision applied to Doppler effect and realization system
KR101919354B1 (en) * 2018-07-05 2018-11-16 주식회사 스토리안트 A Removable smartphone intelligent moving robot system based on machine learning and Speech recognition
CN113949967A (en) * 2020-07-16 2022-01-18 华为技术有限公司 Conference voice enhancement method, device and system
CN115079087A (en) * 2022-04-29 2022-09-20 苏州清听声学科技有限公司 Method, system, medium, device and apparatus for estimating low-frequency broadband signal azimuth

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174538A (en) * 1999-12-15 2001-06-29 Toshiba Corp Sound source position specifying device and sound source position specifying method
JP2007089058A (en) * 2005-09-26 2007-04-05 Yamaha Corp Microphone array controller
KR100911870B1 (en) 2009-02-11 2009-08-11 김성완 Tracing apparatus of sound source and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001174538A (en) * 1999-12-15 2001-06-29 Toshiba Corp Sound source position specifying device and sound source position specifying method
JP2007089058A (en) * 2005-09-26 2007-04-05 Yamaha Corp Microphone array controller
KR100911870B1 (en) 2009-02-11 2009-08-11 김성완 Tracing apparatus of sound source and method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150034720A (en) * 2012-07-19 2015-04-03 닛토보 온쿄 엔지니어링 가부시키가이샤 Noise identification device and noise identification method
KR102046204B1 (en) * 2012-07-19 2019-11-18 니혼온쿄엔지니어링 가부시키가이샤 Noise identification device and noise identification method
KR101345774B1 (en) 2012-12-12 2014-01-06 한국과학기술연구원 Three dimensional sound source localization device using rotational microphone array and sound source localization method using the same
CN108269470A (en) * 2018-03-02 2018-07-10 贺宜琛 A kind of experimental provision applied to Doppler effect and realization system
CN108269470B (en) * 2018-03-02 2024-03-08 贺宜琛 Experimental device and implementation system applied to Doppler effect
KR101919354B1 (en) * 2018-07-05 2018-11-16 주식회사 스토리안트 A Removable smartphone intelligent moving robot system based on machine learning and Speech recognition
CN113949967A (en) * 2020-07-16 2022-01-18 华为技术有限公司 Conference voice enhancement method, device and system
CN115079087A (en) * 2022-04-29 2022-09-20 苏州清听声学科技有限公司 Method, system, medium, device and apparatus for estimating low-frequency broadband signal azimuth

Similar Documents

Publication Publication Date Title
KR101172354B1 (en) Sound source localization device using rotational microphone array and sound source localization method using the same
CN104898091B (en) Microphone array self calibration sonic location system based on iteration optimization algorithms
CN104035065A (en) Sound source orienting device on basis of active rotation and method for applying sound source orienting device
JP2013533467A5 (en)
CN103278801A (en) Noise imaging detection device and detection calculation method for transformer substation
CN105263075A (en) Earphone equipped with directional sensor and 3D sound field restoration method thereof
KR101172355B1 (en) Sound source localization device using variable structure type microphone array and sound source localization method using the same
CN105353351A (en) Improved positioning method based on multi-beacon arrival time differences
CN108983149A (en) A kind of pivoting microphone sound localization method
KR100943224B1 (en) An intelligent robot for localizing sound source by frequency-domain characteristics and method thereof
US8369550B2 (en) Artificial ear and method for detecting the direction of a sound source using the same
Gala et al. Three-dimensional sound source localization for unmanned ground vehicles with a self-rotational two-microphone array
Sun et al. Array geometry calibration for underwater compact arrays
KR20110060183A (en) Signal processing apparatus and method for removing reflected wave generated by robot platform
CN110488221A (en) Equipment localization method and system in more device contexts
CN112379330B (en) Multi-robot cooperative 3D sound source identification and positioning method
KR20150028106A (en) Indoor positioning based on inaudible sound's droppler effects
Liu et al. Research on acoustic source localization using time difference of arrival measurements
Gaber et al. Sound source localization in 360 degrees using a circular microphone array
Handzel et al. A biomimetic apparatus for sound-source localization
US20190293746A1 (en) Electronic device for estimating position of sound source
KR100945559B1 (en) Calculating method for a position of a moving object
KR101345774B1 (en) Three dimensional sound source localization device using rotational microphone array and sound source localization method using the same
KR101217254B1 (en) Generation technique of inter-channel time delay(itd) maps for shifted robot artificial ear, the use of estimation of sound source direction
JPH04238284A (en) Sound source position estimating device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee