WO2020022555A1 - 음원 위치 추정장치 및 이를 포함하는 로봇 - Google Patents

음원 위치 추정장치 및 이를 포함하는 로봇 Download PDF

Info

Publication number
WO2020022555A1
WO2020022555A1 PCT/KR2018/010808 KR2018010808W WO2020022555A1 WO 2020022555 A1 WO2020022555 A1 WO 2020022555A1 KR 2018010808 W KR2018010808 W KR 2018010808W WO 2020022555 A1 WO2020022555 A1 WO 2020022555A1
Authority
WO
WIPO (PCT)
Prior art keywords
time difference
receiver
sound source
array unit
receivers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/010808
Other languages
English (en)
French (fr)
Inventor
박영진
김희창
황인준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of WO2020022555A1 publication Critical patent/WO2020022555A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic or infrasonic waves
    • G01S5/26—Position of receiver fixed by co-ordinating a plurality of position lines defined by path-difference measurements

Definitions

  • the present invention relates to a sound source position estimating apparatus, and more particularly, to a sound source position estimating apparatus that can estimate the position of the sound source in real time, and a robot including the same.
  • Beamforming method Beamforming method
  • high-resolution spectral estimation TDOA (Time Difference Of Arrival) method.
  • TDOA Time Difference Of Arrival
  • a signal input through the microphone array is filtered through a spatial filter, and the most representative method is a delay and sum (DAS).
  • the spatial filter is designed to amplify an incoming signal at a certain steering angle, and the angle of the filter where the filtered result is large becomes the direction of the sound source. Since the direction of the signal is estimated by calculating the power of the signal in each direction, the present invention can be applied even when there are multiple sound sources. However, since the number of microphones affects performance, there is a problem that performance is lowered unless a large number of microphones are used.
  • MUSIC Multiple Signal Classification
  • the TDOA method estimates the position of a sound source using the time difference of the signal coming from each microphone.
  • the position of the sound source can be estimated by using the arrangement and the sound velocity of the microphone. It is easy to drive in real time because you only need to calculate the time difference of the signal.
  • at least four microphones located in different planes are required, and since only one signal can be found at a time, the most important signal exists when there are multiple sound sources. There is a problem that only the position of the sound source can be estimated.
  • the technical problem to be solved by the present invention is to estimate the position of the sound source in three dimensions, to estimate the position of the sound source in a small amount of calculation and in real time, and when installed in the ambient noise and equipment (eg robot) It is to provide a sound source position estimation device that is robust to the internal noise and vibration of the device.
  • the present invention also provides a robot capable of estimating the position of a sound source from sound information by accurately detecting the position of the sound source in real time.
  • Sound source position estimation apparatus for solving the above problems includes a first array unit and a second array unit.
  • the first array unit detects sound from any sound source and includes a plurality of receivers disposed at the same distance from the first center and the first center, respectively.
  • the second array unit detects the sound of the sound source, and includes a plurality of receivers disposed at the same distance from the second center and the second center, respectively.
  • the first array unit and the second array unit are disposed to be spaced apart by a predetermined distance such that the first center portion and the second center portion face each other.
  • the sound source position estimating apparatus of the present invention calculates the azimuth and elevation angles of the sound source using the signals of the sound detected by the plurality of receivers, and estimates the position of the sound source using the azimuth and elevation angles.
  • one of the plurality of receiving units of the first array unit is a first receiving unit
  • one of the plurality of receiving units of the second array unit is a second receiving unit
  • the first receiving unit and the second receiving unit It is arranged in a position facing each other.
  • the azimuth angle is calculated using the time difference between the first receiver and the second receiver.
  • the time difference is a difference between a time when a signal of a sound coming into the first receiver and a signal of a sound coming into the second receiver are received.
  • the time difference is Equation 1 below, and calculates an azimuth angle from Equation 1.
  • one receiving unit of the plurality of receiving units of the first array unit is a first receiving unit
  • one receiving unit of the plurality of receiving units of the second array unit is a second receiving unit.
  • the time difference function is calculated by using each time difference between the plurality of receivers of the first receiver and the second array unit, or by using each time difference between the plurality of receivers of the second receiver and the first array unit.
  • the time difference is a difference between a time when a signal of a sound coming into the first receiver and a signal of a sound coming into the second receiver are received.
  • the time difference function is represented by Equation 2 below.
  • Time difference function An angle formed by a line connecting the first center of the first array unit to an i-th receiver, which is one of a plurality of receivers of the first array unit, and a zx plane
  • r distance between the first center portion of the first array portion and the first receiver portion or distance between the second center portion of the second array portion and the second receiver portion, azi: azimuth angle
  • ele elevation angle
  • Equation 3 is calculated from the time difference function, and an elevation angle ele is calculated from Equation 3.
  • Equation 4 is calculated from the time difference function, and the azimuth angle azi is calculated from Equation 4.
  • the time difference function is calculated by using each time difference between the plurality of receiving parts of the first receiver and the second array unit. do.
  • the time difference function is calculated using the respective time difference between the plurality of receivers of the second receiver and the first array unit.
  • a time difference function is calculated by using each time difference between one of a plurality of receivers of the first array unit and a plurality of receivers of the second array unit, and the remaining receivers except for the one receiver unit. do.
  • the time difference is a difference between a time when a signal of a sound coming into one receiver and a signal of a sound coming into one of the other receivers is received.
  • the time difference function is expressed by Equation 5 below.
  • Equation 6 is calculated from the time difference function, and an elevation angle ele is calculated from Equation 6.
  • Equation 7 is calculated from the time difference function, and azimuth angle azi is calculated from Equation 7.
  • the sound source position estimation apparatus according to the embodiments of the present invention described above is applied to a robot.
  • the robot includes the sound source position estimating apparatus of the present invention, and estimates the position of the sound source using the same.
  • a predetermined simulated sound source is arranged in different positions around the robot so that the time difference at each position is measured by the sound source position estimating apparatus, and the measured time difference is estimated by the robot or sound source position.
  • the sound source position estimating apparatus estimates the position of the sound source
  • the position of the sound source is estimated by comparing the time difference stored in the storage unit with the time difference calculated by the sound source position estimating apparatus.
  • the sound source position estimating apparatus can estimate the position of a sound source in three dimensions, can estimate the position of the sound source in real time with a small amount of calculation, and can be robust from ambient noise.
  • the robot including the sound source position estimation apparatus can estimate the position of the sound source from the sound information by accurately grasping the position of the sound source in real time.
  • FIG. 1 is a view schematically showing a sound source position estimation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the first array unit and the second array unit of FIG. 1 on the xyz axis.
  • FIG. 3 is a diagram illustrating the first array unit and the second array unit in FIG. 1 on the xz axis.
  • FIG. 4 is a diagram illustrating the first array unit and the second array unit of FIG. 1 on the yz axis.
  • FIG. 4 is a diagram illustrating the first array unit and the second array unit of FIG. 1 on the yz axis.
  • FIG. 5 is a diagram illustrating an arrangement relationship of receivers when the receivers of the first array unit of FIG. 1 are eight.
  • FIG. 6 is a diagram illustrating an arrangement relationship of receivers when three receivers of the first array unit of FIG. 1 are used.
  • FIG. 7 is a diagram illustrating an arrangement relationship of receivers when the receivers of the first array unit of FIG. 1 are four.
  • FIG. 8 is a diagram illustrating azimuth and elevation angles in the bipolar polar coordinate system.
  • FIG. 9 is a diagram illustrating a method of obtaining a time difference through a GCC method.
  • FIG. 10 is a diagram illustrating a head of a robot (humbo).
  • 11 is a time difference graph according to an azimuth change.
  • FIG. 13 is a graph showing a time difference trajectory according to a change in elevation angle.
  • FIG. 15 is a photograph of a state in which the sound source position estimation apparatus of the present invention is mounted on a humanoid robot (Hubo).
  • 16 is a graph showing a time difference trajectory according to a change in azimuth angle.
  • FIG. 17 is a graph of time difference between two first microphones disposed at opposite positions according to an azimuth change.
  • 18 is a graph illustrating a time difference trajectory according to a change in elevation angle.
  • 19 is a graph showing an estimated elevation angle according to the change of the elevation angle.
  • FIG. 1 is a view schematically showing a sound source position estimation apparatus according to an embodiment of the present invention
  • FIG. 2 is a view showing the first array unit and the second array unit of FIG. 1 on the xyz axis
  • FIG. 3 is a view of FIG. The first array portion and the second array portion are shown on the xz axis
  • FIG. 4 is a view showing the first array portion and the second array portion on the yz axis.
  • the x axis is determined in the left and right direction or the width direction
  • the y axis is determined in the front and rear direction or the longitudinal direction
  • the z axis is determined in the vertical direction or the height direction.
  • the sound source position estimation apparatus includes a first array unit 100 and a second array unit 200.
  • a first array unit 100 includes a first array unit 100 and a second array unit 200.
  • the first array unit 100 detects sound from an arbitrary sound source, and the plurality of receivers 110 to 121 disposed at the same distance r1 from the first center 130 and the first center 130, respectively. ).
  • the first array unit 100 includes a first central portion 130 and a plurality of receivers 110 to 121.
  • the first array unit 100 may detect sound from any sound source using the plurality of receivers 110 to 121.
  • the first central portion 130 refers to the center of the first array unit 100. Specifically, as shown in FIG. 4, the center of the first array unit 100 illustrated on the yz axis (yz plane) is referred to.
  • the plurality of receivers 110 to 121 of the first array unit 100 may be a plurality of microphones.
  • the microphone refers to a device that receives sound waves or ultrasonic waves and generates electric signals according to the vibrations.
  • the receiver 110 to 121 of the first array unit 100 according to an embodiment of the present invention is not limited to the microphone, and various devices capable of detecting sound from any sound source may be used.
  • twelve receivers 110 to 121 of the first array unit 100 are arranged, but are not necessarily limited to twelve, and various numbers may be used and arranged according to an embodiment of the present disclosure. have. In more detail, three or more receivers may be used and disposed in accordance with an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an arrangement relationship of receivers in the case of eight receivers of the first array unit of FIG. 1
  • FIG. 6 is a diagram illustrating an arrangement relationship of receivers in the case of three receivers of the first array unit of FIG. 1.
  • 7 is a diagram illustrating an arrangement relationship of receivers when the receivers of the first array unit of FIG. 1 are four.
  • FIG. 5 shows eight receivers 110 to 117
  • FIG. 6 illustrates three receivers 110 to 112
  • FIG. 7 shows four receivers 110 to 113.
  • FIG. 2 is a diagram illustrating a case where the distance l1 between the receiver and the one receiver and the neighboring receiver are the same, and (b) shows that the receivers 110 to 117 each have the same distance r1 from the first central portion 130. Although it is arranged at, it is a diagram showing a case where the distance l1 between one receiver of the receivers 110 to 117 and the one receiver and the neighboring receiver is not equal.
  • each of the plurality of receivers may be disposed at the same distance r1 from the first central portion 130.
  • the distance l1 between one receiver of the plurality of receivers and the one receiver and the neighboring receiver may be the same or may not be the same.
  • the distance l1 between one receiver of the plurality of receivers and the one receiver and the neighboring receiver may be constant or may not be constant. That is, the distance l1 between one receiver of the plurality of receivers and the one receiver and the neighboring receiver may be the same or different.
  • each of the plurality of receivers may be arranged at the same distance r1 from the first central portion 130.
  • the distance l1 between one receiver of the plurality of receivers and the one receiver and the neighboring receiver may be the same or may not be the same.
  • each of the plurality of receivers of the first array unit 100 according to the embodiment of the present invention is disposed at the same distance r1 from the first center 130, the position of the sound source may be more accurately estimated.
  • the second array unit 200 detects sound from an arbitrary sound source, and the plurality of receivers 210 to 221 disposed at the same distance r2 from the second center 230 and the second center 230, respectively. ).
  • the second array unit 200 includes a second central portion 230 and a plurality of receivers 210 to 221.
  • the second array unit 200 may detect sound from any sound source using the plurality of receivers 210-221.
  • the second center portion 230 refers to the center of the second array unit 200. Specifically, like the first array unit 100 illustrated in FIG. 4, the center of the second array unit 200 illustrated on the yz axis (yz plane) is referred to.
  • the plurality of receivers 210-221 of the second array unit 200 may be a plurality of microphones.
  • the receivers 210-221 of the second array unit 200 according to an embodiment of the present invention are not limited to microphones, and various devices capable of detecting sound from any sound source may be used.
  • twelve receivers 210 to 221 of the second array unit 200 are disposed, but are not necessarily limited to twelve, and various numbers may be used and arranged according to an embodiment of the present disclosure. have. In more detail, three or more receivers may be used and disposed in accordance with an embodiment of the present invention.
  • Embodiments of the first array unit 100 illustrated in FIGS. 5, 6, and 7 may be similarly applied to the second array unit 200. Therefore, description thereof will be omitted in the second array unit 200.
  • the first array unit 100 and the second array unit 200 may be disposed to be spaced apart from a predetermined distance a.
  • the first central portion 130 of the first array portion 100 and the second central portion 230 of the second array portion 200 may be spaced apart from each other by a predetermined distance a and face each other.
  • the first central portion 130 and the second central portion 230 may be disposed on the x-axis to face each other.
  • the plurality of receivers of the first array unit 100 and the plurality of receivers of the second array unit 200 may be disposed at positions facing each other, respectively, at positions facing each other. It may not be.
  • Coordinate values on the xyz axis will be described below, in which the plurality of receivers of the first array unit 100 and the plurality of receivers of the second array unit 200 are disposed at positions facing each other.
  • the first receiver Meaning that the 110 and the second receiver 210 are disposed at positions facing each other the coordinate value of the first receiver 110 is (p, q, r), and the coordinate value of the second receiver 210 is When (-p, q, r), the p value of the first receiver 110 and the p value of the second receiver 210 are the same.
  • the q and r values can likewise be described.
  • a case in which the plurality of receivers of the first array unit 100 and each of the plurality of receivers of the second array unit 200 are not disposed at positions facing each other will be described with reference to the xyz axis as an example.
  • the first receiver Meaning that the 110 and the second receiver 210 are not disposed at positions facing each other the coordinate value of the first receiver 110 is (p, q, r) and the coordinate value of the second receiver 210 is When (-p, q, r), the p value of the first receiver 110 and the p value of the second receiver 210 is not the same.
  • the q and r values can likewise be described. This includes the case where any one of p, q and r values is different.
  • the distance r2 between the 230 and one of the plurality of receivers may be different.
  • r1 and r2 are different from each other, one of the plurality of receivers of the first array unit 100 is the first receiver 110, and one of the receivers of the second array unit 200 is In the case of the second receiver 210, this means that the first receiver 110 and the second receiver 210 are not disposed at positions facing each other.
  • the number of the plurality of receivers of the first array unit 100 and the number of the receivers of the second array unit 200 may be different from each other.
  • the sound source position estimation apparatus may estimate the position of the sound source by calculating the azimuth and elevation angles of the sound source.
  • the sound source position estimating apparatus of the present invention may calculate an azimuth and an elevation angle of a sound source by using signals of sounds detected by a plurality of receivers, and estimate the position of the sound source using the azimuth and the elevation angle.
  • azimuth is one of coordinates representing the position of an object on the earth's surface. It displays the horizontal angle clockwise with respect to true north, and also refers to true south or magnetic north. It is used in conjunction with altitude to indicate the position of an object in horizontal coordinates.
  • Altitude altitude, elevation is the angle of the height of an object measured from the horizon.
  • the azimuth angle and the altitude angle are not defined based on a general polar coordinate system, but are defined based on an inter aural polar coordinate.
  • the bipolar polar coordinate system is shown in FIG. 8.
  • FIG. 8 is a diagram illustrating azimuth and elevation angles in the bipolar polar coordinate system.
  • the azimuth angle ( ) Increases in the positive direction in the positive direction (right direction) of the x axis with respect to the y axis, and increases in the negative direction in the negative direction (left direction) of the x axis, with values between -90 degrees and 90 degrees. Has the value of.
  • Elevation Angle ( ) Is the angle between the waterline and the y-axis on the x-axis, ranging from -180 degrees to 180 degrees. In the bipolar polar coordinate system, when the azimuth is close to 90 degrees, the position itself does not change significantly even if the elevation angle changes.
  • the sound source position estimating apparatus uses the time difference between the plurality of receivers of the first array unit 100 and / or the plurality of receivers of the second array unit 200 to form an azimuth angle of the sound source. And altitude angle can be obtained.
  • the time difference is a time at which a signal of a sound coming into one of the plurality of receivers of the first array unit 100 and a signal of a sound coming into one of the receivers of the second array unit 200 are received. Says tea.
  • the time difference is a time difference between a signal of a sound coming into one of the receivers of the plurality of receivers of the first array unit 100 and a signal from a sound received into one of the receivers other than the one receiver. Say tea. The same may be applied to the second array unit 200.
  • the time difference is a signal of the sound coming into one of the plurality of receivers of the first array unit 100 and the plurality of receivers of the second array unit 200, and the other of the other receivers except the one receiver unit. The difference in time when a signal of a sound coming into one receiver is received.
  • the sound source is sufficiently far from the sound source position estimating apparatus of the present invention in order to formally calculate the respective time differences in the plurality of receivers of the first array unit 100 and / or the plurality of receivers of the second array unit 200. It can be assumed that the sound waves transmitted to each microphone apart from each other are plane waves coming in parallel.
  • the plurality of receivers 110 to 121 of the first array unit 100 and the plurality of receivers of the second array unit 200 may be provided in a free field. Considering that 210 to 221 are arranged, the formula can be developed.
  • the time difference of each sound signal between the remaining receivers 111 to 121 and 210 to 221 except for 110 may be calculated through a path difference between two receivers from the sound source. At this time, it is assumed that the sound waves entering each receiver are parallel, so that the path difference can be calculated through the coordinate values (relative coordinate, relative position, relative vector) between the two receivers.
  • the receiver of one of the plurality of receivers 110 to 121 of the first array unit 100 and the plurality of receivers 210 to 221 of the second array unit 200 may be used. If the path difference between the i-th receiver and the j-th receiver, which is one of the other receivers except for the i-th receiver, is obtained, it can be summarized as in Equation 1 below.
  • azi is an azimuth angle
  • ele is an elevation angle
  • Equation 2 When the path difference of Equation 1 is divided by the speed of sound c, as shown in Equation 2 below, a receiver of one of a plurality of receivers of the first array unit 100 and a plurality of receivers of the second array unit 200 may be used.
  • the time difference between the i th receiver and the j th receiver, which is one of the remaining receivers except the i th receiver, ) Can be obtained.
  • the time difference function can be obtained using Equation 2.
  • Equation 2 can be summarized as shown in Equation 3 below. ) Can be obtained.
  • Equation 1 (2) Equation 2 and Equation 3, And Can be summarized as follows.
  • the altitude angle can be determined by the ratio of the two values.
  • the ratio of the two values can be summarized as in Equation 4 as follows.
  • the sound source position estimation apparatus includes a first array unit 100 and a second array unit 200 spaced apart a predetermined distance (a)
  • the position of the sound source may be estimated even in the device composed of only the first array unit 100 or only the second array unit 200.
  • the device consisting of only the first array unit 100 among the remaining receivers other than the i-th receiving unit and the i-th receiving unit of one of the plurality of receiving units (110 to 121) of the first array unit 100
  • the path difference and time difference between the j-th receiver, which is one receiver can be obtained, and each time difference between one receiver of the plurality of receivers of the first array unit 100 and the other receivers except the one receiver is determined. This is because the time difference function can be calculated.
  • the same may be applied to a device composed of only the second array unit 200.
  • Equations 1 to 4 represent the plurality of receivers of the first array unit 100 and the plurality of receivers of the second array unit 200 as coordinate values on the xyz axis. It can also be represented by distance and angle. This will be described.
  • Equations 1 to 4 , , , , , , , You can expand the equation by substituting for.
  • a is the distance between the first array unit 100 and the second array unit 200
  • r is the distance between the center of the array unit and the receiving unit, for example, the first center of the first array unit 100.
  • the distance between the 130 and the i-th receiving unit which is one of the plurality of receiving units 110 to 121 of the first array unit 100, Is an angle formed by the zx plane and a line connecting the first center 130 of the first array unit 100 to an i-th receiver, which is one of the plurality of receivers 110 to 121 of the first array unit 100.
  • Equation 1 to 4 Is an angle formed by a line connecting the second center portion 230 of the second array unit 200 and the j-th receiver, which is one of the plurality of receivers 210 to 221 of the second array unit 200, to a jx plane. to be.
  • the equations are developed by substituting the above-described distances and angles in Equations 1 to 4 as follows.
  • the time difference between a signal of a sound of one receiver of the plurality of receivers 110 to 121 of the first array unit 100 and one of the receivers 210 to 221 of the second array unit 200. Can be calculated from the path difference between the two receivers from the sound source. At this time, it is assumed that the sound waves coming in each receiver are parallel, so that the path difference can be calculated through the distance and angle between the two receivers.
  • the i-th receiving unit which is one of the plurality of receiving units 110 to 121 of the first array unit 100 and the plurality of receiving units 210 to the second array unit 200 are used. If the path difference between the j-th receiver which is one of the receivers is obtained, it may be summarized as in Equation 5 below. (5) expands the equation by substituting the distance and angle described above in (1).
  • Equation (5) J is a receiver of one of the plurality of receivers 210 to 221 of the second array unit 200 and an i-th receiver that is one of the plurality of receivers 110 to 121 of the first array unit 100.
  • Path difference between the first receiver. a is a distance between the first array unit 100 and the second array unit 200, , Therefore, in Equation 5, i may be regarded as a receiver of the first array unit 100 and j represents a receiver of the second array unit 200.
  • the second difference is based on the i-th receiver, which is one of the receivers 110 to 121 of the first array unit 100.
  • the time difference between the jth receiving unit which is one of the plurality of receiving units 210 to 221 of the array unit 200, or one of the plurality of receiving units 210 to 221 of the second array unit 200.
  • a time difference between one receiving unit among the plurality of receiving units 110 to 121 of the first array unit 100 may be obtained.
  • (6) expands the equation by substituting the distance and angle described above in (2).
  • the time difference function can be obtained by using Equation 6.
  • the plurality of receivers 210 to 221 of the second array unit 200 based on one of the receivers 110 to 121 of the first array unit 100.
  • the time difference function may be calculated by obtaining the respective time differences between the plurality of receivers, or the plurality of first array units 100 may be determined based on one receiver of the plurality of receivers 210 to 221 of the second array unit 200.
  • the time difference function may be calculated by obtaining the respective time difference between the receivers 110 to 121.
  • each time difference is , It consists of the sin function and the cos function of, and simply summarizes the time difference function ( ) Can be obtained. (7) expands the equation by substituting the distance and angle described above in (3).
  • Equation 8 Is the mean value of the time difference function and is determined by the azimuth angle azi. And The phase of the time difference function is determined by, and the ratio of the two values can be summarized as in Equation 8 as follows.
  • the value of is itself influenced by azimuth and elevation, but the ratio of the two values is always determined by elevation. That is, the phase of the time difference function is determined by the elevation angle.
  • the altitude and azimuth angles of the sound source may be calculated by using time difference information between one receiving unit of the plurality of receiving units of the first array unit 100 based on one receiving unit of the plurality of receiving units of 200.
  • Equation (9) Is a path difference between the nth receiver which is one of the receivers 110 to 121 of the first array unit 100 and the first receiver 210 of the second array unit 200, and a is the first Distance between the array unit 100 and the second array unit 200, r is the distance between the center of the array unit and the receiving unit, specifically, the first central unit 130 and the first array unit of the first array unit 100.
  • the distance between the n-th receiver which is one of the plurality of receivers 110 to 121 of 100, azi is an azimuth angle
  • ele is an elevation angle
  • Equation 9 The distance a between the first array unit 100 and the second array unit 200 is 0.25 m, and the first center portion of the first array unit 100 is defined.
  • a and r are expressed by Equation (9). Substitution is as follows.
  • the n-th receiver and the second array unit which are one of the receivers 110 to 121 of the first array unit 100, are the same
  • the time difference between the first receiving unit 210 which is one of the plurality of receiving units 210 to 221 of the 200 ( ) Can be obtained.
  • the time difference obtained in Equation 10 is based on a signal of a sound coming into the first receiver 210, which is one receiver among the plurality of receivers 210 to 221 of the second array unit 200. The difference between the times at which the signal of the sound coming into the nth receiver, which is one of the receivers 110 to 121 of the first array unit 100, is received.
  • the first receiver based on the first receiver (for example, 110) of one of the receivers 110 to 121 of the first array unit 100 using Equation 10 may be used.
  • the first receiving unit (eg, 210) which is one of the plurality of receiving units 210 to 221 of the second array unit 200 disposed at a position facing the first receiving unit 110 of the array unit 100.
  • the time difference of is obtained from Equation 11 below.
  • Equation 12 is a case where each of the plurality of receivers 110 to 121 of the first array unit 100 and the plurality of receivers 210 to 221 of the second array unit 200 are disposed at positions facing each other.
  • the azimuth angle of the sound source can be obtained using the time difference between the receivers disposed at the positions facing each other.
  • one of the plurality of receivers 110 to 121 of the first array unit 100 may be a first receiver (eg, 110, and when one of the plurality of receivers 210 to 221 of the second array unit 200 is the second receiver (eg, 210), the first receiver 110 and the second receiver 210 are
  • the azimuth angles of the sound source may be calculated by using the time difference between the first receiver 110 and the second receiver 210. In this case, the time difference may be expressed by Equation 13 below and the azimuth angle may be calculated from Equation 13.
  • Equation (13) Is the time difference between the first receiver 110 and the second receiver 210, : Path difference between the first receiver 110 and the second receiver 210, a is the distance between the first array unit 100 and the second array unit 200, c is the speed of sound, azi: azimuth angle .
  • one of the plurality of receivers 110 to 121 of the first array unit 100 is the first receiver (eg, 110) and the plurality of receivers of the second array unit 200.
  • one of the receivers 210 to 221 is the second receiver (eg, 210)
  • each of the plurality of receivers 210 to 221 of the first receiver 110 and the second array unit 200 may be different from each other.
  • the time difference trajectory may be calculated by using a time difference of or by using each time difference between the plurality of receivers 110 to 121 of the second receiver 210 and the first array unit 100. Therefore, using Equation 10, the equation of the time difference function expressing the time difference trajectory can be obtained.
  • Equation 10 is one of the plurality of receivers 210 to 221 of the second array unit 200 (the first receiver 210) and the plurality of receivers 110 to 121 of the first array unit 100. Since it is a formula for calculating the time difference between the n-th receiver, which is one of the receivers, between the first receiver 210 of the second array unit 200 and the plurality of receivers 110-121 of the first array unit 100.
  • the time difference trajectory can be calculated by obtaining each time difference, and thus, the equation of the time difference function expressing the time difference trajectory can be obtained.
  • each time difference is It consists of the sin function and the cos function of, and simply summarizes the time difference function ( ) Can be obtained.
  • Equation 15 Is the mean value of the time difference function and is determined by the azimuth and elevation angles. And The altitude angle can be determined by the ratio of the two values.
  • the ratio of the two values may be summarized as in Equation 15 as follows.
  • Equation 15 is the same as Equation 8, and the same as Equation 4. Accordingly, when Equation 1, Equation 2 and Equation 3 are applied, that is, the plurality of receivers of the first array unit 100 and / or the plurality of receivers of the second array unit 200 are coordinated on the xyz axis. Even if the formula represented by the value is applied, And The phase of the time difference function can be found using, and the altitude angle can be determined by the ratio of the two values.
  • each of the plurality of receivers 110 to 121 of the first array unit 100 and the plurality of receivers 110 to 121 of the second array unit 200 are disposed at positions facing each other.
  • the time difference between the receivers disposed at the positions facing each other may be obtained, and the azimuth angle of the sound source may be obtained using the time difference.
  • a time difference trajectory obtained by obtaining respective time differences between the plurality of receivers 110 to 121 of the first array unit 100 and / or the plurality of receivers 210 to 221 of the second array unit 200 may be obtained.
  • the time difference function that expresses the time difference trajectory by the formula has three variables ( , And ), We can find the time difference function by finding at least three exact time differences.
  • obtaining the time difference trajectory when calculating the time difference trajectory, based on one receiver (eg, 110 or 210) of the first array unit 100 or the second array unit 200, the second array disposed on the opposite side.
  • the time difference between signals obtained from the plurality of receivers 210 to 221 of the unit 200 or the plurality of receivers 110 to 121 of the first array unit 100 may be obtained.
  • the accuracy is increased by estimating the altitude angle of the sound source through the array unit in the direction in which the sound source exists.
  • a time difference trajectory is obtained by obtaining a time difference between a plurality of receivers of the array unit on the right side and one receiver of the array unit on the opposite side
  • the time difference trajectory is obtained by obtaining the time difference between the plurality of receivers on the left side of the array unit and one receiver of the array unit on the opposite side. This is to accurately estimate the elevation angle.
  • one receiving unit of the plurality of receiving units 110 to 121 of the first array unit 100 is the first receiving unit (for example, 110), and the plurality of receiving units 210 to 221 of the second array unit 200.
  • the position of the sound source according to the azimuth is the second center of the second array unit 200 rather than the first center 130 of the first array unit 100. If it is closer to 230, the time difference trajectory may be calculated using the respective time differences between the plurality of receivers 210 to 221 of the first receiver 110 and the second array unit 200.
  • a time difference trajectory may be calculated by using each time difference between the plurality of receivers 110 to 121 of the first array unit 100.
  • all of the above-described time difference trajectories are described in the plurality of receivers 110-121 of the first array unit 100 and the plurality of receivers 210-of the second array unit 200. Not only when the 221 is disposed at positions facing each other, but also when not disposed at positions facing each other.
  • Each of the plurality of receivers 110 to 121 of the first array unit 100 and the plurality of receivers 210 to 221 of the second array unit 200 may be different from each other.
  • one of the plurality of receivers 110 to 121 of the first array unit 100 is the first receiver (eg, 110), and the plurality of receivers 210 to the second array unit 200.
  • one of the receivers 221 is the second receiver (eg, 210)
  • the first receiver 110 and the second receiver 210 are disposed to face each other, the first receiver 110 and the second receiver are disposed.
  • the azimuth angle could be calculated using the time difference between the receivers 210.
  • the azimuth angle of the sound source can be calculated using the time difference function of Equation (7). Since the amplitude of the time difference function is determined by the azimuth angle of the sound source, Wow Can be obtained using The equation for calculating the azimuth angle of the sound source from Equation 7 is shown in Equation 16 below.
  • Equation 16 Amplitude is amplitude, azi is an azimuth angle, and r is a distance between the center portion of the array portion and the receiving portion, that is, the plurality of first center portions 130 and the first array portion 100 of the first array portion 100. The distance between one of the receivers 110-121 of the receiver. According to an embodiment of the present invention, r is the distance between the second central portion 230 of the second array unit 200 and one of the plurality of receivers 210 to 221 of the second array unit 200. It may be. Equation 16 is summarized as Equation 17 below.
  • the azimuth angle of the sound source may be calculated using Equation 17.
  • Calculating the azimuth angle of the sound source using Equation 16 and Equation 17 may include a plurality of receivers 110-121 of the first array unit 100 and a plurality of receivers 210-of the second array unit 200. Not only when the 221 is disposed at positions facing each other, but also when not disposed at positions facing each other.
  • GCC-PHAT Generalized Cross Correlation-Phase Transform
  • the GCC-PHAT method is a filtering method commonly used in signal processing.
  • the GCC method obtains a cross correlation between two signals, and filters each signal to improve accuracy.
  • 9 shows a method of obtaining a time difference through the GCC method.
  • FIG. 9 is a diagram illustrating a method of obtaining a time difference through a GCC method.
  • Equation 18 is obtained.
  • Equation (18) Is the output of the filter and Cross-correlation between Is the input signal and Cross spectrum obtained from the frequency dimension.
  • Two filters and Weight function determined by This is called general frequency weighting.
  • the GCC method varies depending on how the weight function is used, and the most frequently used method is the GCC-PHAT method.
  • the weight function at this time is determined as in Equation 19 below.
  • GCC-PHAT can reduce signal-related noise, which makes the cross-correlation peaks more distinct.
  • the influence of the reflected wave can be reduced.
  • Sound source position estimation apparatus can be applied to a robot.
  • the robot may include the sound source position estimating apparatus of the present invention, and may estimate the position of the sound source by using the same.
  • the sound source position estimation apparatus of the present invention may be disposed at a specific position of the robot. According to an embodiment of the present invention, the sound source position estimation apparatus of the present invention may be disposed on the head of the robot.
  • the robot may recognize the surroundings accurately by simultaneously using sensory organs such as hearing as well as vision. Acoustic information obtained through auditory organs is one of the most important informations for robots to perceive their surroundings.
  • the robot uses sound information together with visual information, the robot can compensate for the disadvantages of using only one sense, such as recognizing and responding to events occurring in an invisible direction.
  • the sound source position estimating apparatus can estimate the position of a sound source in three dimensions, can estimate the position of the sound source in real time with a small amount of calculation, and can be robust from ambient noise. Therefore, when the sound source position estimation apparatus of the present invention is applied to the robot, the robot can estimate the position of the sound source in three dimensions, and can estimate the position of the sound source in real time due to the small amount of calculation. In addition, the position of the sound source to be searched can be accurately estimated by being robust from the noise of the robot itself or the surrounding noise.
  • FIG. 10 is a diagram illustrating a head of a robot (humbo). 10 (a) is a view showing a state in which the sound source position estimation apparatus is mounted on the virtual robot head, Figure 10 (b) is the head of the humanoid robot Hubo used in this experiment Photograph showing part.
  • a cradle in which the first array unit 100 and the second array unit 200 are arranged to mount the sound source position estimating device in the hubo was manufactured (see FIG. 1), and the head transfer function possessed by the laboratory
  • the experiment was conducted using a Head HRTF measuring device.
  • the obtained data was processed using Matlab, and the sound signal was measured for 0.1 second and the position of the sound source was estimated based on the measured signal.
  • the maximum sampling rate of the hardware used (NI 9234, National Instrument) was 51.2 kHz, and data measurements were made at the maximum sampling rate.
  • a microphone was used as the plurality of receivers of the first array unit 100 and the plurality of receivers of the second array unit 200. Six microphones were placed in each of the left and right sides.
  • the sound source used white noise of all bands, and the distance from the sound source position estimation apparatus of the present invention to the sound source was 1.16 m.
  • the input signal used full-band white noise.
  • the experiment was conducted only with the sound source position estimating device in the state before the sound source position estimating apparatus of the present invention was mounted on the humanoid robot (Hubo).
  • the experiment was conducted in the head transfer function measurement room at NOVIC PLUS of KAIST. Since the head transfer function measuring device can control the speaker array to locate the sound source at the correct position, it can confirm the accuracy of the sound source position estimation of the sound source position estimating apparatus.
  • the specification of the head transfer function measurement room is as follows.
  • the result of calculating the time difference (ITD, Inter-channel Time Difference) between the microphones while measuring the azimuth of the sound source while moving the azimuth from 0 to 90 degrees by 10 degrees with the elevation angle of 0 degrees is shown in FIG. 11.
  • FIG. 11 is a time difference graph according to azimuth change
  • FIG. 12 is a time difference graph between two first microphones disposed at opposite positions according to the azimuth change.
  • FIGS. 11 and 12 a graph having a form of a sine function according to each position is drawn. However, because only six microphones are installed on one side, the number of time difference data is small. In addition, it can be seen that the time difference between two microphones disposed at positions facing each other at this time is proportional to the azimuth angle.
  • the graph of the time difference trajectory shows the obtained time difference data as a dot and through this data, the time difference trajectory approximated by the sine function is shown as a dotted line.
  • FIG. 12 is a graph showing the time difference and the azimuth angle between two microphones used to estimate the azimuth angle.
  • the data indicated by the circle represents the time difference obtained through the experiment, and the dotted line shows the time difference between the azimuth angle drawn on the basis of the above-described equation of the sound source position estimation device of the present invention and the two first microphones. This is obtained through the distance and sound speed between the plurality of receivers of the first array unit 100 and the microphones, which are the plurality of receivers of the second array unit 200, and the relationship between the azimuth and the time difference is as follows.
  • the experiment was performed while varying the elevation angle with the azimuth angle of the sound source at 0 degrees.
  • the sound source used full-band white noise as before.
  • the elevation angles were measured at 0 degrees, 30 degrees, 60 degrees, and 90 degrees, and the results are shown in FIG. 13.
  • FIG. 13 is a graph showing a time difference trajectory according to a change in elevation angle.
  • a graph of a time difference trajectory obtained through a time difference between a plurality of microphones of the second array unit 200 based on the first microphone of the first array unit 100 at the position of each sound source is a sine function. It can be confirmed that it has a form.
  • the time difference between the first microphone of the first array unit 100 and the first microphone of the second array unit 200 disposed at positions facing each other in the data obtained through the experiment may vary slightly as the elevation angle changes. You can see that. This is considered to be an error generated because the sound source position estimating apparatus of the present invention was not accurately located at the center of the head transfer function measuring apparatus. That is, it is determined that the azimuth angle also changed in the process of changing the altitude angle.
  • the graph of the time difference trajectory according to the change of the altitude angle (Fig. 13) is also shown as a time difference data, and the time difference trajectory approximated by the sine function is represented by the dotted line.
  • the elevation angle of the sound source can be estimated using the time difference between the microphones thus obtained and the time difference trajectory obtained by approximating the sin function.
  • 14 is a graph showing the phase and the altitude angle of the time difference trajectory thus drawn, and it can be seen that the altitude angle of the sound source can be obtained through the obtained time difference trajectory.
  • the error between the elevation angle obtained and the elevation angle of the actual sound source is shown in Table 1 below. It can be seen that the error occurs within approximately 1 degree. This error is an error caused by not correctly installing the sound source position estimating apparatus of the present invention. If the sound source position estimating apparatus is correctly installed, the error will not occur.
  • FIG. 15 is a photograph of a state in which the sound source position estimation apparatus of the present invention is mounted on a humanoid robot (Hubo).
  • (A) is a front photograph of a hubo
  • (b) is a side photograph.
  • FIG. 16 is a graph illustrating a time difference trajectory according to an azimuth change
  • FIG. 17 is a time difference graph between two first microphones disposed at opposite positions according to an azimuth change.
  • each time difference trajectory obtained has the form of a sine function You can see that. Since the elevation angles of the sound sources are all equal to 0 degrees, it can be confirmed that the phases of the time difference trajectories obtained are all the same. In addition, it can be seen that the time difference between the two microphones disposed at positions facing each other and the azimuth angle of the sound source are proportional to each other.
  • circles indicate time differences between two microphones obtained through experiments, and dotted lines indicate time differences obtained based on the above equation of the sound source position estimation apparatus of the present invention through a distance between two microphones. to be. From the distance between the two microphones and the speed of sound, the time difference between the azimuth and the two microphones is as follows.
  • the time difference trajectory was obtained by moving the altitude angle by 30 degrees from -150 to -180 degrees. Due to the experimental conditions, the sound source was placed at 90 degrees (above the head) and could not be measured. This time, because the person directly located the sound source, the measurement was made in consideration of the error of about 5 degrees. The result is shown in FIG.
  • 18 is a graph illustrating a time difference trajectory according to a change in elevation angle.
  • a graph of a time difference trajectory obtained through a time difference between a plurality of microphones of the second array unit 200 based on the first microphone of the first array unit 100 at the position of each sound source is a sine function. It can be confirmed that it has a form. Since the azimuth angles of the sound sources were all fixed at 0 degrees, the time difference between the two microphones placed at the opposite positions was all zero.
  • the graph of the time difference trajectory according to the change of the altitude angle (Fig. 18) is also shown as a point of time difference data, through which the time difference trajectory approximated by the sine function is represented by a dotted line.
  • the altitude angle of the sound source can be estimated by using the time difference between the microphones thus obtained and the time difference trajectory obtained by approximating the sine function.
  • the elevation angle of the sound source is estimated as shown in FIG. 19 through the phase of the time difference trajectory thus obtained.
  • 19 is a graph showing an estimated elevation angle according to the change of the elevation angle. It can be seen from the graph that the sound source position estimation apparatus of the present invention accurately estimates the elevation angle.
  • the sound source position estimating apparatus When the sound source position estimating apparatus according to an embodiment of the present invention is mounted on a robot or other device, a smaller amount of error may appear in the time difference than when the sound source position estimating apparatus is estimated only by the sound source position estimating apparatus.
  • the method of reducing the error is as follows.
  • the sound source position estimator measures the time difference at each position, and the measured time difference is stored in the storage unit of the robot or sound source position estimator. After storing, when the sound source position estimating apparatus estimates the position of the sound source, the position of the sound source may be estimated by comparing the time difference stored in the storage unit with the time difference calculated by the sound source position estimating apparatus.
  • the time difference at each position can be measured by a sound source position estimator mounted on a robot or other device.
  • the measured time difference can be made into a database and stored in a storage device (storage unit) disposed in a sound source position estimating device, a robot, or other device.
  • the time difference of the sound source calculated by the sound source position estimator is databased and compared with the time difference stored in the storage unit.
  • the position of the highest sound source can be calculated (estimated). This method can reduce the error.
  • 210 to 221 a plurality of receivers of the second array unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부 및 제2 어레이부를 포함한다. 제1 어레이부는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제2 어레이부는 음원의 소리를 감지하고, 제2 중심부 및 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제1 어레이부와 제2 어레이부는 소정 거리 이격되어 제1 중심부와 제2 중심부가 서로 마주보도록 배치된다. 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 방위각과 고도각으로 음원의 위치를 추정한다.

Description

음원 위치 추정장치 및 이를 포함하는 로봇
본 발명은 음원 위치 추정장치에 관한 것으로, 보다 상세하게는 음원의 위치를 실시간으로 추정할 수 있는 음원 위치 추정장치 및 이를 포함하는 로봇에 관한 것이다.
종래에 음원의 위치를 추정하는 방법 중 가장 많이 사용되는 방법은 대략 3가지로 분류할 수 있다. 빔포밍 방법(Beamforming method), High-resolution spectral estimation, TDOA(Time Difference Of Arrival) 방법 등이 있다.
빔포밍 방법의 경우 마이크로폰 어레이를 통해 들어오는 신호를 공간필터(spatial filter)를 통해 필터링을 해주는 방법이며, 가장 대표적인 방법으로 DAS(Delay and Sum)가 있다. 공간 필터는 특정 각도(steering angle)에서 들어오는 신호를 증폭하도록 설계되어 있으며, 필터링한 결과값이 크게 나오는 필터의 각도가 음원의 방향이 된다. 각 방향에 대한 신호의 파워를 계산하여 방향을 추정하기 때문에 여러 개의 음원이 존재하는 경우에도 적용이 가능하다. 다만, 마이크로폰의 개수가 성능에 영향을 주기 때문에 많은 개수의 마이크로폰을 사용하는 경우가 아니면 성능이 떨어지는 문제점이 있다.
High-resolution spectral estimation 방법 중에 가장 대표적인 방법으로 MUSIC(Multiple Signal Classification)이 있다. MUSIC 알고리즘의 경우 고유치 해석(Eigenvalue analysis)을 통해, 노이즈 부분 공간(noise subspace)과, 신호 + 노이즈 부분 공간(signal + noise subspace)으로 나누어 신호의 방향을 추정한다. 따라서 노이즈의 영향을 크게 줄일 수 있다. 각 방향에 대한 계산을 하기 때문에 여러 음원이 존재하는 경우에도 적용이 가능하다. 다만, 마이크로폰의 개수보다 음원의 개수가 많은 경우에는 사용할 수 없는 문제점이 있다.
TDOA 방법은 각 마이크로폰에서 들어오는 신호의 시간차를 이용하여 음원의 위치를 추정한다. 고정된 마이크로폰을 통해서 들어오는 시간차를 알게 되면 마이크로폰의 배치와 음속을 이용하여 역으로 음원의 위치를 추정하는 방법이다. 단순히 신호의 시간차만 계산하면 되기 때문에 실시간으로 구동하기 용이하다. 하지만, 3차원 공간에서 정확히 음원의 위치를 추정하기 위해서는 최소한 4개의 서로 다른 평면에 위치하는 마이크로폰을 필요로 하고, 한번에 하나의 신호만을 찾을 수 있기 때문에 여러 음원이 존재하는 경우에는 가장 주요한 신호를 갖는 음원의 위치만을 추정할 수 있는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음 및 기기(예로 로봇)에 장착될 경우 기기 내부 소음과 진동에 강건한 음원 위치 추정장치를 제공하는 것이다.
또한, 음원의 위치를 추정하는 로봇이 음원의 위치를 실시간으로 정확하게 파악함으로써 음향정보로부터 음원의 위치를 추정하는 것이 가능한 로봇을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 기술적 과제는 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부 및 제2 어레이부를 포함한다. 제1 어레이부는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제2 어레이부는 음원의 소리를 감지하고, 제2 중심부 및 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함한다. 제1 어레이부와 제2 어레이부는 소정 거리 이격되어 제1 중심부와 제2 중심부가 서로 마주보도록 배치된다. 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 방위각과 고도각으로 음원의 위치를 추정한다.
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 중 하나의 수신부가 제1 수신부이고, 제2 어레이부의 복수의 수신부들 중 하나의 수신부가 제2 수신부이고, 제1 수신부와 제2 수신부는 서로 마주보는 위치에 배치된다. 제1 수신부와 제2 수신부 사이의 시간차를 이용하여 방위각을 산출한다. 시간차는 제1 수신부로 들어오는 소리의 신호와 제2 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차는 아래의 수학식 1이고, 수학식 1로부터 방위각을 산출한다.
[수학식 1]
Figure PCTKR2018010808-appb-I000001
(
Figure PCTKR2018010808-appb-I000002
: 시간차,
Figure PCTKR2018010808-appb-I000003
: 제1 수신부와 제2 수신부 사이의 경로차, a는 제1 어레이부와 제2 어레이부 사이의 거리, c: 음속, azi: 방위각)
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 중 하나의 수신부가 제1 수신부이고, 제2 어레이부의 복수의 수신부들 중 하나의 수신부가 제2 수신부이다. 제1 수신부와 제2 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하거나 또는, 제2 수신부와 제1 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 시간차는 제1 수신부로 들어오는 소리의 신호와 제2 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차 함수는 아래 수학식 2이다.
[수학식 2]
Figure PCTKR2018010808-appb-I000004
(
Figure PCTKR2018010808-appb-I000005
: 시간차 함수,
Figure PCTKR2018010808-appb-I000006
: 제1 어레이부의 제1 중심부와 제1 어레이부의 복수의 수신부들 중 하나의 수신부인 i번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
Figure PCTKR2018010808-appb-I000007
: 제2 어레이부의 제2 중심부와 제2 어레이부의 복수의 수신부들 중 하나의 수신부인 j번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
Figure PCTKR2018010808-appb-I000008
,
Figure PCTKR2018010808-appb-I000009
Figure PCTKR2018010808-appb-I000010
, r: 제1 어레이부의 제1 중심부와 제1 수신부 사이의 거리 또는 제2 어레이부의 제2 중심부와 제2 수신부 사이의 거리, azi: 방위각, ele: 고도각)
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 3이 산출되고, 수학식 3으로부터 고도각(ele)을 산출한다.
[수학식 3]
Figure PCTKR2018010808-appb-I000011
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 4가 산출되고, 수학식 4로부터 방위각(azi)을 산출한다.
[수학식 4]
Figure PCTKR2018010808-appb-I000012
(Amplitude=진폭=
Figure PCTKR2018010808-appb-I000013
)
일 실시 예에 의하면, 방위각에 따른 음원의 위치가 제1 중심부보다 제2 중심부에 더 가까운 경우에는, 제1 수신부와 제2 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 방위각에 따른 음원의 위치가 제2 중심부보다 제1 중심부에 더 가까운 경우에는, 제2 수신부와 제1 어레이부의 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다.
일 실시 예에 의하면, 제1 어레이부의 복수의 수신부들 및 제2 어레이부의 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출한다. 시간차는 하나의 수신부로 들어오는 소리의 신호와 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
일 실시 예에 의하면, 시간차 함수는 아래 수학식 5이다.
[수학식 5]
Figure PCTKR2018010808-appb-I000014
(
Figure PCTKR2018010808-appb-I000015
: 시간차 함수,
Figure PCTKR2018010808-appb-I000016
: xyz 축상에서 i번째 수신부의 x축 좌표값,
Figure PCTKR2018010808-appb-I000017
: xyz 축상에서 j번째 수신부의 x축 좌표값,
Figure PCTKR2018010808-appb-I000018
: xyz 축상에서 i번째 수신부의 y축 좌표값,
Figure PCTKR2018010808-appb-I000019
: xyz 축상에서 j번째 수신부의 y축 좌표값,
Figure PCTKR2018010808-appb-I000020
: xyz 축상에서 i번째 수신부의 z축 좌표값,
Figure PCTKR2018010808-appb-I000021
: xyz 축상에서 j번째 수신부의 z축 좌표값,
Figure PCTKR2018010808-appb-I000022
,
Figure PCTKR2018010808-appb-I000023
Figure PCTKR2018010808-appb-I000024
, azi: 방위각, ele: 고도각)
일 실시 예에 의하면, 시간차 함수로부터 아래의 수학식 6이 산출되고, 수학식 6으로부터 고도각(ele)을 산출한다.
[수학식 6]
Figure PCTKR2018010808-appb-I000025
일 실시 예에 의하면, 시간차 함수로부터 아래 수학식 7이 산출되고, 수학식 7로부터 방위각(azi)을 산출한다.
[수학식 7]
Figure PCTKR2018010808-appb-I000026
(
Figure PCTKR2018010808-appb-I000027
: 시간차 함수의 평균값)
상술한 본 발명의 실시 예들에 따른 음원 위치 추정장치는 로봇에 적용된다. 로봇은 본 발명의 음원 위치 추정장치를 포함하고, 이를 이용하여 음원의 위치를 추정한다.
상술한 음원 위치 추정장치가 장착된 로봇에 있어서, 소정의 모의 음원을 로봇 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 음원 위치 추정장치가 측정하고, 측정된 시간차를 로봇 또는 음원 위치 추정장치의 저장부에 저장한다. 그 후, 음원 위치 추정장치가 음원의 위치를 추정할 때, 저장부에 저장된 시간차와 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정한다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음으로부터 강건할 수 있다.
또한, 본 발명의 실시 예에 따른 음원 위치 추정장치가 포함된 로봇은 음원의 위치를 실시간으로 정확하게 파악함으로써 음향정보로부터 음원의 위치를 추정할 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것은 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시 예에 따른 음원 위치 추정장치를 개략적으로 도시한 도면이다.
도 2는 도 1의 제1 어레이부와 제2 어레이부를 xyz축 상에서 나타낸 도면이다.
도 3은 도 1의 제1 어레이부와 제2 어레이부를 xz축 상에서 나타낸 도면이다.
도 4는 도 1의 제1 어레이부와 제2 어레이부를 yz축 상에서 나타낸 도면이다.
도 5는 도 1의 제1 어레이부의 수신부가 8개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 6은 도 1의 제1 어레이부의 수신부가 3개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 7은 도 1의 제1 어레이부의 수신부가 4개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 8은 양 이간 극좌표계에서의 방위각과 고도각을 나타내는 도면이다.
도 9는 GCC 방법을 통해 시간차를 구하는 방법을 도식화한 도면이다.
도 10은 로봇(휴보)의 머리부분을 나타내는 도면이다.
도 11은 방위각 변화에 따른 시간차 그래프이다.
도 12는 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 13은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 14는 시간차 궤적의 위상과 고도각을 나타내는 그래프이다.
도 15는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착한 상태의 사진이다.
도 16은 방위각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 17은 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 18은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 19는 고도각 변화에 따른 추정 고도각을 나타내는 그래프이다.
이하 첨부한 도면들을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명한다. 본 발명의 구성요소 중 종래기술에 의하여 통상의 기술자가 명확하게 파악할 수 있고 용이하게 재현할 수 있는 것에 관하여는 본 발명의 요지를 흐리지 않기 위하여 그 구체적인 설명을 생략하도록 한다.
이하에서는, 본 발명에 따른 음원 위치 추정장치 및 이를 포함하는 로봇에 대하여 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 음원 위치 추정장치를 개략적으로 도시한 도면이고, 도 2는 도 1의 제1 어레이부와 제2 어레이부를 xyz축 상에서 나타낸 도면이고, 도 3은 도 1의 제1 어레이부와 제2 어레이부를 xz축 상에서 나타낸 도면이고, 도 4는 도 1의 제1 어레이부와 제2 어레이부를 yz축 상에서 나타낸 도면이다. 여기에서, x축은 좌우방향 혹은 폭방향으로, y축은 전후방향 혹은 길이방향으로, 그리고 z축은 상하방향 혹은 높이방향으로 정한다.
도 1 내지 도 4를 참조하면, 본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부(100) 및 제2 어레이부(200)를 포함한다. 이하 구체적으로 각 구성요소들을 설명하도록 한다.
<제1 어레이부(100)>
제1 어레이부(100)는 임의의 음원으로부터의 소리를 감지하고, 제1 중심부(130) 및 상기 제1 중심부(130)로부터 동일한 거리(r1)에 각각 배치되는 복수의 수신부들(110~121)을 포함한다.
제1 어레이부(100)는 제1 중심부(130)와 복수의 수신부(110~121)을 포함한다. 제1 어레이부(100)는 복수의 수신부(110~121)들을 사용하여 임의의 음원으로부터 소리를 감지할 수 있다.
제1 중심부(130)는 제1 어레이부(100)의 중심을 말한다. 구체적으로 도 4에 도시된 바와 같이 yz축(yz평면) 상에서 도시된 제1 어레이부(100)의 중심을 말한다.
제1 어레이부(100)의 복수의 수신부(110~121)는 복수의 마이크로폰(microphone)일 수 있다. 마이크로폰은 음파 또는 초음파를 받아서 그 진동에 따른 전기신호를 발생하는 장치를 말한다. 본 발명의 실시 예에 따른 제1 어레이부(100)의 수신부(110~121)는 마이크로폰으로 한정되는 것은 아니며, 임의의 음원으로부터 소리를 감지할 수 있는 다양한 장치가 사용될 수 있다.
도 2에서 제1 어레이부(100)의 복수의 수신부(110~121)가 12개 배치되어 있지만, 반드시 12개에 한정되는 것은 아니며, 본 발명의 실시 예에 따라 다양한 개수가 사용 및 배치될 수 있다. 구체적으로 복수의 수신부는 본 발명의 실시 예에 따라 3개 이상 사용 및 배치될 수 있다.
도 5는 도 1의 제1 어레이부의 수신부가 8개인 경우에, 수신부들의 배치관계를 나타내는 도면이고, 도 6은 도 1의 제1 어레이부의 수신부가 3개인 경우에, 수신부들의 배치관계를 나타내는 도면이고, 도 7은 도 1의 제1 어레이부의 수신부가 4개인 경우에, 수신부들의 배치관계를 나타내는 도면이다.
도 5 내지 도 7을 참조하면, 도 5는 수신부(110~117)가 8개인 경우이고, 도 6은 수신부(110~112)가 3개인 경우이고, 도 7은 수신부(110~113)가 4개인 경우이다. 도 5, 도 6 및 도 7 각각에서, (a)는 수신부들(110~117) 각각이 제1 중심부(130)로부터 동일한 거리(r1)에 배치되고, 수신부들(110~117) 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일한 경우를 나타내는 도면이고, (b)는 수신부들(110~117) 각각이 제1 중심부(130)로부터 동일한 거리(r1)에 배치되지만, 수신부들(110~117) 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일하지 않은 경우를 나타내는 도면이다.
도 5, 도 6 및 도 7 각각에서, (b)의 경우, 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 동일하지 않은 경우는, 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 모두 동일하지 않은 경우를 포함하고, 또한, 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)가 일부는 동일하고, 일부는 동일하지 않은 경우도 포함한다.
본 발명의 실시 예에 따라, 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 수 있다.
복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 동일할 수 있고, 동일하지 않을 수도 있다. 구체적으로 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 일정할 수 있고, 일정하지 않을 수도 있다. 즉 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 같을 수도 있고, 다를 수도 있다.
복수의 수신부들의 배치관계를 정리하면, 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 수 있다. 다만, 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부와 이웃하는 수신부 사이의 거리(l1)는 동일할 수 있고, 동일하지 않을 수도 있다.
본 발명의 실시 예에 따른 제1 어레이부(100)의 복수의 수신부들 각각은 제1 중심부(130)로부터 동일한 거리(r1)에 배치될 경우, 음원의 위치를 보다 정확하게 추정할 수 있다.
<제2 어레이부(200)>
제2 어레이부(200)는 임의의 음원으로부터의 소리를 감지하고, 제2 중심부(230) 및 상기 제2 중심부(230)로부터 동일한 거리(r2)에 각각 배치되는 복수의 수신부들(210~221)을 포함한다.
제2 어레이부(200)는 제2 중심부(230)와 복수의 수신부(210~221)을 포함한다. 제2 어레이부(200)는 복수의 수신부(210-221)들을 사용하여 임의의 음원으로부터 소리를 감지할 수 있다.
제2 중심부(230)는 제2 어레이부(200)의 중심을 말한다. 구체적으로 도 4에 도시된 제1 어레이부(100)와 마찬가지로, yz축(yz평면) 상에서 도시된 제2 어레이부(200)의 중심을 말한다.
제2 어레이부(200)의 복수의 수신부(210-221)는 복수의 마이크로폰일 수 있다. 본 발명의 실시 예에 따른 제2 어레이부(200)의 수신부(210-221)는 마이크로폰으로 한정되는 것은 아니며, 임의의 음원으로부터 소리를 감지할 수 있는 다양한 장치가 사용될 수 있다.
도 2에서 제2 어레이부(200)의 복수의 수신부(210~221)가 12개 배치되어 있지만, 반드시 12개에 한정되는 것은 아니며, 본 발명의 실시 예에 따라 다양한 개수가 사용 및 배치될 수 있다. 구체적으로 복수의 수신부는 본 발명의 실시 예에 따라 3개 이상 사용 및 배치될 수 있다.
도 5, 도 6 및 도 7에 도시된 제1 어레이부(100)의 실시 예들은 제2 어레이부(200)에서도 동일하게 적용될 수 있다. 따라서, 제2 어레이부(200)에서는 이에 대한 설명을 생략하기로 한다.
<제1 어레이부(100)와 제2 어레이부(200)의 배치>
본 발명의 실시 예에 따라, 제1 어레이부(100)와 제2 어레이부(200)는 소정 거리(a) 이격되어 배치될 수 있다. 제1 어레이부(100)의 제1 중심부(130)와 제2 어레이부(200)의 제2 중심부(230)는 소정 거리(a) 이격되고, 서로 마주보도록 배치될 수 있다. 도 2를 참조하여 설명하면, 제1 중심부(130)와 제2 중심부(230)는 서로 마주보도록 x축 상에 배치될 수 있다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들은 각각 서로 마주보는 위치에 배치될 수 있고, 서로 마주보는 위치에 배치되지 않을 수도 있다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들 각각이 서로 마주보는 위치에 배치된다는 것을 xyz축 상에서 좌표값을 예로 들어 설명하면 다음과 같다. 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치된다는 의미는, 제1 수신부(110)의 좌표값이 (p,q,r)이고, 제2 수신부(210)의 좌표값이 (-p,q,r)일 때, 제1 수신부(110)의 p값과 제2 수신부(210)의 p값이 같은 경우를 말한다. q, r 값도 마찬가지로 설명될 수 있다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들 각각이 서로 마주보는 위치에 배치되지 않는다는 것을 xyz축 상에서 좌표값을 예로 들어 설명하면 다음과 같다. 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되지 않는다는 의미는, 제1 수신부(110)의 좌표값이 (p,q,r)이고, 제2 수신부(210)의 좌표값이 (-p,q,r)일 때, 제1 수신부(110)의 p값과 제2 수신부(210)의 p값이 같지 않은 경우를 말한다. q, r 값도 마찬가지로 설명될 수 있다. 이는 p, q, r 값 중 어느 하나가 다른 경우를 포함한다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 제1 중심부(130)와 복수의 수신부들 중 하나의 수신부 사이의 거리(r1)와, 제2 어레이부(200)의 제2 중심부(230)와 복수의 수신부들 중 하나의 수신부 사이의 거리(r2)는 서로 다를 수 있다. r1과 r2가 서로 다르다는 것을 구체적으로 설명하면, 제1 어레이부(100)의 복수의 수신부들 중 하나가 제1 수신부(110)이고, 제2 어레이부(200)의 복수의 수신부들 중 하나가 제2 수신부(210)일 경우, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되지 않는다는 의미이다.
본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들의 개수와 제2 어레이부(200)의 복수의 수신부들의 개수는 서로 다를 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 음원의 방위각과 고도각을 산출하여 음원의 위치를 추정할 수 있다. 구체적으로 본 발명의 음원 위치 추정장치는 복수의 수신부들이 감지한 소리의 신호를 이용하여 음원의 방위각과 고도각을 산출하고, 상기 방위각과 상기 고도각으로 상기 음원의 위치를 추정할 수 있다.
일반적인 극좌표계를 기준으로 방위각과 고도각을 설명하면, 방위각(azimuth)은 지표 위에 물체의 위치를 나타내는 좌표 가운데 하나를 말한다. 진북을 기준으로 시계방향으로 수평각을 표시하며, 진남이나 자북을 기준으로 하기도 한다. 지평좌표(Horizontal coordinate)에서 물체의 위치를 나타내고 고도와 함께 사용된다. 고도(고도각, altitude, elevation)은 지평선을 기준으로 하여 측정한 물체의 높이를 각도로 나타낸 것을 말한다.
본 발명에서의 방위각과 고도각은 일반적인 극좌표계를 기준으로 정의하는 것이 아니라, 양 이간 극좌표계(Inter aural polar coordinate)를 기준으로 정의한다. 양 이간 극좌표계는 도 8에 도시되어 있다.
도 8은 양 이간 극좌표계에서의 방위각과 고도각을 나타내는 도면이다.
도 8을 참조하면, 방위각(
Figure PCTKR2018010808-appb-I000028
)은 y축을 기준으로 x축의 양의 방향(오른쪽 방향)으로 갈수록 양의 방향으로 커지고, x축의 음의 방향(왼쪽 방향)으로 갈수록 음의 방향으로 커지며, 그 값은 -90도 ~ 90도 사이의 값을 갖는다.
고도각(
Figure PCTKR2018010808-appb-I000029
)은 음원에서 x축에 내린 수선과 y축 사이의 각도로서 -180도 ~ 180도의 값을 갖는다. 양 이간 극좌표계에서는 방위각이 90도에 가까울 때에는 고도각이 변해도 가리키는 위치 자체는 크게 변하지 않는다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들 사이의 각각의 시간차를 이용하여 음원의 방위각과 고도각을 구할 수 있다.
시간차는 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다.
또한, 시간차는 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 상기 하나의 수신부를 제외한 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다. 이는 제2 어레이부(200)에도 동일하게 적용될 수 있다.
또한, 시간차는 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부로 들어오는 소리의 신호와, 상기 하나의 수신부를 제외한 나머지 수신부들 중 하나의 수신부로 들어오는 소리의 신호가 수신된 시간의 차를 말한다.
이하에서는 각 수신부에서의 시간차를 수식적으로 구하기로 한다.
<수학식>
제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들에서의 각각의 시간차를 수식적으로 구하기 위해서 음원이 본 발명의 음원 위치 추정장치에서 충분히 멀리 떨어져 있어 각 마이크로폰으로 전달되는 음파는 모두 평행하게 들어오는 평면파(plane wave)라고 가정할 수 있다.
도 2와 같이 본 발명의 실시 예에 따라, 자유장(free field)에 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 배치되어 있음을 고려하여 수식을 전개할 수 있다.
제1 어레이부(100)의 복수의 수신부들(110~121) 및 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(예로, 110)와, 상기 하나의 수신부(예로, 110)를 제외한 나머지 수신부들(111~121, 210~221) 사이의 각각의 소리의 신호의 시간차는 음원으로부터 두 수신부 사이의 경로차를 통해 계산할 수 있다. 이때 각 수신부로 들어오는 음파는 모두 평행하게 들어온다고 가정하므로 두 수신부 사이의 좌표값(상대좌표, 상대적 위치, 상대벡터)을 통해 경로차를 계산할 수 있다. 이를 이용해 본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부들(110~121) 및 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 경로차를 구하면 아래 수학식 1과 같이 정리될 수 있다.
[수학식 1]
Figure PCTKR2018010808-appb-I000030
(1)
Figure PCTKR2018010808-appb-I000031
(2)
수학식 1에서, azi는 방위각이고, ele는 고도각이고,
Figure PCTKR2018010808-appb-I000032
는 xyz 축상에서 i번째 수신부의 x축 좌표값이고,
Figure PCTKR2018010808-appb-I000033
는 xyz 축상에서 j번째 수신부의 x축 좌표값이고,
Figure PCTKR2018010808-appb-I000034
는 xyz 축상에서 i번째 수신부의 y축 좌표값이고,
Figure PCTKR2018010808-appb-I000035
는 xyz 축상에서 j번째 수신부의 y축 좌표값이고,
Figure PCTKR2018010808-appb-I000036
는 xyz 축상에서 i번째 수신부의 z축 좌표값이고,
Figure PCTKR2018010808-appb-I000037
는 xyz 축상에서 j번째 수신부의 z축 좌표값이다.
Figure PCTKR2018010808-appb-I000038
,
Figure PCTKR2018010808-appb-I000039
및
Figure PCTKR2018010808-appb-I000040
는 후술하기로 한다.
수학식 1의 경로차를 음속(c)으로 나누면 아래 수학식 2와 같이, 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 시간차(
Figure PCTKR2018010808-appb-I000041
)를 구할 수 있다.
[수학식 2]
Figure PCTKR2018010808-appb-I000042
본 발명의 실시 예에 따른 음원 위치 추정장치의 고도각을 구하기 위해서는 시간차 함수를 알아야 한다. 시간차 함수는 수학식 2를 이용하여 구할 수 있다.
수학식 2의 시간차 수식을 이용하여, 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있다. 수학식 2를 간단하게 정리하면 아래 수학식 3과 같이 시간차 함수의 수식(
Figure PCTKR2018010808-appb-I000043
)을 구할 수 있다.
[수학식 3]
Figure PCTKR2018010808-appb-I000044
수학식 1의 (2), 수학식 2 및 수학식 3에서,
Figure PCTKR2018010808-appb-I000045
,
Figure PCTKR2018010808-appb-I000046
및
Figure PCTKR2018010808-appb-I000047
는 각각 다음과 같이 정리될 수 있다.
Figure PCTKR2018010808-appb-I000048
Figure PCTKR2018010808-appb-I000049
Figure PCTKR2018010808-appb-I000050
Figure PCTKR2018010808-appb-I000051
는 시간차 함수의 평균값이고, 방위각(azi)에 의해 결정된다. 즉, 방위각
Figure PCTKR2018010808-appb-I000052
으로 산출할 수 있다.
Figure PCTKR2018010808-appb-I000053
및
Figure PCTKR2018010808-appb-I000054
두 값의 비로 고도각을 결정할 수 있다. 두 값의 비는 아래와 같이 수학식 4와 같이 정리될 수 있다.
[수학식 4]
Figure PCTKR2018010808-appb-I000055
따라서,
Figure PCTKR2018010808-appb-I000056
와
Figure PCTKR2018010808-appb-I000057
의 값 자체는 방위각(azi)과 고도각(ele)에 의해 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 이를 역으로 계산하면 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부와 나머지 수신부들 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
수학식 1 내지 수학식 4를 이용하면, 본 발명의 실시 예에 따른 음원 위치 추정장치는 소정 거리(a) 이격되어 배치된 제1 어레이부(100)와 제2 어레이부(200)를 포함하는 장치뿐만 아니라, 제1 어레이부(100)만으로 또는 제2 어레이부(200)만으로 구성된 장치에서도 음원의 위치를 추정할 수 있다. 구체적으로 제1 어레이부(100) 만으로 구성된 장치에서, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부와 상기 i번째 수신부를 제외한 나머지 수신부들 중 하나의 수신부인 j번째 수신부 사이의 경로차 및 시간차를 구할 수 있고, 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부와 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있기 때문이다. 이는 제2 어레이부(200) 만으로 구성된 장치에서도 동일하게 적용될 수 있다.
수학식 1 내지 수학식 4는 제1 어레이부(100)의 복수의 수신부들 및 제2 어레이부(200)의 복수의 수신부들을 xyz 축상의 좌표값으로 나타내었지만, 상기 수학식들은 수신부들 사이의 거리와 각도로 나타낼 수도 있다. 이에 대하여 설명하도록 한다.
수학식 1 내지 수학식 4에서,
Figure PCTKR2018010808-appb-I000058
,
Figure PCTKR2018010808-appb-I000059
,
Figure PCTKR2018010808-appb-I000060
,
Figure PCTKR2018010808-appb-I000061
,
Figure PCTKR2018010808-appb-I000062
,
Figure PCTKR2018010808-appb-I000063
를 대입하여 수식을 전개할 수 있다. 여기서, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, r은 어레이부의 중심부와 수신부 사이의 거리, 예를 들면, 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부 사이의 거리이고,
Figure PCTKR2018010808-appb-I000064
은 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이고,
Figure PCTKR2018010808-appb-I000065
는 제2 어레이부(200)의 제2 중심부(230)와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이다. 수학식 1 내지 수학식 4에 상술한 거리와 각도를 대입하여 수식을 전개하면 다음과 같다.
제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부의 소리의 신호 사이의 시간차는 음원으로부터 두 수신부 사이의 경로차를 통해 계산할 수 있다. 이때 각 수신부로 들어오는 음파는 모두 평행하게 들어온다고 가정하므로 두 수신부 사이의 거리와 각도를 통해 경로차를 계산할 수 있다. 이를 이용해 본 발명의 실시 예에 따라, 제1 어레이부(100)의 복수의 수신부(110~121)들 중 하나의 수신부인 i번째 수신부와 제2 어레이부(200)의 복수의 수신부(210~221)들 중 하나의 수신부인 j번째 수신부 사이의 경로차를 구하면 아래 수학식 5와 같이 정리될 수 있다. 수학식 5는 수학식 1에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 5]
Figure PCTKR2018010808-appb-I000066
수학식 5에서
Figure PCTKR2018010808-appb-I000067
는 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부 사이의 경로차이다. a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고,
Figure PCTKR2018010808-appb-I000068
,
Figure PCTKR2018010808-appb-I000069
이므로, 수학식 5에서 i는 제1 어레이부(100)의 수신부를, j는 제2 어레이부(200)의 수신부를 나타내는 것으로 볼 수 있다.
수학식 5의 경로차를 음속(c)으로 나누면 아래 수학식 6과 같이, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 i번째 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 j번째 수신부 사이의 시간차, 또는 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부 사이의 시간차를 구할 수 있다. 수학식 6은 수학식 2에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 6]
Figure PCTKR2018010808-appb-I000070
본 발명의 실시 예에 따른 음원 위치 추정장치의 고도각을 구하기 위해서는 시간차 함수의 매개변수를 알아야 한다. 시간차 함수는 수학식 6을 이용하여 구할 수 있다.
수학식 6의 시간차 수식을 이용하여, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있고, 또는 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 구하여 시간차 함수를 산출할 수 있다.
수학식 6을 참조하면, 각각의 시간차는
Figure PCTKR2018010808-appb-I000071
,
Figure PCTKR2018010808-appb-I000072
의 sin 함수와 cos 함수로 이루어져 있고, 이를 간단하게 정리하여 아래 수학식 7과 같이 시간차 함수(
Figure PCTKR2018010808-appb-I000073
)의 수식을 구할 수 있다. 수학식 7은 수학식 3에 상술한 거리와 각도를 대입하여 수식을 전개한 것이다.
[수학식 7]
Figure PCTKR2018010808-appb-I000074
수학식 7에서
Figure PCTKR2018010808-appb-I000075
,
Figure PCTKR2018010808-appb-I000076
및
Figure PCTKR2018010808-appb-I000077
는 각각 다음과 같다.
Figure PCTKR2018010808-appb-I000078
Figure PCTKR2018010808-appb-I000079
Figure PCTKR2018010808-appb-I000080
Figure PCTKR2018010808-appb-I000081
는 시간차 함수의 평균값이고, 방위각(azi)에 의해 결정된다.
Figure PCTKR2018010808-appb-I000082
및
Figure PCTKR2018010808-appb-I000083
에 의해 시간차 함수의 위상이 결정되고, 두 값의 비는 아래와 같이 수학식 8과 같이 정리될 수 있다.
[수학식 8]
Figure PCTKR2018010808-appb-I000084
따라서,
Figure PCTKR2018010808-appb-I000085
와
Figure PCTKR2018010808-appb-I000086
의 값 자체는 방위각(azi)과 고도각(ele)에 의해 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 즉, 시간차 함수의 위상은 고도각에 의해 결정된다. 이를 역으로 계산하면 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부를 기준으로 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부 사이의 시간차 정보, 또는 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부를 기준으로 제1 어레이부(100)의 복수의 수신부들 중 하나의 수신부 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 이용하여 음원의 방위각과 고도각을 구하는 것을, 구체적인 예를 들어 상술한 수학식 5 내지 수학식 9에 적용하여 설명하면 다음과 같다.
제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 복수의 수신부들 중 하나의 수신부인 제1 수신부(210) 사이의 경로차를 구하면 아래 수학식 9와 같다. 제2 어레이부(200)의 제1 수신부(210)의
Figure PCTKR2018010808-appb-I000087
값은 0이므로, 이를 수학식 5에 대입한 것이다.
[수학식 9]
Figure PCTKR2018010808-appb-I000088
수학식 9에서
Figure PCTKR2018010808-appb-I000089
은 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 제1 수신부(210) 사이의 경로차이고, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, r은 어레이부의 중심부와 수신부 사이의 거리, 구체적으로 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 거리이고, azi는 방위각이고, ele는 고도각이고,
Figure PCTKR2018010808-appb-I000090
은 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부(110~121)들 중 하나의 수신부인 n번째 수신부를 연결하는 선과 zx 평면이 이루는 각도이다.
수학식 9의 적용을 예를 들어 좀더 설명하면, 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리(a)가 0.25m이고, 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 1번째 수신부(예로, 110) 사이의 거리(r)가 0.08m인 경우, a와 r을 수학식 9에 대입하면 다음과 같다.
Figure PCTKR2018010808-appb-I000091
수학식 9의 경로차를 음속(c)으로 나누면 아래 수학식 10과 같이, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 제1 수신부(210) 사이의 시간차(
Figure PCTKR2018010808-appb-I000092
)를 구할 수 있다.
[수학식 10]
Figure PCTKR2018010808-appb-I000093
수학식 10에서 구해지는 시간차를 좀더 구체적으로 설명하면, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 제1 수신부(210)로 들어오는 소리의 신호를 기준으로, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부로 들어오는 소리의 신호가 수신된 시간의 차이다.
본 발명의 실시 예에 따라, 수학식 10을 이용하여 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 1번째 수신부(예로, 110)를 기준으로, 제1 어레이부(100)의 1번째 수신부(110)와 마주보는 위치에 배치된 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부인 1번째 수신부(예로, 210) 사이의 시간차를 구하면 아래 수학식 11과 같다.
[수학식 11]
Figure PCTKR2018010808-appb-I000094
수학식 11에서
Figure PCTKR2018010808-appb-I000095
은 제1 어레이부(100)의 1번째 수신부(110)와 제2 어레이부(200)의 1번째 수신부(210) 사이의 경로차이고,
Figure PCTKR2018010808-appb-I000096
= 0도 이므로
Figure PCTKR2018010808-appb-I000097
이 된다. 수학식 11을 정리하면 아래 수학식 12와 같다.
[수학식 12]
Figure PCTKR2018010808-appb-I000098
수학식 12는 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하면 항상 동일하게 나오며, 따라서 서로 마주보는 위치에 배치된 수신부 사이의 시간차를 이용하여 음원의 방위각을 구할 수 있다.
상술한 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구하는 것을 정리하면, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나가 제2 수신부(예로, 210)인 경우에, 제1 수신부(110)와 제2 수신부(210)는 서로 마주보는 위치에 배치되고, 제1 수신부(110)와 제2 수신부(210) 사이의 시간차를 이용하여 음원의 방위각을 산출할 수 있다. 이때 시간차는 아래의 수학식 13이고, 수학식 13으로부터 방위각을 산출할 수 있다.
[수학식 13]
Figure PCTKR2018010808-appb-I000099
수학식 13에서
Figure PCTKR2018010808-appb-I000100
은 제1 수신부(110)와 제2 수신부(210) 사이의 시간차이고,
Figure PCTKR2018010808-appb-I000101
: 제1 수신부(110)와 제2 수신부(210) 사이의 경로차이고, a는 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리이고, c는 음속이고, azi: 방위각이다.
계속하여 고도각을 구하면, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)인 경우에, 제1 수신부(110)와 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 이용하거나 또는, 제2 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다. 따라서 수학식 10을 이용하여 시간차 궤적을 수식으로 표현한 시간차 함수의 수식을 구할 수 있다. 수학식 10은 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(제1 수신부(210))와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 시간차를 구하는 수식이므로, 제2 어레이부(200)의 제1 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 구하여 시간차 궤적을 산출할 수 있고, 따라서 시간차 궤적을 수식으로 표현한 시간차 함수의 수식을 구할 수 있다.
수학식 10을 참조하면, 각각의 시간차는
Figure PCTKR2018010808-appb-I000102
의 sin 함수와 cos 함수로 이루어져 있고, 이를 간단하게 정리하여 아래 수학식 14와 같이 시간차 함수(
Figure PCTKR2018010808-appb-I000103
)의 수식을 구할 수 있다.
[수학식 14]
Figure PCTKR2018010808-appb-I000104
수학식 14에서
Figure PCTKR2018010808-appb-I000105
,
Figure PCTKR2018010808-appb-I000106
및
Figure PCTKR2018010808-appb-I000107
는 각각 다음과 같다.
Figure PCTKR2018010808-appb-I000108
Figure PCTKR2018010808-appb-I000109
Figure PCTKR2018010808-appb-I000110
Figure PCTKR2018010808-appb-I000111
는 시간차 함수의 평균값이고, 방위각(azi)과 고도각(ele)에 의해 결정된다.
Figure PCTKR2018010808-appb-I000112
및
Figure PCTKR2018010808-appb-I000113
두 값의 비로 고도각을 결정할 수 있다. 두 값의 비는 아래와 같이 수학식 15와 같이 정리될 수 있다.
[수학식 15]
Figure PCTKR2018010808-appb-I000114
따라서,
Figure PCTKR2018010808-appb-I000115
와
Figure PCTKR2018010808-appb-I000116
의 값 자체는 방위각(azi)과 고도각(ele)에 의해서 영향을 받지만, 두 값의 비는 항상 고도각에 의해서 결정된다. 즉, 시간차 함수의 위상은 고도각에 의해 결정된다. 이를 역으로 계산하면 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부(제1 수신부(210))와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부인 n번째 수신부 사이의 시간차 정보를 이용하여 음원의 고도각과 방위각을 계산할 수 있는 것이다.
수학식 15는 수학식 8과 동일하고, 수학식 4와도 동일하다. 따라서, 수학식 1, 수학식 2 및 수학식 3이 적용되는 경우, 즉 제1 어레이부(100)의 복수의 수신부들 및/또는 제2 어레이부(200)의 복수의 수신부들을 xyz 축상의 좌표값으로 나타낸 수식이 적용되는 경우에도,
Figure PCTKR2018010808-appb-I000117
및
Figure PCTKR2018010808-appb-I000118
를 이용하여 시간차 함수의 위상을 구할 수 있고, 두 값의 비로 고도각을 결정할 수 있다.
상술한 내용을 정리하면, 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(110~121) 각각이 서로 마주보는 위치에 배치된 경우, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구할 수 있다. 또한, 제1 어레이부(100)의 복수의 수신부들(110~121) 및/또는 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 구하여 얻어지는 시간차 궤적을 통해 고도각을 구할 수 있다. 이때, 시간차 궤적을 수식으로 표현한 시간차 함수는 3개의 변수(
Figure PCTKR2018010808-appb-I000119
,
Figure PCTKR2018010808-appb-I000120
및
Figure PCTKR2018010808-appb-I000121
)로 이루어지므로 적어도 3개 이상의 정확한 시간차를 구하면 시간차 함수를 구할 수 있다.
시간차 궤적 구하는 것을 좀더 설명하면, 시간차 궤적을 구할 때는 제1 어레이부(100) 또는 제2 어레이부(200)의 하나의 수신부(예로, 110 또는 210)를 기준으로, 반대쪽에 배치된 제2 어레이부(200)의 복수의 수신부들(210~221) 또는 제1 어레이부(100)의 복수의 수신부들(110~121)에서 얻어지는 신호들의 시간차를 구하게 된다. 이때 음원이 존재하는 방향의 어레이부를 통해서 음원의 고도각을 추정해야 정확도가 올라간다.
즉, 방위각을 통해서 음원의 위치가 본 발명의 음원 위치 추정장치를 중심으로 오른쪽에 있으면 오른쪽에 있는 어레이부의 복수의 수신부들과 반대쪽에 있는 어레이부의 하나의 수신부 사이의 시간차를 구하여 시간차 궤적을 구하고, 반대로 음원의 위치가 왼쪽에 있으면 왼쪽에 있는 어레이부의 복수의 수신부들과 반대쪽에 있는 어레이부의 하나의 수신부 사이의 시간차를 구하여 시간차 궤적을 구한다. 이는 고도각을 정확히 추정하기 위함이다.
구체적으로 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)인 경우, 방위각에 따른 음원의 위치가 제1 어레이부(100)의 제1 중심부(130)보다 제2 어레이부(200)의 제2 중심부(230)에 더 가까운 경우에는, 제1 수신부(110)와 제2 어레이부(200)의 복수의 수신부들(210~221) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다. 그리고 방위각에 따른 음원의 위치가 제2 어레이부(200)의 제2 중심부(230)보다 제1 어레이부(100)의 제1 중심부(130)에 더 가까운 경우에는, 제2 수신부(210)와 제1 어레이부(100)의 복수의 수신부들(110~121) 사이의 각각의 시간차를 이용하여 시간차 궤적을 산출할 수 있다.
본 발명의 실시 예에 따라, 상술한 모든 시간차 궤적에 대한 설명은 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 각각 서로 마주보는 위치에 배치된 경우뿐만 아니라, 서로 마주보는 위치에 배치되지 않은 경우에도 적용될 수 있다.
음원의 방위각을 산출하는 방법을 좀더 설명하면, 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221) 각각이 서로 마주보는 위치에 배치된 경우에는, 각각 마주보는 위치에 배치된 수신부 사이의 시간차를 구하고, 이를 이용하여 음원의 방위각을 구할 수 있었다. 다시 말해, 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부가 제1 수신부(예로, 110)이고, 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부가 제2 수신부(예로, 210)일 때, 제1 수신부(110)와 제2 수신부(210)가 서로 마주보는 위치에 배치되는 경우, 제1 수신부(110)와 제2 수신부(210) 사이의 시간차를 이용하여 방위각을 산출할 수 있었다.
이 이외에도 음원의 방위각은 수학식 7의 시간차 함수를 이용하여 산출할 수 있다. 시간차 함수의 진폭(amplitude)은 음원의 방위각에 의해 결정되므로 수학식 7의
Figure PCTKR2018010808-appb-I000122
와
Figure PCTKR2018010808-appb-I000123
를 이용하여 구할 수 있다. 수학식 7로부터 음원의 방위각을 산출하는 식은 아래 수학식 16과 같다.
[수학식 16]
Figure PCTKR2018010808-appb-I000124
수학식 16에서 Amplitude는 진폭이고, azi는 방위각이고, r은 어레이부의 중심부와 수신부 사이의 거리, 즉 제1 어레이부(100)의 제1 중심부(130)와 제1 어레이부(100)의 복수의 수신부들(110~121) 중 하나의 수신부 사이의 거리이다. 본 발명의 실시 예에 따라, r은 제2 어레이부(200)의 제2 중심부(230)와 제2 어레이부(200)의 복수의 수신부들(210~221) 중 하나의 수신부 사이의 거리일 수도 있다. 수학식 16을 정리하면 아래 수학식 17과 같다.
[수학식 17]
Figure PCTKR2018010808-appb-I000125
수학식 17을 이용하여 음원의 방위각을 산출할 수 있다.
수학식 16과 수학식 17을 이용하여 음원의 방위각을 산출하는 것은 제1 어레이부(100)의 복수의 수신부들(110~121)과 제2 어레이부(200)의 복수의 수신부들(210~221)이 각각 서로 마주보는 위치에 배치된 경우뿐만 아니라, 서로 마주보는 위치에 배치되지 않은 경우에도 적용될 수 있다.
본 발명에서는 시간차를 구하는 과정에서 GCC-PHAT(Generalized Cross Correlation - Phase Transform) 방법을 사용하였다. GCC-PHAT 방법은 신호처리에서 많이 사용되는 필터링 방법이다. 일반적으로 GCC 방법은 두 신호의 상호상관(cross correlation)을 구하는 것으로, 정확도를 향상시키기 위해 각 신호에 필터링을 해주는 방법이다. 이러한 GCC 방법을 통해 시간차를 구하는 방법을 나타낸 것이 도 9이다.
도 9는 GCC 방법을 통해 시간차를 구하는 방법을 도식화한 도면이다.
도 9를 참조하면, 두 신호
Figure PCTKR2018010808-appb-I000126
과
Figure PCTKR2018010808-appb-I000127
사이의 시간차를 구하기 위해 각각
Figure PCTKR2018010808-appb-I000128
과
Figure PCTKR2018010808-appb-I000129
의 필터를 통과시킨 후, 필터의 출력값인
Figure PCTKR2018010808-appb-I000130
과
Figure PCTKR2018010808-appb-I000131
사이의 상호상관을 구하고, 이 상호상관을 최대로 하는 지연(delay) 값이 두 신호
Figure PCTKR2018010808-appb-I000132
과
Figure PCTKR2018010808-appb-I000133
사이의 시간차가 된다.
이러한 과정을 주파수 차원에서 진행하게 되면 두 필터
Figure PCTKR2018010808-appb-I000134
과
Figure PCTKR2018010808-appb-I000135
을 하나의 가중치 함수로 나타낼 수 있다. 이를 수식으로 표현하면 아래 수학식 18과 같다.
[수학식 18]
Figure PCTKR2018010808-appb-I000136
수학식 18에서
Figure PCTKR2018010808-appb-I000137
는 필터의 출력값
Figure PCTKR2018010808-appb-I000138
과
Figure PCTKR2018010808-appb-I000139
사이의 상호상관이고,
Figure PCTKR2018010808-appb-I000140
는 입력신호
Figure PCTKR2018010808-appb-I000141
과
Figure PCTKR2018010808-appb-I000142
사이의 상호상관을 주파수 차원에서 구한 상호 스펙트럼(Cross spectrum)이다. 이때 두 필터
Figure PCTKR2018010808-appb-I000143
과
Figure PCTKR2018010808-appb-I000144
에 의해 결정되는 가중치 함수
Figure PCTKR2018010808-appb-I000145
를 general frequency weighting 이라 부른다.
이러한 가중치 함수를 어떻게 사용하느냐에 따라 GCC 방법이 달라지게 되며, 그 중 가장 많이 사용하는 방법이 GCC-PHAT 방법이다. 이때의 가중치 함수는 아래 수학식 19와 같이 정해지게 된다.
[수학식 19]
Figure PCTKR2018010808-appb-I000146
, general frequency weighting of GCC-PHAT
GCC-PHAT을 사용하면 신호와 관계없는 노이즈(uncorrelated noise)를 저감시킬 수 있으며, 이를 통해 상호상관의 피크를 더욱 뚜렷하게 만들 수 있다. 또한, 주변의 반사에 의한 영향에 대해 강건성을 갖고 있어 반사파의 영향을 줄일 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 로봇에 적용될 수 있다. 로봇은 본 발명의 음원 위치 추정장치를 포함할 수 있고, 이를 이용하여 음원의 위치를 추정할 수 있다. 본 발명의 음원 위치 추정장치는 로봇의 특정한 위치에 배치될 수 있다. 본 발명의 실시 예에 따라, 본 발명의 음원 위치 추정장치는 로봇의 머리부분에 배치될 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇에 적용할 경우, 로봇은 시각뿐 아니라 청각과 같은 감각기관을 동시에 이용하여 주변을 정확하게 인지할 수 있다. 청각 기관을 통해 얻는 음향 정보는 로봇이 주변을 인지하는데 있어서 매우 중요한 정보 중 하나이다. 로봇은 음향 정보를 시각 정보와 함께 사용하면 보이지 않는 방향에서 발생하는 사건을 인지하고 반응하는 등 하나의 감각만을 사용했을 때 발생하는 단점을 보완할 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치는 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량 및 실시간으로 음원의 위치를 추정할 수 있으며, 주위의 소음으로부터 강건할 수 있다. 따라서 본 발명의 음원 위치 추정장치를 로봇에 적용할 경우, 로봇은 3차원에서의 음원의 위치를 추정할 수 있고, 적은 계산량으로 인해 실시간으로 음원의 위치를 추정할 수 있다. 또한, 로봇 자체 소음이나 주변 소음으로부터 강건하여, 찾고자 하는 음원의 위치를 정확하게 추정할 수 있다.
<본 발명의 음원 위치 추정장치에 대한 실험 및 결과>
본 발명의 실시 예에 따른 음원 위치 추정장치가 음원의 위치를 정확하게 추정하는지를 알아보기 위해 실험을 실시하였다. 또한, 본 발명의 음원 위치 추정장치를 로봇에 적용하여 실험을 실시하였다. 본 실험에 사용된 로봇은 한국과학기술원(KAIST)에서 개발중인 휴머노이드 로봇 휴보이다. 도 10은 로봇(휴보)의 머리부분을 나타내는 도면이다. 도 10의 (a)는 본 발명의 실시 예에 따른 음원 위치 추정장치가 가상의 로봇 머리에 장착된 모습을 도시한 그림이고, 도 10의 (b)는 본 실험에 사용된 휴머노이드 로봇 휴보의 머리부분을 나타내는 사진이다.
실험을 위하여 음원 위치 추정장치를 휴보에 장착할 수 있도록 제1 어레이부(100) 및 제2 어레이부(200)가 배치된 거치대를 제작하였으며(도 1 참조), 연구실이 보유하고 있는 머리전달함수(Head HRTF) 측정장치를 이용하여 실험을 진행하였다. 얻어진 데이터의 처리는 매트랩(Matlab)을 이용하여 처리하였으며, 0.1초 동안 음향신호를 측정하고 측정된 신호를 기반으로 음원의 위치를 추정하였다. 이때 사용한 하드웨어(NI 9234, National Instrument)의 최대 샘플링 속도는 51.2 kHz 이며, 데이터 측정은 최대 샘플링 속도로 이루어졌다.
제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들로는 마이크로폰을 사용하였다. 마이크로폰은 좌, 우 각각 6개씩 배치하였다. 음원은 전대역의 백색 잡음을 이용하였으며, 본 발명의 음원 위치 추정장치에서 음원까지의 거리는 1.16m로 하였다. 입력 신호는 전대역 백색 잡음을 사용하였다.
실험은 2가지로 진행되었다. 첫째로는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착하기 전 상태에서 음원 위치 추정장치만으로 실험이 진행되었다. 실험은 한국과학기술원의 NOVIC PLUS에 있는 머리전달함수 측정실에서 진행되었다. 머리전달함수 측정장치는 스피커 어레이를 제어하여 정확한 위치에 음원을 위치시킬 수 있으므로, 이를 통해 음원 위치 추정장치의 음원 위치 추정의 정확도를 확인할 수 있다. 머리전달함수 측정실의 스펙은 다음과 같다.
넓이 :
Figure PCTKR2018010808-appb-I000147
반향시간 : 0.26초
실험에서는 방위각 변화에 따른 결과값, 고도각 변화에 따른 결과값, 측정 시간(데이터 길이)에 따른 결과값 및 여러 음원이 존재하는 경우에 따른 결과값을 확인하였다.
둘째로는 휴머노이드 로봇(휴보)에 장착하여 진행하였다. 휴보의 전원이 꺼진 상태에서 실험을 진행하였다. 휴보의 전원을 끈 이유는 휴보에서 발생하는 소음의 영향은 제외하고 휴보의 현상에 의한 영향만을 확인하기 위함이다.
<휴보 장착 전 - 방위각 변화에 따른 실험 결과 및 분석>
음원의 고도각을 0도에 놓은 상태에서 방위각을 0도에서 90도 까지 10도씩 이동시키면서 측정하면서 각 마이크로폰 사이의 시간차(ITD, Inter-channel Time Difference)를 구한 결과는 도 11과 같다.
도 11은 방위각 변화에 따른 시간차 그래프이고, 도 12는 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 11 및 도 12를 참조하면, 시간차는 각 위치에 따라 sine 함수의 형태를 갖는 그래프가 그려졌다. 다만 마이크로폰이 한 쪽에 6개만 설치되었기 때문에 시간차 데이터의 개수가 적다. 또한 이때의 서로 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차는 방위각과 비례함을 알 수 있다.
방위각이 클수록 그래프의 진폭이 줄어드는 것을 확인할 수 있다.
시간차 궤적의 그래프는 구해진 시간차 데이터를 점으로 나타내었으며, 이 데이터를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다.
방위각을 추정하기 위하여 사용되는 두 1번 마이크로폰 사이의 시간차와 방위각을 그래프로 나타내면 도 12와 같다. 원으로 표시한 데이터는 실험을 통해 구해진 시간차를 나타낸 것이고, 점선은 본 발명의 음원 위치 추정장치의 상술한 수학식을 바탕으로 그려진 방위각과 두 1번 마이크르폰 사이의 시간차를 나타낸 것이다. 이는 제1 어레이부(100)의 복수의 수신부들과 제2 어레이부(200)의 복수의 수신부들인 각각의 마이크로폰 사이의 거리와 음속을 통해 구해졌으며, 방위각과 시간차 사이의 관계는 다음과 같다.
두 1번 마이크로폰 사이의 시간차(ITD between 1st microphones) = 0.83
Figure PCTKR2018010808-appb-I000148
실험에서 얻어진 데이터(원)와 본 발명의 수학식을 통해 그려지는 그래프(점선)가 겹쳐지는 것을 확인할 수 있다.
<휴보 장착 전 - 고도각 변화에 따른 실험 결과 및 분석>
음원의 방위각을 0도에 놓은 상태에서 고도각을 변화시키면서 실험을 실시하였다. 음원은 앞에서와 마찬가지로 전대역 백색 노이즈를 사용하였다. 고도각은 0도, 30도, 60도, 90도에 두고 측정하였으며, 그 결과는 도 13과 같다.
도 13은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 13을 참조하면, 각 음원의 위치에서 제1 어레이부(100)의 1번 마이크로폰을 기준으로 제2 어레이부(200)의 복수의 마이크로폰들 사이의 시간차를 통해 구해진 시간차 궤적의 그래프는 sine 함수 형태를 갖는 것을 확인할 수 있다.
다만, 실험을 통해 얻어진 데이터에서 서로 마주보는 위치에 배치된 제1 어레이부(100)의 1번 마이크로폰과 제2 어레이부(200)의 1번 마이크로폰 사이의 시간차가 고도각이 변화함에 따라 조금씩 달라지는 것을 확인할 수 있다. 이는 본 발명의 음원 위치 추정장치가 머리전달함수 측정장치의 정 중앙에 정확하게 위치하지 못했기 때문에 발생한 오차로 생각된다. 즉, 고도각을 변화시키는 과정에서 방위각도 같이 변화한 것으로 판단된다.
고도각 변화에 따른 시간차 궤적의 그래프(도 13)도 구해진 시간차 데이터를 점으로 나타내었으며, 이를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다. 이렇게 얻어진 마이크로폰 사이의 시간차와 이를 sin 함수로 근사하여 얻어진 시간차 궤적을 이용하면 음원의 고도각을 추정할 수 있다. 도 14는 이렇게 그려진 시간차 궤적의 위상과 고도각을 나타내는 그래프이며, 구해지는 시간차의 궤적을 통해 음원의 고도각을 구할 수 있음을 확인할 수 있다. 이렇게 얻어진 고도각과 실제 음원의 고도각 사이의 오차를 구하면 아래 표 1과 같다. 오차는 대략 1도 이내로 발생하는 것을 확인할 수 있다. 이러한 오차는 본 발명의 음원 위치 추정장치를 정확하게 설치하지 못하여 발생한 오차로, 음원 위치 추정장치를 정확하게 설치한다면 오차는 발생하지 않을 것으로 생각된다
[표 1]
Figure PCTKR2018010808-appb-I000149
<휴보 장착 후 - 방위각 변화에 따른 실험 결과 및 분석>
제1 어레이부(100) 및 제2 어레이부(200)가 배치된 거치대를 휴보에 설치한 후 음원의 위치를 변화시키면서 측정 데이터를 확인하였다. 도 15는 본 발명의 음원 위치 추정장치를 휴머노이드 로봇(휴보)에 장착한 상태의 사진이다. 도 15의 (a)는 휴보의 전면 사진이고, (b)는 측면 사진이다.
휴보의 현상에 의해 음원에서 음원 위치 추정장치까지의 전달경로와, 자유장에서 음원에서 음원 위치 추정장치까지의 경로가 변화하게 된다. 이번 실험은 이러한 변화에 의해 음원의 위치를 추정하는데 문제가 발생하는지, 얻어지는 마이크로폰들 사이의 시간차와 시간차 궤적이 변화하는지를 확인하기 위해 진행되었다. 오로지 로봇의 현상에 의한 변화를 확인하기 위한 실험이기 때문에 휴보의 전원은 끈 상태에서 진행하였다. 실험은 본 발명의 음원 위치 추정장치를 휴보에 장착하기 전 상태에서 음원 위치 추정장치만으로 진행된 실험과 동일하게 진행하였다.
음원의 고도각을 0도에 놓은 상태에서 방위각을 0도에서 90도 까지 10도씩 이동시키면서 측정하면서 각 마이크로폰 사이의 시간차를 구한 결과는 도 16과 같다.
도 16은 방위각 변화에 따른 시간차 궤적을 나타내는 그래프이고, 도 17은 방위각 변화에 따른 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차 그래프이다.
도 16 및 도 17을 참조하면, 본 발명의 음원 위치 추정장치를 휴보에 장착하기 전 상태에서 실시된 실험에서 얻은 데이터(도 11 참조)와 동일하게, 각각 얻어지는 시간차 궤적은 sine 함수의 형태를 갖는 것을 확인할 수 있다. 음원의 고도각이 0도로 모두 동일하기 때문에 얻어지는 시간차 궤적의 위상은 모두 동일한 것을 확인할 수 있다. 또한, 서로 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차와 음원의 방위각이 비례함을 확인할 수 있다.
도 17에서 원으로 표시된 것은 실험을 통해 얻어진 두 1번 마이크로폰 사이의 시간차이고, 점선으로 표시된 것은 두 1번 마이크로폰 사이의 거리를 통해 본 발명의 음원 위치 추정장치의 상술한 수학식을 바탕으로 얻어지는 시간차이다. 두 마이크로폰 사이의 거리와 음속을 통해서 방위각과 두 1번 마이크로폰 사이의 시간차를 구하면 다음과 같다.
두 1번 마이크로폰 사이의 시간차(ITD between 1st microphones) = 0.77
Figure PCTKR2018010808-appb-I000150
앞에서 본 발명의 음원 위치 추정장치만 놓고 실험하였을 때와 약간의 차이가 있다. 이전에는 두 1번 마이크로폰 사이의 시간차의 최댓값이 0.83msec 이었지만, 휴보에 장착하였을 때의 시간차의 최댓값은 0.77msec이다. 이는 음원 위치 추정장치만 놓고 실험하였을 때보다 휴보에 장착하였을 때, 제1 어레이부(100)와 제2 어레이부(200) 사이의 거리가 더 짧아지기 때문이다.
도 17을 보면 본 발명의 수학식으로 구해지는 두 1번 마이크로폰 사이의 시간차와 실험을 통해 그려진 두 1번 마이크로폰 사이의 시간차에 약간의 오차가 존재하는 것을 확인할 수 있다. 이는 실험 환경에서 발생한 오차이다. 본 발명의 음원 위치 추정장치만 놓고 실험을 할 때는 머리전달함수 측정장치를 통해 정확하게 음원을 위치시킬 수 있었지만, 휴보에 장착하고 실험을 할 때는 사람이 음원을 위치시켜야 하기 때문에 약 3도 ~ 4도의 오차를 감안하고 측정을 진행하였다. 이러한 오차는 실험의 방법에서 발생하는 한계이며, 본 발명의 음원 위치 추정장치 자체의 오차는 아니다.
<휴보 장착 후 - 고도각 변화에 따른 실험 결과 및 분석>
음원의 방위각을 0도에 놓은 상태에서 고도각을 -150도에서 -180도 까지 30도씩 이동시키면서 시간차 궤적을 구했다. 실험 여건상 90도(머리 위)에 음원을 위치시키고 측정하지 못했다. 이번에도 사람이 직접 음원을 위치시켰기 때문에 약 5도 내외의 오차를 감안하고 측정을 진행하였다. 그 결과는 도 18과 같다.
도 18은 고도각 변화에 따른 시간차 궤적을 나타내는 그래프이다.
도 18을 참조하면, 각 음원의 위치에서 제1 어레이부(100)의 1번 마이크로폰을 기준으로 제2 어레이부(200)의 복수의 마이크로폰들 사이의 시간차를 통해 구해진 시간차 궤적의 그래프는 sine 함수 형태를 갖는 것을 확인할 수 있다. 음원의 방위각은 모두 0도로 고정하였기 때문에 마주보는 위치에 배치된 두 1번 마이크로폰 사이의 시간차는 모두 0으로 나왔다.
고도각 변화에 따른 시간차 궤적의 그래프(도 18)도 구해진 시간차 데이터를 점으로 나타내었으며, 이를 통해 sine 함수로 근사한 시간차 궤적을 점선으로 나타내었다. 이렇게 얻어진 마이크로폰 사이의 시간차와 이를 sine 함수로 근사하여 얻어진 시간차 궤적을 이용하면 음원의 고도각을 추정할 수 있다.
이렇게 얻어진 시간차 궤적의 위상을 통해 음원의 고도각을 추정한 결과는 도 19와 같다. 도 19는 고도각 변화에 따른 추정 고도각을 나타내는 그래프이다. 그래프로부터 본 발명의 음원 위치 추정장치가 고도각을 정확하게 추정함을 확인할 수 있다.
본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇이나 기타 장치에 장착할 경우에는, 음원 위치 추정장치만으로 음원의 위치를 추정하는 경우보다 시간차에 적은 양의 오차가 나타날 수 있다. 상기 오차를 줄이는 방법은 다음과 같다.
소정의 모의 음원(임의의 음원)을 로봇 또는 기타 장치 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 음원 위치 추정장치가 측정하고, 측정된 시간차를 로봇 또는 음원 위치 추정장치의 저장부에 저장한 후, 음원 위치 추정장치가 음원의 위치를 추정할 때, 저장부에 저장된 시간차와 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정할 수 있다.
구체적으로 본 발명의 실시 예에 따른 음원 위치 추정장치를 로봇이나 기타 장치에 장착한 후, 모의 음원(임의의 음원)을 로봇 또는 기타 장치 주위에 위치를 달리하여 배치하고(방위각과 고도각을 달리하여 위치시키고) 각 위치에서의 시간차를 로봇이나 기타 장치에 장착된 음원 위치 추정장치가 측정할 수 있다. 이 측정된 시간차를 데이터 베이스화하여 음원 위치 추정장치, 로봇 또는 기타 장치에 배치된 저장장치(저장부)에 저장할 수 있다.
그 후, 로봇이나 기타 장치에 장착된 음원 위치 추정장치를 이용하여 음원의 위치를 추정할 때, 음원 위치 추정장치에서 계산된 음원의 시간차를 데이터 베이스화되어 저장부에 저장된 시간차와 비교하여 확률적으로 가장 높은 음원의 위치를 계산(추정)할 수 있다. 이 방법을 통해 상기 오차를 줄일 수 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
100: 제1 어레이부
110~121: 제1 어레이부의 복수의 수신부들
130: 제1 중심부
200: 제2 어레이부
210~221: 제2 어레이부의 복수의 수신부들
230: 제2 중심부

Claims (14)

  1. 임의의 음원으로부터의 소리를 감지하고, 제1 중심부 및 상기 제1 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함하는 제1 어레이부; 및
    상기 음원의 소리를 감지하고, 제2 중심부 및 상기 제2 중심부로부터 동일한 거리에 각각 배치되는 복수의 수신부들을 포함하는 제2 어레이부;를 포함하고,
    상기 제1 어레이부와 상기 제2 어레이부는 소정 거리 이격되어 상기 제1 중심부와 상기 제2 중심부가 서로 마주보도록 배치되고,
    상기 복수의 수신부들이 감지한 상기 소리의 신호를 이용하여 상기 음원의 방위각과 고도각을 산출하고, 상기 방위각과 상기 고도각으로 상기 음원의 위치를 추정하는, 음원 위치 추정장치.
  2. 제 1 항에 있어서,
    상기 제1 어레이부의 상기 복수의 수신부들 및 상기 제2 어레이부의 상기 복수의 수신부들 중 하나의 수신부와, 상기 하나의 수신부를 제외한 나머지 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출하고,
    상기 시간차는 상기 하나의 수신부로 들어오는 상기 소리의 신호와 상기 나머지 수신부들 중 하나의 수신부로 들어오는 상기 소리의 신호가 수신된 시간의 차인, 음원 위치 추정장치.
  3. 제 2 항에 있어서,
    상기 시간차 함수는 아래 수학식 1인, 음원 위치 추정장치.
    [수학식 1]
    Figure PCTKR2018010808-appb-I000151
    (
    Figure PCTKR2018010808-appb-I000152
    : 시간차 함수,
    Figure PCTKR2018010808-appb-I000153
    : xyz 축상에서 i번째 수신부의 x축 좌표값,
    Figure PCTKR2018010808-appb-I000154
    : xyz 축상에서 j번째 수신부의 x축 좌표값,
    Figure PCTKR2018010808-appb-I000155
    : xyz 축상에서 i번째 수신부의 y축 좌표값,
    Figure PCTKR2018010808-appb-I000156
    : xyz 축상에서 j번째 수신부의 y축 좌표값,
    Figure PCTKR2018010808-appb-I000157
    : xyz 축상에서 i번째 수신부의 z축 좌표값,
    Figure PCTKR2018010808-appb-I000158
    : xyz 축상에서 j번째 수신부의 z축 좌표값,
    Figure PCTKR2018010808-appb-I000159
    ,
    Figure PCTKR2018010808-appb-I000160
    Figure PCTKR2018010808-appb-I000161
    , azi: 방위각, ele: 고도각)
  4. 제 3 항에 있어서,
    상기 시간차 함수로부터 아래의 수학식 2이 산출되고, 상기 수학식 2로부터 상기 고도각(ele)을 산출하는, 음원 위치 추정장치.
    [수학식 2]
    Figure PCTKR2018010808-appb-I000162
  5. 제 3 항에 있어서,
    상기 시간차 함수로부터 아래 수학식 3이 산출되고, 상기 수학식 3로부터 상기 방위각(azi)을 산출하는, 음원 위치 추정장치.
    [수학식 3]
    Figure PCTKR2018010808-appb-I000163
    (
    Figure PCTKR2018010808-appb-I000164
    : 시간차 함수의 평균값)
  6. 제 1 항에 있어서,
    상기 제1 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제1 수신부이고,
    상기 제2 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제2 수신부이고,
    상기 제1 수신부와 상기 제2 수신부는 서로 마주보는 위치에 배치되고,
    상기 제1 수신부와 상기 제2 수신부 사이의 시간차를 이용하여 상기 방위각을 산출하고,
    상기 시간차는 상기 제1 수신부로 들어오는 상기 소리의 신호와 상기 제2 수신부로 들어오는 상기 소리의 신호가 수신된 시간의 차인, 음원 위치 추정장치.
  7. 제 6 항에 있어서,
    상기 시간차는 아래의 수학식 4이고, 상기 수학식 4로부터 상기 방위각을 산출하는, 음원 위치 추정장치.
    [수학식 4]
    Figure PCTKR2018010808-appb-I000165
    (
    Figure PCTKR2018010808-appb-I000166
    : 시간차,
    Figure PCTKR2018010808-appb-I000167
    : 제1 수신부와 제2 수신부 사이의 경로차, a는 제1 어레이부와 제2 어레이부 사이의 거리, c: 음속, azi: 방위각)
  8. 제 1 항에 있어서,
    상기 제1 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제1 수신부이고,
    상기 제2 어레이부의 상기 복수의 수신부들 중 하나의 수신부가 제2 수신부이고,
    상기 제1 수신부와 상기 제2 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하거나 또는, 상기 제2 수신부와 상기 제1 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 시간차 함수를 산출하고,
    상기 시간차는 상기 제1 수신부로 들어오는 상기 소리의 신호와 상기 제2 수신부로 들어오는 상기 소리의 신호가 수신된 시간의 차인, 음원 위치 추정장치.
  9. 제 8 항에 있어서,
    상기 시간차 함수는 아래 수학식 5인, 음원 위치 추정장치.
    [수학식 5]
    Figure PCTKR2018010808-appb-I000168
    (
    Figure PCTKR2018010808-appb-I000169
    : 시간차 함수,
    Figure PCTKR2018010808-appb-I000170
    : 제1 어레이부의 제1 중심부와 제1 어레이부의 복수의 수신부들 중 하나의 수신부인 i번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
    Figure PCTKR2018010808-appb-I000171
    : 제2 어레이부의 제2 중심부와 제2 어레이부의 복수의 수신부들 중 하나의 수신부인 j번째 수신부를 연결하는 선과, zx 평면이 이루는 각도,
    Figure PCTKR2018010808-appb-I000172
    ,
    Figure PCTKR2018010808-appb-I000173
    Figure PCTKR2018010808-appb-I000174
    , r: 제1 어레이부의 제1 중심부와 제1 수신부 사이의 거리 또는 제2 어레이부의 제2 중심부와 제2 수신부 사이의 거리, azi: 방위각, ele: 고도각)
  10. 제 9 항에 있어서,
    상기 시간차 함수로부터 아래의 수학식 6이 산출되고, 상기 수학식 6으로부터 상기 고도각(ele)을 산출하는, 음원 위치 추정장치.
    [수학식 6]
    Figure PCTKR2018010808-appb-I000175
  11. 제 9 항에 있어서,
    상기 시간차 함수로부터 아래의 수학식 7가 산출되고, 상기 수학식 7로부터 상기 방위각(azi)을 산출하는, 음원 위치 추정장치.
    [수학식 7]
    Figure PCTKR2018010808-appb-I000176
    (Amplitude=진폭=
    Figure PCTKR2018010808-appb-I000177
    )
  12. 제 8 항에 있어서,
    상기 방위각에 따른 상기 음원의 위치가 상기 제1 중심부보다 상기 제2 중심부에 더 가까운 경우에는, 상기 제1 수신부와 상기 제2 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 상기 시간차 함수를 산출하고,
    상기 방위각에 따른 상기 음원의 위치가 상기 제2 중심부보다 상기 제1 중심부에 더 가까운 경우에는, 상기 제2 수신부와 상기 제1 어레이부의 상기 복수의 수신부들 사이의 각각의 시간차를 이용하여 상기 시간차 함수를 산출하는, 음원 위치 추정장치.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 따른 음원 위치 추정장치를 포함하는 로봇.
  14. 제 1 항 내지 제 12 항 중 어느 한 항에 따른 음원 위치 추정장치가 장착된 로봇에 있어서,
    소정의 모의 음원을 상기 로봇 주위에 위치를 달리하여 배치시켜 각 위치에서의 시간차를 상기 음원 위치 추정장치가 측정하고, 상기 측정된 시간차를 상기 로봇 또는 상기 음원 위치 추정장치의 저장부에 저장한 후, 상기 음원 위치 추정장치가 음원의 위치를 추정할 때, 상기 저장부에 저장된 시간차와 상기 음원 위치 추정장치에서 계산된 음원의 시간차를 비교하여 음원의 위치를 추정하는, 로봇.
PCT/KR2018/010808 2018-07-24 2018-09-14 음원 위치 추정장치 및 이를 포함하는 로봇 Ceased WO2020022555A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0085865 2018-07-24
KR1020180085865A KR102180229B1 (ko) 2018-07-24 2018-07-24 음원 위치 추정장치 및 이를 포함하는 로봇

Publications (1)

Publication Number Publication Date
WO2020022555A1 true WO2020022555A1 (ko) 2020-01-30

Family

ID=69181784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010808 Ceased WO2020022555A1 (ko) 2018-07-24 2018-09-14 음원 위치 추정장치 및 이를 포함하는 로봇

Country Status (2)

Country Link
KR (1) KR102180229B1 (ko)
WO (1) WO2020022555A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118190146A (zh) * 2024-05-16 2024-06-14 杭州爱华仪器有限公司 一种频率计权调节装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172355B1 (ko) * 2011-02-07 2012-08-08 한국과학기술연구원 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
KR101345774B1 (ko) * 2012-12-12 2014-01-06 한국과학기술연구원 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법
KR101645135B1 (ko) * 2015-05-20 2016-08-03 단국대학교 산학협력단 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템
KR101793942B1 (ko) * 2015-11-10 2017-11-06 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101172355B1 (ko) * 2011-02-07 2012-08-08 한국과학기술연구원 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
KR101345774B1 (ko) * 2012-12-12 2014-01-06 한국과학기술연구원 회전형 마이크로폰 어레이를 이용한 3차원 음원의 방향 검지 장치 및 방법
KR101645135B1 (ko) * 2015-05-20 2016-08-03 단국대학교 산학협력단 마이크로폰 어레이와 좌표변환 기법을 이용하는 음원 추적 방법 및 시스템
KR101793942B1 (ko) * 2015-11-10 2017-11-06 주식회사 시스피아 음향 수신부를 이용한 음원 추적 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEVELOPMENT OF CORE TECHNOLOGY FOR ADVANCED LOCOMOTION/MANIPULATION BASED ON HIGH-SPEED/ POWER ROBOT PLATFORM AND ROBOT INTELLIGENCE, 21 November 2017 (2017-11-21) *
KIM HEECHANG: "Sound source Localization using Double Circular Microphone Array for Humanoid Robot", KOREA ADVANCED INSTITUTE OF SCIENCE AND TECHNOLOGY, 13 December 2017 (2017-12-13), pages 1 - 83 *
SANGHEON OH: "Optimal Acoustic Sound Localization System Based on a Tetrahedron -Shaped Microphone Array", JOURNAL OF KIISE, vol. 43, no. 1, January 2016 (2016-01-01), pages 13 - 26, XP055681203, ISSN: 2383-6296, Retrieved from the Internet <URL:http://kiise.or.kr/e_journal/2016/1/JOK/pdf/02.pdf> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118190146A (zh) * 2024-05-16 2024-06-14 杭州爱华仪器有限公司 一种频率计权调节装置及方法

Also Published As

Publication number Publication date
KR20200011134A (ko) 2020-02-03
KR102180229B1 (ko) 2020-11-18

Similar Documents

Publication Publication Date Title
WO2015030343A1 (en) Optical element rotation type mueller-matrix ellipsometer and method for measuring mueller-matrix of sample using the same
WO2017119581A1 (en) Method and apparatus for estimating location in a terminal
WO2021221343A1 (ko) 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
WO2021025515A1 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
WO2017105130A1 (ko) 통신 장치 및 이를 구비하는 전자기기
EP3963902A1 (en) Methods and systems for recording mixed audio signal and reproducing directional audio
WO2021167318A1 (en) Position detection method, apparatus, electronic device and computer readable storage medium
WO2021049827A1 (ko) 외부 전자 장치의 위치를 결정하기 위한 전자 장치 및 그 방법
WO2020085870A1 (en) Method of detecting multipath state of global navigation satellite system signal and electronic device supporting the same
WO2023048380A1 (ko) 카메라뷰 뎁스맵을 활용하여 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 이미지 처리 장치
WO2019231042A1 (ko) 생체 인증 장치
WO2021150096A1 (ko) 사용자의 위치를 결정하는 시스템 및 방법
WO2021118213A1 (ko) 음파의 도달 시간과 삼각 측위를 이용하여 차량과 스마트폰 사이의 거리 또는 각 좌표를 계산하는 방법 및 장치
WO2021080236A1 (ko) 안테나를 포함하는 전자 장치
WO2018182170A1 (ko) 운항선의 표준 운항 상태 선속-동력 해석 시스템
WO2020251299A1 (ko) 라인 검출 방법
WO2017155137A1 (ko) 빔포밍 방법 및 이를 위한 장치
WO2020263042A1 (ko) 복수의 광원을 이용한 컴퓨터 단층 촬영 장치 및 컴퓨터 단층 촬영 방법
WO2021242063A1 (ko) 초음파 투과 장치 및 파동 제어 방법
WO2014109472A1 (ko) 위치 확인 시스템 및 방법
WO2015093842A1 (ko) 수중 음향신호의 공기 중 재현을 위한 다중 채널 신호처리 및 가공방법과 이를 이용한 정보전달장치
WO2024106899A1 (ko) 단일 주파수 수신기에서 다중 채널에서 발생하는 신호의 차이를 감지하는 장치 및 방법
WO2024186186A1 (en) Method and apparatus for classifying a region and an intensity of a contact
WO2023018115A1 (ko) 신호의 도달 각도를 결정하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2020222408A1 (ko) 실시간 웨이포인트 경로 개선 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927554

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927554

Country of ref document: EP

Kind code of ref document: A1