WO2013105805A1 - 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법 - Google Patents

음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법 Download PDF

Info

Publication number
WO2013105805A1
WO2013105805A1 PCT/KR2013/000230 KR2013000230W WO2013105805A1 WO 2013105805 A1 WO2013105805 A1 WO 2013105805A1 KR 2013000230 W KR2013000230 W KR 2013000230W WO 2013105805 A1 WO2013105805 A1 WO 2013105805A1
Authority
WO
WIPO (PCT)
Prior art keywords
time delay
sound source
direction detection
detection sensor
robot platform
Prior art date
Application number
PCT/KR2013/000230
Other languages
English (en)
French (fr)
Inventor
최종석
박영진
이상문
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Publication of WO2013105805A1 publication Critical patent/WO2013105805A1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems

Definitions

  • the present invention relates to an inter-channel time-delay map correction system and method require the artificial ear of the sound source direction detection device. More particularly, the present invention relates to a system and method for correcting a time delay map for a changed platform when a platform (for example, the head of a robot) of a sound source direction detecting apparatus is installed.
  • a platform for example, the head of a robot
  • the existing sound source direction detection technology has been developed based on a fixed microphone array. This is a detection technique that can be applied when the absolute position of the microphone constituting the microphone array or the relative position with respect to the object of application (for example, the platform of the robot) is known in advance.
  • These sound source direction detection techniques include (1) using the Time Difference of Arrival (TDOA) between the microphones, and (2) the head-related transfer function (HRTF) of the robot platform. Database, and (3) beam-forming using multiple microphone arrays.
  • TDOA Time Difference of Arrival
  • HRTF head-related transfer function
  • the method using the head transfer function of (2) can be applied when the fixed position of the microphone array cannot satisfy the free sound field condition.
  • the spectral cue depends on the direction of the sound source.
  • the information such as the level and phase difference between the channel must be secured in advance, there is a limit to apply in real time because of the large memory capacity and relatively slow calculation speed.
  • the target product is changed, it is difficult to apply it to various platforms because of the cost of the measurement because the unique hair transfer function must be measured for the platform. ⁇
  • the beamforming method of (3) uses an array of microphones, which is difficult to apply in a low-end system environment. This cannot be applied.
  • the robot artificial ear for detecting the sound source direction is a direction detecting sensor attached to a human-like robot, that is, a robot resembling the shape of a human, and is composed of a simplified auricle (outer ear) and a microphone.
  • a direction detecting sensor attached to a human-like robot, that is, a robot resembling the shape of a human, and is composed of a simplified auricle (outer ear) and a microphone.
  • a sensor is disposed on both sides of the robot head using the shape of the human ear, and thus is a sensor that ultimately mimics the external surface (shape and position) of the human ear.
  • ICTD Inter-channel Time Difference
  • ICLD Inter-channel Level Difference
  • the existing direction detection performance is not changed by the conversion of the application target, but when the microphone array existing in the reverberation space is used as in the case of the robot artificial ear.
  • the existing performance There is no guarantee of the existing performance if the flat product (eg robot platform) to which the artificial ear is attached is changed.
  • Applicant's existing Patent Registration No. 10-1081752 discloses a sound source direction detection method using an artificial ear similar to the shape of the human ear, It does not disclose how to correct the time delay map.
  • the present invention has been made to solve the above-described problems, and the time-delay map between channels, which is changed through a simple measurement and customization process, of a sound field change that occurs when the target platform is changed to fit the flat product.
  • the purpose is to provide.
  • the inter-channel time delay map correction system of the sound source direction detection sensor is installed on the left and right sides of the robot platform on the basis of the front direction of the robot platform, respectively.
  • the respective microphones using a sound source direction detection sensor comprising a microphone, a storage unit for storing time delay map information between respective microphone channels of the sound source direction detection sensor, and a voice signal detected by the sound source direction detection sensor.
  • a time delay calculation unit for calculating a time delay value between channels, and when the robot platform is changed, the sound delay direction sensor is positioned on the left and right sides, or on the upper side and the lower side, based on the front direction of the robot platform.
  • Measuring the signal of the sound source using the time delay calculation unit Compute the time delay value between each microphone for the signal, extract the horizontal angle and the altitude angle at which the time delay values are the maximum and minimum based on the calculated time delay value, and time delay the signal of the measured sound source. Calculating a ratio between a difference between a maximum value and a minimum value of the value and a time delay value calculated from the extracted horizontal and altitude angles in the time delay map information stored in the storage unit, and using the calculated ratio. And a controller configured to correct the time delay map information stored in the storage unit according to the changed robot platform.
  • the inter-channel time delay correction method of the sound source direction detection sensor respectively installed on the left and right sides of the robot platform relative to the front direction of the robot platform, at least one Acquiring and storing time delay map information between respective microphone channels of a sound source direction detection sensor comprising a microphone in a storage unit; and using the sound source direction detection sensor in front of the robot platform when the robot platform is changed.
  • Measuring a signal of a sound source located on the left and right or upper and lower sides with respect to a direction calculating a time delay value between microphones of the signal of the measured sound source using a time delay calculator; The horizontal angle and the height at which the control unit maximizes and minimizes the time delay values based on the calculated time delay values.
  • the ratio is expressed as' Wj ⁇ a—rtNid ⁇ -J ⁇ Wj ⁇ a— ⁇ CAfc ⁇ fc)
  • the control unit uses the signals of sound sources located on the left and right sides of the robot flat pain as measured by the sound source direction detection sensor, and the sound source direction detection sensor installed on the left side of the robot platform.
  • the time delay map information between the microphone and the microphone of the sound source direction detection sensor installed on the right side of the robot platform can be corrected.
  • the control unit detects the sound source direction installed on the left or right side of the robot platform by using signals of sound sources located above and below the front direction of the robot platform measured by the sound source direction detection sensor.
  • the time delay map information between the microphones of the sensor can be corrected.
  • the time delay map changed when the target platform is changed, the time delay map changed through a simple measurement and customization process is performed. Can be adapted to the changed platform. Even though this target flat width is changed by the direction detection can ensure performance of the sound source direction detection sensor.
  • FIG. 1 is a schematic structural diagram of a correction system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of a sound source direction detection method to which a correction system according to an embodiment of the present invention is applied.
  • FIG 3 illustrates a sound source direction detection sensor (robot artificial ear) applied to a correction system according to an embodiment of the present invention.
  • Figure 4 is a vertical polar coordinate system employing the calibration system, according to one embodiment of the present invention.
  • FIG. 5 is a diagram schematically illustrating a technique for customizing an inter-channel time delay map of a correction system according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a time-delay map between channels of the robot platform A and the robot artificial ear of the robot platform A to which the correction system of the present invention is applied.
  • FIG. 7 illustrates four sound sources measured by the correction system of the present invention.
  • FIG. 8 is a diagram illustrating a sound source to be measured for correction of time delay between microphone channels between robot artificial ears located on the left and right sides of the correction system of the present invention.
  • FIG. 10 is a diagram illustrating a sound source to be measured for correcting inter-channel time delay between a plurality of microphones of each robot artificial ear located at the left or the right of the correction system of the present invention.
  • FIG. 11 illustrates a time delay map between channels 3 and 4 that the robot platform stores as a database.
  • FIG. 12 is a diagram illustrating a time delay map corrected by the correction system according to the present invention when the robot platform is changed to B.
  • FIG. 12 is a diagram illustrating a time delay map corrected by the correction system according to the present invention when the robot platform is changed to B.
  • FIG. 13 is a flowchart illustrating a method for correcting a time delay map between channels of a sound source direction detection sensor according to the present invention.
  • the proposed channel-to-channel time delay customization method can be applied to the direction detection algorithm using the measured time delay between channels, and it is assumed that the time delay change according to the direction of the sound source is a free sound field. This method is applicable when the pattern does not match.
  • the method using the inter-channel time delay value should re-create the inter-channel time delay map when the target platform is changed.
  • the head transfer function can be measured in the direction of all possible sound sources, and then the time delay maps can be generated and changed for use in direction detection.
  • the present invention proposes a method of customizing a time delay map which is changed by using signals measured in four directions from an existing database (existing time delay map).
  • FIG. 1 is a schematic structural diagram of a correction system according to an embodiment of the present invention.
  • a correction system 10 includes a sound source direction detection sensor 12, a time delay calculation unit 14, a controller 16, and a storage unit ( 18).
  • the sound source direction detection sensor 12 is installed in a robot platform and serves to detect the direction of a sound source such as a speaker.
  • the sound source direction detection sensor 12 will be described taking “robot artificial ears” as an example. Therefore, the following sound source direction detection sensor 12 can be commonly used with the "robot artificial ear 12".
  • the robot artificial ears 12 may be installed in pairs respectively on the left and right sides of the robot platform based on the front direction of the robot platform, and each robot artificial ear 12 may be composed of one or more microphones. .
  • Such a plurality of microphones are also referred to as 'microphone array', the position of the microphone to be installed in the microphone array can be configured in various ways according to the design specifications. A detailed structure is mentioned later.
  • the time delay calculator 14 calculates a time delay value between each microphone channel by using a voice signal detected by the robot artificial ear 12.
  • each microphone means one channel, and not only calculates the time delay value between the plurality of microphones installed in the robot artificial ear 12 located on the left or right side of the robot platform, but also on the left side of the robot platform. Revenge on the Located Robot Artificial Ear (12) The inter-channel time delay value between the microphone and the plurality of microphones installed in the robot artificial ear 12 located on the right side of the robot platform is also calculated.
  • the storage unit 18 stores the time delay map information between the microphone channels of the robot artificial ear 12. That is, the storage unit 18 stores the time delay map information before the robot platform is changed in advance as a database, and when the robot platform is changed as described below, the time corrected by the controller 16 is changed. It serves to store the delay map information.
  • the controller 16 measures a signal of a sound source located on the left and right sides or on the upper and lower sides with respect to the front direction of the robot platform using the robot artificial ear 12, and time
  • the delay calculation unit 14 calculates time delay values between the microphones of the measured sound source signals, and based on the calculated time delay values, horizontal and altitude angles at which the time delay values become the maximum and minimum values are calculated.
  • the difference between the maximum and minimum values of the time delay values of the measured sound source signals and the time delay values of the horizontal and altitude angles extracted from the time delay map information stored in the storage unit 18, respectively. Calculate the ratio and use the calculated ratio to calculate the time delay map information stored in the storage unit 18. It serves to calibrate for modified robot platform.
  • FIG. 2 is a schematic diagram of a sound source direction detection method to which a correction system according to an embodiment of the present invention is applied.
  • a sound source direction detecting device 22a provided in a person 20 who speaks as a sound source and a robot 22.
  • the sound source direction detection device 22a robot artificial ear
  • the sound source direction detection device 22a may be configured with a plurality of microphone arrays, and may include two microphones as shown in FIG. 3.
  • FIG 3 illustrates a sound source direction detection sensor (robot artificial ear) applied to a correction system according to an embodiment of the present invention.
  • one robot artificial ear 30 includes two microphones 30c and 30d in a pinnacle-shaped body.
  • the body is a human 'ear pinna shape It further includes a corresponding pinwheel portion 30e, a flange portion 30b which is formed to be flat to the left and right of the pinwheel portion 30e, and an empty hole 30a formed in the flange portion 30b.
  • the robot artificial ear 30 may be formed with a radius of about 3.5 centimeters, the auricle part
  • Two microphones 30c and 30d may be located to the left and right of 30e. Of course, the location and number of microphones may vary depending on the design specifications.
  • the Y direction represents the front
  • the X direction represents the right direction
  • the Z direction represents the up direction.
  • the sound source direction is determined as the horizontal angle ⁇ ) and the altitude angle based on the forward direction.
  • FIG. 5 is a diagram schematically illustrating a technique for customizing an inter-channel time delay map of a correction system according to an embodiment of the present invention.
  • the robot platform is moved to another platform as shown in (b).
  • the signal of the sound source is measured in up, down, left and right directions, and the existing time delay map is calibrated for the changed platform.
  • the robot artificial ear applied to the present invention includes one microphone each at the front and the rear of the aft wheel, respectively.
  • the following table shows each microphone channel.
  • FIG. 7 illustrates four sound sources measured by the correction system of the present invention.
  • FIG. 7 it can be seen that a portion corresponding to the head of the robot platform is illustrated in the form of a sphere in the vertical polar coordinate system.
  • the Y-axis direction corresponds to the front direction of the robot platform, and the robot artificial ears 71 and 73 are located on the right and left sides with respect to the forward direction.
  • the right robot artificial ear 71 includes a first microphone 71a located in front of the aft wheel and a second microphone 71b located behind the aft wheel, and the left robot artificial ball 73 is an aft wheel. It comprises a microphone 3 (73a) located in the front and the microphone (73b) located in the rear wheel.
  • the time delay map correction system of the present invention measures sound sources in four directions of up, down, left, and right with respect to the front direction of the robot to correct the time delay map when the robot platform is changed.
  • the direction of sound source is summarized as follows.
  • the sound source l (70a) is located on the right side of the robot platform
  • the sound source 2 (70b) is located on the left side of the robot platform
  • the sound source 3 (70c) is located below the robot platform
  • the sound source 4 (70d) is located on the upper side of the robot platform.
  • the sound source 3 (70c) and sound source 4 (70d) when you want to correct the altitude angle of the sound source to be estimated by using the changed robot platform.
  • the elevation angle of the sound source can be changed according to the design of the robot developer.
  • FIG. 8 is a diagram illustrating a sound source to be measured for correction of time delay between microphone channels between robot artificial ears located on left and right sides of the correction system of the present invention.
  • the coordinates of the sound sources l (70a) and the sound sources 2 (70b) will be described later, but the maximum and minimum values of the time delay values are measured symmetrically, and the time delay correction is performed by using them. For sake.
  • FIG. 9 illustrates a time delay map between channels 1 and 3 stored in the database by the robot platform.
  • the time delay values are the maximum and minimum values at the horizontal angles (90 degrees, 0 degrees) and (-90 degrees, 0 degrees) corresponding to the positions of the sound sources l (70a) and 2 (70b). It can be seen that the overall appearance is similar to a sine wave.
  • the present invention uses a method of correcting the existing time delay map by fitting these maximum and minimum values. More detailed description is as follows.
  • the sound source l (70a) and the sound source 2 (70b) are used to Time between channel l (71a) and channel 3 (73a), channel l (71a) and channel 4 (73b), channel 2 (71b) and channel 3 (73a), channel 2 (71b) and channel 4 (73b) Examine the delay map customization process.
  • each time-delay map can be represented by a specific function, which is determined by the position of the horizontal and altitude angles of the sound source. This is represented mathematically as follows.
  • the sound source l 70a, 90 degrees horizontal angle
  • the time delay value measured by sound source 2 70b, horizontal angle 270 degrees, elevation angle 0 degrees
  • the time delay value can be obtained from the measured signal, and if this is indicated, it is measured in the channel l (71a) and the channel 3 (73a).
  • the value of the time delay is ⁇ ⁇ ⁇ ' 0 " , channel l (71a) and channel 4 (73b), channel 2 (71b) and channel 3 (73a), channel 3 (71b) and channel 4 (73b). the value of time delay measurement between each ⁇ «" «" ⁇ ⁇ 90 - 0 "),
  • the time delay value at the horizontal angle of 90 degrees and the elevation angle of 0 degrees from the time delay map held by the robot platform before the robot platform changes is ⁇ 90 » / «0» » ⁇ 0, / a C ' * 0 C'o" can express time delay value between each channel.
  • the process of customizing the time delay map between the channel l (71a) and the channel 3 (73a) is as follows. If the platform to be compared matches
  • the channel l (71a), the channel 3 (73a), and the channel l (71a) are satisfied.
  • the time delay map between the channel 4 (73b), the channel 2 (71b) and the channel 3 (73a), the channel 2 (71b) and the channel 4 (73b) is maintained as shown in FIG. If you think of this form simply, you can think of it as a sine wave. However, it is not strictly sinusoidal.
  • FIG. 10 is a diagram illustrating a sound source to be measured for correcting inter-channel time delay between a plurality of microphones of each robot artificial ear located at the left or the right of the correction system of the present invention. ⁇
  • the time delay between channels l 71a, 2b 71b, 373a, and 473b also indicates the direction of a sound source required for customization.
  • the sound source 3 70c is located at a horizontal angle of 0 degrees and an altitude angle of -20 degrees
  • the sound source 4 70d is located at a horizontal angle of 0 degrees and an altitude of 30 degrees.
  • FIG. 11 shows a time delay map between channel 3 and channel 4 that the robot platform stores in a database. 11 shows a time delay map between channel 3 73a and channel 4 73b before the robot platform is changed.
  • the time delay map as shown in FIG. 11 does not change significantly.
  • the area of the map may change in defining the origin of the polar coordinate system that determines the direction of the sound source. There may be a difference between the elevation angle defined in the database and the elevation angle defined by the robot developer.
  • the altitude angles of the sound source 3 (73a) and the sound source 4 (73b) were defined and measured at -20 degrees and 30 degrees, respectively, but this may not correspond to the angle of the time-delay map that is held. have. Therefore, the altitude angle range to be used in the time delay map can be determined from the time delay values measured from the sound sources 3 (73a) and the sound sources 4 (73b). For example, in this example, the altitude angle of the sound source is measured at -20 degrees to 30 degrees, but when compared with the database, it may vary from -23 to 27 degrees.
  • FIG. 12 shows a time delay map finally corrected using signals of a total of four sound sources when the robot platform B is changed in this manner.
  • the position of the sound source is fixed to a point of a specific coordinate of up, down, left, and right of the robot platform, but the generalization thereof is as follows. Assuming that the total number of microphones installed in the robot artificial ears on the left and right sides of the robot platform is n (in the example, four microphones, each of two left and right), the i-th microphone stored in the storage unit 18 and The time delay map information between channels of the j-th microphone may be displayed as follows.
  • the time delay value between the i-th microphone and the j-th microphone with respect to the signal of the sound source measured using the time delay calculation unit 14 is referred to as tsu, and the calculated ratio is ⁇ .
  • the calculated ratio is expressed as follows.
  • the time delay value means the horizontal angle and the altitude angle of the minimum one, respectively.
  • the correction system 10 can correct the time delay map stored on the existing flat product according to the platform to be changed.
  • the horizontal angle and the altitude angle at which the time delay values become the maximum and the minimum may be separately input by the user, or the time delay values may be measured and calculated based on the measured values.
  • FIG. 13 is a flowchart illustrating a method for correcting a time delay map between channels of the sound source direction detection sensor according to the present invention.
  • the robot platform stores a database of time delay maps suitable for existing platforms in advance. At this time, the platform of the robot is changed (100).
  • the time delay value between channels for the left and right sound sources of the robot is measured (120). Measure the time delay value for the upper and lower sound sources of (W0).
  • the inter-channel time delay map customization technique proposed by the present invention can be applied to the direction detection algorithm using the measured inter-channel time delay, and it is assumed that the change in the time delay according to the direction of the sound source is a free sound field. This method is applicable when the pattern does not match.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 보정 시스템은, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서와, 시간지연지도 정보를 저장하는 저장부와, 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 시간지연 계산부와, 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하고, 각각의 마이크로폰 간의 시간지연 값을 계산하고, 시간 지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하고, 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와, 저장부에 저장된 시간지연지도 정보에서 추출된 수평각 및 고도각에 대응되는 시간지연 값의 차이와의 비율을 계산하고, 계산된 비율을 이용하여 저장부에 저장된 시간지연지도 정보를 변경된 로봇 플랫폼에 맞게 보정하는 제어부를 포함한다.

Description

【명세서】
【발명의명칭】
음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법 【기술분야】
<]> 본 발명은 음원 방향 검지 장치의 인공귀에 필요한 채널간 시간지연 지도 보 정 시스템 및 방법에 관한 것이다. 더욱 상세하게는 인공귀가 설치되는 음원 방향 검지 장치의 플랫폼 (예를 들어， 로봇의 머리)이 변경될 때 변경된 플랫품에 맞게 시간지연 지도를 보정하는 시스템 및 방법에 관한 것이다.
【배경기술】
<2> 기존의 음원 방향 검지 기술은 고정된 마이크로폰 어레이를 기반으로 발전하 였다. 이는， 마이크로폰 어레이를 구성하는 마이크로폰의 절대적인 위치 또는 적용 의 대상 (예: 로봇의 플랫품)에 대한 상대적인 위치를 미리 알고 있는 경우에 적용 가능한 검지 기술이다. 이러한 음원 방향 검지 기술에는 (1) 마 크로폰 사이의 도 달 지연 시간 (Time Difference of Arrival, TDOA)를 이용하는 방법과， (2) 로봇 플 랫품의 머리전달함수 (Head— Related Transfer Function, HRTF) 데이터베이스를 이용 하는 방법과， (3) 다수의 마이크로폰 어레이를 이용한 빔포밍 (Beam-forming) 방법 등이 있다.
<3> (1)의 도달 지연 시간을 이용하는 방법은 마이크로폰이 자유음장조건하에 있 는 경우에는 방향 검지를 위해 필요한 음원이 방향에 따른 시간지연 정보를 필요로 하지 않으며, 알고리즘이 간단하고 계산양이 적어 실시간 음원 방향 검지에 많이 사용된다. 하지만， 로봇 인공귀의 경우， 양 귀의 위치에 부착된 마이크로폰으로 인 해 자유음장조건이 만족되지 않으며 음원의 방향에 따른 시간지연 정보가 필요하 다.
<4> (2)의 머리전달함수를 이용하는 방법은 마이크로폰 어레이의 고정된 위치가 자유음장조건을 만족시킬 수 없을 때 적용이 가능하며, 이를 위해서는 음원의 방향 에 의존적인 스펙트럴 큐 (spectral cue) 및 채널간의 레벨과 위상 차이 등의 정보 를 미리 확보해야 하기 때문에 큰 메모리 용량이 필요하고， 계산 속도가 상대적으 로 느리다는 점 등의 이유로 실시간에 적용시키기에는 한계가 있다. 또한， 대상 플 ¾품이 달라지는 경우， 그 플랫품에 맞는 고유의 머리전달함수를 측정해야 하기 때 문에 측정에 대한 비용으로 인하여 다양한 플랫폼에 적용시키기에는 한계가 있다. ᅳ
<5> (3)의 빔포밍 방법은 다수의 마이크로폰으로 구성된 어레이를 사용하는 방식 으로 저사양의 시스템 환경에서는 적용하기 힘들며 음장의 변화가 심한 경우에는 이를 적용시킬 수 없다.
<6> 또한， 이러한 음원 방향 검지를 위한 로봇 인공귀는 인간형 로봇， 즉 사람의 형상과 닮은 로봇에 부착되는 방향 검지 센서로서 단순화된 귓바퀴 (외이 )와 마이크 로폰으로 이루어져 있다. 이러한 센서는 기존의 방향 검지 센서와는 달리 사람의 귀의 형상을 이용하여 로봇 머리의 양쪽에 배치됨으로써， 최종적으로 사람의 귀의 외형적인 면 (형상 및 위치)을 모방한 센서이다.
<7> 공학적으로 음향 신호를 이용한 음원 방향 검지 기법으로는 측정되는 신호로 부터 채널간 시간차 (Inter-channel Time Difference: IcTD) 및 채널간 레벨차 (Inter-channel Level Difference: IcLD) 등의 정보를 이용하여 방향을 검지한다. 잔향 음장이 아닌 자유 음장 내에 고정된 마이크로폰 어레이를 이용할 경우， 마이 크로폰 어레이를 정삼각형， 정사면체 등과 같은 형태로 형상화하여 음원의 방향에 따라 일정한 방향 검지 성능을 획득한다.
<8> 이때， 자유음장 내에 존재하는 마이크로폰 어레이를 사용하는 경우에는 적용 대상의 변환에 의해 기존의 방향 검지 성능이 달라지지 않지만, 로봇 인공귀의 경 우와 같이 잔향공간 내에 존재하는 마이크로폰 어레이를 사용하는 경우에는 인공귀 가부착이 되는 플랫품 (예: 로봇 플랫품)이 달라지면 기존 성능을 보장할 수 없다.
<9> 따라서, 잔향음장 내에서 방향 검지 기술을 적용하는 로봇 인공귀 기술의 경 우， 대상 플랫폼의 변화에 따라 수반되는 채널간 시간지연 지도 생성 및 맞춤화 방 식이 필요하다.
<ιο> 출원인의 기존 등록특허 제 10-1081752호 "인공귀 및 이를 이용한 음원 방향 검지 방법" 에서 사람의 귀의 형상과 유사한 인공귀를 이용한 음원 방향 검지 방법 을 개시하고 있으나， 이러한 플랫품 변경에 따른 시간지연 지도의 보정 방법에 대 해서는 개시하고 있지 않다.
<ιι> 이와 관련하여， 된 특허문헌으로서 한국등록특허 제：^ᅳ 1090894호, 한국등록 특허 제 10-0877914호， 한국등록특허 제 10-0931401호， 한국등록특허 제 10-1090893 호， 한국등록특허 제 10-1081752호， 한국등록특허 제 10-1086304호， 한국등록특허 제 1Q-1060183호를 참조할 수 있다.
【발명의 내용】
【기술적 과제】
<12> 본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로， 대상 플랫폼이 달라질 때에 발생하는 음장의 변화를 간단한 측정 및 맞춤화 과정을 통하 여 변화되는 채널간 시간지연 지도를 플랫품에 맞게 맞추는 보정 시스템 및 방법을 제공하는데 그 목적이 있다.
【기술적 해결방법】
<13> 이를 위해 본 발명의 일실시예에 따른 음원 방향 검지 센서의 채널간 시간지 연지도 보정 시스템은， 로봇 플랫품의 전방 방향을 기준으로 상기 로봇 플랫품의 좌측 및 우측에 각각 설치되며， 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서와， 상기 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연 지도 정보를 저장하는 저장부와 , 상기 음원 방향 검지 센서에서 감지되는 음성 신 호를 이용하여 상기 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 시간지 연 계산부와， 상기 로봇 플랫품이 변경된 경우， 상기 음원 방향 검지 센서를 이용 하여 상기 로봇 플랫품의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원의 신호를 측정하고， 상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고， 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 추 출하고, 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와， 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각 에 대웅되는 시간 지연 값의 차이와의 비율을 계산하고， 상기 계산된 비율을 이용 하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫품에 맞게 보정하는 제어부를 포함한다.
<14> 또한, 본 발명의 일실시예에 따른 음원 방향 검지 센서의 채널간 시간지연지 도 보정 방법은, 로봇 플랫품의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각각 설치되며， 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서 의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 획득하여 저장부에 저장하는 단계와， 상기 로봇 플랫품이 변경된 경우 상기 음원 방향 검지 센서를 이용하여 상 기 로봇 플랫품의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하 는 음원의 신호를 측정하는 단계와, 시간지연 계산부를 이용하여 상기 측정된 음원 의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하는 단계와, 제어부가 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하는 단계와， 상기 제어부가 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와， 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대응되는 시간 지연 값의 차이와의 비율 을 계산하는 단계와， 상기 제어부가 상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상기 변경된 로봇 플랫품에 맞게 보정하는 단계를 포 함한다.
<15> 이때， 상기 로봇 플랫품의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검 지 센서의 마이크로폰 개수의 총 합이 n 개인 경우， 상기 저장부에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보 ᅳ " 는 다음과 같이 ^ᅳ1" « =Λ«"ο 로 표현되고 ^는 음원의 수평각， β는 음원의 고도 각 )，
<16> 상기 로봇 플랫폼이 변경된 경우， 상기 시간지연 계산부를 이용하여 상기 측 정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을 ^ 라고 하고， 상기 계산된 비율을 " V 라고 하면， 상기 계산된 r H-Og = f ^^ - ^ ^,^
비율은 다음과 같이 'Wj^a—rtNid^-J^Wj^a—^CAfc^ fc) 로 표현되고
(^ ， 는 각각 시간지연 값이 최대일 때의 수평각 및 고도각， ，^ ^는 각각 시간지연 값이 최소일 대의 수평각 및 고도각)，
<17> 상기 제어부에 의해 보정되는 시간지연지도 정보 짜 «9¾· „^^6!)는 다음 과 같이 ^ ^^ = tiOiX f^'ff 로 표현될 수 있다.
<18> 상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫픔의 전 방 방향을 기준으로 좌측 및 우측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫품의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫 폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정 보를 보정할 수 있다.
<19> 상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫품의 전 방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여， 상기 로봇 플랫품의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정할 수 있다.
【유리한 효과】
<20> 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법에 의하면, 대상 플랫품이 변경되는 경우에 음장의 변화를 간단한 측정 및 맞 춤화 과정을 통하여 변화되는 시간지연지도를 변경된 플랫폼에 맞게 맞출 수 있다. 이를 통하여 대상 플랫품이 변화하더라도 음원 방향 검지 센서의 방향 검지 성능을' 보장할 수 있다. 【도면의 간단한 설명】
<21> 도 1은 본 발명의 일실시예에 따른 보정 시스템의 개략 구성도이다.
<22> 도 2는 본 발명의 일실시예에 따른 보정 시스템이 적용되는 음원 방향 검지 방법의 개략도이다.
<23> 도 3은 본 발명의 일실시예에 따른 보정 시스템에 적용되는 음원 방향 검지 센서 (로봇 인공귀 )를 나타낸다 .
<24> 도 4는 본 발명의 일실시예에 따른 보정 시스템 '이 채택하는 수직 극 좌표계 이다.
<25> 도 5는 본 발명의 일실시예에 따른 보정 시스템의 채널간 시간지연지도 맞춤 화에 대한 기법을 개략적으로 나타내는 도면이다.
<26> 도 6은 본 발명의 보정 시스템이 적용되는 로봇 플랫품 A 및 로봇 플랫품 A 의 로봇 인공귀의 채널간 시간지연지도를 나타내는 도면이다.
<27> 도 7은 본 발명의 보정 시스템이 측정하는 4 개의 음원을 도시한 도면이다.
<28> 도 8은 본 발명의 보정 시스템이 좌측 및 우측에 위치한 로봇 인공귀 사이의 마이크로폰 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면 이다.
<29> 도 9는 로봇 플랫품이 데이터베이스로 저장하고 있는 채널 1과 채널 3 사이 의 시간지연지도를 나타낸다.
<30> 도 10은 본 발명의 보정 시스템이 좌측 또는 우측에 위치한 로봇 인공귀 각 각의 복수의 마이크로폰 간의 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다.
<3i> 도 11은 로봇 플랫폼이 데이터베이스로 저장하고 있는 채널 3과 채널 4 사이 의 시간지연지도를 나타낸다.
<32> 도 12는 로봇 플랫품이 B로 변경된 경우， 본 발명에 따른 보정 시스템에 의 해 보정된 시간지연지도를 도시한 도면이다.
<33> 도 13은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법올 설명하는 순서도이다ᅳ
【발명의 실시를 위한 형태】
<34> 이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다 . 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지 연지도 보정 시스템 및 방법의 가능한 일실시예에 불과하며 , 본 발명의 기술적 사 상은 아래의 내용에 의해 한정되지 아니한다. <35>
<36> 본 발명이 제안하는 채널간 시간지연지도 맞춤화 기법은 측정되는 채널간 시 간지연을 이용한 방향 검지 알고리즘에 적용될 수 있으며， 음원의 방향에 따른 시 간지연의 변화가 자유음장으로 가정할 때의 양상과 매칭되지 않을 때에 적용이 가 능한 방법이다.
<37> 잔향조건 환경에서 적용되는 음원 방향 검지의 경우， 특히 채널간 시간지연 값을 이용하는 방식은 대상 플랫품이 변경되면 채널간 시간지연 지도를 다시 작성 하여야 한다. 이를 위해서는 머리전달함수를 모든 가능한 음원의 방향에서 측정하 고， 이로부터 변경되는 채널간 시간지연지도를 생성하여 방향 검지에 사용할 수 있 다. 이를 위해서 본 발명에서는 네 방향에서 측정되는 신호를 이용하여 변화되는 시간지연지도를 기존에 소유하고 있는 데이터베이스 (기존의 시간지연지도)로부터 맞춤화하는 방식을 제안한다.
<38>
<39> 도 1은 본 발명의 일실시예에 따른 보정 시스템의 개략 구성도이다.
<40> 도 1을 참조하면， 본 발명의 일실시예에 따른 보정 시스템 (10)은 음원 방향 검지 센서 (12)와, 시간지연 계산부 (14)와, 제어부 (16)와， 저장부 (18)를 포함하여 구성된다.
<4i> 음원 방향 검지 센서 (12)는 로봇 폴랫품 (robot platform)에 설치되어 말하는 사람과 같은 음원의 방향을 검지하는 역할을 한다. 본 명세서에서 음원 방향 검지 센서 (12)를 "로봇 인공귀" 를 예로 들어 설명한다. 따라서， 이하 음원 방향 검지 센서 (12)는 "로봇 인공귀 (12)" 와 흔용할 수 있다. 후술하겠지만， 로봇 인공귀 (12)는 로봇 플랫품의 전방 방향을 기준으로 로봇 플랫폼의 좌측 및 우측에 각각 쌍으로 설치될 수 있으며， 각각의 로봇 인공귀 (12)는 하나 이상의 마이크로폰으로 구성될 수 있다. 이와 같은 복수의 마이크로폰을 '마이크로폰 어레이' 라고도 부 르며, 마이크로폰 어레이에 설치되는 마이크로폰의 위치는 설계 사양에 따라서 다 양하게 구성할 수 있다. 구체적인 구성에 대해서는 후술한다.
<42>
<43> 시간지연 계산부 (14)는 로봇 인공귀 (12)에서 감지되는 음성 신호를 이용하여 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 역할을 한다. 이때， 각각의 마이크로폰 하나 하나가 하나의 채널을 의미하며， 로봇 플랫품의 좌측 또는 우측에 위치한 로봇 인공귀 (12)에 설치된 복수의 마이크로폰 간의 채널간 시간지연 값을 계산할 뿐만 아니라， 로봇 플랫폼의 좌측에 위치한 로봇 인공귀 (12)에 설치된 복수 의 마이크로폰 및 로봇 플랫품의 우측에 위치한 로봇 인공귀 (12)에 설치된 복수의 마이크로폰 간의 채널간 시간지연 값 또한 계산한다.
<44>
<45> 저장부 (18)는 로봇 인공귀 (12)의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 저장하는 역할을 한다. 즉， 저장부 (18)는 로봇 플랫품이 변경되지 전의 시 간지연지도 정보를 미리 데이터베이스화하여 저장하고 있으며， 후술하는 바와 같이 로봇 플랫품이 변경되는 경우， 제어부 (16)에 의해 보정된 시간지연지도 정보를 저 장하는 역할을 한다.
<46>
<47> 제어부 (16)는 로봇 플랫품이 변경된 경우， 로봇 인공귀 (12)를 이용하여 로봇 플랫품의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하는 음원 의 신호를 측정하고， 시간지연 계산부 (14)를 이용하여 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고， 계산된 시간지연 값을 기초로 시 간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하고， 측정된 음원 의 신호의 시간지연 값의 최대값 및 최소값의 차이와 저장부 (18)에 저장된 시간지 연지도 정보에서 추출된 수평각 및 고도각에 대웅되는 시간지연 값의 차이와의 비 율을 계산하고， 계산된 비율을 이용하여 저장부 (18)에 저장된 시간지연지도 정보를 . 변경된 로봇 플랫품에 맞게 보정하는 역할을 한다.
<48> 이하， 도 2 내지 도 13을 바탕으로, 본 발명의 시간지연지도 보정 방법을 상 세히 설명한다.
<49>
<50> 도 2는 본 발명의 일실시예에 따른 보정 시스템이 적용되는 음원 방향 검지 방법의 개략도이다.
<51> 도 2를 참조하면， 음원으로서 말하는 사람 (20)과 로봇 (22)에 설치된 음원 방 향 검지 장치 (22a)가 도시되어 있다. 음원 방향 검지 장치 (22a, 로봇 인공귀 )는 복 수의 마이크로폰 어레이로 구성될 수 있으며， 도 3에서 보는 바와 같이 2개의 마이 크로폰을 포함하여 구성될 수 있다.
<52>
<53> 도 3은 본 발명의 일실시예에 따른 보정 시스템에 적용되는 음원 방향 검지 센서 (로봇 인공귀 )를 나타낸다 .
<54> 도 3을 참조하면， 하나의 로봇 인공귀 (30)는 귓바퀴 형상의 바디에 두 개의 마이크로폰 (30c 및 30d)을 포함하여 구성된다. 바디는 인간의 '귀의 귓바퀴 형상에 대응되는 귓바퀴부 (30e)와, 귓바퀴부 (30e)의 좌，우로 편평하게 형성되는 플랜지부 (flange)(30b), 플랜지부 (30b)에 형성되는 빈 구멍 (30a)를 더 포함한다.
<55> 로봇 인공귀 (30)는 반지름이 약 3.5 센티미터로 형성될 수 있으며， 귓바퀴부
(30e)의 좌우로 두 개의 마이크로폰 (30c 및 30d)가 위치할 수 있다. 물론， 마이크 로폰의 위치와 개수는 설계 사양에 따라서 달라질 수 있다.
<56>
<57> 도 4는 본 발명의 일실시예에 따른 보정 시스템이 채택하는 수직 극 좌표계 이다. 이 외에도 다른 좌표계를 사용할 수도 있지만， 본 발명에서는 수직 극 좌표 계를 기준으로 설명하기로 한다. 수직 극 좌표계에서 Y 방향은 앞쪽 (front)을 나타 내고， X 방향은 우측 (right) 방향， Z 방향은 위쪽 (up) 방향을 나타낸다.
<58> 즉, 로봇 플랫품에 로봇 인공귀가 설치되는 경우, 전방 방향을 기준으로 수 평각^) 및 고도각 으로서， 음원 방향을 판단하게 된다.
<59>
<60> 도 5는 본 발명의 일실시예에 따른 보정 시스템의 채널간 시간지연지도 맞춤 화에 대한 기법을 개략적으로 나타내는 도면이다.
<6i> 도 5를 참조하면， (a)와 같이 기존의 로봇 플랫품에 맞게 시간지연지도가 구 축되고， 일정한 방향 검지 성능이 보정될 때， (b)와 같이 로봇 플랫폼이 다른 플랫 품으로 변화한 경우 상하, 좌우 네 방향의 음원의 신호를 측정하여 기존에 구축된 시간지연지도를 변경된 플랫품에 맞게 맞춤화 과정을 거쳐 보정하게 된다.
<62>
<63> 도 6을 참조하면， (a)에 기존 플랫품 A의 로봇 플랫품이 도시되어 있으며，
(b),(c)에 각각 우측 및 좌측의 로봇 인공귀의 채널간 시간지연지도가 도시되어 있 다.
<64> 도 3에서와 같이， 본 발명에 적용되는 로봇 인공귀는 각각 귓바퀴 앞쪽 및 뒤쪽에 각각 하나의 마이크로폰을 포함하여 구성된다. 각 마이크로폰 채널을 표시 하면 다음의 표와 같다.
<65> 【표 1】
Figure imgf000009_0001
이하 마이크로폰의 위치 및 측정해야 할 음원의 위치와 관련하여 도 7을 참 조하여 상세히 설명한다.
<67> <68> 도 7은 본 발명의 보정 시스템이 측정하는 4 개의 음원을 도시한 도면이다.
<69> 도 7을 참조하면 수직 극 좌표계에 로봇 플랫품의 머리 부분에 해당하는 부 분이 구의 형태로 도시되어 있음을 알 수 있다. Y축 방향이 로봇 플랫품의 전방 방 향에 해당하며， 전방 방향을 기준으로 우측 및 좌측에 로봇 인공귀 (71， 73)이 위치 한다.
<70> 우측 로봇 인공귀 (71)는 귓바퀴 앞 쪽에 위치하는 1번 마이크로폰 (71a)와， 귓바퀴 뒤쪽에 위치하는 2번 마이크로폰 (71b)를 포함하여 구성되며， 좌측 로봇 인 공퀴 (73)은 귓바퀴 앞쪽에 위치하는 3번 마이크로폰 (73a) 및 귓바퀴 뒤쪽에 위치하 는 4번 마이크로폰 (73b)을 포함하여 구성된다.
<71> 본 발명의 시간지연지도 보정 시스템은 로봇 플랫폼이 변경된 경우 시간지연 지도를 보정하기 위하여 로봇의 전방 방향을 기준으로 상，하,좌，우 측의 네 가지 방향에서의 음원을 측정한다. 음원의 방향을 표로 정리 하면 다음과 같다.
<72> 【표 2】
Figure imgf000010_0001
<73> 즉， 도 7을 참조하면， 로봇 플랫품 우측에 음원 l(70a)이 위치하고 있으며, 로봇 플랫폼 좌측에 음원 2(70b)가 위치하며， 로봇 플랫폼의 하측에 음원 3(70c)가 위치하며， 로봇 플랫폼의 상측에 음원 4(70d)가 위치하고 있음을 알 수 있다.
<74> 이때， 음원 3(70c) 및 음원 4(70d)의 경우, 변경되는 로봇 플랫품올 이용하 여 추정하고자 하는 음원의 고도각을 보정하고자 할 때. 이용되며, 음원의 고도각 은 로봇 개발자의 설계에 따라 변경될 수 있다.
<75> 이와 같이 네 가지의 방향의 음원을 측정하는 이유는 다음과 같다. 먼저 , 도
8을 참조하여, 로봇 플랫폼의 좌측 및 우측에 위치한 음원을 이용한 시간지연지도 보정에 대해서 설명한다.
<76>
<77> 도 8은 본 발명의 보정 시스템이 좌측 및 우측에 위치한 로봇 인공귀 사이의 마이크로폰 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면 이다.
<78> 도 8을 참조하면， 도 7에서 언급한 네 개의 음원 중 로봇 플랫폼의 좌오 방 향에 존재하는 두 개의 음원만이 필요하다. 즉, 수평각 90도와 고도각 0도에 위치 하는 음원 l(70a)과， 수평각 270도 (즉， -90도)와 고도각 0도에 위치하는 음원 2(70b)가 필요하다.
<79> 음원 l(70a) 및 음원 2(70b)의 좌표를 이렇게 설정한 것은 후술하겠지만, 시 간지연 값의 최대값 및 최소값을 대칭적으로 측정하고， 이를 이용하여 시간지연지 도를 보정하기 위함이다.
<80>
<8i> 도 9는 로봇 플랫품이 데이터베이스로 저장하고 있는 채널 1과 채널 3 사이 의 시간지연지도를 나타낸다.
<82> 도 9를 참조하면， 로봇 인공귀 (71)의 1번 마이크로폰 (71a) (즉， 채널 1)과 로 봇 인공귀 (73)의 3번 마이크로폰 (73a) (즉, 채널 3) 사이의 시간지연지도가 도시되 어 있다. 도 9에 도시된 것처럼， 음원 l(70a) 및 음원 2(70b)의 위치에 해당하는 수평각 (90도， 0도) 및 (-90도， 0도)에서 시간지연 값이 최대값 및 최소값을 나타 내면서 전체적으로 사인파와 유사한 모습을 나타내는 것을 알 수 있다.
<83> 본 발명은 이러한 최대값 및 최소값을 맞춤으로써 기존의 시간지연지도를 보 정하는 방법을 사용한다. 더욱 상세하게 설명하면 다음과 같다.
<84>
<85> 로봇 플랫폼이 도 6에 도시된 것처럼 로봇 플랫품 A인 경우에서， 도 12에 나 타난 것과 같이 로봇 플랫품 B로 변경된 경우 음원 l(70a)및 음원 2(70b)를 이용하 여 마이크로폰의 채널 l(71a)과 채널 3(73a), 채널 l(71a)과 채널 4(73b)， 채널 2(71b)와 채널 3(73a), 채널 2(71b)와 채널 4(73b) 사이의 시간지연지도 맞춤화 과 정을 살펴본다.
<86> 도 6에 도시된 것과 같은 마이크로폰 채널간 시간지연지도의 경우, 각각의 시간지연 지도는 특정한 함수로 표현이 가능하며， 이는 음원의 수평각 및 고도각의 위치에 의해 결정된다. 이를 수학적으로 나타내면 다음과 같다.
<87> 【수학식 1】
<88> 【수학식 2】
<89> 【수학식 3】
iid- ηαρ-^ = f^(≠,ff)
<90> 【수학식 4】
Figure imgf000011_0001
<9i> 위 식에서 는 음원의 수평각 (azimuth angle)에 해당하며， -는 음원의 고도 각 (elevation angle)에 해당한다.
<92> 본 발명에 적용되는 로봇 플랫폼의 경우， 위의 수학식 1, 2 3 4와 같이 모 든 음원의 방향에 따른 시간지연 값을 구할 수 없기 때문에 측정하게 되는 음원 l(70a, 수평각 90도, 고도각 0도)와， 음원 2(70b, 수평각 270도， 고도각 0도)에 의 해 측정되는 시간지연 값만을 구할 수 있다.
<93> 먼저 음원 l(70a)에 대한 신호를 적용 플랫품을 대상으로 측정하였다고 하면 측정된 신호로부터 시간지연 값을 구할 수 있으며， 이를 나타내면 채널 l(71a)과 채널 3(73a)에서 측정되는 시간지연의 값은 ^^^~^'0" 이며， 채널 l(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 3(71b)와 채널 4(73b) 사이에서 측 정되는 시간지연의 값은 각각 ^^«"«"^ί90--0")，
Figure imgf000012_0001
쬬 우'0")와 같이 표기할 수 있다. 반면， 로봇 플랫폼이 변화하기 전 로봇 플랫폼이 보유하고 있는 시간지연 지도로부터 수평각 90도 및 고도각 0도에서의 시 간지연 값은 ^90» /«0»»<0 , /aC '*0 C 'o")로 각 채널간 시간지연 값을 표현할 수 있다.
<94> 먼저, 채널 l(71a)과 채널 3(73a) 간의 시간지연지도 맞춤화 과정을 살펴보 면 다음과 같다. 만약, 비교대상이 되는 플랫품이 일치한다면
/^0»^요쬬 (90 1 이 성립할 것이다. 하지만， 대상 플랫폼이 달라진다면
ΛΟίθ ίΟ ώ^^οο-,ο·)이 된다
<95> 방향 검지용 로봇 인공귀의 경우， 대상 플랫품 (로봇 머리)의 좌우에 배치를 하게 되는 제약을 가지기 때문에 이를 만족시킬 경우, 채널 l(71a)와 채널 3(73a), 채널 l(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 2(71b)와 채널 4(73b)간의 시간지연지도의 형태는 도 9와 같은 형태를 유지하게 된다. 이 형태를 간단히 생각한다면 사인파 (sine wave) 형태로 생각할 수 있다. 하지만， 엄밀히 따 지면 사인파 형태는 아니다.
<96> 이로부터 시간지연지도를 맞춤화하기 위해서는 이 형태 (즉， 사인파와 유사한 형태)를 결정짓는 최대 시간지연 값과 최소 시간지연 값을 맞춤으로써 변경되는 플 랫품의 시간지연지도를 맞출 수 있다.
<97> 만약 ,
Figure imgf000012_0002
라는 값을 가진다면 변경되 는 시간지연지도는 다음과 같이 표현된다. <98> 【수학식 5】
<99> 채널 l(71a)과 채널 4(73b), 채널 2(71b)와 채널 3(73a), 채널 3(73a)와 채 널 4(73b) 사이에서는 맞춤화되는 시간지연지도의 경우에도 위와 같은 과정을 동일 하게 적용한다.
<ιοο> 도 10은 본 발명의 보정 시스템이 좌측 또는 우측에 위치한 로봇 인공귀 각 각의 복수의 마이크로폰 간의 채널간 시간지연지도 보정을 위하여 측정되어야 할 음원을 도시한 도면이다. ᅳ
<ιοι> 즉， 도 10에서는 채널 l(71a)과 채널 2(71b)， 채널 3(73a)과 채널 4(73b) 사 이에서의 시간지연지도 맞춤화를 위하여 필요한 음원의 방향을 나타내고 있다. 도 10을 참조하면， 음원 3(70c)는 수평각 0도와 고도각 -20도에 위치하며， 음원 4(70d)는 수평각 0도와 고도각 30도에 위치하고 있음을 알 수 있다.
<102>
<103> 도 11은 로봇 플랫품이 데이터베이스로 저장하고 있는 채널 3과 채널 4 사이 의 시간지연지도를 나타낸다. 도 11은 로봇 플랫폼이 변경되기 전의 채널 3(73a) 및 채널 4(73b) 사이의 시간지연지도를 나타낸다.
<104> 로봇 인공귀가 양 귀의 위치에 위치할 경우， 로봇 플랫폼의 대상이 달라지더 라도 도 11과 같은 시간지연지도는 크게 변하지 않는다. 하지만, 음원의 방향을 결 정짓는 극-좌표계의 원점을 정의함에 있어서 지도의 영역이 변화할 수는 있다. 데 이터베이스에서 정의된 고도각과 로봇 개발자에 의해서 정의되는 고도각의 간에 차 이가 발생할 수 있는 것이다.
<105> 즉, 음원 3(73a) 및 음원 4(73b)의 고도각을 각각 -20도와 30도로 정의를 하 고 측정을 하였으나， 이는 기존에 보유하고 있는 시간지연 지도의 각도에 해당하지 않을 수도 있다. 따라서， 음원 3(73a)과 음원 4(73b)로부터 측정되는 시간지연 값 으로부터 시간지연지도에서 사용할 고도각 범위를 결정할 수 있게 된다. 예를 들 어， 본 예시에서는 실제 -20도에서 30도로 음원의 고도각을 측정하였으나， 데이터 베이스와 비교하였을 때 -23도에서 27도 범위로 변화할 수 있다.
<106> 도 12에는 이와 같은 방법으로 로봇 플랫품 B로 변경된 경우， 총 네 개의 음 원의 신호를 이용하여 최종적으로 보정된 시간지연지도가 도시되어 있다.
<107>
<108> 위와 같이 음원의 위치를 로봇 플랫폼의 상하좌우의 특정 좌표의 지점으로 고정하여 설명하였으나， 이를 일반화시키면 다음과 같다. <109> 로봇 플랫품의 좌측 및 우측의 로봇 인공귀에 설치되는 마이크로폰 개수의 총합이 n개라고 가정하면 (앞의 예에서는 좌우 2개씩 총 4개의 마이크로폰)， 저장부 (18)에 저장된 i 번째 마이크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연 지도 정보 는 다음과 같이 표시될 수 있다.
【수학식 6】
Figure imgf000014_0001
여기서 *는 음원의 수평각이고， 는 음원의 고도각이다.
<112> 이때， 로봇 플랫품이 변경된 경우， 시간지연 계산부 (14)를 이용하여 측정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을 쯔 라고 하고， 계산된 비율을 τ 라고 하면， 계산된 비율은 다음과 같이 표현된다.
<113> 【수학식 7】
Figure imgf000014_0002
<114> 이때, 는 각각 시간지연 값이 최대일 때의 수평각 및 고도각이고，
^ ^ 각각 시간지연 값이 최소일 대의 수평각 및 고도각을 의미한다.
<115> 이때， 제어부 (16)에 의해 보정되는 시간지연지도 정보
Figure imgf000014_0003
다음의 식으로 표현된다.
【수학식 8】
Figure imgf000014_0004
<117> 이와 같은 일반화된 식을 이용하여， 본 발명에 따른 보정 시스템 (10)은 기존 플랫품에 대웅되어 저장된 시간지연지도를 변경될 플랫품에 맞게 보정할 수 있다. 이때, 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각은 사용자에 의해서 별 도로 입력되거나， 시간지연 값을 측정하고, 측정된 값에 의해서 계산될 수 있다.
<119> 도 13은 본 발명에 따른 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법을 설명하는 순서도이다.
<120> 로봇 플랫품은 기존 플랫품에 맞는 시간지연지도를 미리 데이터베이스화하며 저장하고 있다. 이때， 로봇의 플랫폼을 변경시킨다 (100).
<121> 이때， 로봇의 좌우 음원에 대한 채널간 시간지연 값을 측정하고 (120)， 로봇 의 상하 음원에 대한 시간지연 값을 측정한다 (W0).
<122> 상하 및 좌우 음원에 대한 시간지연 값이 측정되면 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 추출하고, 상기 수평각 및 고도각에 대하여 앞의 수학식 7 및 수학식 8을 수행하여 기존의 시간지연지도를 보정하게 된다 (160). 【산업상 이용 가능성】
<123> 본 발명이 제안하는 채널간 시간지연지도 맞춤화 기법은 측정되는 채널간 시 간지연을 이용한 방향 검지 알고리즘에 적용될 수 있으며， 음원의 방향에 따른 시 간지연의 변화가 자유음장으로 가정할 때의 양상과 매칭되지 않을 때에 적용이 가 능한 방법이다.

Claims

【청구의 범위】
【청구항 1】
로봇 플랫픔의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각 각 설치되며, 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서;
상기 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정 보를 저장하는 저장부;
상기 음원 방향 검지 센서에서 감지되는 음성 신호를 이용하여 상기 각각의 마이크로폰 채널 간의 시간지연 값을 계산하는 시간지연 계산부; 및
상기 로봇 플랫품이 변경된 경우, 상기 음원 방향 검지 센서를 이용하여 상 기 로봇 플랫품의 전방 방향을 기준으로 좌측 및 우측 또는 상측 및 하측에 위치하 는 음원의 신호를 측정하고,
상기 시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크로폰 간의 시간지연 값을 계산하고， 상기 계산된 시간지연 값을 기초로 시간 지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하고，
상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값의 차이와， 상 기저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대웅되는 시간 지연 값의 차이와의 비율을 계산하고，
상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연지도 정보를 상 기 변경된 로봇 플랫품에 맞게 보정하는 제어부를 포함하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.
【청구항 2]
제 1항에 있어서，
상기 로봇 플랫품의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검지 센 서의 마이크로폰 개수의 총 합이 n 개인 경우， 상기 저장부에 저장된 i 번째 마이 크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보 ―"" «¾는 다음 과 같이 ^ᅳ치- =Λ< « 로 표현되고^는 음원의 수평각， «는 음원의 고도각), 상기 로봇 플랫품이 변경된 경우， 상기 시간지연 계산부를 이용하여 상기 측 정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을 쯔 ) 라고 하고, 상기 계산된 비율을 라고 하면， 상기 계산된
Figure imgf000016_0001
는 각각 시간지연 값이 최대일 때의 수평각 및 고도각， ^， /^는 각각 시간지연 값이 최소일 대의 수평각 및 고도각)，
상기 제어부에 의해 보정되는 시간지연지도 정보 _" ^ᅳ 는 다음 과 같이프 ᅳ «α^) =™^¾χ ·(ί 로 표현되는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.
【청구항 3]
거 U항에 있어서，
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫품의 전 방 방향을 기준으로 좌측 및 우측에 위치하는.음원의 신호를 이용하여， 상기 로봇 플랫폼의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫 폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정 보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보 정 시스템.
【청구항 4】
제 1항에 있어서,
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫품의 전 방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여, 상기 로봇 플랫품의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템.
【청구항 5】
로봇 플랫폼의 전방 방향을 기준으로 상기 로봇 플랫폼의 좌측 및 우측에 각 각 설치되며， 하나 이상의 마이크로폰으로 구성되는 음원 방향 검지 센서의 각각의 마이크로폰 채널 간의 시간지연지도 정보를 획득하여 저장부에 저장하는 단계; 상기 로봇 플랫폼이 변경된 경우， 상기 음원 방향 검지 센서를 이용하여 상 기 로봇 플¾품의 전방 방향을 기준으로 좌측.및 우측 또는 상측 및 하측에 위치하 는 음원의 신호를 측정하는 단계 ;
시간지연 계산부를 이용하여 상기 측정된 음원의 신호에 대한 각각의 마이크 로폰 간의 시간지연 값을 계산하는 단계 ;
제어부가 상기 계산된 시간지연 값을 기초로 시간지연 값이 최대 및 최소가 되는 수평각 및 고도각을 각각 추출하는 단계: . 상기 제어부가 상기 측정된 음원의 신호의 시간 지연 값의 최대값 및 최소값 의 차이와， 상기 저장부에 저장된 상기 시간지연지도 정보에서 상기 추출된 수평각 및 고도각에 대웅되는 시간 지연 값의 차이와의 비율을 계산하는 단계; 및
상기 제어부가 상기 계산된 비율을 이용하여 상기 저장부에 저장된 시간지연 지도 정보를 상기 변경된 로봇 플랫품에 맞게 보정하는 단계를 포함하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법 .
【청구항 6】
제 5항에 있어서，
상기 로봇 플랫품의 좌측 및 우측에 각각 설치되는 상기 음원 방향 검지 센 서의 마이크로폰 개수의 총 합이 n 개인 경우， 상기 저장부에 저장된 i 번째 마이 크로폰과 j 번째 마이크로폰의 채널 간의 상기 시간지연지도 정보 ― "««¾는 다음 과 같이 쎄 로 표현되고^는 음원의 수평각， -는 음원의 고도각), 상기 로봇 플랫품이 변경된 경우, 상기 시간지연 계산부를 이용하여 상기 측 정된 음원의 신호에 대한 i 번째 마이크로폰과 j 번째 마이크로폰 간의 시간지연 값을 쯔 라고 하고, 상기 계산된 비율을 라고 하면， 상기 계산된 비율은 다음과 같이
Figure imgf000018_0001
로 표현되고 (Ai/ 는 각각 시간지연 값이 최대일 때의 수평각 및 고도각， ， , ^"는 각각 시간지연 값이 최소일 대의 수평각 및 고도각)，
상기 제어부에 의해 보정되는 시간지연지도 정보 ― 는 다음 과 같이 —치^ ~ ( Λβ) = ^,χ ^ 로 표현되는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법 . ᅳ
【청구항 7]
제 5항에 있어서，
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫품의 전 방 방향을 기준으로 좌측 및 우측에 위치하는 음원의 신호를 이용하여， 상기 로봇 플랫품의 좌측에 설치된 상기 음원 방향 검지 센서의 마이크로폰과 상기 로봇 플랫 폼의 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정 보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보 정 방법. 【청구항 8】
제 5항에 있어서，
상기 제어부는 상기 음원 방향 검지 센서에서 측정된 상기 로봇 플랫품의 전 방 방향을 기준으로 상측 및 하측에 위치하는 음원의 신호를 이용하여， 상기 로봇 플랫품의 좌측 또는 우측에 설치된 상기 음원 방향 검지 센서의 마이크로폰 간의 시간지연지도 정보를 보정하는 것을 특징으로 하는 음원 방향 검지 센서의 채널간 시간지연지도 보정 방법 .
PCT/KR2013/000230 2012-01-13 2013-01-11 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법 WO2013105805A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120004233A KR101244617B1 (ko) 2012-01-13 2012-01-13 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법
KR10-2012-0004233 2012-01-13

Publications (1)

Publication Number Publication Date
WO2013105805A1 true WO2013105805A1 (ko) 2013-07-18

Family

ID=48182052

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/000230 WO2013105805A1 (ko) 2012-01-13 2013-01-11 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101244617B1 (ko)
WO (1) WO2013105805A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185543B2 (en) 2014-12-30 2019-01-22 Nokia Technologies Oy Method, apparatus and computer program product for input detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110046211A (ko) * 2009-10-26 2011-05-04 한국전자통신연구원 이동체의 지도 작성 장치 및 그 방법
KR20110057661A (ko) * 2009-11-24 2011-06-01 삼성전자주식회사 이동체 및 그 제어방법
KR20110060183A (ko) * 2009-11-30 2011-06-08 한국과학기술연구원 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
KR20110070670A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 자율 주행 로봇을 이용한 지도 생성 방법, 이를 이용한 최적 주행 경로 산출 방법 및 이들을 수행하는 로봇 제어 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931401B1 (ko) 2007-11-14 2009-12-11 한국과학기술연구원 스펙트럼 왜곡을 유발하는 인공귀 및 이를 이용한 음원방향 검지 방법
KR101081752B1 (ko) 2009-11-30 2011-11-09 한국과학기술연구원 인공귀 및 이를 이용한 음원 방향 검지 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110046211A (ko) * 2009-10-26 2011-05-04 한국전자통신연구원 이동체의 지도 작성 장치 및 그 방법
KR20110057661A (ko) * 2009-11-24 2011-06-01 삼성전자주식회사 이동체 및 그 제어방법
KR20110060183A (ko) * 2009-11-30 2011-06-08 한국과학기술연구원 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
KR20110070670A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 자율 주행 로봇을 이용한 지도 생성 방법, 이를 이용한 최적 주행 경로 산출 방법 및 이들을 수행하는 로봇 제어 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185543B2 (en) 2014-12-30 2019-01-22 Nokia Technologies Oy Method, apparatus and computer program product for input detection

Also Published As

Publication number Publication date
KR101244617B1 (ko) 2013-03-18

Similar Documents

Publication Publication Date Title
CN104554049B (zh) 可佩戴式计算机
JP2012125579A5 (ko)
CN104237849B (zh) 一种双五元十字阵被动声定位融合方法
EP2096460A3 (en) Calibration device and calibration method for range image sensor
EP3158731B1 (en) System and method for adjusting a baseline of an imaging system with microlens array
US9983696B2 (en) Force-sensing stylus for use with electronic devices
US10481680B2 (en) Systems and methods to provide a shared augmented reality experience
US10446172B2 (en) Noise source visualization data accumulation and display device, method, and acoustic camera system
US10732280B1 (en) Optical sensor for measuring displacement of a haptic plate
CN107576275A (zh) 一种利用摄影测量技术对充气结构进行应变场测量的方法
US20200383610A1 (en) Posture identifying device, posture identifying system, and posture identifying method
CN106340059A (zh) 一种基于多体感采集设备三维建模的自动拼接方法
US20190121432A1 (en) Haptic device for artificial reality systems
CN108646221A (zh) 一种基于声源阵列的空间麦克风定位方法
WO2022062901A1 (zh) 一种标定方法、装置、单目激光测量设备及标定系统
US8369550B2 (en) Artificial ear and method for detecting the direction of a sound source using the same
KR20180051406A (ko) 스마트 의자 및 압력정보를 처리하는 정보처리장치
EP4385406A3 (en) Sensor determination
EP3407169A1 (en) Method for determining change in initial distance of sensing electrode
KR101172355B1 (ko) 가변 구조형 마이크로폰 어레이를 이용한 음원 방향 검지 장치 및 방법
WO2013105805A1 (ko) 음원 방향 검지 센서의 채널간 시간지연지도 보정 시스템 및 방법
US10010267B2 (en) Massage measurement apparatus and massage measurement method
KR101217254B1 (ko) 위치 변경된 음원 방향 검지 센서의 채널간 시간지연지도 생성 시스템 및 방법
JP6871541B2 (ja) 輪郭形状推定装置
US20170285133A1 (en) Determining location using time difference of arrival

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13736130

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13736130

Country of ref document: EP

Kind code of ref document: A1