WO2010020162A1 - 控制声音聚焦的方法、通讯设备及通讯系统 - Google Patents

控制声音聚焦的方法、通讯设备及通讯系统 Download PDF

Info

Publication number
WO2010020162A1
WO2010020162A1 PCT/CN2009/073283 CN2009073283W WO2010020162A1 WO 2010020162 A1 WO2010020162 A1 WO 2010020162A1 CN 2009073283 W CN2009073283 W CN 2009073283W WO 2010020162 A1 WO2010020162 A1 WO 2010020162A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
speaker
target sound
position information
relative
Prior art date
Application number
PCT/CN2009/073283
Other languages
English (en)
French (fr)
Inventor
詹五洲
王东琦
Original Assignee
深圳华为通信技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳华为通信技术有限公司 filed Critical 深圳华为通信技术有限公司
Priority to EP09807861A priority Critical patent/EP2320676A4/en
Publication of WO2010020162A1 publication Critical patent/WO2010020162A1/zh
Priority to US13/030,893 priority patent/US20110135125A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Definitions

  • the present invention relates to the field of communication technologies, and in particular, to a method, a communication device, and a communication system for controlling sound focus.
  • the speaker array can converge the sound to the position of the listener, which has the function of sound focusing.
  • the speaker array with sound focusing function can be used in communication equipment, such as telephone terminal equipment and video conference terminal equipment, so that it does not affect the work and life of others on the one hand, and ensures that the communication content is not known by others on the other hand to ensure The privacy of communication.
  • a speaker array having a sound focusing function is placed in a communication device.
  • a sound focus position is controlled, if a person's local listener position changes, it is necessary to manually adjust the position of the sound focus to adapt to the local listener position. The change is very inconvenient to use.
  • the technical problem to be solved by the embodiments of the present invention is to provide a method, a communication device and a communication system for controlling sound focus, which can control the sound of the speaker to be focused to the target sound source according to the location of the local caller (target sound source).
  • a method of controlling sound focus comprising:
  • the sound of the speaker in the speaker array is controlled to focus on the target sound source based on the acquired position information.
  • a communication device comprising:
  • a position obtaining unit configured to acquire a position signal control unit of the target sound source relative to the speaker in the speaker array, configured to control sound of the speaker in the speaker array to be focused according to the position information acquired by the position acquiring unit Target sound source.
  • a communication system comprising: a target sound source, a communication device, and a speaker array, wherein the communication device is configured to acquire position information of a target sound source relative to a speaker in the speaker array; and according to the acquired position information, the control center The sound of the speaker in the speaker array is focused to the target sound source;
  • the speaker array is configured to focus sound to the target sound source under the control of the communication device.
  • the embodiment of the invention obtains the position information of the target sound source relative to the speaker, and uses the acquired position information of the target sound source relative to the speaker to control the position of the remote user's audio signal to the speaker and focus the speaker to the target sound source. Realizing that the sound of the speaker array is automatically controlled to the target sound source according to the position of the target sound source.
  • Embodiment 1 is a flowchart of a method for controlling sound focus according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic diagram of calculation of a sound source to a reference microphone according to Embodiment 1 of the present invention
  • FIG. 3 is a schematic diagram of calculation of a sound source to a reference speaker according to Embodiment 1 of the present invention
  • FIG. 4 is a schematic diagram of a layout of a speaker array according to Embodiment 1 of the present invention.
  • FIG. 5 is a schematic diagram of focusing of a control speaker according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart of a method for controlling sound focus according to Embodiment 2 of the present invention.
  • FIG. 7 is a schematic diagram of focusing of a control speaker according to Embodiment 2 of the present invention.
  • FIG. 8 is a schematic diagram of a speaker focusing result according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart of a method for controlling sound focus according to Embodiment 3 of the present invention.
  • FIG. 10 is a schematic diagram of azimuth calculation according to Embodiment 3 of the present invention.
  • FIG. 11 is a structural diagram of a communication device according to Embodiment 3 of the present invention.
  • An embodiment of the present invention provides a method for controlling sound focus, comprising: acquiring position information of a target sound source relative to a speaker; and controlling sound of the speaker to focus on the target sound source according to the acquired position information.
  • the sound of the speaker array can be controlled to be focused to the sound source according to the location of the sound source.
  • a first embodiment of the present invention provides a method for controlling sound focus. The method includes: Step 101: A sound source positioning module calculates position information of a sound source relative to a reference microphone.
  • the shape of the microphone array may be a shape of a line, a rectangle, a circle, or the like.
  • the sound source positioning module calculates the position of the calculated sound source to the microphone array as the position of the sound source to the reference microphone, wherein the reference microphone is located at the center of the microphone array.
  • a linear array of microphones composed of three microphones is taken as an example to illustrate how to obtain position information of a sound source relative to a reference microphone, that is, how to calculate the distance and azimuth of the sound source to the reference microphone (M2). The angle between the straight line direction of the sound source and the reference microphone and the longitudinal direction.
  • T(x, y) is a sound source
  • Ml, M2 and M3 are three omnidirectional microphones with a spacing d.
  • the delay between M1 and M2, M2 and M3 can be obtained as r 12 and r 23 respectively
  • the delay between adjacent microphones is multiplied by the speed of sound to obtain the adjacent microphone.
  • the sound source is assumed to be relative to the microphones M1, M2.
  • the distances from M3 are R1, R, and R2, respectively, that is, the sound source is located at the intersection of three circles whose centers are M1, M2, and M3, and R1, R, and R2 are radii.
  • the difference d 12 between the sound path from the sound source to M1 and the sound path from the sound source to M2 is R r R
  • the difference d 23 between the sound path from sound source to M2 and the sound path from sound source to M3 is R 2 -R
  • the difference in sound path between adjacent microphones is the distance difference between the sound source and the adjacent microphone
  • ⁇ The horizontal and vertical coordinates of the sound source relative to the reference microphone are:
  • the microphone array in addition to the target sound source (ie local user), the microphone array is also interfered by other sound sources, such as the noise source, the sound of the far-end user playing through the speaker, and the sound of other non-target users.
  • noise suppression, echo cancellation, etc. can be used to eliminate the target sound source.
  • the target sound source can be determined in the following two ways:
  • the first way is: In this step After obtaining the distance from the sound source to the reference microphone, if the distance of the sound source relative to the reference microphone is less than the preset distance, confirm that the sound source is the target sound source; otherwise, confirm that the sound source is not the target sound source; the second way is : Pre-set the voiceprint feature of the local user (ie, the target sound source) in the communication device. If the voiceprint feature of the sound source is the voiceprint feature of the saved target sound source, confirm the target sound source, and calculate the sound source.
  • step 101 calculates the position information of the target sound source relative to the reference microphone for the sound source localization module.
  • Step 102 The location calculation module acquires location information of the target sound source relative to the reference speaker according to the relative position of the reference microphone to the reference speaker and the acquired position information of the target sound source relative to the reference microphone.
  • the relative position of the reference microphone to the reference speaker needs to be determined.
  • there are different methods for obtaining the relative position of the reference microphone to the reference speaker there are different methods:
  • the speaker array and the microphone array are not on the same communication device, but on separate devices, the relative positions of the two are changed. At this time, the relative positions of the reference microphone to the reference speaker are determined as follows:
  • the microphone array receives the sound emitted by the speaker array, and the sound source positioning module connected to the microphone array calculates the position of the sound source (in this case, the reference speaker in the speaker array) to the reference microphone of the microphone array, that is, obtains the relative reference microphone to the reference speaker.
  • the position, the calculation method of calculating the position of the sound source (the reference speaker in the speaker array) to the reference microphone is the same as the calculation of the position of the sound source to the reference microphone in step 101, and details are not described herein again.
  • the sound emitted by the speaker array used for testing can be either the sound of the far-end user or the dedicated test voice.
  • the specific implementation manner of obtaining the position information of the sound source relative to the reference speaker in this step can be seen in FIG. 3.
  • the above step 101 has obtained the horizontal and vertical coordinates of the target sound source to the reference microphone respectively (X, y);
  • the obtained reference speaker has a horizontal and vertical coordinate with respect to the reference microphone ( ⁇ , y0), then X is subtracted from ⁇ to obtain x1 as the abscissa xl of the target sound source with respect to the reference speaker, and y is subtracted from y to obtain yl as Obtaining, according to the ordinate yl of the reference sound source, the position information of the target sound source relative to the reference speaker according to xl and yl, that is, obtaining the distance L of the target sound source relative to the reference speaker, and the target sound source The angle between the straight line and the longitudinal direction of the reference speaker ⁇
  • the specific formula is as follows:
  • ⁇ arctan( Jc 1 ) using the distance L and ⁇ of the target sound source relative to the reference speaker, depending on the layout of the speaker array, The distance from the speaker in the speaker array other than the reference speaker to the target sound source is calculated. As shown in Fig. 4, it is assumed that the distance from the speaker array speaker to the target sound source is Li.
  • Step 103 The delay and gain parameter calculation module calculates the delay parameter (ie, delay time) and the gain parameter according to the distance Li from the speaker to the target sound source.
  • the process of calculating the delay time of the i-th speaker to the audio signal is as follows: To achieve sound focusing to the target sound source, the sound emitted by the speaker in the speaker array should arrive at a certain time simultaneously.
  • the target sound source is centered on the spherical surface. In Figure 4, the target sound source is closest to the left speaker. When the left speaker emits sound, the sound of all the speakers should reach the position of the speaker shown by the dotted line in Figure 4, that is, in the same On the sphere.
  • the far right speaker in the figure is farthest from the target source, so no delay is required, and the leftmost speaker has the longest delay.
  • Lmax be the distance from the rightmost speaker to the target source. Li is the distance of the i-th speaker from the target source.
  • the delay time of the i-th speaker to the audio signal is:
  • the sound processing module controls the sound of the speaker to focus on the target sound source according to the delay time and the gain parameter of the speaker to the audio signal.
  • the specific implementation manner of the step is: the delay module in the sound processing module controls the audio signal of the remote user to be delayed according to the delay time of the audio signal of the i-th speaker, and the gain module in the sound processing module is according to the i-th
  • the speaker adjusts the amplitude of the delayed audio signal to the gain parameter of the audio signal, and the amplification module amplifies the amplitude modulated audio signal and inputs it to the corresponding i-th speaker.
  • the delay module and the gain module may be filters.
  • the position information of the target sound source relative to the microphone is obtained according to the position information of the target sound source relative to the microphone
  • the position information of the target sound source relative to the speaker is obtained according to the relative position of the microphone to the speaker and the position information of the target sound source relative to the microphone.
  • a second embodiment of the present invention provides a method for controlling sound focus.
  • the method is different from the first embodiment in that there are two target sound sources, and the method includes:
  • Step 601 The sound source positioning module calculates position information of the first target sound source and the second target sound source relative to the reference microphone.
  • Step 602 The position calculation module acquires the first target sound source and the second target sound according to the relative position of the reference microphone to the reference speaker and the acquired position information of the first target sound source and the second target sound source relative to the reference microphone. The position information of the source relative to the reference speaker.
  • Step 603 The delay and gain parameter calculation module calculates a first delay parameter and a first gain parameter of the speaker focused to the first target sound source according to the position information of the first target sound source relative to the reference speaker; according to the second target sound source A second delay parameter and a second gain parameter of the speaker focused to the second target sound source are calculated relative to the position information of the reference speaker.
  • Step 604 The sound processing module controls the speaker according to the first delay parameter and the first gain parameter of the speaker focused to the first target sound source, and the second delay parameter and the second gain parameter of the speaker focused to the second target sound source. Focusing on the first target sound source and the second target sound source.
  • this step is different from step 104 in the first embodiment in that one speaker corresponds to two delay modules (first delay module and second delay module) and two gain modules respectively.
  • a gain module and a second gain module wherein the first delay module and the second delay module respectively delay the audio signal according to the first delay parameter and the second delay parameter calculated in step 603, and the first gain module is configured according to the first gain parameter Adjusting the audio signal after the first delay module to obtain a first audio signal, and the second gain module adjusts the audio signal after the second delay module according to the second gain parameter to obtain a second audio signal
  • Two audio signal combinations (wherein the two audio signals can be combined by adding two audio signals) and then input to the amplification module for amplification, and the amplified audio signal is input to the speaker to focus the speaker to
  • the first target sound source and the second target sound source are as shown in FIG.
  • the position of the first target sound source and the second target sound source relative to the speaker is obtained according to the relative position of the microphone to the speaker and the acquired position information of the first target sound source and the second target sound source relative to the microphone.
  • the sound source enables automatic control of the sound of the speaker array to focus on multiple target sound sources.
  • a third embodiment of the present invention provides a method for controlling sound focus.
  • the method is different from the first embodiment in that image recognition is used to obtain the position of the sound source to the camera, and then according to the relative position of the camera relative to the reference speaker.
  • Calculating the position of the sound source to the reference speaker the method specifically includes: Step 901: The sound source positioning module calculates position information of the target sound source relative to the camera.
  • This step specifically includes:
  • Image recognition technology is first used to identify the sound source. Since the sound source is human, it can be identified by existing facial skin color recognition technology and lip motion characteristics.
  • the azimuth of the sound source relative to the camera can be calculated according to the position of the sound source in the image taken by the camera and the focal length of the camera itself, and the azimuth is the linear direction and the lateral direction of the sound source to the focal length.
  • Angle Referring to Figure 10, the position of the recognition source si in the image taken by the camera is sl, and it is assumed that the focal length of the camera is fl, so it is easy to obtain si, the distance to the center of the image ml, then the azimuth can be obtained as follows Out:
  • the position of the sound source to the camera includes the distance information in addition to the azimuth angle. Therefore, the sound source is captured by the stereo camera, and then the image depth matching information is extracted by using a technique such as image matching, that is, the distance from the sound source to the camera. information.
  • the target sound source may be determined, and the manner of determining the target sound source may be: pre-storing the voiceprint feature of the local user (ie, the target sound source) in the communication device, if the voiceprint feature of the sound source is saved The voiceprint feature of the target sound source is confirmed as the target sound source.
  • Step 902 The position calculation module acquires a position of the sound source to the reference speaker according to the relative position of the camera to the reference speaker and the obtained position information of the target sound source relative to the camera.
  • Step 903 - Step 904 is the same as step 103 - step 104.
  • the third embodiment of the present invention obtains the position information of the target sound source relative to the speaker according to the relative position of the camera to the speaker and the obtained position information of the target sound source with respect to the camera, and utilizes Obtaining the position information of the target sound source relative to the speaker, calculating the delay parameter of the delay module and the gain parameter of the gain module in the sound processing module, so as to control the audio signal of the remote user to be input to the speaker after delay and gain, so that the speaker is focused to The position of the target sound source realizes the automatic control of the sound of the speaker array to the target sound source according to the position of the target sound source.
  • a fourth embodiment of the present invention provides a communication device, where the device includes:
  • the position obtaining unit 1101 is configured to acquire position information of the target sound source relative to the speaker, where the speaker is a speaker in the speaker array;
  • the control unit 1102 is configured to control, according to the location information acquired by the location acquiring unit, the sound of the speaker to be focused to the target sound source.
  • the device further includes: a target sound source determining unit, configured to determine the target sound source.
  • the position obtaining unit 1101 includes: a sound source positioning module, configured to acquire position information of the target sound source relative to the microphone; a position calculation module, configured to: according to a relative position of the microphone to the speaker and a position of the target sound source relative to the microphone And acquiring the position information of the target sound source relative to the speaker; at this time, the target sound source determining unit is configured to determine the target sound source according to the voiceprint feature of the pre-stored target sound source or the distance of the sound source to the microphone.
  • the location acquiring unit 1101 includes: a sound source positioning module, configured to acquire position information of the target sound source relative to the camera; and a position calculation module, configured to: relative to the relative position of the camera to the speaker and the acquired target sound source Obtaining position information of the target sound source relative to the speaker, and determining the target sound source according to the voiceprint feature of the pre-stored target sound source.
  • the control unit 1102 includes: a calculation module 11021 and a sound processing module 11022.
  • the calculation module is configured to calculate a delay parameter and a gain parameter of an audio signal
  • the calculation module is referred to as a delay and gain parameter calculation module.
  • a delay and gain parameter calculation module configured to calculate a delay parameter and a gain parameter of the audio signal to be input to the speaker according to the obtained position information of the target sound source relative to the speaker in the speaker array Number
  • the sound processing module is configured to delay the audio signal and adjust the delayed audio signal according to the calculated delay parameter and the gain parameter of the audio signal, and input the adjusted audio signal to the corresponding speaker.
  • the sound processing module includes a delay module and a gain module, wherein the delay module is configured to delay and output the audio signal according to the delay parameter, and the gain module is configured to adjust the delayed audio signal according to the gain parameter.
  • the amplitude of the audio signal is input to the corresponding speaker.
  • the target sound source comprises: a first target sound source and a second target sound source, wherein the calculated delay parameter and the gain parameter are respectively the first according to the position information of the first target sound source relative to the speaker in the speaker array a delay parameter and a first gain parameter; the calculated delay parameter and the gain parameter are respectively a second delay parameter and a second gain parameter according to position information of the second target sound source relative to the speaker in the speaker array;
  • the sound processing module includes:
  • a first delay module configured to delay the audio signal according to the first delay parameter, where the first gain module is configured to adjust, according to the first gain parameter, the amplitude of the audio signal delayed by the first delay module to obtain the first path audio signal;
  • a second delay module configured to delay the audio signal according to the second delay parameter
  • a second gain module configured to adjust, according to the second gain parameter, the amplitude of the audio signal delayed by the second delay module to obtain a second path audio signal
  • a combination module configured to combine two audio signals from the first gain module and the second gain module into the amplification module; wherein the combination module can combine the two audio signals by performing two channels of audio signals Add together.
  • an amplification module configured to amplify the audio signal from the combination module and input to the corresponding speaker.
  • the position obtaining unit 1101 in the communication device provided by the fourth embodiment of the present invention acquires the position information of the target sound source relative to the speaker, and the control unit 1102 uses the position information of the target sound source relative to the speaker to control the audio of the remote user. After the signal is input to the speaker, focus the speaker to the target The position of the sound source enables automatic control of the sound of the speaker array to the target sound source according to the position of the target sound source.
  • a fifth embodiment of the present invention provides a communication system, including: a target sound source, a communication device, and a speaker array, where
  • the communication device is configured to acquire position information of the target sound source relative to the speaker in the speaker array; and according to the acquired position information, control sound of the speaker in the speaker array to focus to the target sound source;
  • the speaker array is configured to focus sound to the target sound source under the control of the communication device.
  • the system also includes: a microphone array,
  • the microphone array is configured to receive a sound signal of a target sound source
  • the communication device is configured to obtain, according to the sound signal, a time delay between adjacent microphones of the microphone array; multiplying a delay between the adjacent microphones by a speed of sound to obtain an interval between the adjacent microphones a difference in sound path; a difference in sound path between the adjacent microphones is a distance difference between the sound source and the adjacent microphone; and obtaining, according to the sound path difference, a position of the target sound source to a reference microphone in the microphone array;
  • the position information of the target sound source relative to the speaker is obtained according to the relative position of the reference microphone to the speaker in the speaker array and the position information of the target sound source relative to the reference microphone.
  • the system also includes: a camera,
  • the camera is configured to image a target sound source
  • the communication device is configured to acquire position information of the target sound source relative to the camera according to the captured image; and acquire the location according to the relative position of the camera to the speaker in the speaker array and the acquired position information of the target sound source relative to the camera
  • the communication device in the fifth embodiment of the present invention acquires the position information of the target sound source relative to the speaker, and uses the acquired position information of the target sound source relative to the speaker to control the sound of the speaker. Focusing on the target sound source enables automatic control of the sound of the speaker array to the target sound source according to the position of the target sound source.

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

控制声音聚焦的方法、 通讯设备及通讯系统
本申请要求于 2008 年 8 月 19 日提交中国专利局、 申请号为 200810135510.4、 发明名称为 "控制声音聚焦的方法、 通讯设备及通讯系统" 的中国专利申请的优先权， 其全部内容通过引用结合在本申请中。
技术领域
本发明涉及通信技术领域，特别涉及一种控制声音聚焦的方法、通讯设备 及通讯系统。
背景技术
扬声器阵列可以将声音汇聚到听众所在的位置， 即具有声音聚焦的功能。 具有声音聚焦功能的扬声器阵列可以用于通讯设备中，例如电话终端设备和视 频会议终端设备，这样一方面不会影响到他人工作和生活， 另一方面可以保证 通讯内容不被他人知道， 以保证通讯的私密性。
现有技术中将具有声音聚焦功能的扬声器阵列放置在通讯设备中，在控制 声音聚焦位置时，如果人的本地听者位置发生变化， 需要不断手动去调整声音 聚焦的位置来适应本地听者位置的变化， 使用非常不方便。
发明内容
本发明实施例要解决的技术问题是提供一种控制声音聚焦的方法、通讯设 备及通讯系统， 能够根据本地通话人（目标声源 )所在的位置， 控制扬声器的 声音聚焦到目标声源。
有鉴于此， 本发明实施例提供：
一种控制声音聚焦的方法， 包括：
获取目标声源相对于扬声器阵列中扬声器的位置信息；
根据获取的所述位置信息，控制所述扬声器阵列中扬声器的声音聚焦到所 述目标声源。
一种通讯设备， 包括：
位置获取单元， 用于获取目标声源相对于扬声器阵列中扬声器的位置信 控制单元， 用于根据所述位置获取单元获取的所述位置信息，控制所述扬 声器阵列中扬声器的声音聚焦到所述目标声源。 一种通讯系统， 包括： 目标声源、 通讯设备和扬声器阵列， 其中， 所述通讯设备， 用于获取目标声源相对于扬声器阵列中扬声器的位置信 息； 根据获取的所述位置信息，控制所述扬声器阵列中扬声器的声音聚焦到所 述目标声源；
所述扬声器阵列， 用于在所述通讯设备的控制下，将声音聚焦到所述目标 声源。
上述技术方案具有如下有益效果：
本发明实施例获取目标声源相对于扬声器的位置信息，利用获取的目标声 源相对于扬声器的位置信息， 来控制远端用户的音频信号输入到扬声器后，使 扬声器聚焦到目标声源的位置，实现了根据目标声源的位置自动控制扬声器阵 列的声音聚焦到目标声源。
附图说明
图 1为本发明实施例一提供的控制声音聚焦的方法流程图；
图 2为本发明实施例一提供的声源到参考麦克风的计算示意图；
图 3为本发明实施例一提供的声源到参考扬声器的计算示意图；
图 4为本发明实施例一提供的扬声器阵列的布局示意图；
图 5为本发明实施例一提供的控制扬声器的聚焦示意图；
图 6为本发明实施例二提供的控制声音聚焦的方法流程图；
图 7为本发明实施例二提供的控制扬声器的聚焦示意图；
图 8为本发明实施例二提供的扬声器聚焦结果示意图；
图 9为本发明实施例三提供的控制声音聚焦的方法流程图；
图 10为本发明实施例三提供的方位角计算示意图；
图 11为本发明实施例三提供的通讯设备结构图。
具体实施方式
本发明实施例提供一种控制声音聚焦的方法， 包括： 获取目标声源相对于 扬声器的位置信息； 根据获取的所述位置信息，控制所述扬声器的声音聚焦到 所述目标声源。使用本发明实施例提供的技术方案，能够根据声源所在的位置， 控制扬声器阵列的声音聚焦到声源。 参阅图 1, 本发明实施例一提供一种控制声音聚焦的方法， 该方法包括： 步骤 101、 声源定位模块计算声源相对于参考麦克风的位置信息。
麦克风阵列的形状可以是线形、 矩形、 圆形等形状， 声源定位模块计算计 算的声源到麦克风阵列的位置是声源到参考麦克风的位置， 其中， 参考麦克风 位于所述麦克风阵列的中心， 参阅图 2, 以三个麦克风组成的麦克风线性阵列 为例，说明如何获取声源相对于参考麦克风的位置信息， 即如何计算声源到参 考麦克风（M2)的距离和方位角^ 所述方位角为声源到参考麦克风的直线方 向与纵向方向的夹角。
如图 2所示， 假定 T(x, y)是声源， Ml、 M2和 M3为三个间距为 d的全向 麦克风。 根据从声源接收的语音信号， 能够获得 Ml与 M2、 M2与 M3之间的 时延分别为 r12和 r23, 将相邻麦克风之间的时延与声速相乘， 获得相邻麦克风 之间的声程差， 得到声源到 Ml的声程与声源到 M2的声程的差 （即 Ml与 M2之间的声程差） 为 d12= r12xC, 其中， C为声速； 同理， 得到声源到 M2 的声程与声源到 M3的声程的差（即 M2与 M3之间的声程差）为 d23= r23xC; 假定声源相对于麦克风 Ml、 M2和 M3的距离分别为 Rl、 R和 R2, 即认为声 源位于分别以 Ml、 M2与 M3为圆心， Rl、 R和 R2为半径的三个圆的交点上。 因此， 声源到 Ml的声程与声源到 M2的声程的差 d12即为 RrR, 声源到 M2 的声程与声源到 M3的声程的差 d23即为 R2-R, 即相邻麦克风之间的声程差为 声源到所述相邻麦克风的距离差， 具体如以下公式所示： di2 = Ri-R = ^R2 +2dRsm0 + d2 -R = dsin0 +— cos2 Θ + θ{―)
2R R d23 = R2-R= ^R2 -2dRsm0 + d2 -R = -d sin Θ +— cos2 Θ + θ{―) 忽略上述公式中的 ,得到方位角 S和声源到参考麦克风 M2的距离 R
Figure imgf000006_0001
的计算公式：
2d
D d 2Cos 20
κ = 则声源相对于参考麦克风的横纵坐标为：
X = R x Sin e y = R x Cos 0
在通讯过程中， 除了目标声源（即本地用户 )以外， 麦克风阵列还会受到 其他声源的干扰， 比如噪声源、 通过扬声器播放的远端用户的声音、 其他非目 标用户的声音等。对于前两种情况，可以采用噪声抑制、回声抵消等方式排除， 以确定目标声源； 对于第三种情况， 可以采用如下两种方式确定目标声源： 第 一种方式是： 在该步骤中获取声源到参考麦克风的距离后， 若声源相对于参考 麦克风的距离小于预设的距离， 确认该声源是目标声源， 否则， 确认该声源不 是目标声源； 第二种方式是： 预先将本地用户 （即目标声源）的声纹特征保存 在通讯设备中， 若声源的声纹特征是所保存的目标声源的声纹特征，确认为目 标声源，在计算声源相对于参考麦克风的位置信息时，可以只对符合所保存的 声紋特征的声源进行方位计算， 对不符合该声紋特征的声源不进行方位计算， 即在该步骤 101之前就确认了目标声源，步骤 101为声源定位模块计算目标声 源相对于参考麦克风的位置信息。
步骤 102、 位置计算模块根据参考麦克风到参考扬声器的相对位置和获取 的所述目标声源相对于参考麦克风的位置信息，获取目标声源相对于参考扬声 器的位置信息。
在该步骤之前， 需要确定参考麦克风到参考扬声器的相对位置，根据通讯 系统的不同，有不同的获取参考麦克风到参考扬声器的相对位置的方法， 例如 可以有如下两种获取方式： 第一种： 扬声器阵列和麦克风阵列集中在同一个通讯设备上， 则参考麦克 风到参考扬声器的相对位置是固定的，可以预先在位置计算模块中设置好参考 麦克风到参考扬声器的相对位置。
第二种： 扬声器阵列与麦克风阵列不在同一个通讯设备上， 而是在分离的 设备上， 则两种的相对位置是变化的， 此时确定参考麦克风到参考扬声器的相 对位置具体如下：
将扬声器阵列作为声源；
麦克风阵列接收扬声器阵列发出的声音，与麦克风阵列连接的声源定位模 块计算声源（此时为扬声器阵列中的参考扬声器）到麦克风阵列的参考麦克风 的位置， 即获得参考麦克风到参考扬声器的相对位置， 其计算声源（扬声器阵 列中的参考扬声器）到参考麦克风的位置的计算方式与步骤 101中计算声源到 参考麦克风的位置相同， 在此不再赘述。
其中， 用于测试的扬声器阵列发出的声音既可以是远端用户的声音， 也可 以是专用的测试语音。
该步骤中获取声源相对于参考扬声器的位置信息的具体实现方式可以参 见图 3所示，上述步骤 101已经得到目标声源到参考麦克风的横纵坐标分别为 ( X , y ); 假定所计算得到的参考扬声器相对于参考麦克风的横纵坐标为（χθ , y0 ),则将 X减去 χθ得到 xl作为所述目标声源相对于参考扬声器的横坐标 xl , 将 y减去 y0得到 yl作为目标声源相对于所述参考扬声器的纵坐标 yl , 根据 xl和 yl , 获取目标声源相对于参考扬声器的位置信息， 即获得目标声源相对 于所述参考扬声器的距离 L,和目标声源到参考扬声器的直线与纵向方向的夹 角^ 具体公式如下：
yl = y-y0
Figure imgf000007_0001
φ = arctan(Jc 1) 利用目标声源相对于参考扬声器的距离 L和^ 根据扬声器阵列的布局, 计算扬声器阵列中除参考扬声器以外的扬声器到目标声源的距离， 如图 4所 示， 假定扬声器阵列扬声器到目标声源的距离为 Li。
步骤 103、 延迟和增益参数计算模块根据扬声器到目标声源的距离 Li, 计 算延迟参数 (即延迟时间 )和增益参数。
假定扬声器阵列的布局如图 4所示， 计算第 i个扬声器对音频信号的延迟 时间的过程如下：要实现声音聚焦到目标声源，扬声器阵列中扬声器发出的声 音应该在某一个时刻同时到达以目标声源为中心的球面上，图 4中目标声源距 离左边的扬声器最近，在左边的扬声器发出声音的时刻， 所有扬声器的声音应 该到达图 4中虚线所示的扬声器的位置， 即在同一球面上。 图中最右边的扬声 器距离目标声源最远， 所以不需要延迟， 而最左边的扬声器的延迟时间最长。 令 Lmax为最右边的扬声器距离目标声源的距离， Li为第 i个扬声器距离目标 声源的距离， 则得到第 i个扬声器对音频信号的延迟时间为：
r;= (Lmax- Li) / C
计算第 i个扬声器对音频信号的增益参数的公式如下：
第 i个扬声器对音频信号的增益参数 = J「
Li 步骤 104、 声音处理模块根据扬声器对音频信号的延迟时间和增益参数， 控制扬声器的声音聚焦到目标声源。
参阅图 5, 该步骤的具体实现方式是： 声音处理模块中的延迟模块根据第 i个扬声器对音频信号的延迟时间控制远端用户的音频信号被延迟， 声音处理 模块中的增益模块根据第 i个扬声器对音频信号的增益参数调整被延迟后的音 频信号的幅度， 放大模块再将调幅后的音频信号放大， 输入到对应的第 i个扬 声器。 其中， 延迟模块、 增益模块可以是滤波器。
本发明实施例一通过获取目标声源相对于麦克风的位置信息，并根据麦克 风到扬声器的相对位置和所述目标声源相对于麦克风的位置信息，获得目标声 源相对于扬声器的位置信息， 利用获得的目标声源相对于扬声器的位置信息， 来计算声音处理模块中延迟模块的延迟参数和增益模块的增益参数，以控制远 端用户的音频信号经延迟和增益后输入到扬声器，使扬声器聚焦到目标声源的 位置， 实现了根据目标声源的位置， 自动控制扬声器阵列的声音聚焦到目标声 源。
参阅图 6, 本发明实施例二提供一种控制声音聚焦的方法， 该方法与实施 例一的区别在于有两个目标声源， 该方法包括：
步骤 601、 声源定位模块计算第一目标声源和第二目标声源相对于参考麦 克风的位置信息。
步骤 602、 位置计算模块根据参考麦克风到参考扬声器的相对位置和获取 的所述第一目标声源、第二目标声源相对于参考麦克风的位置信息， 获取第一 目标声源、 第二目标声源相对于参考扬声器的位置信息。
步骤 603、 延迟和增益参数计算模块根据第一目标声源相对于参考扬声器 的位置信息，计算聚焦到第一目标声源的扬声器的第一延迟参数和第一增益参 数； 根据第二目标声源相对于参考扬声器的位置信息，计算聚焦到第二目标声 源的扬声器的第二延迟参数和第二增益参数。
步骤 604、 声音处理模块根据聚焦到第一目标声源的扬声器的第一延迟参 数和第一增益参数，和聚焦到第二目标声源的扬声器的第二延迟参数和第二增 益参数， 控制扬声器聚焦到第一目标声源和第二目标声源。
参阅图 7, 与图 5相比， 该步骤与实施例一中步骤 104不同之处在于， 一 个扬声器分别对应两个延迟模块（第一延迟模块和第二延迟模块）和两个增益 模块（第一增益模块和第二增益模块）， 第一延迟模块和第二延迟模块分别根 据步骤 603所计算的第一延迟参数、第二延迟参数对音频信号进行延迟， 第一 增益模块根据第一增益参数对经第一延迟模块后的音频信号进行调整，得到第 一路音频信号，第二增益模块根据第二增益参数对经第二延迟模块后的音频信 号进行调整， 得到第二路音频信号， 将两路音频信号组合（其中， 对两路音频 信号组合的方式可以是将两路音频信号相加）后输入到放大模块放大， 经放大 模块放大后的音频信号输入到扬声器，以使扬声器聚焦到第一目标声源和第二 目标声源， 如图 8所示。
本发明实施例二根据麦克风到扬声器的相对位置和获取的第一目标声源、 第二目标声源相对于麦克风的位置信息， 获得第一目标声源、第二目标声源相 对于扬声器的位置信息，并分别计算聚焦到第一目标声源的扬声器的第一延迟 参数和第一增益参数，和聚焦到第二目标声源的扬声器的第二延迟参数和第二 增益参数， 利用所计算的延迟和增益参数，控制扬声器聚焦到第一目标声源和 第二目标声源， 实现了自动控制扬声器阵列的声音聚焦到多个目标声源。
参阅图 9, 本发明实施例三提供一种控制声音聚焦的方法， 该方法与实施 例一的区别在于采用图像识别来获得声源到摄像机的位置，再根据摄像机相对 于参考扬声器的相对位置，计算出声源到参考扬声器的位置，该方法具体包括: 步骤 901、 声源定位模块计算目标声源相对于摄像机的位置信息。
该步骤具体包括：
先采用图像识别技术识别出声源， 由于声源是人， 因此可以用现有的脸部 肤色识别技术以及嘴唇的运动特征等识别技术进行识别；
在识别出声源之后， 根据声源在摄像机所摄图像中的位置以及摄像机本身 的焦距可以计算出声源相对于摄像机的方位角，该方位角为声源到焦距的直线 方向与横向方向的夹角； 参阅图 10, 识别声源 si在摄像机所摄图像中的位置 为 sl，， 假定摄像机的焦距为 fl , 因此容易获得 si，到图像中心的距离 ml , 则 方位角 可按下式求出：
1
θ Λ = arctan
m 1 声源到摄像机的位置除了方位角之外，还包括距离信息， 因此用立体摄像 机拍摄声源， 然后采用图像匹配等技术， 可提取出声源的深度信息， 即声源到 摄像机的距离信息。 在该步骤之前， 可以确定目标声源， 确定目标声源的方式可以是： 预先将 本地用户 （即目标声源）的声纹特征保存在通讯设备中， 若声源的声纹特征是 所保存的目标声源的声纹特征， 确认为目标声源。 步骤 902、 位置计算模块根据摄像机到参考扬声器的相对位置和获取的所 述目标声源相对于摄像机的位置信息， 获取声源到参考扬声器的位置。
步骤 903 -步骤 904与步骤 103 -步骤 104相同。
本发明实施例三通过根据摄像机到扬声器的相对位置和获取的所述目标 声源相对于摄像机的位置信息， 获得目标声源相对于扬声器的位置信息， 利用 获得的目标声源相对于扬声器的位置信息，计算声音处理模块中延迟模块的延 迟参数和增益模块的增益参数，以控制远端用户的音频信号经延迟和增益后输 入到扬声器， 使扬声器聚焦到目标声源的位置， 实现了根据目标声源的位置， 自动控制扬声器阵列的声音聚焦到目标声源。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤 是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可 读存储介质中， 例如只读存储器， 磁盘或光盘等。
参阅图 11 , 本发明实施例四提供一种通讯设备， 该装置包括：
位置获取单元 1101 , 用于获取目标声源相对于扬声器的位置信息， 该扬 声器是扬声器阵列中的扬声器；
控制单元 1102, 用于根据所述位置获取单元获取的所述位置信息， 控制 扬声器的声音聚焦到所述目标声源。
该设备还包括： 目标声源确定单元， 用于确定目标声源。
所述位置获取单元 1101 包括： 声源定位模块， 用于获取目标声源相对于 麦克风的位置信息； 位置计算模块， 用于根据麦克风到扬声器的相对位置和所 述目标声源相对于麦克风的位置信息，获取所述目标声源相对于扬声器的位置 信息； 此时， 所述目标声源确定单元用于根据预存的目标声源的声纹特征或声 源到麦克风的距离确定目标声源。
或者， 所述位置获取单元 1101 包括： 声源定位模块， 用于获取目标声源 相对于摄像机的位置信息； 位置计算模块， 用于根据摄像机到扬声器的相对位 置和获取的所述目标声源相对于摄像机的位置信息，获取所述目标声源相对于 扬声器的位置信息； 此时， 所述目标声源确定单元用于根据预存的目标声源的 声纹特征确定目标声源。
其中， 所述控制单元 1102包括： 计算模块 11021和声音处理模块 11022, 当所述计算模块用于计算音频信号的延迟参数和增益参数时，该计算模块称为 延迟和增益参数计算模块。
延迟和增益参数计算模块，用于根据获取的所述目标声源相对于扬声器阵 列中扬声器的位置信息，计算待输入到扬声器的音频信号的延迟参数和增益参 数；
所述声音处理模块， 用于根据所计算的音频信号的延迟参数和增益参数， 对音频信号进行延迟和对延迟后的音频信号进行调整，将调整后的音频信号输 入到对应扬声器。 具体的， 声音处理模块包括延迟模块和增益模块， 其中， 延 迟模块， 用于根据所述延迟参数， 对音频信号进行延迟后输出； 增益模块， 用 于根据增益参数，调整被延迟后的音频信号的幅度，将调整后的音频信号输入 到对应扬声器。
优选的， 所述目标声源包括： 第一目标声源和第二目标声源， 根据第一目 标声源相对于扬声器阵列中扬声器的位置信息，所计算的延迟参数和增益参数 分别为第一延迟参数和第一增益参数；根据第二目标声源相对于扬声器阵列中 扬声器的位置信息，所计算的延迟参数和增益参数分别为第二延迟参数和第二 增益参数；
所述声音处理模块包括：
第一延迟模块， 用于根据第一延迟参数， 对音频信号进行延迟； 第一增益模块， 用于根据第一增益参数，调整经第一延迟模块延迟后的音 频信号的幅度， 得到第一路音频信号；
第二延迟模块， 用于根据第二延迟参数， 对音频信号进行延迟； 第二增益模块， 用于根据第二增益参数，调整经第二延迟模块延迟后的音 频信号的幅度， 得到第二路音频信号；
组合模块，用于将来自第一增益模块和第二增益模块的两路音频信号进行 组合并输入到放大模块； 其中，组合模块对两路音频信号进行组合的方式可以 是对两路音频信号进行相加。
放大模块， 用于将来自所述组合模块的音频信号放大后输入到对应扬声 器。
本发明实施例四所提供的通讯设备中的位置获取单元 1101获取目标声源 相对于扬声器的位置信息， 控制单元 1102利用所述目标声源相对于扬声器的 位置信息， 以控制远端用户的音频信号输入到扬声器后，使扬声器聚焦到目标 声源的位置，实现了根据目标声源的位置自动控制扬声器阵列的声音聚焦到目 标声源。 本发明实施例五提供一种通讯系统， 包括： 目标声源、 通讯设备和扬声器 阵列， 其中，
所述通讯设备， 用于获取目标声源相对于扬声器阵列中扬声器的位置信 息； 根据获取的所述位置信息，控制扬声器阵列中扬声器的声音聚焦到所述目 标声源；
所述扬声器阵列， 用于在所述通讯设备的控制下，将声音聚焦到所述目标 声源。
该系统还包括： 麦克风阵列，
所述麦克风阵列， 用于接收目标声源的声音信号；
所述通讯设备， 用于根据所述声音信号， 获取麦克风阵列相邻麦克风之间 的时延； 将所述相邻麦克风之间的时延与声速相乘， 获得所述相邻麦克风之间 的声程差； 所述相邻麦克风之间的声程差为声源到所述相邻麦克风的距离差； 根据所述声程差，获得所述目标声源到麦克风阵列中参考麦克风的位置； 根据 参考麦克风到扬声器阵列中扬声器的相对位置和目标声源相对于参考麦克风 的位置信息， 获取所述目标声源相对于扬声器的位置信息。
或者， 该系统还包括： 摄像机，
所述摄像机， 用于对目标声源摄像；
所述通讯设备， 用于根据所摄图像， 获取目标声源相对于摄像机的位置信 息；根据摄像机到扬声器阵列中扬声器的相对位置和获取的所述目标声源相对 于摄像机的位置信息，获取所述目标声源相对于扬声器阵列中扬声器的位置信 本发明实施例五中的通信设备获取目标声源相对于扬声器的位置信息，利 用获取的目标声源相对于扬声器的位置信息，控制扬声器的声音聚焦到所述目 标声源，实现了根据目标声源的位置自动控制扬声器阵列的声音聚焦到目标声 源。 以上对本发明实施例所提供的控制声音聚焦的方法、通讯设备及通讯系统 进行了详细介绍， 对于本领域的一般技术人员， 依据本发明实施例的思想， 在 具体实施方式及应用范围上均会有改变之处， 综上所述，本说明书内容不应理 解为对本发明的限制。

Claims

权 利 要 求
1、 一种控制声音聚焦的方法， 其特征在于， 包括：
获取目标声源相对于扬声器阵列中扬声器的位置信息；
根据获取的所述位置信息，控制所述扬声器阵列中扬声器的声音聚焦到所 述目标声源。
2、 根据权利要求 1所述的方法， 其特征在于，
所述获取目标声源相对于扬声器阵列中扬声器的位置信息包括： 获取目标声源相对于麦克风的位置信息；
根据麦克风到扬声器的相对位置和所述目标声源相对于麦克风的位置信 息， 获取所述目标声源相对于扬声器的位置信息。
3、 根据权利要求 2所述的方法， 其特征在于， 在获取目标声源相对于扬 声器阵列中扬声器的位置信息之前， 还包括：
以所述扬声器作为声源， 获取麦克风阵列相邻麦克风之间的时延； 将所述相邻麦克风之间的时延与声速相乘，获得所述相邻麦克风之间的声 程差；
根据所述声程差，获得所述扬声器到麦克风阵列中麦克风的方位角和所述 扬声器到所述麦克风的距离， 以形成所述麦克风到所述扬声器的相对位置。
4、 根据权利要求 1所述的方法， 其特征在于，
所述获取目标声源相对于扬声器阵列中扬声器的位置信息包括： 获取目标声源相对于摄像机的位置信息；
根据摄像机到扬声器的相对位置和获取的所述目标声源相对于摄像机的 位置信息， 获取目标声源相对于扬声器的位置信息。
5、 根据权利要求 1-4任一项所述的方法， 其特征在于， 在获取目标声源 相对于扬声器阵列中扬声器的位置信息之前， 还包括：
如果声源的声纹特征是预存的目标声源的声纹特征，确定所述声源为目标 声源。
6、 根据权利要求 2或 3所述的方法， 其特征在于， 在获取目标声源相对 于扬声器阵列中扬声器的位置信息之前， 该方法还包括：
获取声源到麦克风的距离， 若所述声源到麦克风的距离小于预设的距离， 确定所述声源为目标声源。
7、 根据权利要求 1所述的方法， 其特征在于，
所述根据获取的所述位置信息，控制所述扬声器阵列中扬声器的声音聚焦 到所述目标声源包括：
根据所获取的目标声源相对于扬声器阵列中扬声器的位置信息，计算待输 入到扬声器的音频信号的延迟参数； 根据所述延迟参数，控制音频信号经延迟 后向对应扬声器传输。
8、 根据权利要求 7所述的方法， 其特征在于，
控制所述扬声器阵列中扬声器的声音聚焦到所述目标声源还包括： 根据所获取的目标声源相对于扬声器阵列中扬声器的位置信息，计算待输 入到扬声器的音频信号的增益参数； 根据所述增益参数，调整被延迟后的音频 信号的幅度， 将调整后的音频信号输入到对应扬声器。
9、 根据权利要求 8所述的方法， 其特征在于，
所述目标声源包括： 第一目标声源和第二目标声源；
根据第一目标声源相对于扬声器阵列中扬声器的位置信息，所计算的延迟 参数和增益参数分别为第一延迟参数和第一增益参数；
根据第二目标声源相对于扬声器阵列中扬声器的位置信息，所计算的延迟 参数和增益参数分别为第二延迟参数和第二增益参数；
调整被延迟后的音频信号的幅度，将调整后的音频信号输入到对应扬声器 包括：
根据第一增益参数，调整根据第一延迟参数延迟后的音频信号的幅度，得 到第一路音频信号；
根据第二增益参数，调整根据第二延迟参数延迟后的音频信号的幅度，得 到第二路音频信号；
将调整得到的两路音频信号组合后输入到所述参考扬声器。
10、 一种通讯设备， 其特征在于， 包括：
位置获取单元， 用于获取目标声源相对于扬声器阵列中扬声器的位置信 控制单元， 用于根据所述位置获取单元获取的所述位置信息，控制所述扬 声器阵列中扬声器的声音聚焦到所述目标声源。
11、 根据权利要求 10所述的设备， 其特征在于，
所述位置获取单元包括：
声源定位模块， 用于获取目标声源相对于麦克风的位置信息；
位置计算模块，用于根据麦克风到扬声器的相对位置和所述目标声源相对 于麦克风的位置信息， 获取所述目标声源相对于扬声器的位置信息。
12、 根据权利要求 10所述的设备， 其特征在于，
所述位置获取单元包括：
声源定位模块， 用于获取目标声源相对于摄像机的位置信息；
位置计算模块，用于根据摄像机到扬声器的相对位置和获取的所述目标声 源相对于摄像机的位置信息， 获取所述目标声源相对于扬声器的位置信息。
13、 根据权利要求 10所述的设备， 其特征在于， 还包括：
目标声源确定单元，用于根据预存的目标声源的声纹特征或声源到麦克风 的距离确定目标声源。
14、 根据权利要求 10-13任一项所述的设备， 其特征在于，
所述控制单元包括： 计算模块和声音处理模块，
所述计算模块，用于根据所获取的目标声源相对于扬声器阵列中扬声器的 位置信息， 计算待输入到扬声器的音频信号的延迟参数；
所述声音处理模块包括延迟模块，
所述延迟模块，用于根据所述延迟参数，对所述音频信号进行延迟后输出。
15、 根据权利要求 14所述的设备， 其特征在于，
所述计算模块，还用于根据所获取的目标声源相对于扬声器阵列中扬声器 的位置信息， 计算待输入到扬声器的音频信号的增益参数；
所述声音处理模块还包括： 增益模块，
所述增益模块， 用于根据所述增益参数，对所述延迟模块输出的音频信号 进行幅度调整后输入到对应的扬声器。
16、 根据权利要求 15所述的设备， 其特征在于，
所述目标声源包括： 第一目标声源和第二目标声源；
所述计算模块根据第一目标声源相对于扬声器的位置信息，所计算的延迟 参数和增益参数分别为第一延迟参数和第一增益参数；根据第二目标声源相对 于扬声器的位置信息，所计算的延迟参数和增益参数分别为第二延迟参数和第 二增益参数；
所述延迟模块包括：
第一延迟模块， 用于根据第一延迟参数， 对音频信号进行延迟； 第二延迟模块， 用于根据第二延迟参数， 对音频信号进行延迟； 所述增益模块包括：
第一增益模块， 用于根据第一增益参数，调整经第一延迟模块延迟后的音 频信号的幅度， 得到第一路音频信号；
第二增益模块， 用于根据第二增益参数，调整经第二延迟模块延迟后的音 频信号的幅度， 得到第二路音频信号；
所述声音处理模块还包括： 组合模块， 用于将来自第一增益模块和第二增 益模块的两路音频信号进行组合。
17、 一种通讯系统， 其特征在于， 包括： 目标声源、 通讯设备和扬声器阵 列， 其中，
所述通讯设备， 用于获取目标声源相对于扬声器阵列中扬声器的位置信 息； 根据获取的所述位置信息，控制所述扬声器阵列中扬声器的声音聚焦到所 述目标声源；
所述扬声器阵列， 用于在所述通讯设备的控制下，将声音聚焦到所述目标 声源。
18、 根据权利要求 17所述的系统， 其特征在于， 该系统还包括： 麦克风 阵列，
所述麦克风阵列， 用于接收目标声源的声音信号；
所述通讯设备， 用于根据所述声音信号， 获得所述目标声源相对于麦克风 阵列中麦克风的位置信息；根据麦克风到扬声器阵列中扬声器的相对位置和所 述目标声源相对于所述麦克风的位置信息，获取所述目标声源相对于扬声器阵 列中扬声器的位置信息。
19、 根据权利要求 17所述的系统， 其特征在于， 该系统还包括： 摄像机， 所述摄像机， 用于对目标声源摄像；
所述通讯设备， 用于根据所摄图像，获取目标声源相对于摄像机的位置信 息；根据摄像机到扬声器阵列中扬声器的相对位置和所获取的目标声源相对于 摄像机的位置信息， 获取所述目标声源相对于扬声器阵列中扬声器的位置信
PCT/CN2009/073283 2008-08-19 2009-08-17 控制声音聚焦的方法、通讯设备及通讯系统 WO2010020162A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP09807861A EP2320676A4 (en) 2008-08-19 2009-08-17 METHOD, COMMUNICATION DEVICE AND COMMUNICATION SYSTEM FOR CONTROLLING SOUND FOCUSING
US13/030,893 US20110135125A1 (en) 2008-08-19 2011-02-18 Method, communication device and communication system for controlling sound focusing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200810135510A CN101656908A (zh) 2008-08-19 2008-08-19 控制声音聚焦的方法、通讯设备及通讯系统
CN200810135510.4 2008-08-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/030,893 Continuation US20110135125A1 (en) 2008-08-19 2011-02-18 Method, communication device and communication system for controlling sound focusing

Publications (1)

Publication Number Publication Date
WO2010020162A1 true WO2010020162A1 (zh) 2010-02-25

Family

ID=41706858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2009/073283 WO2010020162A1 (zh) 2008-08-19 2009-08-17 控制声音聚焦的方法、通讯设备及通讯系统

Country Status (4)

Country Link
US (1) US20110135125A1 (zh)
EP (1) EP2320676A4 (zh)
CN (1) CN101656908A (zh)
WO (1) WO2010020162A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47049E1 (en) * 2010-09-24 2018-09-18 LI Creative Technologies, Inc. Microphone array system

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102860041A (zh) * 2010-04-26 2013-01-02 剑桥机电有限公司 对收听者进行位置跟踪的扬声器
US9318096B2 (en) * 2010-09-22 2016-04-19 Broadcom Corporation Method and system for active noise cancellation based on remote noise measurement and supersonic transport
US20130033965A1 (en) * 2011-08-05 2013-02-07 TrackDSound LLC Apparatus and Method to Locate and Track a Person in a Room with Audio Information
US10107893B2 (en) 2011-08-05 2018-10-23 TrackThings LLC Apparatus and method to automatically set a master-slave monitoring system
US20130332156A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Sensor Fusion to Improve Speech/Audio Processing in a Mobile Device
JP6248930B2 (ja) * 2012-07-13 2017-12-20 ソニー株式会社 情報処理システムおよびプログラム
CN103832905A (zh) * 2012-11-20 2014-06-04 日立电梯（中国）有限公司 一种电梯轿厢位置检测装置
DE102013011696A1 (de) * 2013-07-12 2015-01-15 Advanced Acoustic Sf Gmbh Variable Vorrichtung zur Ausrichtung von Schallwellenfronten
CN104376847B (zh) * 2013-08-12 2019-01-15 联想(北京)有限公司 一种语音信号处理方法和装置
CN104422922A (zh) * 2013-08-19 2015-03-18 中兴通讯股份有限公司 一种移动终端实现声源定位的方法及装置
CN104703092A (zh) * 2013-12-09 2015-06-10 国民技术股份有限公司 音频信号的传输方法、装置、移动终端及音频通信系统
CN103916734B (zh) * 2013-12-31 2018-12-07 华为终端（东莞）有限公司 一种声音信号处理方法及终端
CN104038880B (zh) * 2014-06-26 2017-06-23 南京工程学院 一种双耳助听器语音增强方法
CN104270693A (zh) * 2014-09-28 2015-01-07 电子科技大学 虚拟耳机
US20160094914A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Usa Inc. Systems and methods for localizing audio streams via acoustic large scale speaker arrays
CN104244137B (zh) * 2014-09-30 2017-11-17 广东欧珀移动通信有限公司 一种录像过程中提升远景录音效果的方法及系统
JP6414459B2 (ja) * 2014-12-18 2018-10-31 ヤマハ株式会社 スピーカアレイ装置
CN104869498B (zh) * 2015-03-25 2018-08-03 深圳市九洲电器有限公司 声音播放控制方法及系统
CN105827800A (zh) * 2015-08-28 2016-08-03 维沃移动通信有限公司 一种电子终端及语音信号处理方法
DK179663B1 (en) * 2015-10-27 2019-03-13 Bang & Olufsen A/S Loudspeaker with controlled sound fields
CN105679328A (zh) * 2016-01-28 2016-06-15 苏州科达科技股份有限公司 一种语音信号处理方法、装置及系统
CN105721645A (zh) * 2016-02-22 2016-06-29 梁天柱 手机语音外设
CN107154266B (zh) * 2016-03-04 2021-04-30 中兴通讯股份有限公司 一种实现音频录制的方法及终端
CN105979434A (zh) * 2016-05-30 2016-09-28 华为技术有限公司 一种音量调节的方法及装置
CN107820037B (zh) * 2016-09-14 2021-03-26 中兴通讯股份有限公司 音频信号、图像处理的方法、装置和系统
CN106440192B (zh) * 2016-09-19 2019-04-09 珠海格力电器股份有限公司 一种家电控制方法、装置、系统及智能空调
CN107134285A (zh) * 2017-03-17 2017-09-05 宇龙计算机通信科技(深圳)有限公司 音频数据播放方法、音频数据播放装置和终端
CN106973160A (zh) * 2017-03-27 2017-07-21 广东小天才科技有限公司 一种隐私保护方法、装置及设备
US10349199B2 (en) 2017-04-28 2019-07-09 Bose Corporation Acoustic array systems
US10469973B2 (en) * 2017-04-28 2019-11-05 Bose Corporation Speaker array systems
CN109994123A (zh) * 2017-12-29 2019-07-09 宁波方太厨具有限公司 一种吸油烟机的语音筛选方法
CN110738992B (zh) * 2018-07-20 2022-01-07 珠海格力电器股份有限公司 语音信息的处理方法及装置、存储介质、电子装置
CN109104674B (zh) * 2018-09-18 2020-12-01 武汉轻工大学 面向听音者的声场重建方法、音频设备、存储介质及装置
CN109068234A (zh) * 2018-10-29 2018-12-21 歌尔科技有限公司 一种音频设备定向发声方法、装置、音频设备
CN111314821A (zh) * 2018-12-12 2020-06-19 深圳市冠旭电子股份有限公司 一种智能音箱播放方法、装置及智能音箱
CN111354369A (zh) * 2018-12-21 2020-06-30 珠海格力电器股份有限公司 一种语音采集方法及系统
CN109885162B (zh) * 2019-01-31 2022-08-23 维沃移动通信有限公司 振动方法及移动终端
CN110300279B (zh) * 2019-06-26 2021-11-02 视联动力信息技术股份有限公司 一种会议发言人的追踪方法及装置
CN112104928A (zh) * 2020-05-13 2020-12-18 苏州触达信息技术有限公司 一种智能音箱、控制智能音箱的方法和系统
CN112188368A (zh) * 2020-09-29 2021-01-05 深圳创维－Rgb电子有限公司 定向增强声音的方法及系统
US11895466B2 (en) 2020-12-28 2024-02-06 Hansong (Nanjing) Technology Ltd. Methods and systems for determining parameters of audio devices
CN112312278B (zh) * 2020-12-28 2021-03-23 汉桑（南京）科技有限公司 一种音响参数确定方法和系统
US20220360895A1 (en) * 2021-05-10 2022-11-10 Nureva, Inc. System and method utilizing discrete microphones and virtual microphones to simultaneously provide in-room amplification and remote communication during a collaboration session
CN113489841A (zh) * 2021-08-23 2021-10-08 Oppo广东移动通信有限公司 音质处理方法及装置、电子设备及计算机可读存储介质
CN113938792B (zh) * 2021-09-27 2022-08-19 歌尔科技有限公司 音频播放优化方法、设备和可读存储介质
CN113992772B (zh) * 2021-10-12 2024-03-01 维沃移动通信有限公司 电子设备及其音频信号处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534973A (zh) * 2003-04-01 2004-10-06 黄文义 可补偿麦克风灵敏度的音讯会议系统及其方法
CN1605225A (zh) * 2001-03-27 2005-04-06 1...有限公司 产生声场的方法和装置
CN1784900A (zh) * 2003-05-08 2006-06-07 坦德伯格电信公司 用于音源追踪的装置和方法
WO2007032108A1 (en) * 2005-09-15 2007-03-22 Yamaha Corporation Speaker apparatus and voice conference apparatus
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
CN101165775A (zh) * 1999-09-29 2008-04-23 1...有限公司 定向声音的方法和设备
US20090141915A1 (en) * 2007-12-04 2009-06-04 Samsung Electronics Co., Ltd. Method and apparatus for focusing sound using array speaker

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221081A (ja) * 1994-12-16 1996-08-30 Takenaka Komuten Co Ltd 音伝達装置
GB0127778D0 (en) * 2001-11-20 2002-01-09 Hewlett Packard Co Audio user interface with dynamic audio labels
JP2005197896A (ja) * 2004-01-05 2005-07-21 Yamaha Corp スピーカアレイ用のオーディオ信号供給装置
JP4285457B2 (ja) * 2005-07-20 2009-06-24 ソニー株式会社 音場測定装置及び音場測定方法
JP2007078545A (ja) * 2005-09-15 2007-03-29 Yamaha Corp 対象物検出装置及び音声会議装置
JP4929740B2 (ja) * 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165775A (zh) * 1999-09-29 2008-04-23 1...有限公司 定向声音的方法和设备
CN1605225A (zh) * 2001-03-27 2005-04-06 1...有限公司 产生声场的方法和装置
CN1534973A (zh) * 2003-04-01 2004-10-06 黄文义 可补偿麦克风灵敏度的音讯会议系统及其方法
CN1784900A (zh) * 2003-05-08 2006-06-07 坦德伯格电信公司 用于音源追踪的装置和方法
WO2007032108A1 (en) * 2005-09-15 2007-03-22 Yamaha Corporation Speaker apparatus and voice conference apparatus
JP2007266967A (ja) * 2006-03-28 2007-10-11 Yamaha Corp 音像定位装置およびマルチチャンネルオーディオ再生装置
US20090141915A1 (en) * 2007-12-04 2009-06-04 Samsung Electronics Co., Ltd. Method and apparatus for focusing sound using array speaker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47049E1 (en) * 2010-09-24 2018-09-18 LI Creative Technologies, Inc. Microphone array system

Also Published As

Publication number Publication date
EP2320676A1 (en) 2011-05-11
EP2320676A4 (en) 2011-09-28
CN101656908A (zh) 2010-02-24
US20110135125A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
WO2010020162A1 (zh) 控制声音聚焦的方法、通讯设备及通讯系统
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US10972835B2 (en) Conference system with a microphone array system and a method of speech acquisition in a conference system
EP2953348B1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
US10708436B2 (en) Normalization of soundfield orientations based on auditory scene analysis
US10091412B1 (en) Optimal view selection method in a video conference
CN102843540B (zh) 用于视频会议的自动摄像机选择
WO2018149275A1 (zh) 调整音箱输出的音频的方法和装置
KR20190039646A (ko) 복수의 음성 명령 디바이스를 사용하는 장치 및 방법
US11659349B2 (en) Audio distance estimation for spatial audio processing
CN110072172B (zh) 一种音频信号的输出方法、系统、电子设备及可读介质
US11284211B2 (en) Determination of targeted spatial audio parameters and associated spatial audio playback
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
US11140507B2 (en) Rendering of spatial audio content
US20230021918A1 (en) Systems, devices, and methods of manipulating audio data based on microphone orientation
JP2006211156A (ja) 音響装置
US11586407B2 (en) Systems, devices, and methods of manipulating audio data based on display orientation
US11620976B2 (en) Systems, devices, and methods of acoustic echo cancellation based on display orientation
US20220337945A1 (en) Selective sound modification for video communication
WO2023086303A1 (en) Rendering based on loudspeaker orientation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09807861

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009807861

Country of ref document: EP