WO2011088796A1 - 拾音控制方法和装置 - Google Patents

拾音控制方法和装置 Download PDF

Info

Publication number
WO2011088796A1
WO2011088796A1 PCT/CN2011/070452 CN2011070452W WO2011088796A1 WO 2011088796 A1 WO2011088796 A1 WO 2011088796A1 CN 2011070452 W CN2011070452 W CN 2011070452W WO 2011088796 A1 WO2011088796 A1 WO 2011088796A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
pickup
control
microphone
pickup device
Prior art date
Application number
PCT/CN2011/070452
Other languages
English (en)
French (fr)
Inventor
苏红宏
Original Assignee
华为终端有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为终端有限公司 filed Critical 华为终端有限公司
Publication of WO2011088796A1 publication Critical patent/WO2011088796A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Definitions

  • the present invention relates to the field of multimedia technologies, and in particular, to a sound collection control method and apparatus.
  • Method 1 A method of controlling sound pickup based on controlling the position of a microphone in a cylindrical covering.
  • the microphone is located in the cylinder cover.
  • the angle of the optical lens is adjusted (zoom)
  • the position of the microphone in the drum cover changes accordingly, thus achieving the pickup control.
  • Method 2 A sound pickup control method based on left and right channel outputs.
  • zoom control of the MIC is achieved by controlling the gain of the respective amplifiers. In this way, wide-angle/zoom-up is achieved by using the left and right channel outputs.
  • Method 1 only implements zoom adjustment, cannot adjust horizontally and vertically, and cannot change the sense of proximity of the sound, and the accuracy of zoom adjustment is low;
  • Method 2 must implement the pickup control through the two-channel output, which cannot be applied to the monophonic pickup environment, and the interface control of the pickup cannot be performed.
  • the prior art cannot control the interface of the sound pickup device in the sound pickup area, resulting in complicated control of the sound pickup device and a single control mode.
  • the pickup control method and apparatus provided by the embodiments of the present invention implement interface control in the process of pickup.
  • the sound collection control method provided by the embodiment of the present invention includes: receiving a control signal, and determining a sound pickup area adjustment parameter of a target sound pickup area according to the control signal, wherein the sound pickup area adjustment parameter is used for Adjusting the sound pickup device to adjust the sound pickup device to a target sound pickup area;
  • the pickup control is performed on at least one of the pickup devices according to the pickup region adjustment parameter, so that the pickup region corresponding to the audio signal output by the pickup device is paid with the target pickup region.
  • a sound pickup control apparatus comprising:
  • a receiving module configured to receive a control signal, and determine, according to the control signal, a sound pickup area adjustment parameter of a target sound collection area, where the sound pickup area adjustment parameter is used to adjust the sound pickup apparatus, and adjust the sound pickup apparatus To the target pickup area;
  • a sound collection control module configured to perform sound pickup control on at least one of the sound pickup devices according to the sound pickup region adjustment parameter, so that a sound pickup region corresponding to the audio signal output by the sound pickup device and the target The pickup area matches.
  • the embodiment of the present invention realizes the sound pickup device by receiving the sound pickup region control signal for the sound pickup device and determining the sound pickup region adjustment parameter of the target sound pickup region by the sound pickup region control signal.
  • the embodiment of the present invention can make the control of the pickup area of the pickup device more convenient.
  • Embodiment 1 is a flow chart of a method for collecting sounds according to Embodiment 1 of the present invention
  • FIG. 2 is a schematic diagram of the principle of the weight-based pickup control method according to the second embodiment of the present invention
  • FIG. 3 is a flowchart of the sound collection control method according to the third embodiment of the present invention
  • FIG. 3 is a schematic diagram of a microphone distribution according to Embodiment 3 of the present invention.
  • FIG. 4 is a schematic diagram showing the position of a sound source and a microphone according to Embodiment 4 of the present invention.
  • 5A is a schematic diagram of a cloud platform provided with a microphone according to Embodiment 5 of the present invention
  • 5B is a schematic diagram of a microphone pickup angle according to Embodiment 5 of the present invention
  • 5C is a beam diagram drawn in a polar coordinate system according to Embodiment 5 of the present invention.
  • FIG. 6A is a schematic diagram of a position of a sound source and a microphone according to Embodiment 6 of the present invention.
  • Figure 6B is a beam diagram of the sixth embodiment of the present invention
  • FIG. 9 is a schematic diagram of a microphone and a camera sharing a cloud platform according to an embodiment of the present invention.
  • Figure 10 is a schematic diagram showing the composition of the first embodiment of the sound pickup control device of the present invention.
  • 1 is a schematic diagram of the composition of the second embodiment of the sound collection control device of the present invention.
  • Figure 12 is a schematic diagram showing the composition of the third embodiment of the sound pickup control device of the present invention.
  • Figure 13 is a schematic diagram showing the composition of the fourth embodiment of the sound collecting control device of the present invention.
  • Figure 14 is a schematic diagram showing the composition of the fifth embodiment of the sound pickup control device of the present invention.
  • Figure 15 is a schematic diagram showing the composition of a control unit in Embodiment 5 of the sound pickup control device of the present invention.
  • Figure 16 is a schematic diagram showing the composition of the sixth embodiment of the sound pickup control device of the present invention.
  • Figure 17 is a block diagram of one implementation of the present invention.
  • Fig. 1, S300 receiving a control signal for performing pickup region control on the pickup device, by which the pickup region of the pickup device is adjusted to the target pickup region.
  • the sound pickup device herein may include one or more microphones.
  • the microphone here can be an omnidirectional microphone or a directional microphone, and multiple microphones can form an array of microphones.
  • all the microphones in the microphone array may be located on the same plane.
  • all the microphones form a plane polygon, the polygons may be regular polygons with equal side lengths, and a microphone may be disposed at the center of the polygon.
  • the sound pickup device in this embodiment may further set a dedicated microphone for background sound pickup, and the background sound dedicated microphone may be located in the same plane as other microphones in the sound pickup device, or may be combined with other microphones in the sound pickup device.
  • all the microphones in the sound collecting device may also be located on different planes.
  • the microphones are distributed in a shape of a polygonal push
  • the vertex of the polygonal pyramid is the position of the microphone
  • the polygonal push here Can be: triangular pyramid, quadrangular pyramid, pentagonal pyramid or more side pyramids and so on.
  • the bottom of the pyramid may be a regular polygon
  • the apex of the rib may be located on a straight line perpendicular to the regular polygon and passing through the center of the regular polygon.
  • control signal for performing the sound pickup area control of the received at least one microphone may be received through a network interface, and the control signal may be a control signal based on the remote control protocol.
  • the network interface can be a packet-switched IP network interface or a circuit-switched ISDN or E1 network interface.
  • Network access access methods may include wired (eg Ethernet, xDSL, xPON) access methods and wireless (eg WiFi, GSM, WiMAX) access methods.
  • the received control signal for performing the sound collection area control may also be received through a local control interface, such as the received control signal being a control signal sent by the remote controller and transmitted through the local control interface.
  • the local control interface can be a wired interface (such as RS232, etc.) or a wireless interface (such as a foreign interface, Bluetooth interface, etc.).
  • control signal included in the S300 may have a plurality of different contents, for example, the control signal includes information for initiating the sound collection control; and the control signal may include information for initiating the sound collection control,
  • the one or more parameters including the pickup control duration, the adjustment step information of the pickup control, or the target pickup area information or the number of pickup control times.
  • the control signal may include information for terminating the pickup control or information for continuing the pickup control or for activating the pre-stored target pickup region.
  • the above-mentioned pickup control duration can be implemented by a timer, that is, before the timer expires, the subsequent S310 and/or S320 are executed; when the timer expires, the execution of S310 and/or S320 is stopped.
  • the tuning step adjustment parameter of the target pickup region may be generated by using the adjustment step information of the above-mentioned pickup control.
  • the target pickup region may not be the final target pickup region, but may be a complete Temporary target pickup area during pickup control.
  • the number of the above-mentioned pickup control may be implemented by a counter, that is, the subsequent S310 and/or S320 are normally executed before the counter reaches the predetermined count value; when the counter reaches the predetermined count value, the subsequent S310 and/or S320 are stopped. carried out.
  • the content specifically contained in the control signal is exemplified in detail in the subsequent embodiments.
  • the protocol used by the control signal and the specific format can be set according to actual needs. This embodiment does not limit the specific protocol and specific format used by the control signal.
  • S310 Determine a sound collection area adjustment parameter of the target sound collection area according to the control signal.
  • the control signal to be received is converted into a pickup area adjustment parameter of the target pickup area.
  • the target pickup region may be determined based on the adjustment step information of the pickup control, for example, determining the target pickup based on the current position of the microphone of the pickup device and the adjustment step information. region.
  • the conversion processing operation of the pickup area adjustment parameter can be performed based on the adjustment step information.
  • the adjustment step information of the pickup control may be information carried in the control signal, or may be locally preset information.
  • the conversion processing operation of the sound collection area adjustment parameter may be continuously performed within the length of the sound collection control according to the adjustment step information until reaching The pickup control duration is long, or until a control signal containing the stop pickup control information is received, so that a plurality of pickup region adjustment parameters can be continuously generated.
  • the adjustment step information of the pickup control may be information carried in the control signal, or may be locally preset information.
  • the conversion processing of the adjustment parameters of the sound collection area may be performed according to the adjustment step information. Operation, so that n pickup area adjustment parameters can be generated.
  • the adjustment step information of the pickup control may be information carried in the control signal, or may be locally preset information.
  • the sound pickup area adjustment parameter may be obtained according to the target sound pickup area information in the control signal.
  • the control signal when the control signal includes information for starting the sound collection control, but does not include information such as the length of the sound collection control, the information of the target sound collection area, and the number of times of the sound collection control, the sound can be continuously collected according to the adjustment step information.
  • the adjustment step information of the pickup control may be information carried in the control signal, or may be locally preset information.
  • the pickup area adjustment parameters can be varied in many different ways depending on how the pickup area of the pickup device is adjusted.
  • control signal includes an instruction to perform signal conversion on a signal picked up by the sound pickup device, extracting a signal from the signal conversion command to extract a signal picked up by at least one microphone of the sound pickup device Number transformed parameter;
  • the parameter for performing signal transformation on the signal of the at least one microphone of the sound collecting device includes: an amplitude adjustment parameter and/or a phase adjustment parameter corresponding to at least one microphone of the sound pickup device;
  • control signal includes an instruction to perform positional movement control on the pickup device, extracting, from the command of the positional movement control, a positional movement parameter for translating and/or rotating at least one microphone of the sound pickup device;
  • determining the pickup region adjustment parameter of the target sound pickup region from the instruction of whether to collect the sound includes: determining the target sound pickup region according to the control signal, and according to the sound
  • the source localization algorithm determines the position of the sound source; determines whether the position of the sound source is located in the target sound collection area, and if so, the sound pickup area adjustment parameter is a sound pickup confirmation parameter, otherwise, the non-pickup confirmation parameter .
  • Example 1 Adjusting the sound pickup area of the sound pickup device by means of signal synthesis: processing the phase and amplitude of the audio signal picked up by the plurality of microphones to generate a composite signal, and the sound pickup area adjustment parameter may include amplitude adjustment parameters corresponding to each microphone. The weight value and the delay parameter of the corresponding phase adjustment parameter for the audio signal picked up by each microphone. At this point, there should be multiple microphones in the pickup device.
  • Example 2 Adjusting the sound collecting area of the sound collecting device by using a mechanical adjustment method: that is, the microphones included in the sound collecting device respectively have a corresponding physical blocking structure, and the physical blocking structure is used to adjust the pickup angle of the microphone. That is, by adjusting the physical position (orientation) of the microphone and/or adjusting the physical occlusion of the microphone pickup, the area of the audio signal picked up by the microphone is changed.
  • One or more microphones can be set in the pickup device at this time.
  • Example 3 Combining signal synthesis and mechanical adjustment to adjust the pickup area of the pickup device:
  • the pickup orientation and the pickup angle (range) are partially adjusted by the above signal synthesis method, and partially adjusted by the above mechanical adjustment method.
  • the pickup orientation is adjusted by the mechanical pan/tilt, and the pickup angle is adjusted by the beamforming method of signal synthesis.
  • Example 2 Adjusting the sound pickup area of the sound pickup device by the sound source localization method: determining whether the sound source is located in the set sound pickup area by using the sound source localization algorithm, and if the sound source is located in the set sound pickup area, controlling the microphone to pick up the sound The audio signal is output, and if the sound source is located outside the sound pickup area, the control microphone does not perform sound pickup of the audio signal or even if the audio signal is picked up, the above audio signal is not output.
  • Sound source localization can use TDOA (Time Difference of Arrivals) technology.
  • this method is One of the widely used sound source localization technologies is not described in detail. It can be understood that other sound source localization algorithms are also conceivable by those skilled in the art through the teaching and inspiration of the TDOA technology. The examples are not limited.
  • the above-mentioned examples of adjusting the sound pickup area of the sound pickup device may be applied separately or in combination. Accordingly, the above-mentioned examples of the four sound pickup area adjustment parameters including the parameter information may be applied separately or in combination.
  • the specific implementation process of converting the control signal into the pickup area adjustment parameter of the target pickup area may also be different.
  • the specific conversion process has detailed examples in the following embodiments. The description is not described in detail here.
  • the converted pickup area adjustment parameter should be the pickup area adjustment parameter corresponding to the target pickup area, that is, the conversion principle is:
  • the converted pickup area adjustment parameter should make the pickup device The pickup area substantially matches the target pickup area corresponding to the control signal.
  • the pickup device picks up the sound in the target pickup area.
  • the pickup control of the at least one microphone of the pickup device according to the pickup region adjustment parameter includes:
  • the amplitude and/or the phase of the audio signal picked up by the at least one microphone of the sound pickup device are correspondingly transformed according to the amplitude adjustment parameter and/or the phase adjustment parameter, and the transformed signal is obtained, and the transformed signal and the sound are collected.
  • the audio signals picked up by the other microphones of the device are combined to filter out or subtract the audio signals that are not part of the target pickup area.
  • At least one microphone of the pickup device is controlled to perform audio signal pickup; otherwise, at least one microphone of the pickup device is controlled not to pick up the audio signal.
  • the first specific example of the pickup control of S320 is: the phase and amplitude of the audio signal picked up and outputted to each microphone in the pickup device according to the weight value and the delay parameter in the pickup region adjustment parameter of the target pickup region. Make adjustments to filter out audio signals that are not part of the target pickup area.
  • the adjustment of the microphone by the amplitude adjustment parameter and the phase adjustment parameter described above may be performed for a single microphone of the sound pickup device or for a plurality of microphones of the sound pickup device.
  • a single microphone of the sound collecting device is controlled, the amplitude of the picked-up audio signal of the microphone is adjusted by the weight value, and the phase of the audio signal picked up by the microphone is adjusted by the delay parameter, and the adjusted microphone is collected.
  • the audio signal is synthesized with the signals collected by other microphones to obtain an audio signal output by the final sound collecting device; when the above control signal is for the sound pickup control of the plurality of microphones of the sound collecting device, the corresponding weight value pair of the microphone to be adjusted is passed.
  • the amplitude of the audio signal picked up by the microphone to be adjusted is adjusted, and the phase of the audio signal picked up by the microphone to be adjusted is adjusted by the delay parameter corresponding to the microphone to be adjusted, and the audio signals of the adjusted microphones are synthesized.
  • the audio signal output by the final pickup device is obtained.
  • a second specific example of the pickup control of the S320 is: adjusting the relative position of the microphone obstruction and the microphone according to the movement position parameter corresponding to the microphone pickup angle in the pickup region adjustment parameter of the target pickup region, such as moving the obstruction
  • the position such as the position of the mobile microphone, and the position of the moving obstruction and microphone.
  • a third specific example of the S320 pickup control is: adjusting the horizontal and/or tilt position of the pan/tilt head of the microphone according to the position adjustment parameter of the pan/tilt of the microphone in the pickup region adjustment parameter of the target pickup region.
  • a fourth specific example of the pickup control of the S320 is: determining whether the parameter of each microphone corresponding to the pickup is a pickup or a non-according according to a parameter of whether the sound is picked up in the pickup area adjustment parameter of the target sound pickup area. Picking up, if the parameter corresponding to one microphone is pickup, then controlling the microphone to pick up the audio signal and output, that is, the audio signal picked up by the microphone can be obtained; if the parameter corresponding to one microphone is non-pick, the microphone can be controlled not Pick up the audio signal or not accept the audio signal picked up by the microphone.
  • S320 may be applied singly or in any combination. It should be particularly noted that the execution flow of S310 and S320 in the first embodiment may be: generating a pickup area adjustment parameter, performing a pickup control, and then generating a pickup area adjustment parameter, and performing a pickup again. control. The execution flow of S310 and S320 may also be: after generating a plurality of pickup region adjustment parameters, and sequentially performing the pickup control according to the generation order of the pickup region adjustment parameters, in this execution flow, if the stop pickup control is received The control signal, even if there are one or more pickup region adjustment parameters that have been generated but not yet applied, S320 is no longer executed.
  • the method may include: adjusting a gain of the audio signal after each microphone is synthesized.
  • the gain increases as the pickup angle of the pickup device decreases.
  • the gain adjustment of the audio signal can be implemented by using the existing gain adjustment implementation. This embodiment does not limit the specific implementation process of the gain adjustment.
  • the method further includes: returning, to the control terminal, the current sound collection area information of the sound pickup device after the sound collection control, where the current sound pickup area information may be expressed in the form of a beam map, It can be expressed in the form of azimuth angle and pickup angle value.
  • a specific example is: In an application scenario in which a plurality of pickup region adjustment parameters are continuously generated, each time a pickup parameter is adjusted according to a pickup region adjustment parameter, a corresponding beam pattern is returned to the control terminal.
  • the control terminal here may be a network device connected to the sound pickup device through a network interface, or a network device connected to the sound pickup device through a local interface.
  • the control terminal here can be a network device that transmits P/T/Z (Pan/Tilt/Zoom, that is, all-round (including: up and down, left and right) movement and front and rear control) control signals.
  • the pickup control method of the first embodiment can implement the pickup control of the microphone in the sound pickup device by the PTZ control signal and the conversion processing of the PTZ control signal, since the PTZ control signal can be Through the network interface and the local control interface, the first embodiment can implement the remote control of the sound collection, and is suitable for application scenarios such as video conferencing.
  • the microphone By using the weight value, the relative position of the microphone and the obstruction, the adjustment of the horizontal and vertical position of the gimbal, and whether or not to pick up the sound, the microphone can be controlled in a horizontal direction and a vertical direction.
  • the angle pickup control makes the pickup control mode of the pickup device more flexible, and can finely and accurately control the pickup of the microphone.
  • the pickup control method of the first embodiment can be well applied to a multi-channel or mono pickup device.
  • the pickup control method of the present invention will be exemplified by taking several specific implementation processes as an example. Since each of the embodiments described below has a focus as described, the following embodiments can be selectively combined and applied. The specific implementation process for many combined applications is not described in detail.
  • Embodiment 2 A method of acquiring a sound based on a signal synthesis method.
  • the principle of the pickup control method for generating and outputting an audio signal by the fixed beamforming method is as shown in Fig. 4.
  • the pickup device is provided with m microphones, and m microphones output m-channel audio signals, and the third to m-th-1 audio signals are omitted in Fig. 2 .
  • Audio signal Y(t) output by the pickup device Formula 1 )
  • ⁇ the delay adjustment parameter set for the i-th microphone.
  • the sound collection control process for FIG. 2 may be: receiving a PTZ control signal, converting the PTZ control signal into the weight value ⁇ ' and the delay parameter ⁇ ', and then using the converted weight value w ' and the delay parameter ⁇ ' (1)
  • a composite signal is generated to obtain an audio signal output that matches the target pickup area.
  • the received UI control signal may include adjustment information in the horizontal direction, adjustment information in the pitch direction, and pickup angle adjustment information.
  • Embodiment 3 The parameter adjustment of the zoom is performed by a microphone (ie, a sound pickup device) to describe a sound pickup control method using a preset adjustment step size based on the weight value.
  • a microphone ie, a sound pickup device
  • the flow of the method is as shown in Fig. 3A.
  • S500 receives the start of the Zoom adjustment command.
  • a PTZ control signal including ZOOM adjustment is received through a network interface or a local control interface.
  • the PTZ control signal at this time is referred to as a start ZOOM adjustment command.
  • the timer may be started for the ZOOM adjustment instruction, and the timing of the timer is The length can be obtained from the startup ZOOM adjustment command, or can be obtained from the locally pre-stored information, such as the default timing duration.
  • the pickup angle to which the microphone needs to be adjusted is the pickup angle corresponding to the target pickup area.
  • S550 Determine whether the PTZ control signal including the stop sound collection control information is received through the network interface or the local control interface, and the PTZ control signal including the stop sound collection control information may be referred to as stopping the ZOOM adjustment command, if the stop ZOOM adjustment is received. If the command is sent to S560, otherwise, to S510, the adjustment of the pickup angle for the microphone is continued.
  • the timer is started in the S500, it should be judged in S550 whether the timer expires or not, whether it is receiving the stop ZOOM adjustment command or the timer expires, it should go to S560.
  • the method further includes: returning, to the control terminal, beam pattern information after performing ZOOM adjustment, so that the control terminal can learn the beam pattern following the ZOOM adjustment change, so that the control terminal can return according to the The beam pattern determines whether the required pickup control is achieved. After determining that the required pickup control is achieved, the control terminal can send a stop ZOOM adjustment command.
  • the above beam pattern information can also be replaced by a ZOOM value or the like.
  • the sound pickup device may be provided with one or more microphones.
  • the distribution of the five microphones can be as shown in Fig. 3B.
  • the distribution of the microphone 1, the microphone 3, the microphone 4, and the microphone 5 in Fig. 3B is square, the microphone 2 is located at the center of the square, and the outside of the five microphones is provided with a shield sleeve.
  • the sleeve can be moved along the normal direction of the plane in which the five microphones are located.
  • the flow shown in FIG. 3A does not adjust the relative positions of the microphone and the sleeve.
  • the above S520 and S530 in FIG. 3A can be replaced.
  • the sleeve moves along the normal direction of the plane in which the microphone is located.
  • the pickup angle of the microphone also changes. The same is true for moving the microphone.
  • the third embodiment is described by taking Z adjustment as an example.
  • the specific implementation process of P (horizontal, ie, left and right) adjustment and T (pitch, ie, vertical up and down) adjustment is basically the same as the specific implementation process of the above Z adjustment, and the above
  • the embodiment is described in terms of the adjustment of the weight, and the adjustment of the delay, the pan/tilt, and the like is also a similar process, which will not be described in detail in the third embodiment.
  • Embodiment 4 Taking P ( Pan ) and T ( Tilt ) parameters as an example, wherein Pan is an adjustment of the up and down position of the microphone, and Tilt is an adjustment of the left and right position of the microphone.
  • This embodiment will focus on the specific implementation process of determining the pickup region adjustment parameter of the target pickup region based on the PTZ control signal in conjunction with the microphone distribution shown in Fig. 3B.
  • the received PTZ control signal is a PTZ control signal for the pickup control of the microphones P and T, respectively.
  • the horizontal and vertical directions are calculated separately.
  • the pickup control is performed on the P of the pickup device, it is simplified into a linear microphone array, and the plane wave model is used.
  • the target sound source and the center microphone are The angle between the connection of the microphone 2 and the normal direction of the microphone array is ⁇ . If the normal direction is the initial position of the original sound source, then the ⁇ is the P deflection angle at which the microphone needs to perform the pickup control.
  • ⁇ is the angular velocity of the acoustic wave
  • ⁇ is the wavelength of the acoustic wave
  • c is the velocity of the acoustic wave
  • d is the spacing of the elements (the distance between the microphones)
  • the amplitude is equivalent to 1.
  • t is time.
  • the audio signal output by the pickup device is a composite signal:
  • d can be designed according to the actual constraints, for example, according to the actual space size constraints, d can be 0.2m.
  • w ' can be designed according to the actual situation.
  • w ' can be l/m, where m is the number of microphones, in 5 microphones. In the case, w ' can be 1/5.
  • the horizontal and pitch adjustments corresponding to 0 and "corresponding" are received.
  • the delay parameter corresponding to each microphone converted by the ⁇ control signal and the weight value w ' (i is 1 to 5) are obtained according to the method described in the fourth embodiment, and then used.
  • Embodiment 5 A method of realizing sound pickup control by means of a mechanical rotation control mechanism performing pitch and/or horizontal rotation and weight values. In the present embodiment, the pickup control method will be described taking the rotation control mechanism of the gimbal as a mechanical example.
  • Figure 5 shows a set of five microphones on the pan/tilt.
  • the pan/tilt can be moved horizontally and vertically by the control of the stepper motor, which in turn changes the pickup orientation of the microphone.
  • the pickup angle of the microphone in Embodiment 5 can also be adjusted, for example, by adjusting the delay parameter and the weight value of the microphone to pick up the audio signal, and adjusting the pickup angle of the microphone; for example, by controlling the gain pair of the audio signal picked up by the microphone.
  • the pickup angle of the microphone is adjusted. The following mainly explains the adjustment of the microphone pickup angle (ZOOM).
  • the horizontal pickup control for the ZOOM of the microphone is as follows:
  • the sound wave, its composite signal is:
  • the square of the amplitude of the composite signal is:
  • Wi has Y(t)
  • the parameters of the array microphone can be determined ⁇
  • W ' can be found.
  • the relevant parameters of the microphone in the pickup device are:
  • the composite signal output by the pickup device is:
  • the beam pattern drawn in the polar coordinate system can be as shown in Fig. 5C.
  • the audio signal can also be picked up at 180 degrees to 360 degrees (corresponding to the back side of the pickup device), in practice, by occluding the back of the pickup device or assuming pickup There is no sound source on the back of the device to avoid the effects of the audio signal picked up from the back. If the vertical direction pickup control for the ZOOM of the microphone is designed in a manner similar to the horizontal direction pickup control for the ZOOM of the microphone, the microphone in the pickup device
  • the PTZ control signal should be converted into a PT adjustment command and Z. Adjust the command, use the PT adjustment command to control the movement of the gimbal, and use the Z adjustment command to control the ZOOM of the microphone.
  • the PT adjustment command adjusts the predetermined step size to the left horizontally, the predetermined step size to the horizontal right, the predetermined step size for the downward tilt adjustment, and the predetermined step size for the pitch up adjustment. Both the PT adjustment command and the Z adjustment command described above belong to the pickup region adjustment parameter of the target pickup region.
  • Embodiment 6 A control method for signal synthesis based on a plurality of microphones.
  • the plurality of microphones included in the sound pickup device are not on the same plane, and the distribution shapes of the plurality of microphones are prismatic.
  • a specific distribution example is as follows: The microphone 2 of the 5 microphones shown in FIG. 5A is not in the same plane as the other four microphones. In this case, a microphone 1 , 3 , 4 , and 5 can be formed as the bottom surface to the microphone 2 . The quadruple push for the apex. Before the microphone 2 is protruded from the plane in which the other microphones are located, the positional relationship of the microphones 1, 2, and 3 with the sound source is as shown in Fig. 6A.
  • microphones 1, 2 and 3 form an equilateral triangle, which is the angle between the source and the horizontal line, not the angle between the source and the normal, and correspondingly, the adjusted pickup level (P) direction.
  • the composite signal of the pickup device can be expressed as:
  • Equation (27) In order to make ' ⁇ Q , you can add a uniform delay to all delays, or give some delays 9 ⁇ L
  • Equation (28) The process of determining the weight parameter w according to the ZOOM adjustment is:
  • the composite signal of the pickup device can be expressed as
  • the corresponding beam pattern at this time is as shown in FIG. 6B.
  • Embodiment 7 Performing sound collection control based on sound localization, and according to whether the result of the sound localization is within the target sound pickup area, a sound pickup instruction or a no sound pickup instruction is issued.
  • the sound source localization algorithm determines the sound source orientation, and then determines whether the sound source orientation falls within the sound pickup area of the microphone. If it falls within the sound pickup area of the microphone, the microphone is controlled to pick up. Otherwise, the control microphone does not.
  • the audio signal is picked up or not picked up by the microphone. That is to say, the microphone in which the sound pickup region contains the sound source orientation is selected, and the audio signal picked up by the microphone including the sound source orientation in the sound pickup region is processed.
  • a plurality of methods can be used to form a beam, for example, an adaptive beamforming method or the like.
  • the above embodiments can be applied to the pickup control of a narrowband signal, and can also be applied to the pickup control of a wideband signal.
  • subband beamforming can be used, and for each subband, beams can be formed in a variety of ways, such as self-picking beamforming.
  • the position of the sound source can be controlled by the position of the sound presentation.
  • the area ⁇ is reduced and brought closer, so that the sound output reflects the feeling that the sound is zoomed in.
  • the target sound pickup area information or the converted position information can be transmitted to the output end of the audio device, and the output end cooperates to realize the sound pickup. Control, for example, using array speakers to change the position of the reproduced source.
  • Description 3 the sound outside the designated sound pickup area (ie, the target sound pickup area) can be picked up as the background sound, and the adjusted sound value can change the audio signal and the background sound of the target sound pickup area. The proportion.
  • a larger value can be taken, and in the case where it is desired to highlight the sound in the target pickup area and to more filter out the background sound, a smaller value can be taken.
  • a specific example is as follows: In the third embodiment, if ⁇ 0 ⁇ 2 , the corresponding beam pattern is as shown in FIG. 7; if ⁇ 2 0 ' 7 , the corresponding beam pattern is as shown in FIG. 8 .
  • the pickup device may be provided with a microphone dedicated to picking up background sounds, such as an omnidirectional microphone dedicated to picking up background sounds.
  • the attenuation coefficient can be set for the microphone used to pick up the background sound. After the background sound is attenuated according to the attenuation coefficient, the attenuated background sound is superimposed and outputted with the composite signal corresponding to the other microphones.
  • the pan/tilt may be a pan/tilt dedicated to the microphone, or may be a pan/tilt shared by the microphone and the camera.
  • the microphone and camera share the pan/tilt synchronous control of camera and pickup can be achieved.
  • the case where the microphone and the camera share the pan/tilt can be as shown in Fig. 9.
  • a camera and five microphones are connected to the pan/tilt in Figure 9, and the five microphones are numbered 1 through 5 as indicated in Figure 9.
  • the pan/tilt moves horizontally or tilted, the camera's camera area and the microphone's pickup area change simultaneously.
  • the ⁇ control signal After receiving the ⁇ control signal through the network interface or the local control interface, the ⁇ control signal can be converted into the ⁇ adjustment command and the ZOOM adjustment command, the PT adjustment command is used to control the movement of the gimbal, and the ZOOM adjustment command is used to image the camera and the microphone. Control and pickup control.
  • the occlusion of the microphone can also be used in Figure 9, so that the ZOOM adjustment command can be used to adjust the relative position of the occlusion and the microphone.
  • the FMCC (Fast Microphone Control Criteria) protocol is designed for the PTZ control signal.
  • the FMCC command can be carried by the H.224 channel or directly transmitted by the TCP/UDP packet. in.
  • a specific example of the FMCC command is shown in the following tables:
  • the third byte Option The Nth byte
  • the FMCC command in Table 1 includes N bytes, each byte includes 8 bits, that is, each row of the table corresponds to 1 byte, and the first byte (command) is a command word.
  • the second byte (device) is the device ID, and the second byte can be from 0 to 255.
  • the device ID can be used to distinguish the controlled pickup devices.
  • the two bytes can be undefined.
  • the remaining bytes except the first byte and the second byte are parameters, and the parameters corresponding to different command words are different, that is, the parameters of different commands may be different.
  • Table 2 The definition of the command words in Table 1 is shown in Table 2:
  • Table 6 defines six FMCC commands, namely FMCC command to start PTZ adjustment, FMCC command to continue PTZ adjustment, FMCC command to stop PTZ adjustment, FMCC command to store PTZ position, FMCC command to activate pre-stored position, and transmit digital beam.
  • FMCC command to start PTZ adjustment
  • FMCC command to stop PTZ adjustment FMCC command to store PTZ position
  • FMCC command to activate pre-stored position and transmit digital beam.
  • the FMCC command that activates the PTZ adjustment of the pickup device is used to trigger the pickup device to perform the pickup control, that is, The pickup device starts the pickup control after receiving the FMCC command to start the microphone PTZ adjustment.
  • a specific example of the FMCC command for the microphone PTZ adjustment is shown in Table 3.
  • the FMCC commands in Table 3 include four bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command that initiates microphone PTZ adjustment.
  • the second byte is the device ID.
  • the third byte and the fourth byte are as shown in Table 4 below.
  • the pickup area is narrowed: 0x2
  • the pickup area is widened: 0x3
  • BP pass beam diagram 2 no beam pattern: 0x00 In-band pass beam diagram:
  • the device stops in 50 milliseconds.
  • R/L indicates the pickup control in the horizontal direction of the microphone
  • U/D indicates the pickup control in the vertical direction of the microphone
  • I/O indicates the pickup control of the ZOOM of the microphone
  • BP indicates whether or not feedback
  • the beam map and the feedback beam pattern indicate the manner in which the beam pattern is fed back.
  • Time out indicates the timeout period, that is, the timing duration of the sound collection control, and Reserved is the reserved content.
  • the controlled device may separately establish a media channel and utilize the additionally established media.
  • the channel transmits the beam pattern, and the controlled device can also transmit the beam pattern through the existing media channel by superimposing the beam pattern on the existing image. After that, the controlled device closes the above-mentioned additionally established media channel or terminates the superimposed beam pattern after receiving the FMCC command to stop the PTZ adjustment.
  • a specific example of a transmitted beam pattern is: In a video conferencing application, a logical channel is opened by negotiation to transmit a beam pattern, and the beam pattern can be compressed and transmitted using a video or picture encoding protocol such as H.264.
  • Another specific example of a transmitted beam pattern is: In a video conferencing application, a superimposed beam pattern is transmitted along with a moving image or film content image captured by the camera.
  • the controlled device needs to transmit the beam pattern through the FMCC command that sends the digital beam pattern.
  • Information, the returned beam map information may be the coordinate information of the beam map.
  • the FMCC command to continue the PTZ adjustment is used to cause the pickup device to continue the pickup control, and a specific example of the FMCC command for continuing the microphone PTZ adjustment is shown in Table 5.
  • the FMCC command in Table 5 consists of three bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command that continues PTZ adjustment.
  • the second byte is the device ID.
  • the high 4-bit Time out of the third byte is used to reset the timing of the pickup control, that is, the pickup device resets the timer according to the value of Time out in the FMCC command adjusted by continuing the microphone PTZ, and continues the PTZ adjustment.
  • the value of Time out can be the same as the value of Time out in Table 4.
  • the lower 4 bits of the third byte Reserved is reserved.
  • the FMCC command to stop the PTZ adjustment is used to control the pickup device to no longer perform the pickup control, that is, the pickup device stops the pickup control operation after receiving the FMCC command to stop the PTZ adjustment.
  • a specific example of the FMCC command to stop PTZ adjustment is shown in Table 6.
  • the FMCC commands in Table 6 include two bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command to stop PTZ adjustment.
  • the second byte is the device ID.
  • the FMCC command to stop PTZ adjustment can have no parameters.
  • the FMCC command for storing the PTZ position is used to trigger the pickup device to save the current PTZ position information, that is, the pickup device acquires the current PTZ position information of each pickup device after receiving the FMCC command for storing the PTZ position, and stores the current PTZ device information.
  • the PTZ location information may be correspondingly numbered. When storing the current PTZ information of the microphone, the corresponding numbers may be stored together for subsequent indexing. Storage PTZ A specific example of the position of the FMCC command is shown in Table 7.
  • the FMCC commands in Table 7 include three bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command to store the PTZ location.
  • the second byte is the device ID.
  • the higher 4-bit Preset number of the third byte indicates the position number, and the Preset number may range from 0 to 15.
  • the content stored by the pickup device may be the value of the Preset number and the microphone PTZ position information corresponding to the Preset number. .
  • the lower 4 bits of the third byte are Reserved as reserved content.
  • the FMCC command for activating the pre-stored position is used to trigger the pickup device to perform the pickup control according to the pre-stored information, that is, after the pickup device receives the FMCC command for activating the pre-stored position, acquiring the pre-stored PTZ position information of the pickup device, and according to the pre-stored microphone
  • the PTZ position information is subjected to pickup control.
  • Table 8 A specific example of an FMCC command that activates a pre-stored microphone position is shown in Table 8.
  • the FMCC commands in Table 8 include three bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command that activates the pre-stored location.
  • the second byte is the device ID.
  • the Preset number of the upper 4 bits of the third byte indicates the position number corresponding to the activated microphone PTZ position information. Similarly, the Preset number may range from 0 to 15.
  • the lower 4 bits of the third byte are Reserved as reserved content. Setting the pickup area threshold is used to set the attenuation ratio of the edge of the pickup area relative to the center position, which can achieve the effect of adjusting the proportion of the audio signal and the background sound of the target pickup area.
  • the FMCC commands in Table 9 consist of three bytes.
  • the first byte is used to indicate that the FMCC command is an FMCC command that sets the pickup region threshold.
  • the second byte is the device ID.
  • the high 4-bit Threshold of the third byte indicates the attenuation ratio of the edge of the pickup area relative to the center position, which can range from 1 to 9, corresponding to 0.1 to 0.9.
  • the lower 4 bits of the third byte Reserved is reserved.
  • the FMCC command for transmitting the digital beam pattern is used by the sound collecting device to feed back the beam pattern to the control terminal.
  • the controlled device After the controlled device receives the FMCC command for starting the microphone PTZ adjustment, if the BP in the FMCC command indicates the in-band transmission beam pattern, Then, the controlled device generates a beam pattern according to the current sound collecting area of the sound collecting device, and transmits the beam pattern by using an FMCC command for transmitting the digital beam pattern.
  • a specific example of the FMCC command for transmitting a digital beam pattern is shown in Table 10.
  • the fifth word Zoom area (0 ⁇ 180, in units of 2 degrees), Oxff means invalid spear ⁇ word beam point n (0-65535)
  • ⁇ is the polar coordinate of the i-th point.
  • the precision of each value is specified by the beam pattern precision parameter. The value ranges from 0 to 360 degrees, expressed as floating-point numbers. Only part of the angle interval can be transmitted as needed.
  • ⁇ is represented by an unsigned integer. The value changes linearly to the interval corresponding to the precision before transmission (for example, with 10-bit precision, it changes to 0 ⁇ 1023).
  • the FMCC commands in Table 10 include N bytes. The first byte is used to indicate that the FMCC command is an FMCC command to transmit a digital beam pattern. The second byte is the device ID. The third byte is used to indicate the value of the current horizontal direction of the pickup device, and the fourth byte is used to indicate the value of the current vertical direction of the pickup device.
  • the fifth byte is used to indicate the current ZOOM of the pickup device.
  • the sixth byte and the seventh byte are used to represent the number of points of the beam pattern.
  • the eighth byte is used to indicate the accuracy of the beam pattern.
  • the ninth byte is used to represent the compression side of the beam pattern Style. Subsequent bytes are as described in Table 10.
  • the controlled device When the controlled device performs the in-band backhaul beam pattern, it can transmit only the P/T/Z angle information, or only the beam pattern, or both. In addition, the controlled device can also transmit the beam pattern to a description of Cartesian coordinates. The beam pattern here can be described point by point in polar coordinates. The controlled device can use the FMCC command to transmit a sparse or dense beam pattern as needed, where the sparseness or density is determined by the value of n. The receiving end of the received beam pattern can perform interpolation smoothing on the received beam pattern.
  • the transmission of PTZ control signals for the pickup device and the transmission of the beam pattern can also be realized by adding fields to the commands of the existing camera control protocol (such as the H.281 protocol).
  • the camera can follow the pickup device for PTZ adjustment, instead of transmitting the camera control command separately; or the controlled terminal can set the pickup device to follow the camera for PTZ adjustment, so that the camera can be used.
  • Some camera control protocols adjust the PTZ position of the pickup device at the same time, and can also indicate in the command of the camera control protocol that the pickup device follows the camera for adjustment (the camera control protocol needs to be extended to set the pickup device to follow the camera adjustment), or It is also possible to specify that the pickup device follows the camera for adjustment by a separate negotiation; the control terminal can also simultaneously transmit a control command for the camera and a control command for the pickup device to achieve simultaneous adjustment of both.
  • the command of the PTZ control signal transmitted through the local control interface is basically similar to the above description.
  • the command format of the PTZ control signal transmitted through the local control interface is not described in detail here.
  • the invention provides a sound pickup control device, comprising:
  • a receiving module configured to receive a control signal, and determine a pickup region adjustment parameter of the target sound pickup region according to the control signal, where the sound pickup region adjustment parameter is used to adjust the sound pickup device to adjust the sound pickup device to the target sound pickup region;
  • the sound collection control module is configured to perform sound collection control on at least one of the microphones in the sound pickup device according to the sound pickup region adjustment parameter, so that the sound pickup region corresponding to the audio signal output by the sound pickup device matches the target sound pickup region.
  • the device also includes:
  • the sound collection control stop module is configured to stop the sound pickup control of the sound pickup device after receiving the control signal including stopping the sound pickup control for the sound pickup device.
  • the receiving module includes:
  • a signal conversion instruction receiving unit configured to receive a control signal including an instruction to perform signal conversion on a signal picked up by the sound pickup device
  • a signal transformation parameter determining module configured to extract, from an instruction of the signal transformation, a parameter for performing signal transformation on a signal picked up by at least one microphone of the sound pickup device;
  • the sound collection control module includes:
  • a parameter conversion unit configured to perform corresponding transformation on the audio signal picked up by the at least one microphone of the sound pickup device according to the parameter of the signal transformation to obtain a transformed signal
  • a synthesizing unit configured to synthesize the transformed signal with an audio signal picked up by other microphones of the sound pickup device to filter or reduce an audio signal that does not belong to the target sound pickup region.
  • the parameters for performing signal transformation are: amplitude adjustment parameters and/or phase adjustment parameters corresponding to at least one microphone in the sound pickup device;
  • the signal transformation parameter determining module is specifically configured to determine an amplitude adjustment parameter and/or a phase adjustment parameter corresponding to at least one microphone in the sound pickup device;
  • the parameter transformation unit is specifically configured to perform corresponding transformation on the amplitude and/or phase of the audio signal picked up by the at least one microphone of the sound pickup device according to the amplitude adjustment parameter and/or the phase adjustment parameter to obtain a transformed signal.
  • the synthesizing unit is specifically configured to synthesize the converted signal with an audio signal picked up by other microphones of the sound collecting device to filter or reduce an audio signal that does not belong to the target sound collecting region.
  • the receiving module includes:
  • a position movement control instruction receiving unit configured to receive a control signal including an instruction to perform positional movement control on the sound pickup device
  • a position movement parameter determining module configured to extract, from the instruction of the position movement control, a position movement parameter that translates and/or rotates at least one microphone of the pickup device;
  • the sound collection control module includes:
  • a translation and rotation control unit for performing translational and/or rotational control of at least one of the microphones with the translational and/or rotational positional movement parameters
  • the receiving module includes:
  • a pickup command receiving unit is configured to receive a control signal including an instruction to pick up a sound pickup device
  • a sound recognition confirmation parameter determining module configured to determine a target sound collection area according to the control signal, and determine a position of the sound source according to the sound source localization algorithm; determine whether the sound source position is located in the target sound collection area, and if so,
  • the pickup area adjustment parameter is a pickup confirmation parameter, otherwise it is a non-pickup confirmation parameter;
  • the pickup control module is specifically configured to control at least one microphone of the sound pickup device to perform an audio signal when the pickup confirmation parameter is acquired Picking up, otherwise, controlling at least one microphone of the sound pickup device does not pick up the audio signal.
  • the present invention also provides an embodiment of a sound pickup control apparatus.
  • the sound pickup control apparatus includes:
  • the receiving module 1201 is configured to receive a control signal for performing sound pickup area adjustment on the sound pickup device, and adjust the sound pickup area of the sound pickup device to the target sound pickup area by using the control signal;
  • the parameter determining module 1202 is configured to determine, according to the control signal, a sound collecting area adjustment parameter of the target sound collecting area;
  • the sound collection area adjustment module 1203 is configured to perform sound collection control on at least one microphone of the sound pickup device according to the sound pickup area adjustment parameter, so that the sound pickup area corresponding to the audio signal output by the sound pickup device is The target pickup area matches.
  • the apparatus further includes the following modules:
  • the pickup control stop module 1204 stops receiving the pickup control signal after receiving the control signal including the stop pickup control information.
  • the pickup control device capable of receiving the pickup stop control message by the embodiment of the present invention facilitates the user's operation control.
  • the parameter determining module 1202 specifically includes: a signal transformation parameter determining module 1205, configured to determine a parameter for performing signal transformation on a signal picked up by at least one microphone of the sound collecting device;
  • the sound collection area adjustment module 1203 includes:
  • a parameter conversion unit 12031 configured to perform a corresponding transformation on the audio signal picked up by the microphone to be subjected to audio signal adjustment to obtain a signal after the change;
  • a synthesizing unit 12032 configured to: signal to the parameter-converted microphone in the sound collecting device The synthesis is performed to obtain an audio signal output by the sound pickup device.
  • the embodiment of the invention can obtain the corresponding audio signal transformation parameters, and transform the picked-up audio signal of the sound pickup device, effectively solving the problem that the control device cannot realize the control of the sound pickup device through the external control signal in the prior art. problem.
  • the parameter for performing signal transformation is: an amplitude adjustment parameter and/or a phase adjustment parameter corresponding to at least one microphone in the sound pickup device;
  • the parameter determining module 1202 specifically includes: an adjustment parameter determining module 1206, configured to determine an amplitude adjustment parameter and/or a phase adjustment parameter corresponding to at least one microphone of the sound collecting device;
  • the sound collection area adjustment module 1203 includes:
  • the parameter transformation unit 12033 is configured to perform amplitude adjustment and/or phase adjustment on at least one microphone of the sound pickup device by using the amplitude adjustment parameter and/or the phase adjustment parameter;
  • the synthesizing unit 12034 is configured to synthesize signals of the parameter-converted microphones in the sound collecting device to obtain an audio signal output by the sound collecting device.
  • the weight value in the method embodiment of the present invention is used as a parameter of the audio signal amplitude adjustment
  • the delay parameter is used as the phase adjustment parameter of the picked-up audio signal of the sound pickup device.
  • the amplitude adjustment and/or phase adjustment of the audio signal picked up by the sound pickup device is controlled by acquiring the external sound pickup region control signal, which effectively solves the problem that the prior art cannot realize the sound pickup device.
  • the problem of interface control is a problem of interface control.
  • the parameter for performing signal transformation is: a position shifting parameter of the at least one microphone of the sound pickup device for translation and/or rotation;
  • the parameter determining module 1202 specifically includes: a position moving parameter determining module 1207, configured to determine a position moving parameter of the at least one microphone of the sound collecting device to perform translation and/or rotation;
  • the sound collection area adjustment module 1203 specifically includes:
  • the control unit 12035 is configured to perform panning and/or rotation control on the at least one microphone of the sound collecting device by using the panning and/or rotating position movement parameter, so that each microphone that is controlled to reach the corresponding microphone The position determined by the position movement parameter.
  • control unit 12035 includes:
  • a translation position control unit 120351 configured to adjust at least one microphone and/or occlusion of the sound pickup device according to at least one microphone translation position movement adjustment parameter of the sound pickup device to adjust at least one microphone of the sound pickup device Relative position of the obstruction;
  • the rotation position control unit 120352 is configured to perform horizontal angle and/or pitch angle adjustment on at least one microphone of the sound pickup device according to the rotation position movement adjustment parameter.
  • the function of adjusting the position of the microphone included in the sound pickup device can be realized, that is, the translation control and/or rotation of the microphone included in the sound pickup device can be realized according to the external sound pickup region control signal.
  • Control by effective control of the microphone of the sound pickup device, the pickup region of the sound pickup device can be effectively adjusted.
  • the parameter for performing signal transformation is: a parameter of whether at least one microphone of the sound pickup device is picked up;
  • the parameter determining module 1202 specifically includes: a sound collecting determining module 1208, configured to determine whether a parameter of the at least one microphone of the sound collecting device is picked up;
  • the sound collecting area adjusting module 1203 includes: determining a target sound collecting area according to the control signal, and determining a position of the sound source according to the sound source localization algorithm; determining whether the sound source is located at the target sound In the area, if yes, the pickup area adjustment parameter is a pickup confirmation parameter, otherwise it is a non-pickup confirmation parameter;
  • the embodiment of the present invention can effectively control whether or not the sound pickup device performs pickup, and solves the problem that the pickup region and the pickup signal cannot be adjusted by acquiring external parameters in the prior art.
  • the number of microphones of the sound collecting device is at least four, all the microphones are distributed on the same plane, or other microphones other than the first microphone of the sound collecting device are distributed in a polygon, and the sound collecting device is The first microphone is polygonally distributed with the other microphones.
  • the embodiment provides a layout manner of a plurality of microphones of the sound collecting device, and the sound collecting area can be effectively controlled by different layout modes.
  • the maximum value of the pitch of any two microphones of the sound pickup device is inversely proportional to the sine value of the maximum pickup angle of the single microphone.
  • the sound collecting device is further provided with a microphone dedicated to picking up the background sound, and the The background sound picked up by the microphone of the background sound is attenuated and overlapped with the audio signal after the pickup control.
  • the sound collection control device further includes: a background sound adjustment module, configured to extract, from a control signal adjusted by the sound pickup area, a control parameter related to controlling a background sound specific gravity, and the control parameter is used for the sound pickup device At least one microphone performs pickup control to change the background sound proportion of the output audio signal accordingly.
  • a background sound adjustment module configured to extract, from a control signal adjusted by the sound pickup area, a control parameter related to controlling a background sound specific gravity, and the control parameter is used for the sound pickup device
  • At least one microphone performs pickup control to change the background sound proportion of the output audio signal accordingly.
  • FIG. 17 can be a Implement a technical solution block diagram
  • the microphone unit comprises one or more (array) pointing microphones and/or omnidirectional microphones; the network interface is for receiving remote PTZ control commands to the microphones through the network, the network interfaces may be packet switching based IP networks or circuit switching ISDN, El network, including wired (such as Ethernet, xDSL, etc.) and wireless (such as WiFi, WiMAX, UMTS, CDMA2000, TD-SCDMA) access mode, remote control of the pickup device through remote control protocol ;
  • wired such as Ethernet, xDSL, etc.
  • wireless such as WiFi, WiMAX, UMTS, CDMA2000, TD-SCDMA
  • the local control interface is used for receiving a local PTZ control command for the microphone, and the interface may be a wired or wireless interface such as infrared, Bluetooth, RS232, etc., and the local pickup device is controlled by a local control protocol;
  • the PTZ control unit converts the PTZ control signal into the parameters required for the pickup area adjustment unit and the pan/tilt (optional);
  • the pickup area adjusting unit performs phase and amplitude weighting on the digital audio signal input by the array microphone, and outputs an audio signal corresponding to the area corresponding to the PTZ, and filters out signals outside the area.
  • the pickup area adjusting unit can also perform ZOOM adjustment in the manner of the prior art 1, adjusting the pickup angle by the occlusion relationship, and mechanically replacing the array microphone for ZOOM adjustment;
  • the sound adjustment unit further performs sound amplification (synchronized with video zoom), background sound special processing, and the like.
  • a continuous adjustment mode can be adopted, that is, the user sends a command to start the adjustment, and the PTZ control module continuously generates the tone at a certain frequency.
  • the parameter in increments of a certain step) until the user sends a command to stop the adjustment.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

拾音控制方法和装置 本申请要求于 2010年 1月 22日提交中国专利局、申请号为 201010103244.4， 发明名称为"拾音控制方法和装置 "的中国专利申请的优先权，其全部内容通过引 用结合在本申请中。
技术领域
本发明涉及多媒体技术领域， 具体涉及拾音控制方法与装置。
背景技术
在使用视讯会议时往往需要对拾取声音的区域进行控制，例如，将某个声音 拉近（放大）， 再如， 避开噪声源等； 以达到更好的视讯会议效果。 目前， 主要 有两种拾音控制方法。
方法一、 基于控制麦克风在圓筒遮挡物中的位置的拾音控制方法。
麦克风位于圓筒遮挡物中， 在调整光学镜头角度（zoom ) 时， 麦克风在圓 筒遮挡物中的位置也会随之发生变化， 从而实现了拾音控制。
方法二、 基于左右声道输出的拾音控制方法。
对于两个全向 MIC (麦克）， 通过控制各自放大器的增益， 实现对 MIC的 zoom控制。 这样， 利用左右声道输出实现了广角 /拉近。
在实现本发明的过程中， 发明人发现： 方法一仅实现了 zoom调整， 不能进 行水平和垂直方向的调整， 不能产生拾音的远近位置感的变化， 且 zoom调整的 精度较低； 另外， 方法二必须通过双声道输出实现拾音控制， 不能适用于单声 道的拾音环境中， 且不能进行拾音的接口化控制。 综上可以看出， 现有技术无 法对拾音设备进行拾音区域接口化的控制， 导致拾音设备的控制复杂且控制方 式单一。
发明内容
本发明实施方式提供的拾音控制方法和装置， 以实现了拾音过程中的接口 控制。
本发明实施方式提供的拾音控制方法， 包括： 接收控制信号， 并根据所述 控制信号确定目标拾音区域的拾音区域调节参数， 所述拾音区域调节参数用于 调节所述拾音设备， 使所述拾音设备调节到目标拾音区域；
根据所述拾音区域调节参数对所述拾音设备中的至少一个麦克风进行拾音 控制， 使所述拾音设备输出的音频信号对应的拾音区域与所述目标拾音区域相 付。
另一方面， 还提供一种拾音控制装置， 该装置包括：
接收模块， 用于接收控制信号， 并根据所述控制信号确定目标拾音区域的 拾音区域调节参数， 所述拾音区域调节参数用于调节所述拾音设备， 使所述拾 音设备调节到目标拾音区域；
拾音控制模块， 用于根据所述拾音区域调节参数对所述拾音设备中的至少 一个麦克风进行拾音控制， 使所述拾音设备输出的音频信号对应的拾音区域与 所述目标拾音区域相符。
通过上述技术方案的描述可知， 本发明实施例通过接收针对拾音设备的拾 音区域控制信号、 以及由该拾音区域控制信号确定目标拾音区域的拾音区域调 节参数来实现对拾音设备中的麦克风的拾音控制， 本发明的实施例能够使得对 拾音设备拾音区域的控制更加方便。
附图说明 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要使 用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可 以根据这些附图获得其他的附图。
图 1是本发明实施例一的拾音控制方法流程图；
图 2是本发明实施例二的基于权重的拾音控制方法的原理示意图； 图 3Α是本发明实施例三的拾音控制方法流程图；
图 3Β是本发明实施例三的麦克风分布示意图；
图 4是本发明实施例四的音源与麦克风位置示意图；
图 5Α是本发明实施例五的设置有麦克风的云台示意图； 图 5B是本发明实施例五的麦克风拾音角度的示意图；
图 5C是本发明实施例五的在极坐标系中画出的波束图；
图 6A是本发明实施例六的音源与麦克风位置示意图；
图 6B是本发明实施例六的波束图； 图 7是本发明实施例三中 P = 02时的波束图； 图 8是本发明实施例三中 = °-7时的波束图；
图 9是本发明实施例的麦克风和摄像头共用云台的示意图；
图 10是本发明拾音控制装置实施例一的组成示意图；
图 1 1是本发明拾音控制装置实施例二的组成示意图；
图 12是本发明拾音控制装置实施例三的组成示意图；
图 13是本发明拾音控制装置实施例四的组成示意图；
图 14是本发明拾音控制装置实施例五的组成示意图；
图 15是本发明拾音控制装置实施例五中控制单元的组成示意图；
图 16是本发明拾音控制装置实施例六的组成示意图；
图 17是本发明一个实现方案的框图。
具体实施方式 实施例一、 拾音控制方法的实施例。 该方法的流程如附图 1所示。
图 1 中， S300、 接收对拾音设备进行拾音区域控制的控制信号， 通过所述 控制信号使得拾音设备的拾音区域调节到目标拾音区域。
可选的， 这里拾音设备可以包含有一个或多个麦克风。 这里的麦克风可以 为全向性麦克风或指向性麦克风， 多个麦克风可以构成麦克风阵列。
可选的， 麦克风阵列中的所有麦克风， 可以位于同一平面上， 例如， 所有 麦克风组成一个平面多边形， 该多边形可以是边长相等的正多边形， 而且， 在 多边形的中心位置可以设置一个麦克风。 可选的， 本实施例中的拾音设备还可 以针对背景音拾取设置一个专用麦克风， 背景音专用麦克风可以与拾音设备中 的其他麦克风位于同一平面， 也可以与拾音设备中的其他麦克风位于不同的平 可选的， 拾音设备中的所有麦克风也可以位于不同平面上， 一个具体的例 子为： 所有麦克风以多棱推的形状分布， 所述多棱锥的顶点为麦克风的位置， 这里的多棱推可以为： 三棱锥、 四棱锥、 五棱锥或更多边的棱锥等等。 可选的， 棱锥的底部可以是正多边形， 且棱推的顶点可以位于垂直于正多边形且穿过正 多边形的中心的直线上。
可选的， 上述接收的至少一个麦克风的进行拾音区域控制的控制信号可通 过网络接口接收， 此时控制信号可以是基于远端控制协议的控制信号。 网络接 口可以是基于分组交换的 IP 网络接口， 也可以是基于电路交换的 ISDN或 E1 网络接口等。 网络接入的接入方式可以包括有线（如以太网、 xDSL、 xPON )接 入方式和无线（如 WiFi、 GSM, WiMAX )接入方式。
可选的， 上述接收的进行拾音区域控制的控制信号也可以是通过本地控制 接口接收， 如接收的控制信号是遥控器发出的、 通过本地控制接口传输的控制 信号。 本地控制接口可以是有线接口 （如 RS232等）， 也可以是无线接口 （如红 外接口、 蓝牙接口等）。
可选的， S300中的控制信号包含的内容可以有多种不同的情况， 例如， 该 控制信号包含有启动拾音控制的信息； 控制信号除了包含有启动拾音控制的信 息之外， 还可以包含有拾音控制时长、 或拾音控制的调整步长信息、 或目标拾 音区域信息或拾音控制次数等参数的任意一个或多个。
可选的， 控制信号可以包含有终止进行拾音控制的信息或继续进行拾音控 制的信息或者激活预存的目标拾音区域的信息。 上述拾音控制时长可以通过定 时器实现， 即定时器超时前， 执行后续的 S310和 /或 S320; 当定时器超时， 则 停止 S310和 /或 S320的执行。 可选的， 利用上述拾音控制的调整步长信息可以 产生目标拾音区域的拾音区域调节参数， 但是， 该目标拾音区域有可能不是最 终的目标拾音区域， 而可能是一个完整的拾音控制过程中的临时的目标拾音区 域。 可选的， 上述拾音控制次数可以通过计数器实现， 即在计数器达到预定计 数值前， 正常执行后续的 S310和 /或 S320; 当计数器达到预定计数值时， 停止 后续的 S310和 /或 S320的执行。 控制信号具体包含的内容在后续实施例中有详 细的举例说明。 另外， 控制信号采用的协议、 以及具体的格式可以根据实际需 要来设置， 本实施例不限制控制信号采用的具体协议以及具体格式。
S310、 根据所述控制信号确定目标拾音区域的拾音区域调节参数。 即将接收到的控制信号转换为目标拾音区域的拾音区域调节参数。
当该控制信号包含有启动拾音控制的信息时， 可以基于拾音控制的调整步 长信息确定出目标拾音区域， 例如， 根据拾音设备麦克风的当前位置和调整步 长信息确定目标拾音区域。 此时， 可以根据调整步长信息来进行拾音区域调节 参数的转换处理操作。 这里的拾音控制的调整步长信息可以是控制信号中携带 的信息， 也可以是本地预先设置的信息。
可选的， 当控制信号中包含有启动拾音控制的信息和拾音控制时长时， 可 以根据调整步长信息在拾音控制时长内持续的进行拾音区域调节参数的转换处 理操作， 直到达到拾音控制时长， 或者直到接收到包含有停止拾音控制信息的 控制信号， 从而可以持续的产生多个拾音区域调节参数。 这里的拾音控制的调 整步长信息可以是控制信号中携带的信息， 也可以是本地预先设置的信息。
可选的， 当控制信号中包含有启动拾音控制的信息和拾音控制次数如 n ( n 为大于 0的整数） 时， 可以根据调整步长信息进行 n次拾音区域调节参数的转 换处理操作， 从而可以产生 n个拾音区域调节参数。 在拾音区域调节参数的转 换处理操作还没有达到 n次但接收到包含有停止拾音控制信息的控制信号， 则 可以不再进行后续的转换处理操作。 这里的拾音控制的调整步长信息可以是控 制信号中携带的信息， 也可以是本地预先设置的信息。
可选的， 当控制信号中包含有目标拾音区域信息时， 可以根据该控制信号 中的目标拾音区域信息得到拾音区域调节参数。
可选的， 当控制信号中包含有启动拾音控制的信息， 但不包含拾音控制时 长、 目标拾音区域信息和拾音控制次数等信息时， 可以根据调整步长信息持续 的进行拾音区域调节参数的转换处理操作， 直到接收到包含有停止拾音控制信 息的控制信号。 另外， 也可以根据调整步长信息只进行一次拾音区域调节参数 的转换处理操作， 而不是持续的进行拾音区域调节参数的转换处理操作。 这里 的拾音控制的调整步长信息可以是控制信号中携带的信息， 也可以是本地预先 设置的信息。
拾音区域调节参数可以根据调节拾音设备拾音区域方式的不同而有多种不 同的形式。
( 1 ) 当控制信号包括对拾音设备所拾取的信号进行信号变换的指令时， 从 信号变换的指令中提取对所述拾音设备的至少一个麦克风所拾取的信号进行信 号变换的参数；
其中， 对拾音设备的至少一个麦克风的信号进行信号变换的参数包括： 所 述拾音设备中至少一个麦克风对应的幅度调整参数和 /或相位调整参数；
( 2 ) 当控制信号包括对所述拾音设备进行位置移动控制的指令时， 从位置 移动控制的指令中提取对拾音设备至少一个麦克风进行平移和 /或转动的位置移 动参数；
( 3 ) 当控制信号包括对拾音设备进行是否拾音的指令时， 从是否拾音的指 令确定目标拾音区域的拾音区域调节参数包括： 根据控制信号确定目标拾音区 域， 并根据声源定位算法确定声源的位置； 判断所述声源的位置是否位于所述 目标拾音区域内， 如果是， 则所述拾音区域调节参数为拾音确认参数， 否则为 非拾音确认参数。
下面对拾音区域调节参数包含的内容进行举例说明。
例 1、采用信号合成的方法调节拾音设备拾音区域： 对多个麦克风拾取的音 频信号的相位和幅度进行处理， 产生合成信号， 拾音区域调节参数可以包括各 麦克风对应的幅度调整参数的权重值和对于各麦克风拾取的音频信号的对应的 相位调整参数的延迟参数。 此时拾音设备中应设置有多个麦克风。
例 2、采用机械调节方法调节拾音设备拾音区域方： 即此时拾音设备所包括 的麦克风分别具有相应的物理遮挡结构， 该物理遮挡结构用来对该麦克风的拾 音角度进行调节， 即通过调节麦克风的物理位置 （方位）和 /或调节麦克风拾音 的物理遮挡， 使得麦克风拾取的音频信号的区域发生改变。 此时拾音设备中可 以设置有一个或多个麦克风。
例 3、采用信号合成和机械调节结合调节拾音设备拾音区域： 拾音方位和拾 音角度（范围）部分由上述信号合成方法调整， 部分采用上述机械调节方法调 整。 如拾音方位通过机械方式的云台调整， 拾音角度通过信号合成的波束形成 方法进行调整。
例 2、通过声源定位方法调节拾音设备拾音区域： 利用声源定位算法确定声 源是否位于设置的拾音区域内， 如果声源位于设置的拾音区域内， 则控制麦克 风拾音并输出音频信号， 如果声源位于拾音区域之外， 则控制麦克风不进行音 频信号的拾音或即使拾取该音频信号， 但不对上述的音频信号进行输出。 声源 定位可以采用 TDOA ( Time Difference of Arrivals , 到达时延）技术， 该技术采 用多个位置不同的麦克风， 求出声音到达不同位置麦克风的时延， 在利用这些 时延求得声音到达不同位置麦克风的距离差， 最后用几何关系或搜索确定声源 位置， 这种方法是应用广泛声源定位技术中的一种， 具体实现不再赘述， 可以 理解， 本领域的普通技术人员通过 TDOA技术的教导与启发， 还可以想到其他 的声源定位算法， 对此， 本发明的实施例不进行限制。
上述列举 4个调节拾音设备拾音区域方式的例子可以单独应用， 也可以组 合应用， 相应的， 上述列举 4个拾音区域调节参数包括参数信息的例子可以单 独应用， 也可以组合应用。
由于拾音区域调节参数包含参数信息的不同， 将控制信号转换为目标拾音 区域的拾音区域调节参数的具体实现过程也会有所不同， 具体的转换过程在下 述实施例中有详细的例子记载， 在此不再详细说明。 无论转换处理是如何具体 实现的， 转换后的拾音区域调节参数应该是目标拾音区域对应的拾音区域调节 参数， 即转换原则为： 转换后的拾音区域调节参数应该使拾音设备的拾音区域 与控制信号对应的目标拾音区域基本相符。
S320、 根据所述拾音区域调节参数对所述拾音设备中的至少一个麦克风进 行拾音控制， 从而使拾音设备输出的音频信号对应的拾音区域与目标拾音区域 相符。
即进行拾音控制后， 拾音设备针对目标拾音区域进行拾音。
针对步骤 310后面的三种情况， 根据拾音区域调节参数对拾音设备至少一 个麦克风进行拾音控制包括：
( 1 )根据信号变换的参数对拾音设备至少一个麦克风拾取的音频信号进行 相应的变换得到变换后的信号， 将此变换后的信号与拾音设备的其他麦克风拾 取的音频信号进行合成， 以滤除或减小不属于目标拾音区域的音频信号；
具体的， 根据幅度调整参数和 /或相位调整参数对拾音设备的至少一个麦克 风拾取的音频信号的幅度和 /或相位进行相应的变换得到变换后的信号， 将此变 换后的信号与拾音设备的其他麦克风拾取的音频信号进行合成， 以滤除或减 'J、 不属于目标拾音区域的音频信号。
( 2 )利用平移和 /或转动的位置移动参数对拾音设备中的至少一个麦克风进 行平移和 /或转动控制， 将拾音设备的至少一个麦克风进行平移和 /或转动控制之 后所获取的音频信号与拾音设备的其他麦克风拾取的音频信号进行合成， 以滤 除或减小不属于目标拾音区域的音频信号；
( 3 ) 当获取到拾音确认参数时， 控制拾音设备的至少一个麦克风进行音频 信号拾取， 否则， 控制拾音设备的至少一个麦克风不进行音频信号的拾取。
可选的， 还可以对拾音设备中各个麦克风所拾取的音频信号的合成信号的 增益进行调整， 所述增益随所述拾音设备的拾音角度的减小而增大。
S320的拾音控制的第一个具体的例子为： 根据目标拾音区域的拾音区域调 节参数中的权重值和延迟参数对拾音设备中的各麦克风拾取并输出的音频信号 的相位和幅度进行调整， 以滤除不属于目标拾音区域的音频信号。
需要说明的是， 上述的利用幅度调整参数以及相位调整参数对麦克风进行 的调整， 可以针对拾音设备的单一的麦克风进行， 也可以针对拾音设备的多个 麦克风进行。 其中， 针对拾音设备的单一的麦克风进行控制， 通过权重值调整 该麦克风的拾取的音频信号的幅度， 通过延迟参数调整该麦克风所拾取的音频 信号的相位， 将调整之后的该麦克风采集到的音频信号与其他麦克风采集的信 号进行合成得到最终拾音设备输出的音频信号； 当上述控制信号是针对拾音设 备的多个麦克风进行拾音控制时， 通过待调整的麦克风的对应的权重值对所述 待调整麦克风拾取的音频信号的幅度进行调整， 通过待调整的麦克风对应的延 迟参数对所述待调整麦克风拾取的音频信号的相位进行调整， 将上述调整后的 各麦克风的音频信号进行合成得到最终拾音设备输出的音频信号。
需要说明的是， 对麦克风进行音频信号进行幅度和 /或相位调整后， 需要对 拾音设备中各个麦克风拾取的信号进行合成， 对各麦克风进行信号合成技术已 经是现有技术， 在此不再进行赞述。
S320的拾音控制的第二个具体的例子为： 根据目标拾音区域的拾音区域调 节参数中的麦克风拾音角度对应的移动位置参数调整麦克风遮挡物和麦克风的 相对位置， 如移动遮挡物的位置， 再如移动麦克风的位置， 还有， 移动遮挡物 和麦克风的位置。
S320的拾音控制的第三个具体的例子为： 根据目标拾音区域的拾音区域调 节参数中的麦克风所在云台的位置调节参数对麦克风所在云台进行水平和 /或俯 仰位置的调整。
S320的拾音控制的第四个具体的例子为： 根据目标拾音区域的拾音区域调 节参数中的是否拾音的参数判断各麦克风对应的是否拾音的参数为拾音还是非 拾音， 如果一个麦克风对应的参数为拾音， 则控制该麦克风拾取音频信号并输 出， 即能够获得该麦克风拾取的音频信号； 如果一个麦克风对应的参数为非拾 音， 则可以控制该麦克风不拾取音频信号， 或者不接受该麦克风拾取的音频信 号。
S320中列举的上述四个具体例子都可以单独应用， 也可以任意组合应用。 需要特别说明的是， 上述实施例一中 S310和 S320的执行流程可以为： 产 生一个拾音区域调节参数， 执行一次拾音控制， 然后， 再产生一个拾音区域调 节参数， 再执行一次拾音控制。 S310和 S320的执行流程也可以为： 在产生多个 拾音区域调节参数后再根据拾音区域调节参数的产生顺序依次执行拾音控制， 在这种执行流程中， 如果接收到停止拾音控制的控制信号， 即便是还存在有一 个或多个已经产生但还没有应用的拾音区域调节参数， 也不再执行 S320。
可选的， 在执行了 S320之后， 可以包括： 对各麦克风合成之后的音频信号 的增益进行调整。 所述增益随着所述拾音设备的拾音角度的减小而增大。 对音 频信号的增益进行调整可以采用现有的增益调整实现方式， 本实施例不限制增 益调整的具体实现过程。 另外， 可选的， 在执行了 S320之后， 还可以包括： 向控制终端返回拾音设 备在拾音控制后的当前拾音区域信息， 该当前拾音区域信息可以以波束图的形 式表示， 也可以以方位角度和拾音角度数值等形式表示。 一个具体的例子为： 在持续产生多个拾音区域调节参数的应用场景中， 每根据一个拾音区域调节参 数进行拾音控制后， 都向控制终端返回对应的波束图。 这里的控制终端可以为 通过网络接口与拾音设备连接的网络设备， 也可以为通过本地接口与拾音设备 连接的网络设备。 这里的控制终端可以为发送 P/T/Z ( Pan/Tilt/Zoom, 即全方位 (包括： 上下、 左右）移动及前后控制）控制信号的网络设备。
从上述实施例一的描述可知， 实施例一的拾音控制方法可以通过 PTZ控制 信号、 以及对 PTZ控制信号的转换处理来实现对拾音设备中的麦克风的拾音控 制， 由于 PTZ控制信号可以通过网络接口以及本地控制接口传输， 因此， 实施 例一可以实现拾音的远端控制， 适合应用于视讯会议等应用场景中。 通过采用 权重值、 麦克风和遮挡物的相对位置、 云台的水平和垂直位置的调整、 以及是 否拾音等多种方式对麦克风进行拾音控制， 不但可以实现水平方向、 垂直方向 以及角度的拾音控制， 使拾音设备的拾音控制方式更加灵活， 而且可以对麦克 风的拾音进行细致精确的控制。 另外， 实施例一的拾音控制方法可以很好的适 用于多声道或单声道的拾音设备中。 下面以几个具体的实现过程为例对本发明的拾音控制方法进行举例说明。 由于下述每个实施例均有描述的侧重点， 因此， 下述各实施例可以选择性的组 合应用。 对于很多组合应用的具体实现过程不再详细说明。
实施例二、 基于信号合成的方式进行拾音控制方法。 采用固定波束形成法 生成并输出音频信号的拾音控制方法的原理如附图 4所示。
在图 2中， 拾音设备设置有 m个麦克风， m个麦克风输出 m路音频信号， 图 2中省略示出了第 3路至第 m _ 1路音频信号。拾音设备输出的音频信号 Y(t)
Figure imgf000012_0001
式（1 )
其中， '为第 i路麦克风拾取的音频信号， 或者说是拾音设备的第 i路输入 信号， Y为拾音设备输出的音频信号， w '是针对第 i路音频信号分配的权重值， m是拾音设备中的麦克风数量， τ '是针对第 i路麦克风设置的延迟调整参数。
针对图 2的拾音控制过程可以为： 接收 PTZ控制信号， 将 PTZ控制信号转 换为上述权重值^ '和延迟参数 τ'， 然后， 根据转换后的权重值 w'和延迟参数 τ '利 用式（ 1 )对产生合成信号， 从而获得与目标拾音区域相符的音频信号输出。 上 述接收到的 ΡΤΖ控制信号可以包含有水平方向的调节信息、 俯仰方向的调节信 息和拾音角度调节信息等。 将 ΡΤΖ控制信号转换为权重值^ '和延迟参数 τ '的具 体实现过程在下述实施例中有详细的举例说明。 实施例三、 以麦克风（即拾音设备）进行 zoom的参数调节来说明基于权重 值的采用预设置的调节步长的拾音控制方法。 在对拾音设备的麦克风进行的拾 音控制为对麦克风进行 Z ( zoom )调节的情况下，该方法的流程如附图 3A所示。
图 3A中， S500、 接收到启动 Zoom调节指令，
通过网络接口或者本地控制接口接收到包含有进行 ZOOM调节的 PTZ控制 信号。 此时的 PTZ控制信号称为启动 ZOOM调节指令。 可选的， 在接收到启动 ZOOM调节指令后， 可以针对 ZOOM调节指令启动定时器， 该定时器的定时时 长可以从启动 ZOOM调节指令中获取， 也可以从本地预先存储的信息中获取， 如采用缺省的定时时长。
S510、根据拾音设备麦克风的当前拾音角度 Z和预设置的 ZOOM调节步长 ΔΖ计算出麦克风需要调整到的拾音角度。 麦克风需要调整到的拾音角度即目标 拾音区域对应的拾音角度。 麦克风需要调整到的拾音角度为 2 且 = Ζ ± ΔΖ。
S520、 基于 计算出拾音设备中各麦克风的权重值 w'， 例如， 利用 和其他 参数计算出拾音设备中各麦克风的权重值 w'， 这里的其他参数可以为阵列麦克 风几何参数、 门限 以及其他一些约束条件（具体参见实施例）等。
S530、 使用 w '对拾音设备的各麦克风输出的音频信号进行处理， 使拾音设 备输出与上述 S510中记载的目标拾音区域相符的音频信号。
S540、 将拾音设备麦克风的当前拾音角度 Z调整为 2 。
S550、 判断是否通过网络接口或本地控制接口接收到包含有停止拾音控制 信息的 PTZ控制信号， 包含有停止拾音控制信息的 PTZ控制信号可以称为停止 ZOOM调节指令，如果接收到停止 ZOOM调节指令，则到 S560，否则，到 S510， 继续针对麦克风进行拾音角度的调节。
可选的， 如果在 S500中启动了定时器， 则在 S550中还应该判断定时器是 否超时， 无论是接收到停止 ZOOM调节指令还是定时器超时， 则均应到 S560。
可选的， 在 S530或者 S540或者 S550或者 S560之后还可以包括： 向控制 终端返回进行 ZOOM调节后的波束图信息，这样，控制终端可以获知跟随 ZOOM 调节变化的波束图， 从而控制终端可以根据返回的波束图判断出是否实现了其 需要的拾音控制， 在判断出实现了其需要的拾音控制后， 控制终端可以发送停 止 ZOOM调节指令。 当然， 上述波束图信息也可以替换为 ZOOM数值等形式。
S560、 终止针对麦克风的 ZOOM调节。
在实施例三中， 拾音设备可以设置有一个或多个麦克风。 作为举例， 在拾 音设备中设置有 5个麦克风的情况下，这 5个麦克风的分布可以如附图 3B所示。 图 3B中的麦克风 1、 麦克风 3、 麦克风 4和麦克风 5的分布呈正方形， 麦克风 2 位于正方形的中心， 5个麦克风的外侧设置有遮挡物 套筒。 套筒可以沿 5个麦 克风所在平面的法线方向移动。 虽然图 3B中示出了套筒， 但是图 3A示出的流 程并没有调整麦克风和套筒的相对位置， 如果需要调整麦克风和套筒的相对位 置， 则上述图 3A中的 S520和 S530可以替换为调整麦克风和套筒的相对位置， 例如， 套筒沿麦克风所在平面的法线方向移动， 由于套筒对麦克风拾音区域的 遮挡范围发生了改变， 因此， 麦克风的拾音角度也会随之发生变化。 使麦克风 移动也是同样的。
上述实施例三是以 Z调节为例进行说明的， P (水平， 即左右）调节和 T (俯 仰， 也即上下垂直）调节的具体实现过程与上述 Z调节的具体实现过程基本相 同， 另外上述实施例是以调节是以对权重 的调节进行说明的， 对延迟、 云台 等的调节也是类似的过程， 在实施例三中不再详细说明。 实施例四、 以麦克风为例对 P ( Pan )、 T ( Tilt )参数进行控制， 其中， Pan 是对麦克风的上下位置调整， Tilt是对麦克风的左右位置调整。 本实施例将结合 附图 3B所示的麦克风分布情况重点描述根据 PTZ控制信号确定目标拾音区域 的拾音区域调节参数的具体实现过程。
设定接收到的 PTZ控制信号是针对麦克风的 P和 T分别进行拾音控制的 PTZ控制信号。
为简化分析， 分别对水平和垂直方向进行计算， 在针对拾音设备的 P进行 拾音控制时， 简化为一线性麦克风阵列， 采用平面波模型， 如附图 4所示， 目 标音源与中心麦克风即麦克风 2 的连线与麦克风阵列法线方向的夹角为 Θ， 如 果法线方向为原音源的初始位置， 则 Θ为麦克风需要进行拾音控制的 P偏转角 度。 设定麦克风 i ( i=l， 2， 3 )接收到的声波（即音频信号） 用复指数形 式表示为：
-l 戈 ( ) 其中， ω为声波的角速度， λ为声波的波长， c为声波传递速度， d为阵元 间距（麦克风之间的距离）， 振幅等效为 1。 t为时间。
Figure imgf000014_0001
( \ 2πά . ( \ cod . ( \
a x ) = sml ) =—— sml )
在设定 L λ c 的情况下， 上述式（2 )可以变化为：
X.(t) ^ eJia"-{i-l)a] 式（3 ) 此时， 拾音设备输出的音频信号即合成信号为:
Figure imgf000015_0001
= wxe & eJat + w2e'j{a+6}T2 }eJat + w,e'i(2a^、ej t 式（ 4 ) 为了使合成信号沿 Θ角方向最大（合成信号的振幅最大）， 需要使 e— 在 i取不同数值时均相等， 同时， 为了避免针对麦克风进行垂直方向的拾音控制 时影响麦克风 2， 需要将延时参数^设置为 0， 因此可得：
ωτχ = 2kn + a
r2 = 0
2a + ωτ3 = 2ηπ + α 式 ( 5 )
其中， k和 n为任意整数。
如果设定 k=n=0， 则可以得到各拾音设备延迟参数的一组设计：
Figure imgf000015_0002
( 6 )
类似的， 当调整拾音设备的俯仰 （T )拾音角度为 η后， 可以获得:
Figure imgf000015_0003
式（7 )
其中， d可以根据实际的约束情况进行设计， 例如根据实际的空间尺寸限制 条件设计 d， d的取值可以为 0.2m。 本例中只需要通过延迟控制就可以调节拾音方向， w'可以根据实际情况进 行设计， 例如， w'的取值可以为 l/m， 其中， m为麦克风的数量， 在 5个麦克风 的情况下， w'可以为 1/5。 从上述实施例四的描述可知， 在接收到与 0和"相应的水平旋转和俯仰调节 的 PTZ控制信号后， 根据上述实施例四记载的方法获得 ΡΤΖ控制信号转换后的 各麦克风对应的延迟参数 ^〜 以及权重值 w' (i的取值为 1至 5)， 之后， 利用
^〜 和 对各麦克风拾取的音频信号进行处理， 即可获得与期望的拾音区域 (目标拾音区域）基本相符的音频信号。 实施例五、 利用机械的旋转控制机构进行俯仰和 /或水平旋转、 以及权重值 的方式来实现拾音控制的方法。 在本实施例中， 以云台为机械的旋转控制机构 为例对拾音控制方法进行说明。
图 5Α示出的云台上设置有 5个麦克风，云台可以通过步进电机的控制进行 水平和垂直方向的移动， 进而改变了麦克风的拾音方位。
实施例五中麦克风的拾音角度也可以进行调整， 例如， 通过控制麦克风拾 取音频信号的延迟参数和权重值对麦克风的拾音角度进行调整； 再例如， 通过 控制麦克风拾取的音频信号的增益对麦克风的拾音角度进行调整。 下面主要对 麦克风拾音角度（ZOOM) 的调整进行详细说明。
针对麦克风的 ZOOM的水平方向的拾音控制如下：
由于云台可以转动， 因此， 麦克风方位角的调整可以通过云台实现， 因此 对于阵列麦克风， 可以视为 Θ为 0， 因此， 麦克风的相位延迟参数 ' =G， 对于 与法线成任意角度 δ的声波， 其合成信号为：
-j
Y(t) =∑WieJ0}te
weiat + w2e-Ja{s)eJO}t + w3e-j{2a{s))ej0}t
Figure imgf000016_0001
式（8 )
合成信号的振幅平方为:
|7( |2 = iwxeia(s) +w2+ w3e-Ms) Ms)eJa}t
- \wx cosa oJJ + w2 + w3 cos- a{ + sma{d))-\- w3 sm- a{
Figure imgf000016_0002
式（9) 为简化设计， 可以令 w.
Wi 则有 Y(t)
Figure imgf000017_0001
式（10) 进行 ZOOM调节时，如附图 5B所示，相当于拾音设备调整的拾音角度为 2 φ ,当声源位于拾音角度 Φ方位时（边界，即图 7B中的两条用实线表示的射线）， 合成信号的振幅衰减到法线方向 ( = 0 )振幅的 P ( <ρ<1 )倍， 即：
-hw2=px {lwx + w2 ). ¾(2w1/(^)+ w2)> 0 (1)
+ w2 =-p {lwx +w2), ¾(2w1/(^)+ v2)<0 (2) 式（11 ) 使用式（11 ) 的 （1 )可得:
-当 2 + Η > 0
Figure imgf000017_0002
式（12)
设定 和^大于 ο， 则由式（11 ) 中的 （1 )可得
Λ )<Ρ 当 (2^ +w2)>0 式（ 13 ) π
为了使得 δ在 ο~ 2范围内取值时， 可以单调变化， 需要使 αδ
Figure imgf000017_0003
结合式（13 )可得到 的取值范围约束为:
2nd
arccos(yC>)< sin )<π
λ , 式（14)
设定 ^的最大值为 ^ 最小值为 ">， 则有：
> arccos( )
Figure imgf000017_0004
2π 式（15 )
由于在窄带情况下， 是已知的， 因此， 可以确定出阵列麦克风的参数 λ
d<
2sin^- 。 为了便于阵列麦克风的工程制作可以获取较大的 的取值范围， λ λ d d< 而且， d可以选择较大值， 例如 in ， 当然， d也可以选择满足 2sin 条件的其他值。
如果对 W '进一步施加约束， 则可以求出 W'。 施加约束的一个具体的例子为： 设置条件∑^=^。
通过如上描述可知， 拾音设备中的麦克风的相关参数的一组设计可以表示 为如下形式：
式（16 )
Figure imgf000018_0001
式（17 ) 当 Ssin ax时， 有 λ
d
2 sin
C{\-p
Figure imgf000019_0001
arccos(7)xsin(^I
Φ arcsi
Figure imgf000019_0002
式（18)
下面是拾音设备中的麦克风的相关参数的一个具体的设计例子: 设定
Figure imgf000019_0003
则拾音设备中的麦克风的相 关参数为：
= τ2 = τ3 = 0
d ¾ 0.0577w = 5.11cm
wl ¾ 0.136
w2 ¾ 0.728
w3 ¾ 0.136
^mm> 0.093215^, 可取 m=0.b 式（19)
拾音设备输出的合成信号为：
2nd
\Y(t)\ = 2w cod—— ύη(δ) \ + w2 = 0.272cos(3.63sin^)+ 0.728
式（20) π
+ δ
如果以 为极角， 以 为极径， 则在极坐标系中画出的波束图可以 如附图 5C所示。
从图 5C示出的波束图可以看出， 在 180度到 360度（相当于拾音设备的背 面）也可以拾取到音频信号， 在实际应用中可以通过遮挡拾音设备的背面或者 假设拾音设备的背面没有音源来避免从背面拾取到的音频信号的影响。 如果针对麦克风的 ZOOM 的垂直方向的拾音控制采用与针对麦克风的 ZOOM 的水平方向的拾音控制类似的方式进行设计， 则拾音设备中的麦克风的
Figure imgf000020_0001
在实施例五中， 由于 P和 T是通过云台进行调整的， 而 ZOOM是通过权重 值进行调整的， 因此，在接收到 PTZ控制信号后，应将 PTZ控制信号转换为 PT 调节指令和 Z调节指令，使用 PT调节指令来控制云台的移动，使用 Z调节指令 来控制麦克风的 ZOOM。 PT调节指令如水平向左调节预定步长、 水平向右调节 预定步长、 俯仰向下调节预定步长、 以及俯仰向上调节预定步长等。 上述 PT调 节指令和 Z调节指令都属于目标拾音区域的拾音区域调节参数。
对于更多麦克风（m=2k+l个）组成的拾音设备， 可以容易的建立更为一般 的方程来求解：
设有 m=2k+l个麦克风， 编号 i分别为 -k， ...0,...k, 其中第 0个为中间麦克 风， 麦克风之间间距为 d
Figure imgf000020_0002
式（ 22 )
对于上式可以根据情况增加各种约束求解， 下面给出一种求解方法:
令 ,·可以得到： Υ(
Figure imgf000021_0001
( 23 )
Figure imgf000021_0002
- 面 3麦克风的求解， 可解得:
Figure imgf000021_0003
式（24 )
类似的可求得一个保守的取值范围
λ
d <
2^sin^m 式（25 ) 实施例六、 基于多个麦克风进行信号合成的控制方式。
在实施例六中， 拾音设备包括的多个麦克风不在同一平面上， 多个麦克风 的分布形状呈棱推形。 一个具体的分布例子为： 图 5Β示出的 5个麦克风中的麦 克风 2与其他四个麦克风不处于同一平面， 此时， 可以形成一个以麦克风 1、 3、 4和 5为底面， 以麦克风 2为顶点的四棱推。 在将麦克风 2突出于其他麦克风所 在的平面之前， 麦克风 1、 2和 3与音源的位置关系如附图 6Α所示。
图 6Α中， 麦克风 1、 2和 3构成一个等边三角形， 为音源与水平线之间 的夹角， 而不是音源与法线之间的夹角， 相应的， 调节的拾音水平 （P )方向偏
( π \
- - Θ
转角度为 人
下面结合附图 6Α对水平方向的拾音控制进行说明。
拾音设备的合成信号可以表示为：
Figure imgf000022_0001
,ί 2 d ( π ) ( 2 d ( 2π ) -j\ ωτχΛ cos θ -j\ ωτ3-\ cos 0
= wxe { λ J)ejat +w2e-Jca^ejcot +w3e [ λ J)ejM 式（26) 为了使合成信号沿 Θ角方向最大， 即为了使合成信号沿 Θ角方向的振幅最 大， 需要使合成信号的相位相同， 式（26) 的其中一组解为：
Figure imgf000022_0002
式 (27) 为了使 '≥Q， 可以给所有延迟器增加一个统一的延迟量， 或给某些延迟 9<L
2π
(即某个延迟参数）增加一个周期 ， 不影响输出的合成信号。
与水平方向的拾音控制类似的， 在调整俯仰（Τ)的拾音角度为 η后， 可得
Figure imgf000022_0003
式（28) 根据 ZOOM调节来确定权重参数 w的过程为：
对于与 方向成 ^-^)角的声波， 拾音设备的合成信号可以表示为
Y(t) =∑wixXi(t)xe
ί=1
2πά r Λ .2 d ( 2π .2 d ( 2π
-)- '-δ —— 0 -j cos ο j cos θ
'eJ e
Figure imgf000023_0001
式（29) 根据式（29)可知， 对于给定的拾音方位 ^和拾音角度范围 2 设定当声源 位于拾音角度 ^方位时（ δ = θ±Φ ), 合成信号的振幅衰减到法线方向（ δ = θ )振 幅的 Ρ ( 0< <1 )倍， 即：
\Υ(θ士 )|
Figure imgf000023_0002
a(Wl +w2 +w3 ). (5) 式（ 30 ) 利用式（30) 中的 （5) 即可求解 w'， 求解结果不是唯一的， 可以通过增加 一些约束条件再求解， 该约束条件如∑w' = c等。
2ώ-— --— -1
在 w'>0的情况下， 设定 Ψ_ Ρ_α— ， C = l， 则可得：
+ w2 + w3e =— (wi + j^-A ―卜
+ w2 + w3e
Figure imgf000023_0003
\weJ + w2 +w3eJ
Figure imgf000023_0004
」 + w2 - 0.9477w3 f + (- 0.3192w3 f = + w2 + w3 )
A/(-0.0553w1 +w2 -0.9939w3)2 +(0.998472w1 -0.11067w3)2 =— ( wl +w2 + w3)
ΗΊ + w2 + w3 = 1
W! =0.4112
w2 =0.3286
由此可获得 w的一组解为： U¾=Q'26Q3。 此时对应的波束图如附图 6B所示。
从图 6B示出的波束图可以看出，在目标拾音区域以外的一些方向（如图 6B 中的 330度附近）有较大的增益， 在实际应用中， 可以假设或布置这些区域没 有音源来避免影响目标拾音区域。 另外， 也可以增加拾音设备中的麦克风数量， 从而有效消除旁瓣的影响， 增加麦克风数量如将图中的正三角形变换为正方形 或五边形等等。 需要说明的是， 本发明实施例中的 PTZ控制， 是为了更好地说明本发明采 用的一种拾音区域控制实施例的描述方式， 还会有其他的控制方式存在， 对此， 本发明不做限制。 实施例七、 基于声音定位来进行拾音控制， 根据声音定位的结果是否在目 标拾音区域内， 发出拾音指令或者不拾音指令。
首先， 通过声源定位算法确定声源方位， 然后， 判断声源方位是否落在麦 克风的拾音区域内， 如果落在麦克风的拾音区域内， 则控制麦克风进行拾音， 否则， 控制麦克风不进行拾音或者不接收该麦克风拾取的音频信号。 也就是说， 选取拾音区域包含声源方位的麦克风， 针对拾音区域包含有声源方位的麦克风 拾取的音频信号进行处理。
下面针对上述实施例进行如下几点说明：
说明 1、 上述各实施例中可以采用多种方法形成波束， 例如， 采用自适应波 束形成法等。 上述各实施例可以适用于窄带信号的拾音控制， 也可以适用于宽 带信号的拾音控制。 对于宽带信号而言， 可以采用子带波束形成法， 且针对各 子带可以采用自拾音波束形成法等多种方式形成波束。
说明 2、上述各实施例多是以 5个麦克风为例进行描述的， 在实际应用中可 以采用更多数量的麦克风， 以达到更佳的拾音控制效果。
说明 3、 当麦克风的拾音区域较小时， 有较高的信噪比， 即大量噪声在拾音 区域之外， 因此， 还可以对麦克风对应的音频信号进行同步的增益控制， 以体 现出近大远小的感觉。 在实际设计中， 也可以直接使∑W' = C随着拾音区域 2 的 减小而增加， 例如， 令 Φ ， 其中的 为比例常数。
另外， 也可以通过声音呈现的位置控制， 使得呈现出来的音源位置随拾音 区域 ^的减小而变近， 使得声音输出体现出声音拉近的感觉， 例如， 可以将目 标拾音区域信息或者转换后的位置信息传递给音频设备的输出端， 由输出端配 合实现拾音控制， 例如， 采用阵列扬声器使得重现的音源位置改变。 说明 3、 在上述各实施例中， 指定拾音区域（即目标拾音区域）外的声音作 为背景音是可以被拾取的，通过调整 的取值可以改变目标拾音区域的音频信号 与背景音的比重。 在希望背景音更加突出的情况下， 可以取较大的 值， 在希望 突出目标拾音区域内的声音， 而对背景音进行更多滤除的情况下， 可以取较小 的 值。 一个具体的例子为： 在实施例三中， 如果 ^ 0·2 , 则对应的波束图如附 图 7所示； 如果 ^二0'7， 则对应的波束图如附图 8所示。
说明 4、在上述实施例中，拾音设备可以设置有专门用于拾取背景音的麦克 风， 如专门用于拾取背景音的全向麦克风。 可以为专门用于拾取背景音的麦克 风设置衰减系数， 在根据衰减系数对拾取的背景音进行衰减后， 再将衰减后的 背景音与其他麦克风对应的合成信号叠加输出。
说明 5、 在上述实施例中， 如果需要使用云台， 则该云台可以为麦克风专用 的云台， 也可以为麦克风和摄像头共用的云台。 当麦克风和摄像头共用云台时， 可以实现摄像和拾音的同步控制。麦克风和摄像头共用云台的情况可以如附图 9 所示。 在图 9 中的云台上连接有一个摄像头和五个麦克风， 五个麦克风即图 9 中标注的编号 1至 5。 当云台水平或俯仰移动时，摄像头的摄像区域和麦克风的 拾音区域均同时发生变化。 在通过网络接口或者本地控制接口接收到 ΡΤΖ控制 信号后， 可以将 ΡΤΖ控制信号转换为 ΡΤ调节指令和 ZOOM调节指令，使用 PT 调节指令控制云台的移动， 使用 ZOOM调节指令对摄像头和麦克风进行摄像控 制和拾音控制。 另外， 图 9中还可以使用麦克风的遮挡物， 这样， ZOOM调节 指令可以用于调节遮挡物和麦克风的相对位置。
说明 6、 在上述实施例中， 为 PTZ控制信号设计 FMCC ( Fast Microphone Control Criteria， 远端摄像机控制命令）协议， FMCC命令可以通过 H.224通道 承载， 也可以直接承载在 TCP/UDP等报文中。 FMCC命令的一个具体的例子如 下各表所示：
表 1
FMCC 8 7 6 5 4 3 2 1 第一字节 Command 第二字节 Device
第三字节 Option 第 N字节 表 1中的 FMCC命令包括 N个字节， 每个字节包括 8bit， 即表的每一行对 应 1个字节， 第一字节 （command )为命令字， 第二字节 （device ) 为设备 ID， 第二字节的取值可以为 0 ~ 255。 当一个设备中设置有多个被控拾音设备， 如多 个被控麦克风时， 可以通过设备 ID来区分被控拾音设备， 当一个设备中只设置 有一个被控拾音设备时， 第二字节可以不定义。 除第一字节和第二字节之外的 其余字节为参数， 不同命令字对应的参数也会有所不同， 即不同命令的参数可 以不同。 表 1中的命令字的定义如表 2所示：
表 2
Figure imgf000026_0001
表 2中定义了 6种 FMCC命令，分别是启动 PTZ调整的 FMCC命令、继续 PTZ调整的 FMCC命令、停止 PTZ调整的 FMCC命令、存储 PTZ位置的 FMCC 命令、 激活预存位置的 FMCC命令和发送数字波束图的 FMCC命令。
启动拾音设备 PTZ调整的 FMCC命令用于触发拾音设备进行拾音控制， 即 拾音设备接收到启动麦克风 PTZ调整的 FMCC命令后开始进行拾音控制。 启 麦克风 PTZ调整的 FMCC命令的一个具体的例子如表 3所示。
表 3
Figure imgf000027_0001
表 3中的 FMCC命令包括四个字节。 第一字节用于表示该 FMCC命令为启 动麦克风 PTZ调整的 FMCC命令。第二字节为设备 ID。第三字节和第四字节如 下表 4所示。
表 4
字段 含义 长度 值
( 比
特）
R/L Pan调整 2 不进行 Pan调整： 0x0
水平向左调节： 0x2 水平向右调节： 0x3
U/D Tilt调整 2 不进行 Tilt调整： 0x0
俯仰向下调节： 0x2 俯仰向上调节： 0x3
I/O Zoom调整 2 不进行 Zoom调整：
0x0
拾音区域变窄： 0x2 拾音区域变宽： 0x3
BP 传递波束图 2 不传递波束图： 0x00 带内传递波束图：
0x2
带外传递波束图：
0x3
Time 超时时间， 超过 4 数值 0x0 ~ Oxf
out 超时时间后， 设备停 以 50毫秒为单位，
止连续调节， 除非在 比如 0x2表示 100毫秒， 超时前收到继续调整 0x8表示 400ms
命令或启动调整命令
Reser 保留字段 4
ved 表 4中， R/L表示对麦克风的水平方向的拾音控制， U/D表示对麦克风的垂 直方向的拾音控制， I/O表示对麦克风的 ZOOM的拾音控制， BP表示是否反馈 波束图以及在反馈波束图时指示以何种方式反馈波束图， Time out表示超时时 间， 即拾音控制的定时时长， Reserved为保留内容。
当被控设备接收到的启动 PTZ调整的 FMCC命令指示需要回传波束图、 且 需要带外传递波束图 （BP=0x03 )时， 被控设备可以另外建立媒体通道， 并利用 该另外建立的媒体通道来传送波束图， 被控设备也可以采用在已有图像上叠加 波束图的方式通过已有的媒体通道传送波束图。 之后， 被控设备在接收到停止 PTZ调整的 FMCC命令后， 关闭上述另外建立的媒体通道或者终止叠加波束图 的操作。 传送波束图的一个具体的例子为： 在电视会议应用中， 通过协商打开 一个逻辑通道， 以传送波束图， 波束图可以采用 H.264等视频或图片编码协议 压缩传送。 传送波束图的另一个具体的例子为： 在电视会议应用中， 在摄像机 捕获的活动图像或胶片内容图像上叠加波束图一起传送。
当被控设备接收到的启动 PTZ调整的 FMCC命令指示需要回传波束图、 且 需要带内传递波束图（ BP=0x02 )时，被控设备需要通过发送数字波束图的 FMCC 命令回传波束图信息， 回传的波束图信息可以为波束图的坐标信息。
继续 PTZ调整的 FMCC命令用于促使拾音设备继续进行拾音控制， 继续麦 克风 PTZ调整的 FMCC命令的一个具体的例子如表 5所示。 Continue
action
第一字节 0xf2
第二字节 Device
第三字节 Time Reser
out ved 表 5中的 FMCC命令包括三个字节。 第一字节用于表示该 FMCC命令为继 续 PTZ调整的 FMCC命令。 第二字节为设备 ID。 第三字节的高 4比特 Time out 用于重新设置拾音控制的定时时长， 即拾音设备根据继续麦克风 PTZ 调整的 FMCC命令中的 Time out的取值重新设置定时器， 并继续进行 PTZ调节， Time out的取值可以与表 4中的 Time out的取值相同。 第三字节的低 4比特 Reserved 为保留内容。
停止 PTZ调整的 FMCC命令用于控制拾音设备不再进行拾音控制， 即拾音 设备接收到停止 PTZ调整的 FMCC命令后停止拾音控制操作。停止 PTZ调整的 FMCC命令的一个具体的例子如表 6所示。
表 6
Figure imgf000029_0001
表 6中的 FMCC命令包括两个字节。 第一字节用于表示该 FMCC命令为停 止 PTZ调整的 FMCC命令。 第二字节为设备 ID。 停止 PTZ调整的 FMCC命令 可以没有参数。
存储 PTZ位置的 FMCC命令用于触发拾音设备保存当前的 PTZ位置信息， 即拾音设备接收到存储 PTZ位置的 FMCC命令后获取各拾音设备当前的 PTZ位 置信息并存储， 拾音设备当前的 PTZ位置信息可以对应有编号， 在存储麦克风 当前的 PTZ信息时，可以将对应的编号一起存储，以便于后续的索引。存储 PTZ 位置的 FMCC命令的一个具体的例子如表 7所示。
表 7
Figure imgf000030_0001
表 7中的 FMCC命令包括三个字节。 第一字节用于表示该 FMCC命令为存 储 PTZ位置的 FMCC命令。 第二字节为设备 ID。 第三字节的高 4比特的 Preset number表示位置编号， Preset number的取值范围可以为 0 ~ 15， 拾音设备存储 的内容可以是 Preset number的取值和该 Preset number对应的麦克风 PTZ位置信 息。 第三字节的低 4比特 Reserved为保留内容。
激活预存位置的 FMCC命令用于触发拾音设备根据预存的信息进行拾音控 制，即拾音设备接收到激活预存位置的 FMCC命令后，获取预存的拾音设备 PTZ 位置信息， 并根据预存的麦克风 PTZ位置信息进行拾音控制。 激活预存的麦克 风位置的 FMCC命令的一个具体的例子如表 8所示。
表 8
Figure imgf000030_0002
表 8中的 FMCC命令包括三个字节。 第一字节用于表示该 FMCC命令为激 活预存位置的 FMCC命令。 第二字节为设备 ID。 第三字节的高 4比特的 Preset number表示激活的麦克风 PTZ位置信息对应的位置编号，同样的， Preset number 的取值范围可以为 0 ~ 15。 第三字节的低 4比特 Reserved为保留内容。 设置拾音区域阀值用于设置拾音区域边缘相对于中心位置幅度衰减比例， 可以达到调节目标拾音区域的音频信号与背景音的比重的效果， 一个具体例子
^口表 9所示。
表 9
Figure imgf000031_0001
表 9中的 FMCC命令包括三个字节。 第一字节用于表示该 FMCC命令为设 置拾音区域阀值的 FMCC命令。 第二字节为设备 ID。 第三字节的高 4比特的 Threshold表示设置拾音区域边缘相对于中心位置幅度衰减比例， 取值范围可以 为 1 ~ 9， 分别对应 0.1 ~ 0.9。 第三字节的低 4比特 Reserved为保留内容。 发送数字波束图的 FMCC命令用于拾音设备向控制终端反馈波束图，例如， 被控设备在接收到启动麦克风 PTZ调整的 FMCC命令后，如果该 FMCC命令中 的 BP表示带内传递波束图，则被控设备根据拾音设备当前的拾音区域生成波束 图，并利用发送数字波束图的 FMCC命令发送波束图。发送数字波束图的 FMCC 命令的一个具体的例子如表 10所示。
表 10
Figure imgf000031_0002
节
第五字 Zoom区域（ 0 ~ 180， 以 2度为单位）， Oxff表示无效 矛 ^字 波束图点数 n (0-65535 )
节 当 n=0时， 后面的参数忽略。
第七字
节
第八字 波束图精度
节 1 Obit精度： 0x01
12bit精度： 0x02
16bit精度： 0x03
第九字 波束图数据压缩方式
不压缩： 0x00
Zip: 0x01
Arj: 0x02
.... 以极坐标形式逐点描述的波束图（当波束图数据进行压 第 N字 缩时，这里将携带按照指定格式压缩的数据，此时需要根据
-i±- y 压缩数据的格式定义进行数据长度的确定和数据的解压）
Γι,θι,...η,θί,...Γη,θη
^ 为第 i点的极坐标， 每一个值的精度由波束图精度 参数指定， 取值范围为 0~360度， 以浮点数表示， 可以 根据需要只传送部分角度区间， ^以无符号整数表示， 取值 在传送前线性变化到与精度对应的区间 （比如采用 10位精 度， 则变化到 0~ 1023 )。 表 10中的 FMCC命令包括 N个字节。 第一字节用于表示该 FMCC命令为 发送数字波束图的 FMCC命令。 第二字节为设备 ID。 第三字节用于表示拾音设 备当前水平方向的数值， 第四字节用于表示拾音设备当前垂直方向的数值。 第 五字节用于表示拾音设备当前的 ZOOM。 第六字节和第七字节用于表示波束图 的点数。 第八字节用于表示波束图的精度。 第九字节用于表示波束图的压缩方 式。 后续字节如表 10中的描述。
被控设备在执行带内回传波束图时， 既可以只传送 P/T/Z角度信息，也可以 只传送波束图， 还可以二者同时传送。 另外， 被控设备也可以将波束图转换为 直角坐标的描述方式来传送。 这里的波束图可以采用极坐标方式逐点描述。 被 控设备可以根据需要利用该 FMCC命令传送稀疏的或致密的波束图， 这里的稀 疏或致密由 n的取值确定。 接收波束图的接收端可以将接收到的波束图进行插 值平滑处理。
也可以通过在已有的摄像机控制协议（如 H.281 协议） 的命令中增加字段 的方式实现针对拾音设备的 PTZ控制信号的传输以及波束图的传输。
当摄像机和拾音设备同时进行 PTZ调整时， 摄像机可以跟随拾音设备进行 PTZ调整， 不用在单独传送摄像机控制命令； 也可以被控端设置拾音设备跟随 摄像机进行 PTZ调整， 这样就可以使用已有的摄像机控制协议同时调整拾音设 备的 PTZ位置， 也可以在摄像机控制协议的命令中指明拾音设备跟随摄像机进 行调节 （需要对摄像机控制协议进行扩展以便设置拾音设备跟随摄像机调整）， 或者也可以通过单独的协商指明拾音设备跟随摄像机进行调节； 控制终端也可 以同时发送针对摄像机的控制命令和针对拾音设备的控制命令实现二者的同步 调整。
通过本地控制接口传输的 PTZ控制信号的命令与上述描述基本相似， 这里 不再对通过本地控制接口传输的 PTZ控制信号的命令格式进行详细说明。 本发明提供一种拾音控制装置， 包括：
接收模块， 用于接收控制信号， 并根据控制信号确定目标拾音区域的拾音 区域调节参数， 拾音区域调节参数用于调节拾音设备， 使拾音设备调节到目标 拾音区域；
拾音控制模块， 用于根据拾音区域调节参数对拾音设备中的至少一个麦克 风进行拾音控制， 使拾音设备输出的音频信号对应的拾音区域与目标拾音区域 相符。
所述装置还包括：
拾音控制停止模块， 用于接收到包含有针对拾音设备停止拾音控制的控制 信号后， 停止对拾音设备的拾音控制。 所述接收模块包括：
信号变换指令接收单元， 用于接收包括对拾音设备所拾取的信号进行信号 变换的指令的控制信号；
信号变换参数确定模块， 用于从信号变换的指令中提取对所述拾音设备的 至少一个麦克风所拾取的信号进行信号变换的参数；
所述拾音控制模块包括：
参数变换单元， 用于根据信号变换的参数对所述拾音设备至少一个麦克风 拾取的音频信号进行相应的变换得到变换后的信号；
合成单元， 用于将此变换后的信号与所述拾音设备的其他麦克风拾取的音 频信号进行合成， 以滤除或减小不属于所述目标拾音区域的音频信号。
进一步的， 进行信号变换的参数为： 拾音设备中至少一个麦克风对应的幅 度调整参数和 /或相位调整参数；
所述信号变换参数确定模块， 具体用于确定拾音设备中至少一个麦克风对 应的幅度调整参数和 /或相位调整参数；
所述参数变换单元， 具体用于根据所述幅度调整参数和 /或相位调整参数对 所述拾音设备的至少一个麦克风拾取的音频信号的幅度和 /或相位进行相应的变 换得到变换后的信号； 所述合成单元， 具体用于将所述变换后的信号与所述拾 音设备的其他麦克风拾取的音频信号进行合成， 以滤除或减小不属于所述目标 拾音区域的音频信号。
可选的， 所述接收模块包括：
位置移动控制指令接收单元， 用于接收包括对所述拾音设备进行位置移动 控制的指令的控制信号；
位置移动参数确定模块， 用于从所述位置移动控制的指令中提取对所述拾 音设备至少一个麦克风进行平移和 /或转动的位置移动参数；
所述拾音控制模块包括：
平移和转动控制单元， 用于利用所述的平移和 /或转动的位置移动参数对所 述拾音设备中的至少一个麦克风进行平移和 /或转动控制；
合成单元， 用于将所述拾音设备的至少一个麦克风进行平移和 /或转动控制 之后所获取的音频信号与所述拾音设备的其他麦克风拾取的音频信号进行合 成， 以滤除或减小不属于所述目标拾音区域的音频信号。 可选的， 所述接收模块包括：
是否拾音指令接收单元， 用于接收包括对拾音设备进行是否拾音的指令的 控制信号；
拾音确认参数确定模块， 用于根据控制信号确定目标拾音区域， 并根据声 源定位算法确定声源的位置； 判断声源的位置是否位于所述目标拾音区域内， 如果是， 则所述拾音区域调节参数为拾音确认参数， 否则为非拾音确认参数； 所述拾音控制模块， 具体用于当获取到拾音确认参数时， 控制拾音设备的 至少一个麦克风进行音频信号拾取， 否则， 控制所述拾音设备的至少一个麦克 风不进行音频信号的拾取。
本发明还提供一种拾音控制装置的实施例， 参看图 10， 该拾音控制装置包 括：
接收模块 1201， 用于接收针对拾音设备进行拾音区域调节的控制信号， 通 过所述控制信号使得拾音设备的拾音区域调节到目标拾音区域；
参数确定模块 1202， 用于根据所述控制信号确定目标拾音区域的拾音区域 调节参数；
拾音区域调节模块 1203， 用于根据所述拾音区域调节参数对所述拾音设备 的至少一个麦克风进行拾音控制， 使所述拾音设备输出的音频信号对应的拾音 区域与所述目标拾音区域相符。
可选的， 参看图 11， 所述装置还包括如下模块：
拾音控制停止模块 1204， 用于接收到包含有停止拾音控制信息的控制信号 后， 停止拾音控制信号的接收。
通过本发明的实施例拾音控制设备能够接收拾音停止控制消息， 方便了用 户的操作控制。
可选的， 参看图 12， 所述参数确定模块 1202具体包括： 信号变换参数确定 模块 1205， 用于确定对所述拾音设备的至少一个麦克风所拾取的信号进行信号 变换的参数；
所述的拾音区域调节模块 1203包括：
参数变换单元 12031，用于对待进行音频信号调整的麦克风拾取的音频信号 进行相应的变换得到变化之后的信号；
合成单元 12032，用于对所述拾音设备中的经过参数变换后的麦克风的信号 进行合成， 得到所述拾音设备输出的音频信号。
采用本发明的实施例能够获取到相应的音频信号变换参数， 对拾音设备的 所拾取的音频信号进行变换， 有效的解决了现有技术中无法通过外界的控制信 号实现拾音设备的控制的问题。
可选的， 参看图 13， 所述进行信号变换的参数为： 所述拾音设备中至少一 个麦克风对应的幅度调整参数和 /或相位调整参数；
所述参数确定模块 1202具体包括： 调整参数确定模块 1206， 用于确定所述 拾音设备中至少一个麦克风对应的幅度调整参数和 /或相位调整参数；
所述的拾音区域调节模块 1203包括：
参数变换单元 12033， 用于利用所述的幅度调整参数和 /或相位调整参数对 所述拾音设备中的至少一个麦克风进行幅度调整 和 /或相位调整；
合成单元 12034，用于对所述拾音设备中的经过参数变换的麦克风的信号进 行合成， 得到所述拾音设备输出的音频信号。
其中， 通过本发明的方法实施例中的权重值作为音频信号幅度调整的参数， 通过延迟参数作为拾音设备的拾取的音频信号的相位调整参数。
本发明的实施例， 通过获取外部的拾音区域控制信号实现了对拾音设备拾 取的音频信号进行幅度调整和 /或相位调整的控制， 有效的解决了现有技术存在 的无法实现拾音设备的接口化控制的问题。
可选的， 参看图 14， 所述进行信号变换的参数为： 所述拾音设备至少一个 麦克风进行平移和 /或转动的位置移动参数；
所述参数确定模块 1202具体包括： 位置移动参数确定模块 1207， 用于确定 所述拾音设备至少一个麦克风进行平移和 /或转动的位置移动参数；
所述的拾音区域调节模块 1203具体包括：
控制单元 12035， 用于利用所述的平移和 /或转动的位置移动参数对所述拾 音设备中的至少一个麦克风进行平移 和 /或转动控制，使接受控制的各个麦克风 达到与各个麦克风对应的位置移动参数所确定的位置。
可选的， 参看图 15， 上述所述控制单元 12035包括：
平移位置控制单元 120351， 用于根据所述拾音设备的至少一个麦克风平移 位置移动调节参数调整所述拾音设备的至少一个麦克风和 /或遮挡物， 以调整所 述拾音设备的至少一个麦克风相对遮挡物的相对位置； 转动位置控制单元 120352， 用于根据所述转动位置移动调节参数对所述拾 音设备的至少一个麦克风进行水平角度和 /或俯仰角度调整。
通过本发明的实施例， 能够实现对拾音设备中所包含的麦克风进行位置调 节的功能， 即能够根据外部的拾音区域控制信号实现对拾音设备所包含的麦克 风的平移控制 和 /或转动控制， 通过对拾音设备的麦克风的有效的控制， 能够有 效的调节拾音设备的拾音区域。 可选的， 参看图 16， 所述进行信号变换的参数为： 所述拾音设备的至少一 个麦克风是否拾音的参数；
所述参数确定模块 1202具体包括： 拾音确定模块 1208， 用于确定所述拾音 设备的至少一个麦克风是否拾音的参数；
所述的拾音区域调节模块 1203包括： 用于根据所述控制信号确定目标拾音 区域， 并根据声源定位算法确定声源的位置； 判断所述声源的位置是否位于所 述目标拾音区域内， 如果是， 则所述拾音区域调节参数为拾音确认参数， 否则 为非拾音确认参数；
当所述的拾音设备获取到拾音确认参数时， 控制所述拾音设备的至少一个 麦克风拾取的音频信号， 否则， 控制所述拾音设备的至少一个麦克风不进行音 频信号的拾取或者对所述拾音设备的至少一个麦克风所拾取的音频信号不进行 获取。
本发明的实施例， 能够对拾音设备是否进行拾音进行有效的控制， 解决了 现有技术中无法通过获取外部参数来进行拾音区域以及拾音信号的调整的问 题。
可选的， 所述拾音设备的麦克风个数至少为四个时， 所有麦克风分布在同 一平面上， 或者除拾音设备的第一麦克风外的其他麦克风呈多边形分布， 所述 拾音设备的第一麦克风与所述其他麦克风呈多棱锥形分布。
本实施例提供了拾音设备多个麦克风的布局方式， 通过不同的布局方式， 能够有效的对拾音区域进行控制。
其中， 所述拾音设备的任意的两个麦克风的间距的最大值与所述单个麦克 风的最大拾音角度的正弦值呈反比。
可选的， 所述拾音设备还设置有专用于拾取背景音的麦克风， 所述用于拾 取背景音的麦克风拾取的背景音经过衰减后与所述拾音控制后的音频信号叠 力口。
其中， 所述拾音控制装置还包括： 背景音调节模块， 用于从拾音区域调节 的控制信号提取出用来控制背景音比重相关的控制参数， 根据此控制参数对所 述拾音设备的至少一个麦克风进行拾音控制， 使输出的音频信号背景音比重相 应变化。
通过本发明的实施例能够有效的改变现有技术中无法实现对拾音设备所获 取的音频信号进行前景音以及背景音的调节问题， 通过本发明的实施例， 能够 图 17为本发明的一个实现技术方案框图， 其中
麦克风单元包含一个或为多个（阵列）指向麦克风和 /或全向麦克； 网络接口用于通过网络接收远端的对麦克风的 PTZ控制命令， 网络接口可 以是基于分组交换的 IP网络或电路交换的 ISDN、 El网络， 包括有线 （如以太 网、 xDSL等）和无线（如 WiFi、 WiMAX、 UMTS, CDMA2000, TD-SCDMA ) 接入方式， 通过远端控制协议实现远端对拾音设备的控制；
本地控制接口用于接收本地对麦克风的 PTZ控制命令， 接口可以是红外、 蓝牙、 RS232 等有线或无线接口， 通过本地的控制协议完成本地的拾音设备的 控制；
PTZ控制单元将 PTZ控制信号转换为拾音区域调节单元和云台 （可选）所 需的参数；
拾音区域调节单元对阵列麦克输入的数字音频信号进行相位和幅度的加权 等处理， 输出与 PTZ对应区域的音频信号， 滤除区域外的信号。 拾音区域调节 单元也可以采用现有技术 1中的方式进行 ZOOM调节， 通过遮挡关系来调节拾 音角度， 以机械方式代替阵列麦克风进行 ZOOM调节；
云台 （可选的）， 以机械方式替代阵列麦克风进行水平（P )和俯仰（T )的 调整；
音效调整单元， 进一步进行声音的放大（可以与视频缩放同步）， 背景音特 殊处理等。
实际调节过程中， 为了能够有实时的反馈效果， 可以采用连续的调节方式， 即用户发送一个启动调节的命令， PTZ控制模块就以一定的频率持续的产生调 节参数（以一定的步长为增量）， 直到用户发送停止调节的命令。
通过以上的实施方式的描述， 本领域的技术人员可以清楚地了解到本发明 可借助软件加必需的硬件平台的方式来实现， 当然也可以全部通过硬件来实施， 但很多情况下前者是更佳的实施方式。 基于这样的理解， 本发明的技术方案对 背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来， 该计算机 软件产品可以存储在存储介质中， 如 ROM/RAM、 磁碟、 光盘等， 包括若干指 令用以使得一台计算机设备（可以是个人计算机， 服务器， 或者网络设备等） 执行本发明各个实施例或者实施例的某些部分所述的方法。
虽然通过实施例描绘了本发明， 本领域普通技术人员知道， 本发明有许多 变形和变化而不脱离本发明的精神， 本发明的申请文件的权利要求包括这些变 形和变化。

Claims

权利要求 书
1、 一种拾音控制方法， 其特征在于， 包括：
接收控制信号， 并根据所述控制信号确定目标拾音区域的拾音区域调节参 数， 所述拾音区域调节参数用于调节所述拾音设备， 使所述拾音设备调节到目 标拾音区域；
根据所述拾音区域调节参数对所述拾音设备中的至少一个麦克风进行拾音 控制， 使所述拾音设备输出的音频信号对应的拾音区域与所述目标拾音区域相 付。
2、 如权利要求 1所述的方法， 其特征在于， 所述根据所述拾音区域调节参 数， 对所述拾音区域中的至少一个麦克风进行拾音控制包括：
当所述控制信号包含拾音控制的启动信息时， 利用目标拾音区域的拾音区 域调节参数对所述拾音设备进行调节， 直到如下之一条件下结束调节：
接收到包含有针对所述拾音设备停止拾音控制的控制信号；
或者直到调节了预定次数；
或者直到调节持续时长达到预定时长。
3、 如权利要求 1或 2所述的方法， 其特征在于， 当所述控制信号包括对拾 音设备所拾取的信号进行信号变换的指令时， 从所述信号变换的指令中提取对 所述拾音设备的至少一个麦克风所拾取的信号进行信号变换的参数；
且所述根据所述拾音区域调节参数对所述拾音设备至少一个麦克风进行拾 音控制包括：
根据所述信号变换的参数对所述拾音设备至少一个麦克风拾取的音频信号 进行相应的变换得到变换后的信号， 将此变换后的信号与所述拾音设备的其他 麦克风拾取的音频信号进行合成， 以滤除或减小不属于所述目标拾音区域的音 频信号。
4、 如权利要求 3所述的方法， 其特征在于， 所述对拾音设备的至少一个麦 克风的信号进行信号变换的参数包括： 所述拾音设备中至少一个麦克风对应的 幅度调整参数和 /或相位调整参数；
且所述根据所述拾音区域调节参数对所述拾音设备的至少一个麦克风进行 拾音控制包括：
根据所述幅度调整参数和 /或相位调整参数对所述拾音设备的至少一个麦克 风拾取的音频信号的幅度和 /或相位进行相应的变换得到变换后的信号， 将此变 换后的信号与所述拾音设备的其他麦克风拾取的音频信号进行合成， 以滤除或 减小不属于所述目标拾音区域的音频信号。
5、 如权利要求 1或 2所述的方法， 其特征在于， 当所述控制信号包括对所 述拾音设备进行位置移动控制的指令时， 从所述位置移动控制的指令中提取对 所述拾音设备至少一个麦克风进行平移和 /或转动的位置移动参数；
且所述根据所述拾音区域调节参数对所述拾音设备至少一个麦克风进行拾 音控制包括：
利用所述的平移和 /或转动的位置移动参数对所述拾音设备中的至少一个麦 克风进行平移和 /或转动控制， 将所述拾音设备的至少一个麦克风进行平移和 /或 转动控制之后所获取的音频信号与所述拾音设备的其他麦克风拾取的音频信号 进行合成， 以滤除或减小不属于所述目标拾音区域的音频信号。
6、 如权利要求 5所述的方法， 其特征在于， 对所述拾音设备至少一个麦克 风进行平移的位置移动参数为： 对应所述拾音设备至少一个麦克风的拾音方位 的平移位置移动调节参数； 所述拾音设备的至少一个麦克风进行转动的位置移 动参数为： 对应所述拾音设备的至少一个麦克风的拾音角度的转动位置移动调 节参数；
且利用所述的平移和 /或转动的位置移动参数对所述拾音设备中的至少一个 麦克风进行平移和 /或转动控制包括：
根据所述拾音设备的至少一个麦克风平移位置移动调节参数调整所述拾音 设备的至少一个麦克风和 /或遮挡物， 以调整所述拾音设备的至少一个麦克风相 对遮挡物的相对位置， 将所述拾音设备的至少一个麦克风调整与遮挡物相对位 置之后所获取的音频信号与所述拾音设备的其他麦克风拾取的音频信号进行合 成， 以滤除或减小不属于所述目标拾音区域的音频信号；
和 /或
根据所述转动位置移动调节参数对所述拾音设备的至少一个麦克风进行水 平和 /或俯仰角度调整， 将所述拾音设备的至少一个麦克风水平和 /或俯仰角度调 整之后所获取的音频信号与所述拾音设备的其他麦克风拾取的音频信号进行合 成， 以滤除或减小不属于所述目标拾音区域的音频信号。
7、 如权利要求 1或 2所述的方法， 其特征在于， 当所述控制信号包括对所 述拾音设备进行是否拾音的指令时， 从所述是否拾音的指令确定目标拾音区域 的拾音区域调节参数包括：
根据所述控制信号确定目标拾音区域， 并根据声源定位算法确定声源的位 置；
判断所述声源的位置是否位于所述目标拾音区域内， 如果是， 则所述拾音 区域调节参数为拾音确认参数， 否则为非拾音确认参数；
且所述根据所述拾音区域调节参数对所述拾音设备至少一个麦克风进行拾 音控制包括：
当获取到拾音确认参数时， 控制所述拾音设备的至少一个麦克风进行音频 信号拾取， 否则， 控制所述拾音设备的至少一个麦克风不进行音频信号的拾取。
8、 如权利要求 4或 6任意一项所述的方法， 其特征在于， 所述根据所述拾 音区域调节参数对所述拾音设备中的至少一个麦克风进行拾音控制还包括： 对所述拾音设备中各个麦克风所拾取的音频信号的合成信号的增益进行调 整， 所述增益随所述拾音设备的拾音角度的减小而增大。
9、 如权利要求 1或 2所述的方法， 其特征在于， 所述接收控制信号， 并根 据所述控制信号确定目标拾音区域的拾音区域调节参数， 还包括： 接收调整背 景音系数的控制信号， 从所述调整背景音的控制信号提取相关的背景音系数控 制参数， 根据所述背景音系数控制参数对所述拾音设备进行拾音控制， 使拾取 的音频信号的背景音系数相应变化。
10、 如权利要求 1或 2所述的方法， 其特征在于， 所述控制信号为对所述 拾音设备进行控制的 P/T/Z控制信号。
11、 一种拾音控制装置， 其特征在于， 包括：
接收模块， 用于接收控制信号， 并根据所述控制信号确定目标拾音区域的 拾音区域调节参数， 所述拾音区域调节参数用于调节所述拾音设备， 使所述拾 音设备调节到目标拾音区域；
拾音控制模块， 用于根据所述拾音区域调节参数对所述拾音设备中的至少 一个麦克风进行拾音控制， 使所述拾音设备输出的音频信号对应的拾音区域与 所述目标拾音区域相符。
12、 如权利要求 11所述的装置， 其特征在于， 所述装置还包括：
拾音控制停止模块， 用于接收到包含有针对所述拾音设备停止拾音控制的 控制信号后， 停止对所述拾音设备的拾音控制。
13、 如权利要求 11或 12所述的装置， 其特征在于， 所述接收模块包括： 信号变换指令接收单元， 用于接收包括对拾音设备所拾取的信号进行信号 变换的指令的控制信号；
信号变换参数确定模块， 用于从所述信号变换的指令中提取对所述拾音设 备的至少一个麦克风所拾取的信号进行信号变换的参数；
所述拾音控制模块包括：
参数变换单元， 用于根据所述信号变换的参数对所述拾音设备至少一个麦 克风拾取的音频信号进行相应的变换得到变换后的信号；
合成单元， 用于将此变换后的信号与所述拾音设备的其他麦克风拾取的音 频信号进行合成， 以滤除或减小不属于所述目标拾音区域的音频信号。
14、如权利要求 13所述的装置， 其特征在于，所述进行信号变换的参数为： 所述拾音设备中至少一个麦克风对应的幅度调整参数和 /或相位调整参数；
所述信号变换参数确定模块， 具体用于确定所述拾音设备中至少一个麦克 风对应的幅度调整参数和 /或相位调整参数；
所述参数变换单元， 具体用于根据所述幅度调整参数和 /或相位调整参数对 所述拾音设备的至少一个麦克风拾取的音频信号的幅度和 /或相位进行相应的变 换得到变换后的信号；
所述合成单元， 具体用于将所述变换后的信号与所述拾音设备的其他麦克 风拾取的音频信号进行合成， 以滤除或减小不属于所述目标拾音区域的音频信 号。
15、 如权利要求 11或 12所述的装置， 其特征在于， 所述接收模块包括： 位置移动控制指令接收单元， 用于接收包括对所述拾音设备进行位置移动 控制的指令的控制信号；
位置移动参数确定模块， 用于从所述位置移动控制的指令中提取对所述拾 音设备至少一个麦克风进行平移和 /或转动的位置移动参数；
所述拾音控制模块包括：
平移和转动控制单元， 用于利用所述的平移和 /或转动的位置移动参数对所 述拾音设备中的至少一个麦克风进行平移和 /或转动控制；
合成单元， 用于将所述拾音设备的至少一个麦克风进行平移和 /或转动控制 之后所获取的音频信号与所述拾音设备的其他麦克风拾取的音频信号进行合 成， 以滤除或减小不属于所述目标拾音区域的音频信号。
16、 如权利要求 15所述的装置， 其特征在于， 所述平移和 /或转动控制单元 包括：
平移控制单元， 用于根据所述拾音设备的至少一个麦克风平移位置移动调 节参数调整所述拾音设备的至少一个麦克风和 /或遮挡物， 以调整所述拾音设备 的至少一个麦克风相对遮挡物的相对位置；
转动控制单元， 用于根据所述转动位置移动调节参数对所述拾音设备的至 少一个麦克风进行水平和 /或俯仰角度调整。
17、 如权利要求 11或 12所述的装置， 其特征在于， 所述接收模块包括： 是否拾音指令接收单元， 用于接收包括对所述拾音设备进行是否拾音的指 令的控制信号；
拾音确认参数确定模块， 用于根据所述控制信号确定目标拾音区域， 并根 据声源定位算法确定声源的位置； 判断所述声源的位置是否位于所述目标拾音 区域内， 如果是， 则所述拾音区域调节参数为拾音确认参数， 否则为非拾音确 认参数；
所述拾音控制模块， 具体用于当获取到拾音确认参数时， 控制所述拾音设 备的至少一个麦克风进行音频信号拾取， 否则， 控制所述拾音设备的至少一个 麦克风不进行音频信号的拾取。
18、 如权利要求 11或 12所述的装置， 其特征在于， 所述拾音设备的麦克 风个数至少为四个时， 所有麦克风分布在同一平面上， 或者除拾音设备的第一 麦克风外的其他麦克风呈多边形分布， 所述拾音设备的第一麦克风与所述其他 麦克风呈多棱锥形分布。
19、 如权利要求 18所述的方法， 其特征在于， 所述拾音设备的任意两个麦 克风的间距的最大值与所述单个麦克风的最大拾音角度的正弦值呈反比。
20、 如权利要求 11或 12所述的装置， 其特征在于， 所述接收模块包括： 背景音调整指令接收单元， 用于接收包括对背景音系数进行调整的控制信 号；
背景音系数控制参数确定模块， 用于从所述调整背景音的控制信号提取相 关的背景音系数控制参数；
所述拾音控制模块包括：
系数调整单元， 用于根据所述背景音系数控制参数对所述拾音设备进行拾 音控制， 使拾取的音频信号的背景音系数相应变化。
PCT/CN2011/070452 2010-01-22 2011-01-21 拾音控制方法和装置 WO2011088796A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010103244.4A CN102137318B (zh) 2010-01-22 2010-01-22 拾音控制方法和装置
CN201010103244.4 2010-01-22

Publications (1)

Publication Number Publication Date
WO2011088796A1 true WO2011088796A1 (zh) 2011-07-28

Family

ID=44296956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/070452 WO2011088796A1 (zh) 2010-01-22 2011-01-21 拾音控制方法和装置

Country Status (2)

Country Link
CN (1) CN102137318B (zh)
WO (1) WO2011088796A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873998B (zh) * 2012-12-17 2018-07-03 联想(北京)有限公司 电子设备和声音采集方法
CN104010251B (zh) * 2013-02-27 2018-06-19 晨星半导体股份有限公司 收音系统与相关方法
CN103986996B (zh) * 2014-05-14 2016-04-27 深圳市达威思智能科技有限公司 一种基于阵列式麦克风的会议系统
CN104934037B (zh) * 2015-06-02 2019-06-25 阔地教育科技有限公司 一种直录播互动系统中的音频处理方法及装置
CN106604183B (zh) * 2015-10-20 2020-06-26 华为终端有限公司 控制终端的多麦克风降噪的拾音范围的方法和装置
CN106338290B (zh) * 2016-10-26 2021-03-16 山东大学 一种机器人自主充电的导航系统及方法
CN106604191A (zh) * 2016-12-20 2017-04-26 广州视源电子科技股份有限公司 一种扩音方法及扩音系统
WO2018127298A1 (en) * 2017-01-09 2018-07-12 Sonova Ag Microphone assembly to be worn at a user's chest
CN110447237B (zh) 2017-03-24 2022-04-15 雅马哈株式会社 拾音装置及拾音方法
CN109257558A (zh) * 2017-07-12 2019-01-22 中兴通讯股份有限公司 会议电视的音视频采集方法、装置和终端设备
CN107277699A (zh) * 2017-07-21 2017-10-20 歌尔科技有限公司 一种拾音方法及装置
CN107734426A (zh) * 2017-08-28 2018-02-23 深圳市金立通信设备有限公司 音频信号处理方法、终端及计算机可读存储介质
WO2019041316A1 (zh) * 2017-09-01 2019-03-07 深圳市台电实业有限公司 一种拾音设备和系统
CN108200515B (zh) * 2017-12-29 2021-01-22 苏州科达科技股份有限公司 多波束会议拾音系统及方法
CN108172236B (zh) * 2018-01-12 2021-08-20 歌尔科技有限公司 一种拾音降噪方法以及智能电子设备
CN108307259B (zh) * 2018-01-24 2019-08-23 腾讯科技（深圳）有限公司 噪音消除处理方法、装置、计算机设备、存储介质和音箱
TWI663593B (zh) * 2018-07-10 2019-06-21 國立成功大學 光學拾音器以及弦樂轉譜系統
TWI690921B (zh) * 2018-08-24 2020-04-11 緯創資通股份有限公司 收音處理裝置及其收音處理方法
CN110035220B (zh) * 2018-09-11 2020-11-20 真善美创新科技有限公司 用于摄影的设备控制系统及方法
CN109151672B (zh) * 2018-09-19 2022-08-05 西安交通大学 基于阵列麦克风的声源跟踪系统及其控制方法
CN111479180B (zh) * 2019-01-24 2022-04-29 Oppo广东移动通信有限公司 拾音控制方法及相关产品
CN113348676A (zh) * 2019-02-14 2021-09-03 松下电器（美国）知识产权公司 麦克风装置
CN109920443A (zh) * 2019-03-22 2019-06-21 网易有道信息技术（北京）有限公司 一种语音处理机器
CN110134364B (zh) * 2019-05-17 2024-05-03 深圳市台电实业有限公司 音频收发装置、智慧教室音频控制系统及方法
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术（北京）有限公司 语音信号处理方法及装置
WO2021108991A1 (zh) * 2019-12-03 2021-06-10 深圳市大疆创新科技有限公司 控制方法、装置和可移动平台
CN111246339B (zh) * 2019-12-31 2021-12-07 上海景吾智能科技有限公司 一种调节拾音方向的方法、系统、存储介质及智能机器人
CN114145025B (zh) * 2020-07-24 2024-04-12 深圳市大疆创新科技有限公司 音频处理方法和电子设备
CN112055122B (zh) * 2020-08-07 2021-12-24 联想(北京)有限公司 一种会议组件设备、会议设备及数据处理方法
CN117412223A (zh) * 2023-12-14 2024-01-16 深圳市声菲特科技技术有限公司 远场拾音的方法、装置、设备与存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328395A (zh) * 2000-06-09 2001-12-26 程滋颐 消噪音受话器
JP2004180197A (ja) * 2002-11-29 2004-06-24 Canon Inc 情報処理装置、情報処理方法および記録媒体
CN1738564A (zh) * 2003-01-15 2006-02-22 奥特迈（美国）有限公司 具有差动隔离能力的麦克风支撑吊杆运动控制装置及方法
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
CN101297587A (zh) * 2006-04-21 2008-10-29 雅马哈株式会社 拾音装置和语音会议设备
US20090060222A1 (en) * 2007-09-05 2009-03-05 Samsung Electronics Co., Ltd. Sound zoom method, medium, and apparatus
CN201307345Y (zh) * 2008-10-29 2009-09-09 北京中庆现代技术有限公司 课程自动录播系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4356670B2 (ja) * 2005-09-12 2009-11-04 ソニー株式会社 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置
CN201349250Y (zh) * 2008-12-23 2009-11-18 康佳集团股份有限公司 一种移动通信终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1328395A (zh) * 2000-06-09 2001-12-26 程滋颐 消噪音受话器
JP2004180197A (ja) * 2002-11-29 2004-06-24 Canon Inc 情報処理装置、情報処理方法および記録媒体
CN1738564A (zh) * 2003-01-15 2006-02-22 奥特迈（美国）有限公司 具有差动隔离能力的麦克风支撑吊杆运动控制装置及方法
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
CN101297587A (zh) * 2006-04-21 2008-10-29 雅马哈株式会社 拾音装置和语音会议设备
US20090060222A1 (en) * 2007-09-05 2009-03-05 Samsung Electronics Co., Ltd. Sound zoom method, medium, and apparatus
CN201307345Y (zh) * 2008-10-29 2009-09-09 北京中庆现代技术有限公司 课程自动录播系统

Also Published As

Publication number Publication date
CN102137318A (zh) 2011-07-27
CN102137318B (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
WO2011088796A1 (zh) 拾音控制方法和装置
CA2784862C (en) An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US20200213735A1 (en) Audio system with configurable zones
CN106664501B (zh) 基于所通知的空间滤波的一致声学场景再现的系统、装置和方法
KR102277438B1 (ko) 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US8150061B2 (en) Sound generating method, sound generating apparatus, sound reproducing method, and sound reproducing apparatus
JP5323069B2 (ja) カメラスピーカフォンのためのマイクロフォン配列
US9338544B2 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
Farina et al. A spherical microphone array for synthesizing virtual directive microphones in live broadcasting and in post production
WO2010020162A1 (zh) 控制声音聚焦的方法、通讯设备及通讯系统
US20220225053A1 (en) Audio Distance Estimation for Spatial Audio Processing
WO2015039439A1 (zh) 音频信号处理方法及装置、差分波束形成方法及装置
WO2015035785A1 (zh) 语音信号处理方法与装置
JP2004032782A (ja) 全方位カメラ及びマイクロフォンアレイのためのシステム
US10271157B2 (en) Method and apparatus for processing audio signal
US20150208191A1 (en) Information processing system and storage medium
US10917718B2 (en) Audio signal processing method and device
US10104490B2 (en) Optimizing the performance of an audio playback system with a linked audio/video feed
WO2010022658A1 (zh) 多视点媒体内容的发送和播放方法、装置及系统
TW201734948A (zh) 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備
CN112351248A (zh) 一种关联图像数据和声音数据的处理方法
EP4173314A2 (en) Sound field adjustment
JP5892797B2 (ja) 送受信システム及び送受信方法、受信装置及び受信方法
CN113747047A (zh) 一种视频播放的方法及设备
JP2009171486A (ja) テレビ会議システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11734378

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11734378

Country of ref document: EP

Kind code of ref document: A1