WO2020063027A1 - 3d音效处理方法及相关产品 - Google Patents

3d音效处理方法及相关产品 Download PDF

Info

Publication number
WO2020063027A1
WO2020063027A1 PCT/CN2019/095292 CN2019095292W WO2020063027A1 WO 2020063027 A1 WO2020063027 A1 WO 2020063027A1 CN 2019095292 W CN2019095292 W CN 2019095292W WO 2020063027 A1 WO2020063027 A1 WO 2020063027A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
channel data
channel
data
effect parameter
Prior art date
Application number
PCT/CN2019/095292
Other languages
English (en)
French (fr)
Inventor
严锋贵
Original Assignee
Oppo广东移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo广东移动通信有限公司 filed Critical Oppo广东移动通信有限公司
Publication of WO2020063027A1 publication Critical patent/WO2020063027A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups

Definitions

  • the present application relates to the field of virtual / augmented reality technology, and particularly to a 3D sound effect processing method and related products.
  • the embodiments of the present application provide a 3D sound effect processing method and related products, which can synthesize 3D sound effects and improve user experience.
  • an embodiment of the present application provides a 3D sound effect processing method, including:
  • an embodiment of the present application provides a 3D sound effect processing apparatus.
  • the 3D sound effect processing apparatus includes: an obtaining unit, a first determining unit, a second determining unit, and a processing unit, where:
  • the acquiring unit is configured to acquire mono data of a sound source
  • the first determining unit is configured to determine a target content scene type corresponding to the mono data
  • the second determining unit is configured to determine a target reverberation effect parameter according to the target content scene type
  • the processing unit is configured to process the mono data according to the target reverberation effect parameter to obtain the target reverberation two-channel data.
  • an embodiment of the present application provides an electronic device including a processor, a memory, a communication interface, and one or more programs.
  • the one or more programs are stored in the memory, and are configured by the above.
  • the processor executes the program, and the program includes instructions for executing steps in the first aspect of the embodiment of the present application.
  • an embodiment of the present application provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program for electronic data exchange, and the computer program enables a computer to execute a computer program as described in the first embodiment of the present application.
  • an embodiment of the present application provides a computer program product, wherein the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to execute the implementation of the present application.
  • FIG. 1A is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • 1B is a schematic flowchart of a 3D sound effect processing method disclosed in an embodiment of the present application.
  • FIG. 1C is a schematic diagram illustrating a multi-channel dual-channel data division method disclosed in an embodiment of the present application.
  • FIG. 1D is a schematic diagram of a 3D sound effect processing method disclosed in an embodiment of the present application.
  • FIG. 1E is a schematic diagram illustrating another 3D sound effect processing method disclosed in an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of another 3D sound effect processing method disclosed in an embodiment of the present application.
  • 3 is a schematic flowchart of another 3D sound effect processing method disclosed in an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of another electronic device disclosed in an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of a 3D sound effect processing device disclosed in an embodiment of the present application.
  • an embodiment herein means that a particular feature, structure, or characteristic described in connection with the embodiment may be included in at least one embodiment of the present application.
  • the appearances of this phrase in various places in the specification are not necessarily all referring to the same embodiment, nor are they independent or alternative embodiments that are mutually exclusive with other embodiments. It is explicitly and implicitly understood by those skilled in the art that the embodiments described herein may be combined with other embodiments.
  • the electronic devices involved in the embodiments of the present application may include various handheld devices (such as smartphones) with wireless communication functions, vehicle-mounted devices, virtual reality (VR) / augmented reality (AR) devices, and may Wearable devices, computing devices or other processing devices connected to wireless modems, and various forms of user equipment (UE), mobile stations (MS), terminal devices, R & D / test platforms, Server and so on.
  • UE user equipment
  • MS mobile stations
  • terminal devices R & D / test platforms, Server and so on.
  • the electronic device may use HRTF (Head Related Transfer Function) filter for audio data (sound emitted by a sound source) to obtain virtual surround sound, which is also called Surround sound, or panoramic sound, realizes a three-dimensional stereo effect.
  • HRTF Head Related Transfer Function
  • the corresponding name of HRTF in the time domain is HRIR (Head Related Impulse Response).
  • the audio data is convolved with Binaural Room Impulse Response (BRIR).
  • BRIR Binaural Room Impulse Response
  • the binaural room impulse response consists of three parts: direct sound, early reflection sound and reverb.
  • FIG. 1A is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • the electronic device includes a control circuit and an input-output circuit, and the input-output circuit is connected to the control circuit.
  • the control circuit may include a storage and processing circuit.
  • the storage circuit in the storage and processing circuit may be a memory, such as a hard disk drive memory, a non-volatile memory (such as a flash memory or other electronic programmable read-only memory used to form a solid-state drive, etc.), a volatile memory (such as a static Or dynamic random access memory, etc.), this embodiment is not limited.
  • the processing circuit in the storage and processing circuit can be used to control the operation of the electronic device.
  • the processing circuit can be implemented based on one or more microprocessors, microcontrollers, digital signal processors, baseband processors, power management units, audio codec chips, application specific integrated circuits, display driver integrated circuits, and the like.
  • the storage and processing circuit can be used to run software in an electronic device, such as playing an incoming call alert ringing application, playing a short message alert ringing application, playing an alarm alert ringing application, playing a media file application, Internet protocol voice (voice Over Internet Protocol (VOIP) telephone calling applications, operating system functions, etc.
  • These software can be used to perform some control operations, such as playing the call alert ring, playing the short message alert ring, playing the alarm alert ring, playing media files, making voice phone calls, and other functions in electronic devices.
  • the examples are not limited.
  • the input-output circuit can be used to enable the electronic device to implement data input and output, that is, to allow the electronic device to receive data from an external device and to allow the electronic device to output data from the electronic device to the external device.
  • the input-output circuit may further include a sensor.
  • the sensor may include an ambient light sensor, an infrared proximity sensor based on light and capacitance, an ultrasonic sensor, and a touch sensor (for example, a light touch sensor and / or a capacitive touch sensor, where the touch sensor may be part of a touch display screen, or Can be used independently as a touch sensor structure), acceleration sensor, gravity sensor, and other sensors.
  • the input-output circuit may further include an audio component, and the audio component may be used to provide audio input and output functions for the electronic device.
  • the audio component may also include a tone generator and other components for generating and detecting sound.
  • the input-output circuit may also include one or more display screens.
  • the display screen may include one or a combination of a liquid crystal display, an organic light emitting diode display, an electronic ink display, a plasma display, and a display using other display technologies.
  • the display screen may include a touch sensor array (ie, the display screen may be a touch display screen).
  • the touch sensor can be a capacitive touch sensor formed by a transparent array of touch sensor electrodes (such as indium tin oxide (ITO) electrodes), or it can be a touch sensor formed using other touch technologies, such as sonic touch, pressure-sensitive touch, resistance Touch, optical touch, etc. are not limited in the embodiments of the present application.
  • the input-output circuit can further include a communication circuit that can be used to provide the electronic device with the ability to communicate with external devices.
  • the communication circuit may include analog and digital input-output interface circuits, and wireless communication circuits based on radio frequency signals and / or optical signals.
  • the wireless communication circuit in the communication circuit may include a radio frequency transceiver circuit, a power amplifier circuit, a low noise amplifier, a switch, a filter, and an antenna.
  • the wireless communication circuit in the communication circuit may include a circuit for supporting near field communication (NFC) by transmitting and receiving a near field coupled electromagnetic signal.
  • the communication circuit may include a near field communication antenna and a near field communication transceiver.
  • Communication circuits may also include cellular telephone transceivers and antennas, wireless LAN transceiver circuits and antennas, and the like.
  • the input-output circuit may further include other input-output units.
  • the input-output unit may include a button, a joystick, a click wheel, a scroll wheel, a touch pad, a keypad, a keyboard, a camera, a light emitting diode, and other status indicators.
  • the electronic device may further include a battery (not shown), and the battery is used to provide power to the electronic device.
  • FIG. 1B is a schematic flowchart of a 3D sound effect processing method disclosed in an embodiment of the present application. The method is applied to the electronic device described in FIG. 1A.
  • the 3D sound effect processing method includes the following steps 101-103.
  • the embodiments of the present application may be applied to a virtual reality / augmented reality scene, or a 3D recording scene.
  • the sound source may be a sounding body in a virtual scene, for example, an airplane in a game scene, the sound source may be a fixed sound source, or a mobile sound source, or the sound source may also be in a physical environment. Sounding body.
  • the content scene type may be at least one of the following: movie, life, entertainment, military, life, astronomy, geography, etc., which is not limited herein.
  • each monaural data may correspond to a frequency band
  • different frequency bands may correspond to different content scene types.
  • the mapping relationship between the frequency band and the content scene type is stored in advance in the electronic device, and further determined according to the mapping relationship.
  • the target content scene type corresponding to the band of mono data.
  • determining a target content scene type corresponding to the mono data may include the following steps:
  • the mono data is audio data. Therefore, the electronic device can perform semantic analysis on the mono data to obtain multiple keywords.
  • the electronic device can also store a preset mapping between the keywords and the content scene type in advance. The relationship is further determined according to the content scene type corresponding to each of the plurality of keywords to obtain a plurality of content scene types, and the content scene type with the highest number of occurrences among the plurality of content scene types is used as the target content scene type.
  • the above-mentioned reverberation effect parameters may include at least one of the following: input level, low-frequency tangent point, high-frequency tangent point, early reflection time, degree of diffusion, low mixing ratio, reverberation time, high-frequency attenuation point, and crossover point , Original dry sound volume, early reflected sound volume, reverb volume, sound field width, output sound field, tail sound, etc. are not limited here.
  • different content scenes can correspond to different reverberation effect parameters.
  • the reverberation effect is different in different scenes, and a reverberation effect suitable for the scene can be achieved, and the 3D feeling is more realistic.
  • step 103 determining the target reverberation effect parameter according to the target content scene type, may be implemented as follows:
  • the target reverberation effect parameter corresponding to the target content scene type is determined according to the preset mapping relationship between the content scene type and the reverberation effect parameter.
  • the electronic device may store a mapping relationship between a preset content scene type and a reverberation effect parameter in advance, and further determine a target reverberation effect parameter corresponding to the target content scene type according to the mapping relationship.
  • the electronic device can process the mono data based on the HRTF algorithm to obtain the two-channel data.
  • the electronic device can also process the two-channel data through the target reverberation effect parameter to obtain the reverberated two-channel data.
  • processing the mono data according to the target reverberation effect parameter to obtain the target reverberation two-channel data may include the following steps:
  • the first three-dimensional coordinate of the sound source can be obtained, and when the sound source emits sound, the mono generated by the source can be obtained.
  • the target object may also correspond to a three-dimensional coordinate, that is, a second three-dimensional coordinate.
  • the first three-dimensional coordinate is different from the second three-dimensional coordinate, and the first three-dimensional coordinate and the second three-dimensional coordinate are based on the same coordinate origin.
  • the target reverberation two-channel data is generated according to the first three-dimensional coordinates, the second three-dimensional coordinates, the mono data, and the target reverberation effect parameters.
  • the target reverberation two-channel data can be implemented by using an HRTF algorithm.
  • the target object when the target object is in a game scene, the target object can be regarded as a character in the game.
  • the game scene can correspond to a three-dimensional map. Therefore, the electronic device can obtain the map corresponding to the game scene and place it in the map. Determine the coordinate position corresponding to the target object to obtain the second three-dimensional coordinates.
  • the position of the character can be known in real time.
  • a 3D sound effect can be generated for the specific position of the character, so that the user can Being able to be immersed and feel the game world is more realistic.
  • step 43 generating the target reverberation two-channel data according to the first three-dimensional coordinates, the second three-dimensional coordinates, the mono data, and the target reverb effect parameter may include the following steps :
  • the original sound data of the sound source is monaural data, and through the algorithm processing (for example, HRTF algorithm), the two-channel data can be obtained. Since the sound is propagated in all directions in the real environment, of course, in During the propagation process, reflection, refraction, interference, diffraction and other phenomena also occur. Therefore, in the embodiment of the present application, the target binaural data used for the final synthesis is only passed between the first three-dimensional coordinates and the second three-dimensional coordinates Multi-channel two-channel data.
  • the multi-channel two-channel data is synthesized into target reverberant two-channel data according to a target reverberation effect parameter.
  • step 432 combining the multi-channel two-channel data according to the target reverberation effect parameter to synthesize the target two-channel data may include the following steps:
  • A11 Using the first three-dimensional coordinate and the second three-dimensional coordinate as an axis to cross-section, divide the multi-channel two-channel data to obtain a first two-channel data set and a second two-channel data set.
  • Each of the first two-channel data set and the second channel data set includes at least one channel of two-channel data;
  • A12 synthesize the first two-channel data set to obtain first mono data
  • A13 synthesize the second two-channel data set to obtain second mono data
  • A14 Combine the first mono data and the second mono data according to the target reverberation effect parameter to obtain the reverberant two-channel data.
  • the first three-dimensional coordinate and the second three-dimensional coordinate can be used as an axis to make a cross section. Because the sound propagation direction is fixed, the propagation trajectory will also have a certain along a certain axis of symmetry. Symmetry. As shown in FIG.
  • the first three-dimensional coordinates and the second three-dimensional coordinates form an axis
  • the axis is used as a cross section to divide the multi-channel two-channel data to obtain a first two-channel data set and a second Two-channel data set
  • the first two-channel data set and the second two-channel data set may also be two-channel data containing the same number of channels
  • the different sets of binaural data are also in a symmetric relationship.
  • the first binaural data set and the second binaural data set both include at least one channel of two-channel data.
  • the electronic device may convert the first two-channel data.
  • the collection is synthesized to obtain the first mono data.
  • the electronic device may include left and right earphones, and the first mono data may be mainly played by the left earphone. Accordingly, the electronic device The second two-channel data set is synthesized to obtain the second mono data. The second mono data can be mainly played by the right earphone. Finally, according to the target reverb effect parameter, the first mono data and the second mono data are combined.
  • the monaural data is synthesized to obtain target reverberation channel data. Specifically, as shown in FIG. 1D, the electronic device can sound the monaural data (for example, the first mono data and the second mono data).
  • Channel processing (channel processing mainly refers to converting mono data into two-channel data) to obtain two two-channel data, and processing each channel of mono data according to the target reverberation effect parameter to obtain reverberation
  • the two two-channel data and the reverberation audio data are synthesized to obtain the target reverberation channel data.
  • the first two-channel data set is synthesized to obtain the first mono data, which may include the following steps:
  • the first energy threshold may be set by a user or defaulted by the system.
  • the electronic device may obtain the energy values of each channel of the two-channel data in the first two-channel data set, and then select an energy value greater than the first energy threshold from the plurality of energy values.
  • Obtain a plurality of first target energy values determine the first two-channel data corresponding to the plurality of first target energy values, and synthesize the first two-channel data to obtain first mono data.
  • step 4323 can also be implemented, and details are not described herein again.
  • the above step 43 generates target reverberation two-channel data according to the first three-dimensional coordinates, the second three-dimensional coordinates, the mono data, and the target reverb effect parameter, and may be implemented as follows:
  • the 3D sound effect is different when the user has different face orientations.
  • the face orientation of the target object is considered, and the electronic device can detect the face orientation of the target object. If it is a game scene, the orientation of the target object relative to the sound source may be detected as the face orientation of the target object.
  • the electronic device is a head-mounted device of the user, for example, head-mounted virtual reality glasses, a virtual reality helmet, a virtual Realistic headband display device and so on.
  • sensors can be used for the detection of the head direction, including, but not limited to, resistive sensors, mechanical sensors, photosensitive sensors, ultrasonic sensors, muscle sensors, and the like, which are not limited herein.
  • the detection of the head direction can be performed at a preset time interval.
  • the preset time interval can be set by the user or defaulted by the system.
  • combining the multi-channel two-channel data according to the target reverberation effect parameter to synthesize the target two-channel data may include the following steps:
  • A21 Determine the energy value of each of the two-channel data of the two-channel data to obtain multiple energy values
  • A22 Determine a reverberation effect parameter adjustment coefficient corresponding to each energy value of the plurality of energy values according to a mapping relationship between a preset energy value and a reverberation effect parameter adjustment coefficient to obtain multiple reverberation effect parameter adjustments coefficient;
  • A23 Determine a reverberation effect parameter corresponding to each channel of two-channel data according to the multiple reverberation effect parameter adjustment coefficients and the target reverberation effect parameter to obtain a plurality of first reverberation effect parameters;
  • A24 Process the multi-channel two-channel data according to the plurality of first reverberation effect parameters to obtain multi-channel reverberation two-channel data, and each first reverberation effect parameter corresponds to a unique one-channel two-channel data. ;
  • A25 Synthesize the multi-channel two-channel data to obtain the target reverberant two-channel data.
  • the electronic device may store a mapping relationship between a preset energy value and a reverberation effect parameter adjustment coefficient in advance.
  • the above-mentioned reverberation effect parameter adjustment coefficient is used for the reverberation effect parameter, and the value range of the reverberation effect parameter adjustment coefficient.
  • the reverberation effect parameter * reverberation effect parameter adjustment coefficient actual reverberation effect parameter, and the corresponding two-channel data is processed through the actual reverberation effect parameter to obtain the reverberation two-channel data.
  • the electronic device can determine the energy value of each channel of the two-channel data, obtain multiple energy values, and determine the corresponding mixture of each of the multiple energy values according to the above mapping relationship.
  • Coefficients for adjusting the reverberation effect parameters to obtain a plurality of adjustment coefficients for the reverberation effect parameters.
  • Each first reverberation effect parameter corresponds to a single channel of two-channel data.
  • the multi-channel two-channel data is synthesized to obtain the target reverberation two-channel data. According to the energy value of each channel, The different reverberation effects in different directions, the final synthesized reverberation two-channel data, the stereo sense is more realistic. Specifically, as shown in FIG.
  • the electronic device may perform channel processing on mono data (for example, first mono data and second mono data) (channel processing mainly refers to converting mono data Into two-channel data), to obtain multiple two-channel data, and to process each channel data according to the reverberation effect parameters, to obtain multiple reverberation audio data, to combine multiple two-channel data and multiple mixing
  • mono data for example, first mono data and second mono data
  • channel processing mainly refers to converting mono data Into two-channel data
  • process each channel data according to the reverberation effect parameters to obtain multiple reverberation audio data
  • the audio data is synthesized to obtain the target reverberation channel data.
  • the 3D sound effect processing method described in the embodiment of the present application obtains mono data of a sound source, determines a target content scene type corresponding to the mono data, and determines a target reverberation effect parameter according to the target content scene type.
  • the mono data is processed according to the target reverberation effect parameter to obtain the target reverberation two-channel data.
  • the reverberation effect parameter corresponding to the content scene can be determined, and the reverberation dual channel is generated according to the reverberation effect parameter Data, thereby achieving a reverberation effect appropriate to the content scene, and the three-dimensional feeling is more realistic.
  • FIG. 2 is a schematic flowchart of a 3D sound effect processing method disclosed in an embodiment of the present application. Applied to the electronic device shown in FIG. 1A, the 3D sound effect processing method includes the following steps 201-206.
  • the 3D sound effect processing method described in the embodiment of the present application obtains mono data of a sound source, determines a target content scene type corresponding to the mono data, and determines a target reverberation effect parameter according to the target content scene type. Acquire the first three-dimensional coordinates of the sound source and the second three-dimensional coordinates of the target object. The first three-dimensional coordinates and the second three-dimensional coordinates are based on the same coordinate origin, according to the first three-dimensional coordinates, the second three-dimensional coordinates, and the mono data and the target.
  • the reverberation effect parameter generates the target reverberation two-channel data.
  • the reverberation effect parameter corresponding to the content scene can be determined, and the reverberation two-channel data is generated according to the reverberation effect parameter, thereby achieving the appropriateness for the content scene.
  • the reverberation effect makes the three-dimensional effect more realistic.
  • FIG. 3 is a schematic flowchart of a 3D sound effect processing method disclosed in an embodiment of the present application. Applied to the electronic device shown in FIG. 1A, the 3D sound effect processing method includes the following steps 301-306.
  • a content scene type corresponding to each keyword in the plurality of keywords determines a content scene type corresponding to each keyword in the plurality of keywords to obtain multiple content scene types.
  • the 3D sound effect processing method described in the embodiment of the present application obtains mono data of a sound source, performs semantic analysis on the mono data, and obtains multiple keywords, according to preset keywords and content scenarios.
  • the mapping relationship between types determines the content scene type corresponding to each keyword in multiple keywords, obtains multiple content scene types, and uses the content scene type that appears most frequently among multiple content scene types as the target content scene type.
  • the preset mapping relationship between the content scene type and the reverberation effect parameters determine the target reverberation effect parameters corresponding to the target content scene type, and process the mono data according to the target reverberation effect parameters to obtain the target reverberation double Channel data.
  • the reverberation effect parameters corresponding to the content scene can be determined, and the reverberation two-channel data is generated according to the reverberation effect parameters, thereby realizing a reverberation effect suitable for the content scene, and the stereoscopic effect is more realistic. .
  • FIG. 4 is a schematic structural diagram of another electronic device disclosed in an embodiment of the present application.
  • the electronic device includes a processor, a memory, a communication interface, and one or more programs.
  • One or more programs are stored in the memory and configured to be executed by the processor, and the program includes instructions for performing the following steps:
  • the electronic device described in the embodiment of the present application obtains the mono data of the sound source, determines the target content scene type corresponding to the mono data, determines the target reverberation effect parameter according to the target content scene type, and
  • the reverberation effect parameter processes the mono data to obtain the target reverberation two-channel data.
  • the reverberation effect parameters corresponding to the content scene can be determined, and the reverberation two-channel data is generated according to the reverberation effect parameters.
  • a reverberation effect suitable for the content scene is achieved, and the three-dimensional effect is more realistic.
  • the foregoing program includes instructions for performing the following steps:
  • the content scene type with the highest number of occurrences among the plurality of content scene types is used as the target content scene type.
  • the foregoing program includes instructions for performing the following steps:
  • the target reverberation effect parameter corresponding to the target content scene type is determined according to the preset mapping relationship between the content scene type and the reverberation effect parameter.
  • the above-mentioned program includes instructions for performing the following steps:
  • the program includes instructions for performing the following steps:
  • the multi-channel two-channel data is synthesized into the target reverberant two-channel data according to the target reverberation effect parameter.
  • the above program includes instructions for performing the following steps:
  • the first three-dimensional coordinate and the second three-dimensional coordinate are used as an axis to make a cross section, and the multi-channel two-channel data is divided to obtain a first two-channel data set and a second two-channel data set.
  • the first two-channel data set and the second channel data set each include at least one channel of two-channel data;
  • the above program includes instructions for performing the following steps:
  • the multi-channel two-channel data is synthesized to obtain the target reverberant two-channel data.
  • the electronic device includes a hardware structure and / or a software module corresponding to each function.
  • this application can be implemented in the form of hardware or a combination of hardware and computer software. Whether a certain function is performed by hardware or computer software-driven hardware depends on the specific application of the technical solution and design constraints. Professional technicians may use different methods to implement the described functions for each specific application, but such implementation should not be considered to be beyond the scope of this application.
  • the embodiments of the present application may divide the functional units of the electronic device according to the foregoing method examples.
  • each functional unit may be divided corresponding to each function, or two or more functions may be integrated into one processing unit.
  • the above integrated unit may be implemented in the form of hardware or in the form of software functional unit. It should be noted that the division of the units in the embodiments of the present application is schematic, and is only a logical function division. In actual implementation, there may be another division manner.
  • FIG. 5 is a schematic structural diagram of a 3D sound effect processing apparatus disclosed in an embodiment of the present application, which is applied to the electronic device shown in FIG. 1A.
  • the obtaining unit 501 is configured to obtain mono data of a sound source
  • the first determining unit 502 is configured to determine a target content scene type corresponding to the mono data
  • the second determining unit 503 is configured to determine a target reverberation effect parameter according to the target content scene type
  • the processing unit 504 is configured to process the mono data according to the target reverberation effect parameter to obtain the target reverberation two-channel data.
  • the first determining unit 502 is specifically configured to:
  • the content scene type with the highest number of occurrences among the plurality of content scene types is used as the target content scene type.
  • the second determining unit 503 is specifically configured to:
  • the target reverberation effect parameter corresponding to the target content scene type is determined according to the preset mapping relationship between the content scene type and the reverberation effect parameter.
  • the processing unit 504 is specifically configured to:
  • the processing unit 504 is specifically configured to:
  • the coordinate position corresponding to the target object is determined in the map to obtain the second three-dimensional coordinate.
  • the processing unit 504 is specifically configured to:
  • the multi-channel two-channel data is synthesized into the target reverberant two-channel data according to the target reverberation effect parameter.
  • the processing unit 504 is specifically configured to:
  • the first three-dimensional coordinate and the second three-dimensional coordinate are used as an axis to make a cross section, and the multi-channel two-channel data is divided to obtain a first two-channel data set and a second two-channel data set.
  • the first two-channel data set and the second channel data set each include at least one channel of two-channel data;
  • the processing unit 504 is specifically configured to:
  • the processing unit 504 is specifically configured to:
  • the multi-channel two-channel data is synthesized to obtain the target reverberant two-channel data.
  • the 3D sound effect processing device described in the embodiment of the present application is applied to an electronic device, obtains mono data of a sound source, determines a target content scene type corresponding to the mono data, and determines a target according to the target content scene type.
  • the reverberation effect parameters are processed according to the target reverberation effect parameters to the mono data to obtain the target reverberation two-channel data.
  • the reverberation effect parameters corresponding to the content scene can be determined and generated based on the reverberation effect parameters.
  • Reverberation two-channel data thereby achieving a reverberation effect suitable for the content scene, and the three-dimensional feeling is more realistic.
  • each "unit” can be, for example, an integrated circuit ASIC, a single circuit, used to execute one or more software or firmware.
  • the obtaining unit 501, the first determining unit 502, the second determining unit 503, and the processing unit 504 may be a control circuit or a processor.
  • An embodiment of the present application further provides a computer storage medium, wherein the computer storage medium stores a computer program for electronic data exchange, and the computer program causes a computer to execute any one of the 3D sound effect processing methods described in the foregoing method embodiments. Some or all steps.
  • An embodiment of the present application further provides a computer program product, the computer program product includes a non-transitory computer-readable storage medium storing a computer program, and the computer program is operable to cause a computer to perform the operations described in the foregoing method embodiments. Part or all of the steps of any 3D sound processing method.
  • the disclosed device may be implemented in other ways.
  • the device embodiments described above are only schematic.
  • the division of the unit is only a logical function division.
  • multiple units or components may be combined or may Integration into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be electrical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, may be located in one place, or may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objective of the solution of this embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each of the units may exist separately physically, or two or more units may be integrated into one unit.
  • the above integrated unit may be implemented in the form of hardware or in the form of software program modules.
  • the integrated unit When the integrated unit is implemented in the form of a software program module and sold or used as an independent product, it may be stored in a computer-readable memory.
  • the technical solution of the present application essentially or part that contributes to the existing technology or all or part of the technical solution can be embodied in the form of a software product, which is stored in a memory.
  • a computer device which may be a personal computer, a server, or a network device, etc.
  • the foregoing memory includes: a U disk, a read-only memory (ROM), a random access memory (RAM), a mobile hard disk, a magnetic disk, or an optical disk, and other media that can store program codes.
  • the program may be stored in a computer-readable memory, and the memory may include a flash disk. , ROM, RAM, disk or disc, etc.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本申请实施例公开了一种3D音效处理方法及相关产品，该方法包括：获取声源的单声道数据；确定所述单声道数据对应的目标内容场景类型；根据所述目标内容场景类型确定目标混响效果参数；依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。采用本申请实施例能够确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。

Description

3D音效处理方法及相关产品 技术领域
本申请涉及虚拟/增强现实技术领域，具体涉及一种3D音效处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
随着技术发展，虚拟现实在电子设备中也得到了迅猛发展，然而，虚拟现实产品中，现有技术中耳机接收的音频数据往往是2D音频数据，因此，无法给用户带来声音的真实感，降低了用户体验。
发明内容
本申请实施例提供了一种3D音效处理方法及相关产品，能够合成3D音效，提升用户体验。
第一方面，本申请实施例提供一种3D音效处理方法，包括：
获取声源的单声道数据；
确定所述单声道数据对应的目标内容场景类型；
根据所述目标内容场景类型确定目标混响效果参数；
依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
第二方面，本申请实施例提供了一种3D音效处理装置，所述3D音效处理装置包括：获取单元、第一确定单元、第二确定单元和处理单元，其中，
所述获取单元，用于获取声源的单声道数据；
所述第一确定单元，用于确定所述单声道数据对应的目标内容场景类型；
所述第二确定单元，用于根据所述目标内容场景类型确定目标混响效果参数；
所述处理单元，用于依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例公开的一种3D音效处理方法的流程示意图；
图1C是本申请实施例公开的多路双声道数据划分方式的演示示意图；
图1D是本申请实施例公开的一种3D音效处理方法的演示示意图；
图1E是本申请实施例公开的另一种3D音效处理方法的演示示意图；
图2是本申请实施例公开的另一种3D音效处理方法的流程示意图；
图3是本申请实施例公开的另一种3D音效处理方法的流程示意图；
图4是本申请实施例公开的另一种电子设备的结构示意图；
图5是本申请实施例公开的一种3D音效处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtual reality,VR)/增强现实(augmented reality，AR)设备，可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)、研发/测试平台、服务器等等。为方便描述，上面提到的设备统称为电子设备。
具体实现中，本申请实施例中，电子设备可对音频数据(声源发出的声音)使用HRTF(Head Related Transfer Function，头相关变换函数)滤波器进行滤波，得到虚拟环绕声，也称之为环绕声，或者全景声，实现一种三维立体音效。HRTF在时间域所对应的名称是 HRIR(Head Related Impulse Response)。或者将音频数据与双耳房间脉冲响应(Binaural Room Impulse Response，BRIR)做卷积，双耳房间脉冲响应由三个部分组成：直达声，早期反射声和混响(reverb)。
请参阅图1A，图1A是本申请实施例提供了一种电子设备的结构示意图，电子设备包括控制电路和输入-输出电路，输入输出电路与控制电路连接。
其中，控制电路可以包括存储和处理电路。该存储和处理电路中的存储电路可以是存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路中的处理电路可以用于控制电子设备的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路可用于运行电子设备中的软件，例如播放来电提示响铃应用程序、播放短消息提示响铃应用程序、播放闹钟提示响铃应用程序、播放媒体文件应用程序、互联网协议语音(voice over internet protocol，VOIP)电话呼叫应用程序、操作系统功能等。这些软件可以用于执行一些控制操作，例如，播放来电提示响铃、播放短消息提示响铃、播放闹钟提示响铃、播放媒体文件、进行语音电话呼叫以及电子设备中的其它功能等，本申请实施例不作限制。
其中，输入-输出电路可用于使电子设备实现数据的输入和输出，即允许电子设备从外部设备接收数据和允许电子设备将数据从电子设备输出至外部设备。
输入-输出电路可以进一步包括传感器。传感器可以包括环境光传感器，基于光和电容的红外接近传感器，超声波传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，重力传感器，和其它传感器等。输入-输出电路还可以进一步包括音频组件，音频组件可以用于为电子设备提供音频输入和输出功能。音频组件还可以包括音调发生器以及其它用于产生和检测声音的组件。
输入-输出电路还可以包括一个或多个显示屏。显示屏可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏可以包括触摸传感器阵列(即，显示屏可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
输入-输出电路还可以进一步包括通信电路可以用于为电子设备提供与外部设备通信的能力。通信电路可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication，NFC)的电路。例如，通信电路可以包括近场通信天线和近场通信收发器。通信电路还可以包括蜂 窝电话收发器和天线，无线局域网收发器电路和天线等。
输入-输出电路还可以进一步包括其它输入-输出单元。输入-输出单元可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
其中，电子设备还可以进一步包括电池(未图示)，电池用于给电子设备提供电能。
下面对本申请实施例进行详细介绍。
请参阅图1B，图1B是本申请实施例公开的一种3D音效处理方法的流程示意图，应用于上述图1A所描述的电子设备，该3D音效处理方法包括如下步骤101-103。
101、获取声源的单声道数据。
其中，本申请实施例可应用于虚拟现实/增强现实场景，或者，3D录音场景。本申请实施例中，声源可以为虚拟场景中一发声体，例如，游戏场景中的一个飞机，声源可以为固定声源，或者，移动声源，或者，声源还可以为物理环境中的发声体。
102、确定所述单声道数据对应的目标内容场景类型。
其中，本申请实施例中，内容场景类型可以为以下至少一种：电影、人生、娱乐、军事、生活、天文、地理等等，在此不做限定。例如，每一单声道数据可对应一个频段，不同的频段可以对应不同的内容场景类型，具体地，电子设备中预先存储频段与内容场景类型之间的映射关系，进而，依据该映射关系确定单声道数据的频段对应的目标内容场景类型。
可选地，上述步骤102，确定所述单声道数据对应的目标内容场景类型，可包括如下步骤：
21、对所述单声道数据进行语义解析，得到多个关键字；
22、按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型；
23、将所述多个内容场景类型中出现次数最多的内容场景类型作为所述目标内容场景类型。
其中，单声道数据为音频数据，因此，电子设备可对单声道数据进行语义解析，得到多个关键字，电子设备中还可以预先存储预设的关键字与内容场景类型之间的映射关系，进而，依据该确定多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型，将多个内容场景类型中出现次数最多的内容场景类型作为目标内容场景类型。
103、根据所述目标内容场景类型确定目标混响效果参数。
其中，上述混响效果参数可以包括以下至少一种：输入电平、低频切点、高频切点、早反射时间、扩散程度、低混比率、残响时间、高频衰点、分频点、原始干声音量、早反射声音量、混响音量、声场宽度、输出声场、尾音等等，在此不作限定。具体实现中，不同的内容场景，可对应不同的混响效果参数，这样的话，在不同的场景下，混响效果也不一样，能够实现与场景相宜的混响效果，3D感更加真实。
可选地，上述步骤103，根据所述目标内容场景类型确定目标混响效果参数，可按照如下方式实施：
按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的所述目标混响效果参数。
其中，电子设备中可以预先存储预设的内容场景类型与混响效果参数之间的映射关系，进而，依据该映射关系确定目标内容场景类型对应的目标混响效果参数。
104、依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
其中，电子设备可基于HRTF算法对单声道数据进行处理，得到双声道数据，另外，还可以通过目标混响效果参数对双声道数据进行处理，得到混响双声道数据。
可选地，上述步骤104，依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据，可包括如下步骤：
41、获取所述声源的第一三维坐标；
42、获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；
43、依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
其中，以虚拟场景为例，由于虚拟场景中每一物体均可以对应一个三维坐标，因此，可以获取声源的第一三维坐标，在声源发出声音时，则可以获取生源产生的单声道数据。其中，目标对象也可以对应一个三维坐标，即第二三维坐标，当然，第一三维坐标与第二三维坐标为不同的位置，且第一三维坐标与第二三维坐标基于同一坐标原点。进而，依据第一三维坐标、第二三维坐标以及单声道数据、目标混响效果参数生成目标混响双声道数据，具体地，可以通过HRTF算法实现。
其中，在目标对象处于游戏场景时，目标对象可视为游戏中一角色，当然，具体实现中，游戏场景可对应一三维地图，因此，电子设备可以获取游戏场景对应的地图，并在地图中确定目标对象对应的坐标位置，得到第二三维坐标，如此，针对不同的游戏，可实时知晓角色位置，在本申请实施例中，针对角色具体位置，能够生成3D音效，让用户在游戏时，能够身临其境，感觉游戏世界更为逼真。
可选地，上述步骤43，依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据，可包括如下步骤：
431、将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；
432、根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据。
其中，声源的原始声音数据为单声道数据，通过算法处理(例如，HRTF算法)，则可以得到双声道数据，由于在现实环境中，声音是沿着各个方向进行传播，当然，在传播过程中，也会出现反射、折射、干涉、衍射等现象，因此，本申请实施例中，用于最终合成目标双声道数据的仅仅为经过第一三维坐标与第二三维坐标之间的多路双声道数据，根据目标混响效果参数将该多路双声道数据合成目标混响双声道数据。
可选地，上述步骤432，根据所述目标混响效果参数将所述多路双声道数据合成所述 目标混响双声道数据，可包括如下步骤：
A11、以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；
A12、将所述第一双声道数据集合进行合成，得到第一单声道数据；
A13、将所述第二双声道数据集合进行合成，得到第二单声道数据；
A14、根据所述目标混响效果参数将所述第一单声道数据、所述第二单声道数据进行合成，得到所述混响双声道数据。
其中，在知晓第一三维坐标，第二三维坐标之后，可以第一三维坐标与第二三维坐标为轴线作横截面，由于声音传播方向一定，传播轨迹也会沿着一定的对称轴具备一定的对称性，如图1C所示，第一三维坐标与第二三维坐标形成轴线，以该轴线作横截面，可以将多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，不考虑外在因素，例如，折射，反射，衍射等情况，则第一双声道数据集合与第二双声道数据集合也可以是包含相同路数的双声道数据，且不同集合的双声道数据也是对称关系，第一双声道数据集合、第二声道数据集合均包括至少一路双声道数据，具体实现中，电子设备可将第一双声道数据集合进行合成，得到第一单声道数据，电子设备可以包括左右耳机，第一单声道数据可以主要由左耳机播放，相应地，电子设备可将第二双声道数据集合进行合成，得到第二单声道数据，第二单声道数据可以主要由右耳机播放，最后，根据目标混响效果参数将第一单声道数据、第二单声道数据进行合成，得到目标混响声道数据，具体地，如图1D所示，电子设备可将单声道数据(例如，第一单声道数据、第二单声道数据)进行声道处理(声道处理主要是指将单声道数据转变为双声道数据)，得到2个双声道数据，以及依据目标混响效果参数对各路单声道数据进行处理，得到混响音频数据，将2个双声道数据以及混响音频数据进行合成，得到目标混响声道数据。
可选地，上述步骤4322，将所述第一双声道数据集合进行合成，得到第一单声道数据，可包括如下步骤：
B1、将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；
B2、从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；
B3、确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。
其中，上述第一能量阈值可以由用户自行设置或者系统默认。具体实现中，电子设备可将第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值，进而，从多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值，确定多个第一目标能量值对应的第一双声道数据，将第一双声道数据进行合成，得到第一单声道数据。
可选地，基于与上述步骤A1-步骤A3，也可以实现上述步骤4323，在此不再赘述。
可选地，在上述步骤41-步骤43之间，还可以包括如下步骤：
获取所述目标对象的面部朝向；
则，上述步骤43，依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据，可按照如下方式实施：
依据所述面部朝向、所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
其中，具体实现中，用户不同的面部朝向，则听到的3D音效也不一样，鉴于此，本申请实施例中，则考虑目标对象的面部朝向，电子设备可检测目标对象的面部朝向，具体地，若是游戏场景，则可以检测目标对象的相对于声源的朝向作为目标对象的面部朝向，若电子设备为是考虑用户头戴设备，例如，头戴式虚拟现实眼镜、虚拟现实头盔、虚拟现实头带显示设备等。人头方向的检测可以使用多种传感器，包括但不限于电阻式传感器、力学传感器、光敏传感器、超声波传感器、肌肉传感器等，在此不做限定。可以是其中一种传感器，也可以是其中几种传感器的组合，可以是一个传感器还可以是几个传感器的组合。人头方向的检测可以按照每隔预设时间间隔进行检测，预设时间间隔可以由用户自行设置或者系统默认。
可选地，上述步骤432，根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据，可包括如下步骤：
A21、确定多路双声道数据中每一路双声道数据的能量值，得到多个能量值；
A22、按照预设的能量值与混响效果参数调节系数之间的映射关系，确定所述多个能量值中每一能量值对应的混响效果参数调节系数，得到多个混响效果参数调节系数；
A23、依据所述多个混响效果参数调节系数、所述目标混响效果参数确定每一路双声道数据对应的混响效果参数，得到多个第一混响效果参数；
A24、依据所述多个第一混响效果参数对所述多路双声道数据进行处理，得到多路混响双声道数据，每一第一混响效果参数对应唯一一路双声道数据；
A25、将所述多路双声道数据进行合成，得到所述目标混响双声道数据。
其中，电子设备中可预先存储预设的能量值与混响效果参数调节系数之间的映射关系，上述混响效果参数调节系数用于混响效果参数，混响效果参数调节系数的取值范围在0～1之间，具体地，混响效果参数*混响效果参数调节系数＝实际混响效果参数，并通过实际混响效果参数对相应双声道数据进行处理，得到混响双声道数据。具体实现中，电子设备可确定多路双声道数据中每一路双声道数据的能量值，得到多个能量值，并依据上述映射关系，确定多个能量值中每一能量值对应的混响效果参数调节系数，得到多个混响效果参数调节系数，依据多个混响效果参数调节系数、目标混响效果参数确定每一路双声道数据对应的混响效果参数，得到多个第一混响效果参数，即第一混响效果参数＝目标混响效果参数*混响效果参数调节系数，进而，依据多个第一混响效果参数对多路双声道数据进行处理，得到多路混响双声道数据，每一第一混响效果参数对应唯一一路双声道数据，将多路双声道数据进行合成，得到目标混响双声道数据，这样依据每一路能量值，实现不同方向不同的混响效果，最终合成的混响双声道数据，立体感更加真实。具体地，如图1E所示，电子设备可将单声道数据(例如，第一单声道数据、第二单声道数据)进行声道处理(声道处理主要是指将单声道数据转变为双声道数据)，得到多个双声道数据，以及依据混响效果参数对各路声道数据进行处理，得到多个混响音频数据，将多个双声道数据以及多个混响音频数据进行合成，得到目标混响声道数据。
可以看出，本申请实施例中所描述的3D音效处理方法，获取声源的单声道数据，确 定单声道数据对应的目标内容场景类型，根据目标内容场景类型确定目标混响效果参数，依据目标混响效果参数对单声道数据进行处理，得到目标混响双声道数据，如此，可以确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。
与上述一致地，图2是本申请实施例公开的一种3D音效处理方法的流程示意图。应用于如图1A所示的电子设备，该3D音效处理方法包括如下步骤201-206。
201、获取声源的单声道数据。
202、确定所述单声道数据对应的目标内容场景类型。
203、根据所述目标内容场景类型确定目标混响效果参数。
204、获取所述声源的第一三维坐标。
205、获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点。
206、依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
其中，上述步骤201-步骤206的具体描述可以参照图1B所描述的3D音效处理方法的相应描述，在此不再赘述。
可以看出，本申请实施例中所描述的3D音效处理方法，获取声源的单声道数据，确定单声道数据对应的目标内容场景类型，根据目标内容场景类型确定目标混响效果参数，获取声源的第一三维坐标，获取目标对象的第二三维坐标，，第一三维坐标与第二三维坐标基于同一坐标原点，依据第一三维坐标、第二三维坐标以及单声道数据、目标混响效果参数生成目标混响双声道数据，如此，可以确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。
与上述一致地，图3是本申请实施例公开的一种3D音效处理方法的流程示意图。应用于图1A所示的电子设备，该3D音效处理方法包括如下步骤301-306。
301、获取声源的单声道数据。
302、对所述单声道数据进行语义解析，得到多个关键字。
303、按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型。
304、将所述多个内容场景类型中出现次数最多的内容场景类型作为目标内容场景类型。
305、按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的目标混响效果参数。
306、依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
其中，上述步骤301-步骤306的具体描述可以参照图1B所描述的3D音效处理方法 的相应描述，在此不再赘述。
可以看出，本申请实施例中所描述的3D音效处理方法，获取声源的单声道数据，对单声道数据进行语义解析，得到多个关键字，按照预设的关键字与内容场景类型之间的映射关系，确定多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型，将多个内容场景类型中出现次数最多的内容场景类型作为目标内容场景类型，按照预设的内容场景类型与混响效果参数之间的映射关系，确定目标内容场景类型对应的目标混响效果参数，依据目标混响效果参数对单声道数据进行处理，得到目标混响双声道数据，如此，可以确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。
请参阅图4，图4是本申请实施例公开的另一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取声源的单声道数据；
确定所述单声道数据对应的目标内容场景类型；
根据所述目标内容场景类型确定目标混响效果参数；
依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
可以看出，本申请实施例中所描述的电子设备，获取声源的单声道数据，确定单声道数据对应的目标内容场景类型，根据目标内容场景类型确定目标混响效果参数，依据目标混响效果参数对单声道数据进行处理，得到目标混响双声道数据，如此，可以确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。
在一个可能的示例中，在所述确定所述单声道数据对应的目标内容场景类型方面，上述程序包括用于执行以下步骤的指令：
对所述单声道数据进行语义解析，得到多个关键字；
按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型；
将所述多个内容场景类型中出现次数最多的内容场景类型作为所述目标内容场景类型。
在一个可能的示例中，在所述根据所述目标内容场景类型确定目标混响效果参数方面，上述程序包括用于执行以下步骤的指令：
按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的所述目标混响效果参数。
在一个可能的示例中，在所述依据所述目标混响效果参数对所述单声道数据进行处理，得到目标双声道数据方面，上述程序包括用于执行以下步骤的指令：
获取所述声源的第一三维坐标；
获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标 原点；
依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
在一个可能的示例中，在所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据方面，上述程序包括用于执行以下步骤的指令：
将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；
根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据。
在一个可能的示例中，在所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据方面，上述程序包括用于执行以下步骤的指令：
以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；
将所述第一双声道数据集合进行合成，得到第一单声道数据；
将所述第二双声道数据集合进行合成，得到第二单声道数据；
根据所述目标混响效果参数将所述第一单声道数据、所述第二单声道数据进行合成，得到所述混响双声道数据。
在一个可能的示例中，在所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据方面，上述程序包括用于执行以下步骤的指令：
确定多路双声道数据中每一路双声道数据的能量值，得到多个能量值；
按照预设的能量值与混响效果参数调节系数之间的映射关系，确定所述多个能量值中每一能量值对应的混响效果参数调节系数，得到多个混响效果参数调节系数；
依据所述多个混响效果参数调节系数、所述目标混响效果参数确定每一路双声道数据对应的混响效果参数，得到多个第一混响效果参数；
依据所述多个第一混响效果参数对所述多路双声道数据进行处理，得到多路混响双声道数据，每一第一混响效果参数对应唯一一路双声道数据；
将所述多路双声道数据进行合成，得到所述目标混响双声道数据。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要 说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图5，图5是本申请实施例公开的一种3D音效处理装置的结构示意图，应用于图1A所示的电子设备，所述3D音效处理装置500包括：获取单元501、第一确定单元502、第二确定单元503和处理单元504，其中，
所述获取单元501，用于获取声源的单声道数据；
所述第一确定单元502，用于确定所述单声道数据对应的目标内容场景类型；
所述第二确定单元503，用于根据所述目标内容场景类型确定目标混响效果参数；
所述处理单元504，用于依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
在一个可能的示例中，在所述确定所述单声道数据对应的目标内容场景类型方面，所述第一确定单元502具体用于：
对所述单声道数据进行语义解析，得到多个关键字；
按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型；
将所述多个内容场景类型中出现次数最多的内容场景类型作为所述目标内容场景类型。
在一个可能的示例中，在所述根据所述目标内容场景类型确定目标混响效果参数方面，所述第二确定单元503具体用于：
按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的所述目标混响效果参数。
在一个可能的示例中，在所述依据所述目标混响效果参数对所述单声道数据进行处理，得到目标双声道数据方面，所述处理单元504具体用于：
获取所述声源的第一三维坐标；
获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；
依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
在一个可能的示例中，在所述目标对象处于游戏场景时，在所述获取目标对象的第二三维坐标方面，所述处理单元504具体用于：
获取所述游戏场景对应的地图；
在所述地图中确定所述目标对象对应的坐标位置，得到所述第二三维坐标。
在一个可能的示例中，在所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据方面，所述处理单元504具体用于：
将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；
根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据。
在一个可能的示例中，在所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据方面，所述处理单元504具体用于：
以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；
将所述第一双声道数据集合进行合成，得到第一单声道数据；
将所述第二双声道数据集合进行合成，得到第二单声道数据；
根据所述目标混响效果参数将所述第一单声道数据、所述第二单声道数据进行合成，得到所述混响双声道数据。
在一个可能的示例中，在所述将所述第一双声道数据集合进行合成，得到第一单声道数据方面，所述处理单元504具体用于：
将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；
从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；
确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。
在一个可能的示例中，在所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据方面，所述处理单元504具体用于：
确定多路双声道数据中每一路双声道数据的能量值，得到多个能量值；
按照预设的能量值与混响效果参数调节系数之间的映射关系，确定所述多个能量值中每一能量值对应的混响效果参数调节系数，得到多个混响效果参数调节系数；
依据所述多个混响效果参数调节系数、所述目标混响效果参数确定每一路双声道数据对应的混响效果参数，得到多个第一混响效果参数；
依据所述多个第一混响效果参数对所述多路双声道数据进行处理，得到多路混响双声道数据，每一第一混响效果参数对应唯一一路双声道数据；
将所述多路双声道数据进行合成，得到所述目标混响双声道数据。
可以看出，本申请实施例中所描述的3D音效处理装置，应用于电子设备，获取声源的单声道数据，确定单声道数据对应的目标内容场景类型，根据目标内容场景类型确定目标混响效果参数，依据目标混响效果参数对单声道数据进行处理，得到目标混响双声道数据，如此，可以确定与内容场景对应的混响效果参数，并依据该混响效果参数生成混响双声道数据，从而，实现了与内容场景相宜的混响效果，立体感更加真实。
需要注意的是，本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义，用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC，单个电路，用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器，组合逻辑电路，和/或提供实现上述功能的其他合适的组件。
其中，获取单元501、第一确定单元502、第二确定单元503和处理单元504可以是控制电路或处理器。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种3D音效处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种3D音效处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施 方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

  1. 一种3D音效处理方法，其特征在于，所述方法包括：
    获取声源的单声道数据；
    确定所述单声道数据对应的目标内容场景类型；
    根据所述目标内容场景类型确定目标混响效果参数；
    依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
  2. 根据权利要求1所述的方法，其特征在于，所述确定所述单声道数据对应的目标内容场景类型，包括：
    对所述单声道数据进行语义解析，得到多个关键字；
    按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型；
    将所述多个内容场景类型中出现次数最多的内容场景类型作为所述目标内容场景类型。
  3. 根据权利要求1或2所述的方法，其特征在于，所述根据所述目标内容场景类型确定目标混响效果参数，包括：
    按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的所述目标混响效果参数。
  4. 根据权利要求1-3任一项所述的方法，其特征在于，所述依据所述目标混响效果参数对所述单声道数据进行处理，得到目标双声道数据，包括：
    获取所述声源的第一三维坐标；
    获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；
    依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
  5. 根据权利要求4所述的方法，其特征在于，在所述目标对象处于游戏场景时，所述获取目标对象的第二三维坐标，包括：
    获取所述游戏场景对应的地图；
    在所述地图中确定所述目标对象对应的坐标位置，得到所述第二三维坐标。
  6. 根据权利要求4所述的方法，其特征在于，所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据，包括：
    将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；
    根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据。
  7. 根据权利要求6所述的方法，其特征在于，所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据，包括：
    以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；
    将所述第一双声道数据集合进行合成，得到第一单声道数据；
    将所述第二双声道数据集合进行合成，得到第二单声道数据；
    根据所述目标混响效果参数将所述第一单声道数据、所述第二单声道数据进行合成，得到所述混响双声道数据。
  8. 根据权利要求7所述的方法，其特征在于，所述将所述第一双声道数据集合进行合成，得到第一单声道数据，包括：
    将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；
    从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；
    确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。
  9. 根据权利要求6所述的方法，其特征在于，所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据，包括：
    确定多路双声道数据中每一路双声道数据的能量值，得到多个能量值；
    按照预设的能量值与混响效果参数调节系数之间的映射关系，确定所述多个能量值中每一能量值对应的混响效果参数调节系数，得到多个混响效果参数调节系数；
    依据所述多个混响效果参数调节系数、所述目标混响效果参数确定每一路双声道数据对应的混响效果参数，得到多个第一混响效果参数；
    依据所述多个第一混响效果参数对所述多路双声道数据进行处理，得到多路混响双声道数据，每一第一混响效果参数对应唯一一路双声道数据；
    将所述多路双声道数据进行合成，得到所述目标混响双声道数据。
  10. 一种3D音效处理装置，其特征在于，所述3D音效处理装置包括：获取单元、第一确定单元、第二确定单元和处理单元，其中，
    所述获取单元，用于获取声源的单声道数据；
    所述第一确定单元，用于确定所述单声道数据对应的目标内容场景类型；
    所述第二确定单元，用于根据所述目标内容场景类型确定目标混响效果参数；
    所述处理单元，用于依据所述目标混响效果参数对所述单声道数据进行处理，得到目标混响双声道数据。
  11. 根据权利要求10所述的装置，其特征在于，在所述确定所述单声道数据对应的 目标内容场景类型方面，所述第一确定单元具体用于：
    对所述单声道数据进行语义解析，得到多个关键字；
    按照预设的关键字与内容场景类型之间的映射关系，确定所述多个关键字中每一关键字对应的内容场景类型，得到多个内容场景类型；
    将所述多个内容场景类型中出现次数最多的内容场景类型作为所述目标内容场景类型。
  12. 根据权利要求10或11所述的装置，其特征在于，在所述根据所述目标内容场景类型确定目标混响效果参数方面，所述第二确定单元具体用于：
    按照预设的内容场景类型与混响效果参数之间的映射关系，确定所述目标内容场景类型对应的所述目标混响效果参数。
  13. 根据权利要求10-12任一项所述的装置，其特征在于，在所述依据所述目标混响效果参数对所述单声道数据进行处理，得到目标双声道数据方面，所述处理单元具体用于：
    获取所述声源的第一三维坐标；
    获取目标对象的第二三维坐标，所述第一三维坐标与所述第二三维坐标基于同一坐标原点；
    依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据。
  14. 根据权利要求13所述的装置，其特征在于，在所述目标对象处于游戏场景时，在所述获取目标对象的第二三维坐标方面，所述处理单元具体用于：
    获取所述游戏场景对应的地图；
    在所述地图中确定所述目标对象对应的坐标位置，得到所述第二三维坐标。
  15. 根据权利要求13所述的装置，其特征在于，在所述依据所述第一三维坐标、所述第二三维坐标以及所述单声道数据、所述目标混响效果参数生成目标混响双声道数据方面，所述处理单元具体用于：
    将所述单声道数据生成所述第一三维坐标与所述第二三维坐标之间的多路双声道数据，每路双声道数据对应唯一传播方向；
    根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据。
  16. 根据权利要求15所述的装置，其特征在于，在所述根据所述目标混响效果参数将所述多路双声道数据合成所述目标混响双声道数据方面，所述处理单元具体用于：
    以所述第一三维坐标与所述第二三维坐标为轴线作横截面，将所述多路双声道数据进行划分，得到第一双声道数据集合和第二双声道数据集合，所述第一双声道数据集合、所述第二声道数据集合均包括至少一路双声道数据；
    将所述第一双声道数据集合进行合成，得到第一单声道数据；
    将所述第二双声道数据集合进行合成，得到第二单声道数据；
    根据所述目标混响效果参数将所述第一单声道数据、所述第二单声道数据进行合成，得到所述混响双声道数据。
  17. 根据权利要求16所述的装置，其特征在于，在所述将所述第一双声道数据集合进行合成，得到第一单声道数据方面，所述处理单元具体用于：
    将所述第一双声道数据集合中每一路双声道数据的能量值，得到多个能量值；
    从所述多个能量值中选取大于第一能量阈值的能量值，得到多个第一目标能量值；
    确定所述多个第一目标能量值对应的第一双声道数据，将所述第一双声道数据进行合成，得到所述第一单声道数据。
  18. 一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
  19. 一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-9任一项所述的方法。
  20. 一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-9任一项所述的方法。
PCT/CN2019/095292 2018-09-25 2019-07-09 3d音效处理方法及相关产品 WO2020063027A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811115848.3A CN109327766B (zh) 2018-09-25 2018-09-25 3d音效处理方法及相关产品
CN201811115848.3 2018-09-25

Publications (1)

Publication Number Publication Date
WO2020063027A1 true WO2020063027A1 (zh) 2020-04-02

Family

ID=65265299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/095292 WO2020063027A1 (zh) 2018-09-25 2019-07-09 3d音效处理方法及相关产品

Country Status (2)

Country Link
CN (2) CN109327766B (zh)
WO (1) WO2020063027A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327766B (zh) * 2018-09-25 2021-04-30 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN108924705B (zh) * 2018-09-25 2021-07-02 Oppo广东移动通信有限公司 3d音效处理方法及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2544181A2 (en) * 2011-07-07 2013-01-09 Dolby Laboratories Licensing Corporation Method and system for split client-server reverberation processing
CN104869524A (zh) * 2014-02-26 2015-08-26 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置
CN107016990A (zh) * 2017-03-21 2017-08-04 腾讯科技（深圳）有限公司 音频信号生成方法及装置
CN108924705A (zh) * 2018-09-25 2018-11-30 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109104687A (zh) * 2018-09-25 2018-12-28 Oppo广东移动通信有限公司 音效处理方法及相关产品
CN109327766A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 3d音效处理方法及相关产品

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP2005244786A (ja) * 2004-02-27 2005-09-08 Cyberlink Corp ステレオ・サウンド・エフェクト生成装置及びその生成方法
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
RU2443075C2 (ru) * 2007-10-09 2012-02-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для генерации бинаурального аудиосигнала
WO2010012478A2 (en) * 2008-07-31 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal generation for binaural signals
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
US8666081B2 (en) * 2009-08-07 2014-03-04 Lg Electronics, Inc. Apparatus for processing a media signal and method thereof
US9462387B2 (en) * 2011-01-05 2016-10-04 Koninklijke Philips N.V. Audio system and method of operation therefor
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
US10079941B2 (en) * 2014-07-07 2018-09-18 Dolby Laboratories Licensing Corporation Audio capture and render device having a visual display and user interface for use for audio conferencing
EP3441966A1 (en) * 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
CN104360994A (zh) * 2014-12-04 2015-02-18 科大讯飞股份有限公司 自然语言理解方法及系统
US9602947B2 (en) * 2015-01-30 2017-03-21 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
WO2017218973A1 (en) * 2016-06-17 2017-12-21 Edward Stein Distance panning using near / far-field rendering
CN106303789A (zh) * 2016-10-31 2017-01-04 维沃移动通信有限公司 一种录音方法、耳机及移动终端
CN107281753B (zh) * 2017-06-21 2020-10-23 网易（杭州）网络有限公司 场景音效混响控制方法及装置、存储介质及电子设备
CN107360494A (zh) * 2017-08-03 2017-11-17 北京微视酷科技有限责任公司 一种3d音效处理方法、装置、系统及音响系统
CN107889044B (zh) * 2017-12-19 2019-10-15 维沃移动通信有限公司 音频数据的处理方法及装置
CN108040317B (zh) * 2017-12-22 2019-09-27 南京大学 一种混合式听感声场扩宽方法
GB201810621D0 (en) * 2018-06-28 2018-08-15 Univ London Queen Mary Generation of audio data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2544181A2 (en) * 2011-07-07 2013-01-09 Dolby Laboratories Licensing Corporation Method and system for split client-server reverberation processing
CN104869524A (zh) * 2014-02-26 2015-08-26 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置
CN107016990A (zh) * 2017-03-21 2017-08-04 腾讯科技（深圳）有限公司 音频信号生成方法及装置
CN108924705A (zh) * 2018-09-25 2018-11-30 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109104687A (zh) * 2018-09-25 2018-12-28 Oppo广东移动通信有限公司 音效处理方法及相关产品
CN109327766A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 3d音效处理方法及相关产品

Also Published As

Publication number Publication date
CN113115175B (zh) 2022-05-10
CN113115175A (zh) 2021-07-13
CN109327766B (zh) 2021-04-30
CN109327766A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
EP3629145B1 (en) Method for processing 3d audio effect and related products
JP5882964B2 (ja) カメラによるオーディオ空間化
WO2020062922A1 (zh) 音效处理方法及相关产品
EP3039677B1 (en) Multidimensional virtual learning system and method
US10496360B2 (en) Emoji to select how or where sound will localize to a listener
CN109254752B (zh) 3d音效处理方法及相关产品
WO2020063037A1 (zh) 3d音效处理方法及相关产品
CN109327795B (zh) 音效处理方法及相关产品
WO2020063028A1 (zh) 3d音效处理方法及相关产品
WO2020002022A1 (en) Apparatuses and associated methods for spatial presentation of audio
US20170195817A1 (en) Simultaneous Binaural Presentation of Multiple Audio Streams
WO2020063027A1 (zh) 3d音效处理方法及相关产品
CN109104687B (zh) 音效处理方法及相关产品
CN108882112B (zh) 音频播放控制方法、装置、存储介质及终端设备
JP4966705B2 (ja) 移動体通信端末、および、プログラム
CN109286841B (zh) 电影音效处理方法及相关产品
CN111756929A (zh) 多屏终端音频播放方法、装置、终端设备以及存储介质
CN109243413B (zh) 3d音效处理方法及相关产品
WO2023197646A1 (zh) 一种音频信号处理方法及电子设备
CN114630240B (zh) 方向滤波器的生成方法、音频处理方法、装置及存储介质
WO2024027315A1 (zh) 音频处理方法、装置、电子设备、存储介质和程序产品
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质
CN116257789A (zh) 音频处理方法、装置、终端及存储介质
CN117676002A (zh) 音频处理方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867268

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19867268

Country of ref document: EP

Kind code of ref document: A1