WO2021213128A1 - 音频信号编码方法和装置 - Google Patents

音频信号编码方法和装置 Download PDF

Info

Publication number
WO2021213128A1
WO2021213128A1 PCT/CN2021/083029 CN2021083029W WO2021213128A1 WO 2021213128 A1 WO2021213128 A1 WO 2021213128A1 CN 2021083029 W CN2021083029 W CN 2021083029W WO 2021213128 A1 WO2021213128 A1 WO 2021213128A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency point
current frequency
power spectrum
spectrum ratio
current
Prior art date
Application number
PCT/CN2021/083029
Other languages
English (en)
French (fr)
Inventor
夏丙寅
李佳蔚
王喆
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP21793658.2A priority Critical patent/EP4131263A4/en
Priority to BR112022021356A priority patent/BR112022021356A2/pt
Priority to KR1020227040562A priority patent/KR20230002899A/ko
Priority to MX2022013267A priority patent/MX2022013267A/es
Publication of WO2021213128A1 publication Critical patent/WO2021213128A1/zh
Priority to US17/969,454 priority patent/US20230040515A1/en

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants

Definitions

  • This application relates to audio coding and decoding technology, and in particular to an audio signal coding method and device.
  • the audio signal that the 3D audio codec needs to compress and encode contains multiple signals.
  • a 3D audio codec uses the correlation between channels to downmix multiple signals to obtain downmix signals and multi-channel coding parameters.
  • the number of channels of the downmix signal is much smaller than the number of channels of the input audio signal.
  • the number of bits used to encode the downmix signal and the multi-channel encoding parameters is much smaller than the number of bits used to independently encode the multi-channel number.
  • the correlation between signals of different frequency bands can be further used for encoding.
  • the basic principle is to use the correlation between low frequency band signals and signals of different frequency bands, and use band expansion technology or spectrum copy technology to encode high frequency band signals so that less The number of bits encodes the high-band signal, thereby reducing the encoding bit rate of the entire multi-dimensional encoder.
  • band expansion technology or spectrum copy technology to encode high frequency band signals so that less The number of bits encodes the high-band signal, thereby reducing the encoding bit rate of the entire multi-dimensional encoder.
  • the pitch detection algorithm can be used to determine the tonal component information that needs to be encoded, and then the tonal component information is encoded so that the decoder can accurately decode the high-frequency signal.
  • the present application provides an audio signal encoding method and device, which is beneficial to improve the quality of the encoded audio signal.
  • the present application provides an audio signal encoding method.
  • the method may include: acquiring a current frame of the audio signal.
  • the encoding parameter is obtained according to the power spectrum ratio of the current frequency point of the current frequency region of at least part of the signal of the current frame.
  • the encoding parameter is used to represent the tonal component information of the at least part of the signal.
  • the tonal component information includes position information of the tonal component, At least one of the quantity information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component, the power spectrum ratio of the current frequency point is the average of the value of the power spectrum of the current frequency point and the power spectrum of the current frequency region The ratio of the values.
  • the code stream is multiplexed on the coding parameter to obtain the code stream.
  • the tonal component information of the at least part of the signal is obtained by the power spectrum ratio of the current frequency point of at least part of the signal in the current frame of the audio signal, and the coded stream is obtained based on the tonal component information.
  • the power spectrum ratio is the power spectrum
  • the ratio to the average value of the power spectrum can better reflect the signal characteristics, so that the tonal component information can be accurately obtained, so that the decoder can reconstruct the audio signal more accurately according to the tonal component information, and improve the coding quality.
  • obtaining the coding parameters according to the power spectrum ratio of the current frequency point of the current frequency region of the at least part of the signal may include: performing a peak search in the current frequency region according to the power spectrum ratio of the current frequency point, To obtain at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks, where the peak is a power spectrum peak or a power spectrum ratio peak. Acquire the coding parameter according to at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks.
  • a peak search is performed in the current frequency region based on the power spectrum ratio of the current frequency point to obtain relevant information about the peak of the current frequency region (for example, at least one of quantity information, position information, amplitude information, or energy information),
  • relevant information about the peak of the current frequency region for example, at least one of quantity information, position information, amplitude information, or energy information
  • the foregoing encoding parameters are obtained, so that the decoding end can reconstruct the audio signal more accurately according to the encoding parameters, and improve the encoding quality. Since the power spectrum ratio is used in the peak search process, the accuracy of the peak value obtained by the search can be improved, which is beneficial to improve the accuracy of the tonal component information.
  • the use of the power spectrum ratio can improve the peak search efficiency.
  • the left neighboring area of the current frequency point includes N_neighbor_l frequency points whose frequency point number is less than the frequency point number of the current frequency point, N_neighbor_l is any natural number, and the right neighboring area of the current frequency point includes the frequency point number greater than the current frequency point.
  • N_neighbor_r frequency points of the frequency point sequence number of the point, N_neighbor_r is any natural number.
  • the peak search in the current frequency area can improve the peak value obtained by the search accuracy.
  • the power spectrum ratio of the current frequency point the power spectrum ratio of the left adjacent frequency point of the current frequency point, the power spectrum ratio of the right adjacent frequency point of the current frequency point, and the current frequency region
  • the average value of the power spectrum ratio of the current frequency point, the average value of the power spectrum ratio value of the left neighboring area of the current frequency point, and the average value of the power spectrum ratio value of the right neighboring area of the current frequency point perform a peak search in the current frequency area, It may include: determining whether the power spectrum ratio of the current frequency point meets the following conditions: greater than or equal to the first preset threshold; greater than the power spectrum ratio of the left adjacent frequency point of the current frequency point; greater than the power of the right adjacent frequency point of the current frequency point Spectrum ratio; the difference between the power spectrum ratio of the current frequency point and the average value of the power spectrum ratio of the current frequency point to the left of the adjacent area is greater than the second preset threshold; the power spectrum ratio of the current frequency point to the right adjacent area of the current frequency point The difference between
  • performing a peak search in the current frequency region according to the power spectrum ratio of the current frequency point may include: determining whether the power spectrum ratio of the current frequency point satisfies at least one of the following conditions: greater than or equal to The first preset threshold; or, greater than the power spectrum ratio of the left adjacent frequency point of the current frequency point; or, greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point; or, greater than the left adjacent frequency point of the current frequency point The average value of the power spectrum ratio of the region; or, it is greater than the average value of the power spectrum ratio of the adjacent area to the right of the current frequency point; or, it is greater than the average value of the power spectrum ratio of the current frequency region. When at least one of the conditions is met, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • performing a peak search in the current frequency region according to the power spectrum ratio of the current frequency point may include: determining whether the power spectrum ratio of the current frequency point satisfies the following condition: greater than or equal to the first preset Threshold; greater than the power spectrum ratio of the left adjacent frequency point of the current frequency point; greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point. When this condition is met, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • obtaining the coding parameters may include: according to the current frequency At least one of area peak number information, peak position information, peak amplitude information, or peak energy information determines the number information of the tonal component, the position information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component At least one of them.
  • the encoding parameter is acquired according to at least one of the quantity information of the tonal component, the position information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component.
  • the tonal component information in the high-band signal of the current frame can be accurately obtained, so that the coding quality can be improved.
  • an embodiment of the present application provides an audio signal encoding device.
  • the audio signal encoding device may be an encoder or a core encoder, and may also be an encoder or a core encoder for implementing the first aspect or the first aspect described above.
  • any possible design method is a functional module.
  • the audio signal encoding device can implement the functions performed in the foregoing first aspect or each possible design of the foregoing first aspect, and the functions may be implemented by hardware executing corresponding software.
  • the hardware or software includes one or more modules corresponding to the above-mentioned functions.
  • the audio signal encoding device may include: an acquisition module, an encoding parameter determination module, and a code stream multiplexing module.
  • the acquisition module is used to acquire the current frame of the audio signal.
  • the coding parameter determination module is configured to obtain coding parameters according to the power spectrum ratio of the current frequency point of the current frequency region of at least part of the signal of the current frame, and the coding parameter is used to represent the tonal component information of the at least part of the signal.
  • the component information includes at least one of the position information of the tonal component, the quantity information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component.
  • the power spectrum ratio of the current frequency point is the value of the power spectrum of the current frequency point and The ratio of the average value of the power spectrum of the current frequency region.
  • the code stream multiplexing module is used to perform code stream multiplexing on the encoding parameter to obtain an encoded code stream.
  • the coding parameter determination module is used to: perform a peak search in the current frequency region according to the power spectrum ratio of the current frequency point to obtain the number information and the position information of the peaks in the current frequency region , At least one of peak amplitude information or peak energy information. Acquire the coding parameter according to at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks.
  • the coding parameter determination module is used to: according to the power spectrum ratio of the current frequency point, the power spectrum ratio of the left adjacent frequency point of the current frequency point, and the power spectrum ratio of the right adjacent frequency point of the current frequency point.
  • the left neighboring area of the current frequency point includes N_neighbor_l frequency points whose frequency point number is less than the frequency point number of the current frequency point, N_neighbor_l is any natural number, and the right neighboring area of the current frequency point includes the frequency point number greater than the current frequency point.
  • N_neighbor_r frequency points of the frequency point sequence number of the point, N_neighbor_r is any natural number.
  • the left adjacent frequency point of the current frequency point is a frequency point whose sequence number is one less than the current frequency point
  • the right adjacent frequency point of the current frequency point is a frequency point whose frequency point sequence number is one greater than the current frequency point.
  • the coding parameter determination module is used to determine whether the power spectrum ratio of the current frequency point satisfies the following conditions: greater than or equal to the first preset threshold; greater than the power spectrum of the left adjacent frequency point of the current frequency point Ratio; greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point; the difference between the power spectrum ratio of the current frequency point and the average power spectrum ratio of the left adjacent area of the current frequency point is greater than the second preset threshold; the current frequency point The difference between the power spectrum ratio of the current frequency point and the average value of the power spectrum ratio of the adjacent area to the right of the current frequency point is greater than the third preset threshold; the difference between the power spectrum ratio value of the current frequency point and the average power spectrum ratio value of the current frequency area is greater than the first Four preset thresholds.
  • the power spectrum ratio of the current frequency point satisfies the condition, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • the coding parameter determination module is used to determine whether the power spectrum ratio of the current frequency point satisfies the following conditions: greater than or equal to the first preset threshold; greater than the left adjacent frequency point of the current frequency point Power spectrum ratio; greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point. When this condition is met, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • the coding parameter determination module is used to determine the tone component according to at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks. At least one of quantity information, position information of the tonal component, amplitude information of the tonal component, or energy information of the tonal component.
  • the encoding parameter is acquired according to at least one of the quantity information of the tonal component, the position information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component.
  • the at least part of the signal includes the high-band signal of the current frame.
  • an embodiment of the present application provides an audio signal encoding device, including: a non-volatile memory and a processor that are coupled to each other, and the processor calls the program code stored in the memory to perform as described in the above-mentioned first aspect. The method of any one of.
  • an embodiment of the present application provides an audio signal encoding and decoding device, including: an encoder, configured to execute the method according to any one of the foregoing first aspects.
  • an embodiment of the present application provides a computer-readable storage medium, including a computer program, which when executed on a computer, causes the computer to execute the method described in any one of the above-mentioned first aspects.
  • an embodiment of the present application provides a computer-readable storage medium, which includes an encoded bitstream obtained according to the method described in any one of the above-mentioned first aspects.
  • the present application provides a computer program product.
  • the computer program product includes a computer program.
  • the computer program When the computer program is executed by a computer, it is used to execute the method described in any one of the above-mentioned first aspects.
  • the present application provides a chip including a processor and a memory, the memory is used to store a computer program, and the processor is used to call and run the computer program stored in the memory to execute the above-mentioned first aspect The method of any one of.
  • the audio signal encoding method and device of the embodiments of the present application obtain the tonal component information of the audio signal through the power spectrum ratio of the audio signal, and obtain the coded stream based on the tonal component information, because the power spectrum ratio is the power spectrum and the average power
  • the ratio of the spectrum can better reflect the signal characteristics, so that the tonal component information can be accurately obtained, so that the decoder can obtain the audio signal more accurately according to the tonal component information, and improve the coding quality.
  • Figure 2 is a schematic diagram of an audio coding application in an embodiment of the application
  • Figure 3 is a schematic diagram of an audio coding application in an embodiment of the application
  • FIG. 4 is a flowchart of an audio signal encoding method according to an embodiment of the application.
  • FIG. 5 is a flowchart of another audio signal encoding method according to an embodiment of the application.
  • FIG. 6 is a flowchart of another audio signal encoding method according to an embodiment of the application.
  • FIG. 7 is a flowchart of another audio signal encoding method according to an embodiment of the application.
  • FIG. 8 is a schematic diagram of an audio signal encoding device according to an embodiment of the application.
  • FIG. 9 is a schematic diagram of an audio signal encoding device according to an embodiment of the application.
  • At least one (item) refers to one or more, and “multiple” refers to two or more.
  • “And/or” is used to describe the association relationship of associated objects, indicating that there can be three types of relationships, for example, “A and/or B” can mean: only A, only B, and both A and B , Where A and B can be singular or plural.
  • the character “/” generally indicates that the associated objects before and after are in an “or” relationship.
  • the following at least one item (a) or similar expressions refers to any combination of these items, including any combination of a single item (a) or a plurality of items (a).
  • At least one of a, b, or c can mean: a, b, c, "a and b", “a and c", “b and c", or “a and b and c” ", where a, b, and c can be single or multiple respectively, or part of it can be single, and part of it can be multiple.
  • Fig. 1 exemplarily shows a schematic block diagram of an audio encoding and decoding system 10 applied in an embodiment of the present application.
  • the audio encoding and decoding system 10 may include a source device 12 and a destination device 14.
  • the source device 12 generates encoded audio data. Therefore, the source device 12 may be referred to as an audio encoding device.
  • the destination device 14 can decode the encoded audio data generated by the source device 12, and therefore, the destination device 14 can be referred to as an audio decoding device.
  • Various implementations of source device 12, destination device 14, or both may include one or more processors and memory coupled to the one or more processors.
  • the memory may include, but is not limited to, RAM, ROM, EEPROM, flash memory, or any other medium that can be used to store the desired program code in the form of instructions or data structures that can be accessed by a computer, as described herein.
  • the source device 12 and the destination device 14 may include various devices, including desktop computers, mobile computing devices, notebook (for example, laptop) computers, tablet computers, set-top boxes, so-called "smart" phones and other telephone handsets , TVs, speakers, digital media players, video game consoles, on-board computers, wireless communication devices, or the like.
  • the audio data transmitted from the audio source 16 to the preprocessor 18 may also be referred to as original audio data 17.
  • An achievable way is to determine the average value of the power spectrum ratio of the high-band signal in the frequency region and the frequency points of the high-band signal in the frequency region according to the power spectrum ratio of the high-band signal in the frequency region At least one of the average value of the power spectrum ratio of the left adjacent region or the average value of the power spectrum ratio of the right adjacent region of each frequency point of the high-band signal of the frequency region.
  • the peak search can be performed on each frequency point in the entire frequency region, or it can be performed only in the range that does not include the start frequency point and the cutoff frequency point in the frequency region, or it can be a pre-defined peak search in the frequency region Within the scope.
  • the range of peak search in different frequency regions can be the same or different.
  • some frequency points may be selected from the frequency points that meet the above conditions as the frequency points of the filtered peaks, based on the number information of the filtered peaks, the peak position information, and the peak amplitude.
  • At least one item of information or peak energy information to determine at least one of the quantity information, position information, amplitude information or energy information of the tone component, according to at least one of the quantity information, position information, amplitude information or energy information of the tone component To obtain the second encoding parameter.
  • Step 401 Obtain an average value parameter of the power spectrum ratio according to the power spectrum ratio of the high-band signal in the frequency region.
  • tile_width is the tile width
  • tile[p] is the starting frequency of the p-th tile
  • sb belongs to [tile[p], tile[p]+tile_width-1].
  • the second average value parameter of this embodiment is explained and explained, and the second average value parameter neighbor_l can be calculated by the following formula (4).
  • the third average value parameter of this embodiment is explained and explained, and the third average value parameter neighbor_r can be calculated by the following formula (5).
  • At least one of the first judgment flag, the second judgment flag, the third judgment flag, the fourth judgment flag, or the fifth judgment flag is acquired.
  • the second judgment flag is determined. If the power spectrum ratio of the frequency point is greater than the power spectrum ratio of the adjacent left and right frequency points of the frequency point, the second judgment flag is 1, otherwise the second judgment flag is 0. For example, it is judged whether the power spectrum ratio of the frequency point satisfies the condition 2 (Cond2). Cond2: peak_ratio[sb]>peak_ratio[sb-1] and peak_ratio[sb]>peak_ratio[sb+1]. When condition 2 (Cond2) is met, the second judgment flag is 1, otherwise, the second judgment flag is 0.
  • a third judgment flag is determined. If the power spectrum ratio of the frequency point is greater than the second average parameter, or the difference between the power spectrum ratio of the frequency point and the second average parameter is greater than the second preset threshold, the third judgment flag is 1, otherwise the first The third judgment flag is 0. For example, if the second preset threshold is 12, it is determined whether the power spectrum ratio of the frequency point satisfies the condition 3 (Cond3). Cond3: peak_ratio[sb]>neighbor_l+12, when condition 3 (Cond3) is met, the third judgment flag is 1, otherwise, the third judgment flag is 0.
  • a fifth judgment flag is determined.
  • the power spectrum ratio of the frequency point is greater than the first average parameter, or the difference between the power spectrum ratio of the frequency point and the first average parameter is greater than the fourth preset threshold, the fifth judgment flag is 1, otherwise the fifth The judgment flag is 0.
  • the third preset threshold is 25, and it is determined whether the power spectrum ratio of the frequency point satisfies the condition 5 (Cond5). Cond5: peak_ratio[sb]>mean_ratio+25, when condition 4 (Cond4) is met, the fifth judgment flag is 1, otherwise, the fifth judgment flag is 0.
  • the frequency point is the frequency point corresponding to the peak value.
  • the frequency point number of this frequency point is the position information of the peak value.
  • the power spectrum ratio of this frequency point is the amplitude or energy information of the peak value. All the frequency points in the frequency region that meet the conditions The number of is the number of peaks in the frequency region.
  • the energy of the frequency point where the peak is located is greater than the first preset threshold, greater than the energy of the left adjacent frequency, greater than the energy of the right adjacent frequency, greater than the energy of the left adjacent region, greater than the energy of the right adjacent region, and greater than the average energy.
  • the frequency point is the frequency point corresponding to the peak
  • the frequency point is The frequency point number is the position information of the peak
  • the power spectrum ratio of the frequency point is the amplitude or energy information of the peak
  • the number of all frequency points that meet the conditions in the frequency region is the number of peaks in the frequency region.
  • peaks that meet the above conditions are used as candidates for tonal components, and their peak positions and peak power spectrum ratios are respectively stored in the peak identifier (peak_idx) and peak value (peak_val) arrays, and the number of peaks is peak_cnt.
  • an embodiment of the present application also provides an audio signal encoding device, which can be applied to an audio encoder.
  • the acquiring module 801 is used to acquire the current frame of the audio signal.
  • the coding parameter determination module 802 is configured to: perform a peak search in the current frequency region according to the power spectrum ratio of the current frequency point to obtain the number information, peak position information, and peak position information of the current frequency region. At least one of peak amplitude information or peak energy information, and the peak is a power spectrum peak or a power spectrum ratio peak. Acquire the coding parameter according to at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks.
  • the coding parameter determination module 802 is configured to: according to the power spectrum ratio of the current frequency point, the power spectrum ratio of the left adjacent frequency point of the current frequency point, and the power of the right adjacent frequency point of the current frequency point The spectrum ratio, the average value of the power spectrum ratio of the current frequency region, the average value of the power spectrum ratio of the left adjacent area of the current frequency point and the average value of the power spectrum ratio of the right adjacent area of the current frequency point, in Perform peak search in the frequency area.
  • the left neighboring area of the current frequency point includes N_neighbor_l frequency points whose frequency point number is less than the frequency point number of the current frequency point.
  • N_neighbor_l is any natural number.
  • the right neighboring area of the current frequency point includes the frequency point number greater than that of the current frequency point.
  • N_neighbor_r frequency points of the frequency point sequence number, N_neighbor_r is any natural number.
  • the left adjacent frequency point of the current frequency point is a frequency point whose sequence number is one less than the current frequency point
  • the right adjacent frequency point of the current frequency point is a frequency point whose frequency point sequence number is one greater than the current frequency point.
  • the encoding parameter determination module 802 is used to determine whether the power spectrum ratio of the current frequency point satisfies the following conditions: greater than or equal to the first preset threshold; greater than the power of the left adjacent frequency point of the current frequency point Spectrum ratio; greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point; The difference between the power spectrum ratio of the current frequency point and the average power spectrum ratio of the left adjacent area of the current frequency point is greater than the second preset threshold; The difference between the power spectrum ratio of the current frequency point and the average value of the power spectrum ratio of the right neighboring area of the current frequency point is greater than the third preset threshold; the average of the power spectrum ratio of the current frequency point and the power spectrum ratio of the current frequency region The value difference is greater than the fourth preset threshold. When the power spectrum ratio of the current frequency point satisfies the condition, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • the encoding parameter determination module 802 is used to determine whether the power spectrum ratio of the current frequency point satisfies at least one of the following conditions: greater than or equal to a first preset threshold; or greater than the left of the current frequency point The power spectrum ratio of the adjacent frequency point; or, greater than the power spectrum ratio of the right adjacent frequency point of the current frequency point; or, greater than the average value of the power spectrum ratio of the left adjacent area of the current frequency point; or, greater than the current frequency point The average value of the power spectrum ratio of the adjacent area on the right; or, greater than the average value of the power spectrum ratio of the current frequency area. When at least one of the conditions is met, it is determined that the current frequency point is the frequency point corresponding to the peak value.
  • the coding parameter determination module 802 is configured to determine the number of tonal components according to at least one of the number information of the peaks in the current frequency region, the position information of the peaks, the amplitude information of the peaks, or the energy information of the peaks. At least one of information, position information of the tonal component, amplitude information of the tonal component, or energy information of the tonal component.
  • the encoding parameter is acquired according to at least one of the quantity information of the tonal component, the position information of the tonal component, the amplitude information of the tonal component, or the energy information of the tonal component.
  • the at least part of the signal includes a high-band signal of the current frame.
  • the above-mentioned acquisition module 801, encoding parameter determination module 802, and code stream multiplexing module 803 can be applied to the audio signal encoding process at the encoding end.
  • an audio signal encoder is used to encode audio signals, including: ,
  • the audio signal encoding device is used to encode and generate the corresponding code stream.
  • an embodiment of the present application provides a device for encoding audio signals, for example, an audio signal encoding device.
  • the audio signal encoding device 900 includes:
  • the processor 901, the memory 902, and the communication interface 903 (the number of the processors 901 in the audio signal encoding device 900 may be one or more, and one processor is taken as an example in FIG. 9).
  • the processor 901, the memory 902, and the communication interface 903 may be connected by a bus or in other ways, wherein the connection by a bus is taken as an example in FIG. 9.
  • the memory 902 may include a read-only memory and a random access memory, and provides instructions and data to the processor 901. A part of the memory 902 may also include a non-volatile random access memory (NVRAM).
  • NVRAM non-volatile random access memory
  • the memory 902 stores an operating system and operating instructions, executable modules or data structures, or a subset of them, or an extended set of them.
  • the operating instructions may include various operating instructions for implementing various operations.
  • the operating system may include various system programs for implementing various basic services and processing hardware-based tasks.
  • the processor 901 controls the operation of the audio encoding device, and the processor 901 may also be referred to as a central processing unit (CPU).
  • the various components of the audio encoding device are coupled together through a bus system.
  • the bus system may also include a power bus, a control bus, and a status signal bus.
  • various buses are referred to as bus systems in the figure.
  • the method disclosed in the foregoing embodiment of the present application may be applied to the processor 901 or implemented by the processor 901.
  • the processor 901 may be an integrated circuit chip with signal processing capability. In the implementation process, the steps of the foregoing method can be completed by an integrated logic circuit of hardware in the processor 901 or instructions in the form of software.
  • the aforementioned processor 901 may be a general-purpose processor, a digital signal processing (DSP), an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA), or Other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • DSP digital signal processing
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • the methods, steps, and logical block diagrams disclosed in the embodiments of the present application can be implemented or executed.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present application may be directly embodied as being executed and completed by a hardware decoding processor, or executed and completed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a mature storage medium in the field, such as random access memory, flash memory, read-only memory, programmable read-only memory, or electrically erasable programmable memory, registers.
  • the storage medium is located in the memory 902, and the processor 901 reads the information in the memory 902, and completes the steps of the foregoing method in combination with its hardware.
  • the communication interface 903 can be used to receive or send digital or character information, for example, it can be an input/output interface, a pin, or a circuit. For example, the above-mentioned coded stream is sent through the communication interface 903.
  • an embodiment of the present application provides an audio encoding device, including: a non-volatile memory and a processor coupled to each other, and the processor calls the program code stored in the memory to execute Part or all of the steps of the audio signal encoding method as described in one or more embodiments above.
  • an embodiment of the present application provides a computer-readable storage medium that stores program code, wherein the program code includes one or more Instructions for part or all of the steps of the audio signal encoding method described in the embodiment.
  • embodiments of the present application provide a computer program product, which when the computer program product runs on a computer, causes the computer to execute the audio frequency described in one or more of the above embodiments. Part or all of the steps of a signal encoding method.
  • the processor mentioned in the above embodiments may be an integrated circuit chip with signal processing capability.
  • the steps of the foregoing method embodiments may be completed by hardware integrated logic circuits in the processor or instructions in the form of software.
  • the processor can be a general-purpose processor, digital signal processor (digital signal processor, DSP), application-specific integrated circuit (ASIC), field programmable gate array (field programmable gate array, FPGA) or other Programming logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present application may be directly embodied as being executed and completed by a hardware encoding processor, or executed and completed by a combination of hardware and software modules in the encoding processor.
  • the software module can be located in a mature storage medium in the field, such as random access memory, flash memory, read-only memory, programmable read-only memory, or electrically erasable programmable memory, registers.
  • the storage medium is located in the memory, and the processor reads the information in the memory and completes the steps of the above method in combination with its hardware.
  • the memory mentioned in the above embodiments may be volatile memory or non-volatile memory, or may include both volatile and non-volatile memory.
  • the non-volatile memory can be read-only memory (ROM), programmable read-only memory (programmable ROM, PROM), erasable programmable read-only memory (erasable PROM, EPROM), and electrically available Erase programmable read-only memory (electrically EPROM, EEPROM) or flash memory.
  • the volatile memory may be random access memory (RAM), which is used as an external cache.
  • RAM random access memory
  • static random access memory static random access memory
  • dynamic RAM dynamic RAM
  • DRAM dynamic random access memory
  • synchronous dynamic random access memory synchronous DRAM, SDRAM
  • double data rate synchronous dynamic random access memory double data rate SDRAM, DDR SDRAM
  • enhanced synchronous dynamic random access memory enhanced SDRAM, ESDRAM
  • synchronous connection dynamic random access memory serial DRAM, SLDRAM
  • direct rambus RAM direct rambus RAM
  • the disclosed system, device, and method can be implemented in other ways.
  • the device embodiments described above are merely illustrative, for example, the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components may be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the function is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present application essentially or the part that contributes to the existing technology or the part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium, including Several instructions are used to make a computer device (personal computer, server, or network device, etc.) execute all or part of the steps of the method described in each embodiment of the present application.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (read-only memory, ROM), random access memory (random access memory, RAM), magnetic disks or optical disks and other media that can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种音频信号编码方法、装置、编解码设备和计算机可读存储介质,该方法包括:获取音频信号的当前帧(101);根据当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,该编码参数用于表示至少部分信号的音调成分信息,其中,音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,当前频点的功率谱比值为当前频点的功率谱的值与当前频率区域的功率谱的平均值的比值(102);对编码参数进行码流复用,获取编码码流(103)。由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好地反映信号特性,从而可以准确获取音调成分信息,以便解码端基于该音调成分信息更准确的重建该高频带信号,准确获取该音频信号,提升编码质量。

Description

音频信号编码方法和装置
本申请要求于2020年4月21日提交中国专利局、申请号为202010318590.8、申请名称为“音频信号编码方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及音频编解码技术,尤其涉及一种音频信号编码方法和装置。
背景技术
随着多媒体技术的不断发展,音频在多媒体通信、消费电子、虚拟现实、人机交互等领域得到了广泛应用。用户对音频质量的需求越来越高。三维音频(3D audio)具有接近真实的空间感,能够给用户提供较好的浸入式体验,成为多媒体技术的新趋势。
三维音频编解码器需要进行压缩编码的音频信号包含多路信号。通常情况下,三维音频编解码器利用通道间的相关性将多路信号下混,得到下混信号和多通道编码参数。通常情况下,下混信号的通道数远小于输入的音频信号的通道数。然后,对下混信号和多通道编码参数进行编码。编码下混信号和多通道编码参数所用的比特数远小于独立编码多路号所用的比特数。在对下混信号和多通道编码参数进行编码的过程中,为了降低编码比特率,可以进一步利用不同频带信号之间的相关性进行编码。
利用不同频带信号间的相关性进行编码,其基本原理是利用低频带信号以及不同频带信号间的相关性,采用频带扩展技术或者频谱复制技术,对高频带信号进行编码,以便用较少的比特数对高频带信号进行编码,从而降低整个多维编码器的编码比特率。但真实的音频信号中,高频带的频谱中往往存在一些与低频带的频谱不相似的音调成分。为了对高频带信号中的音调成分信息进行编码,可以使用音调检测算法确定需要编码的音调成分信息,再对该音调成分信息进行编码,以便解码端可以准确解码得到该高频信号。
其中,如何准确确定高频信号的音调成分信息,以提升编码音频信号的质量,成为一个亟需解决的技术问题。
发明内容
本申请提供一种音频信号编码方法和装置,有益于提升编码音频信号的质量。
第一方面,本申请提供一种音频信号编码方法,该方法可以包括:获取音频信号的当前帧。根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。对该编码参数进行码流复用,获取编码码流。
本实现方式,通过音频信号的当前帧的至少部分信号的当前频点的功率谱比值获取该 至少部分信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与功率谱的平均值的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该音频信号,提升编码质量。
在一种可能的设计中,根据该至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,可以包括:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,该峰值为功率谱峰值或功率谱比值峰值。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
本实现方式,通过当前频点的功率谱比值在当前频率区域进行峰值搜索,获取当前频率区域的峰值的相关信息(例如,数量信息、位置信息、幅度信息或能量信息等中至少一项),根据当前频率区域的峰值的相关信息,获取上述编码参数,以便解码端根据该编码参数可以更准确的重建该音频信号,提升编码质量。由于在峰值搜索过程中采用功率谱比值,可以提升搜索得到的峰值的准确性,进而有益于提升音调成分信息的准确性。
并且,由于功率谱的动态范围较大,因此使用功率谱比值能够提高峰值搜索效率。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于该当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于该当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
该当前频点的左邻频点是频点序号比该当前频点小1的频点,该当前频点的右邻频点是频点序号比该当前频点大1的频点。
本实现方式,根据该当前频点的功率谱比值,以及当前频率区域的功率谱比值的平均值、该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、当前频点的左邻区域的功率谱比值的平均值和当前频点的右邻区域的功率谱比值的平均值,在当前频率区域内进行峰值搜索,可以提升搜索得到的峰值的准确性。
在一种可能的设计中,根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索,可以包括:判断当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于当前频点的左邻频点的功率谱比值;大于当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:判断该当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于该当前频点的左邻区域的功率谱比值的平均值;或者,大于该当前频点的右邻区域的功率谱比值的平均值;或者,大于该当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,可以包括:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数,可以包括:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该至少部分信号包括该当前帧的高频带信号。
本实现方式,通过功率谱比值,可以准确获取当前帧的高频带信号中的音调成分信息,从而可以提升编码质量。
第二方面,本申请实施例提供一种音频信号编码装置,该音频信号编码装置可以为编码器或者核心编码器,还可以为编码器或核心编码器中用于实现上述第一方面或上述第一方面的任一可能的设计的方法的功能模块。该音频信号编码装置可以实现上述第一方面或上述第一方面的各可能的设计中所执行的功能,功能可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个上述功能相应的模块。举例来说,一种可能的实施方式中,该音频信号编码装置可以包括:获取模块、编码参数确定模块和码流复用模块。
该获取模块,用于获取音频信号的当前帧。该编码参数确定模块,用于根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。该码流复用模块,用于对该编码参数进行码流复用,获取编码码流。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频点的功率谱比值,该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于该当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于该当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
该当前频点的左邻频点是频点序号比该当前频点小1的频点,该当前频点的右邻频点是频点序号比该当前频点大1的频点。
在一种可能的设计中,该编码参数确定模块用于:判断当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于当前频点的左邻频点的功率谱比值;大于当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:判断该当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于该当前频点的左邻区域的功率谱比值的平均值;或者,大于该当前频点的右邻区域的功率谱比值的平均值;或者,大于该当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一种可能的设计中,该编码参数确定模块用于:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一种可能的设计中,该至少部分信号包括该当前帧的高频带信号。
第三方面,本申请实施例提供一种音频信号编码装置,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以如上述第一方面中任一项所述的方法。
第四方面,本申请实施例提供一种音频信号编解码设备,包括:编码器,所述编码器用于执行如如上述第一方面中任一项所述的方法。
第五方面,本申请实施例提供一种计算机可读存储介质,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行上述第一方面中任一项所述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,包括根据上述第一方面中任一项所述的方法获得的编码码流。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机程序,当所述计算机程序被计算机执行时,用于执行上述第一方面中任一项所述的方法。
第八方面,本申请提供一种芯片,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如上述第一方面中任一项所述的方法。
本申请实施例的音频信号编码方法和装置,通过音频信号的功率谱比值,获取该音频信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的获取该音频信号,提升编码质量。
附图说明
图1为本申请实施例中的音频编码及解码系统实例的示意图;
图2为本申请实施例中的音频编码应用的示意图;
图3为本申请实施例中的音频编码应用的示意图;
图4为本申请实施例的一种音频信号编码方法的流程图;
图5为本申请实施例的另一种音频信号编码方法的流程图;
图6为本申请实施例的另一种音频信号编码方法的流程图;
图7为本申请实施例的另一种音频信号编码方法的流程图;
图8为本申请实施例的一种音频信号编码装置的示意图;
图9为本申请实施例的一种音频信号编码设备的示意图。
具体实施方式
本申请实施例涉及的术语“第一”、“第二”等仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c分别可以是单个,也可以分别是多个,也可以是部分是单个,部分是多个。
下面描述本申请实施例所应用的系统架构。参见图1,图1示例性地给出了本申请实施例所应用的音频编码及解码系统10的示意性框图。如图1所示,音频编码及解码系统10可包括源设备12和目的地设备14,源设备12产生经编码的音频数据,因此,源设备12可被称为音频编码装置。目的地设备14可对由源设备12所产生的经编码的音频数据进行解码,因此,目的地设备14可被称为音频解码装置。源设备12、目的地设备14或两个的各种实施方案可包含一或多个处理器以及耦合到所述一或多个处理器的存储器。所述存 储器可包含但不限于RAM、ROM、EEPROM、快闪存储器或可用于以可由计算机存取的指令或数据结构的形式存储所要的程序代码的任何其它媒体,如本文所描述。源设备12和目的地设备14可以包括各种装置,包含桌上型计算机、移动计算装置、笔记型(例如,膝上型)计算机、平板计算机、机顶盒、所谓的“智能”电话等电话手持机、电视机、音箱、数字媒体播放器、视频游戏控制台、车载计算机、无线通信设备或其类似者。
虽然图1将源设备12和目的地设备14绘示为单独的设备,但设备实施例也可以同时包括源设备12和目的地设备14或同时包括两者的功能性,即源设备12或对应的功能性以及目的地设备14或对应的功能性。在此类实施例中,可以使用相同硬件和/或软件,或使用单独的硬件和/或软件,或其任何组合来实施源设备12或对应的功能性以及目的地设备14或对应的功能性。
源设备12和目的地设备14之间可通过链路13进行通信连接,目的地设备14可经由链路13从源设备12接收经编码的音频数据。链路13可包括能够将经编码的音频数据从源设备12移动到目的地设备14的一或多个媒体或装置。在一个实例中,链路13可包括使得源设备12能够实时将经编码的音频数据直接发射到目的地设备14的一或多个通信媒体。在此实例中,源设备12可根据通信标准(例如无线通信协议)来调制经编码的音频数据,且可将经调制的音频数据发射到目的地设备14。所述一或多个通信媒体可包含无线和/或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于分组的网络的一部分,基于分组的网络例如为局域网、广域网或全球网络(例如,因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源设备12到目的地设备14的通信的其它设备。
源设备12包括编码器20,另外可选地,源设备12还可以包括音频源16、预处理器18、以及通信接口22。具体实现形态中,所述编码器20、音频源16、预处理器18、以及通信接口22可能是源设备12中的硬件部件,也可能是源设备12中的软件程序。分别描述如下:
音频源16,可以包括或可以为任何类别的声音捕获设备,用于例如捕获现实世界的声音,和/或任何类别的音频生成设备。音频源16可以为用于捕获声音的麦克风或者用于存储音频数据的存储器,音频源16还可以包括存储先前捕获或产生的音频数据和/或获取或接收音频数据的任何类别的(内部或外部)接口。当音频源16为麦克风时,音频源16可例如为本地的或集成在源设备中的集成麦克风;当音频源16为存储器时,音频源16可为本地的或例如集成在源设备中的集成存储器。当所述音频源16包括接口时,接口可例如为从外部音频源接收音频数据的外部接口,外部音频源例如为外部声音捕获设备,比如麦克风、外部存储器或外部音频生成设备。接口可以为根据任何专有或标准化接口协议的任何类别的接口,例如有线或无线接口、光接口。
本申请实施例中,由音频源16传输至预处理器18的音频数据也可称为原始音频数据17。
预处理器18,用于接收原始音频数据17并对原始音频数据17执行预处理,以获取经预处理的音频19或经预处理的音频数据19。例如,预处理器18执行的预处理可以包括滤波、或去噪等。
编码器20(或称音频编码器20),用于接收经预处理的音频数据19,并用于执行后文 所描述的各个实施例,以实现本申请所描述的音频信号编码方法在编码侧的应用。
通信接口22,可用于接收经编码的音频数据21,并可通过链路13将经编码的音频数据21传输至目的地设备14或任何其它设备(如存储器),以用于存储或直接重构,所述其它设备可为任何用于解码或存储的设备。通信接口22可例如用于将经编码的音频数据21封装成合适的格式,例如数据包,以在链路13上传输。
目的地设备14包括解码器30,另外可选地,目的地设备14还可以包括通信接口28、音频后处理器32和扬声设备34。分别描述如下:
通信接口28,可用于从源设备12或任何其它源接收经编码的音频数据21,所述任何其它源例如为存储设备,存储设备例如为经编码的音频数据存储设备。通信接口28可以用于藉由源设备12和目的地设备14之间的链路13或藉由任何类别的网络传输或接收经编码音频数据21,链路13例如为直接有线或无线连接,任何类别的网络例如为有线或无线网络或其任何组合,或任何类别的私网和公网,或其任何组合。通信接口28可以例如用于解封装通信接口22所传输的数据包以获取经编码的音频数据21。
通信接口28和通信接口22都可以配置为单向通信接口或者双向通信接口,以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经编码的音频数据传输的数据传输有关的信息。
解码器30(或称为解码器30),用于接收经编码的音频数据21并提供经解码的音频数据31或经解码的音频31。在一些实施例中,解码器30可以用于执行后文所描述的各个实施例,以实现本申请所描述的音频信号编码方法在解码侧的应用。
音频后处理器32,用于对经解码的音频数据31(也称为经重构的音频数据)执行后处理,以获得经后处理的音频数据33。音频后处理器32执行的后处理可以包括:例如渲染,或任何其它处理,还可用于将将经后处理的音频数据33传输至扬声设备34。
扬声设备34,用于接收经后处理的音频数据33以向例如用户或观看者播放音频。扬声设备34可以为或可以包括任何类别的用于呈现经重构的声音的扬声器。
虽然,图1将源设备12和目的地设备14绘示为单独的设备,但设备实施例也可以同时包括源设备12和目的地设备14或同时包括两者的功能性,即源设备12或对应的功能性以及目的地设备14或对应的功能性。在此类实施例中,可以使用相同硬件和/或软件,或使用单独的硬件和/或软件,或其任何组合来实施源设备12或对应的功能性以及目的地设备14或对应的功能性。
本领域技术人员基于描述明显可知,不同单元的功能性或图1所示的源设备12和/或目的地设备14的功能性的存在和(准确)划分可能根据实际设备和应用有所不同。源设备12和目的地设备14可以包括各种设备中的任一个,包含任何类别的手持或静止设备,例如,笔记本或膝上型计算机、移动电话、智能手机、平板或平板计算机、摄像机、台式计算机、机顶盒、电视机、相机、车载设备、音响、数字媒体播放器、音频游戏控制台、音频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备、智能眼镜、智能手表等,并可以不使用或使用任何类别的操作系统。
编码器20和解码器30都可以实施为各种合适电路中的任一个,例如,一个或多个微处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)、离 散逻辑、硬件或其任何组合。如果部分地以软件实施所述技术,则设备可将软件的指令存储于合适的非暂时性计算机可读存储介质中,且可使用一或多个处理器以硬件执行指令从而执行本公开的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可视为一或多个处理器。
在一些情况下,图1中所示音频编码及解码系统10仅为示例,本申请的技术可以适用于不必包含编码和解码设备之间的任何数据通信的音频编码设置(例如,音频编码或音频解码)。在其它实例中,数据可从本地存储器检索、在网络上流式传输等。音频编码设备可以对数据进行编码并且将数据存储到存储器,和/或音频解码设备可以从存储器检索数据并且对数据进行解码。在一些实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
上述编码器可以是多声道编码器,例如,立体声编码器,5.1声道编码器,或7.1声道编码器等。当然可以理解的,上述编码器也可以是单声道编码器。
上述音频数据也可以称为音频信号,本申请实施例中的音频信号是指音频编码设备中的输入信号,该音频信号中可以包括多个帧,例如当前帧可以特指音频信号中的某一个帧,本申请实施例中以当前帧音频信号的编解码进行示例说明,音频信号中当前帧的前一帧或者后一帧都可以根据该当前帧音频信号的编解码方式进行相应的编解码,对于音频信号中当前帧的前一帧或者后一帧的编解码过程不再逐一说明。另外,本申请实施例中的音频信号可以是单声道音频信号,或者,也可以为多声道信号,例如,立体声信号。其中,立体声信号可以是原始的立体声信号,也可以是多声道信号中包括的两路信号(左声道信号和右声道信号)组成的立体声信号,还可以是由多声道信号中包含的至少三路信号产生的两路信号组成的立体声信号,本申请实施例中对此并不限定。
示例性的,如图2所示,本实施例以编码器20设置于移动终端230中、解码器30设置于移动终端240中,移动终端230与移动终端240是相互独立的具有音频信号处理能力的电子设备,例如可以是手机,可穿戴设备,虚拟现实(virtual reality,VR)设备,或增强现实(augmented reality,AR)设备等等,且移动终端230与移动终端240之间通过无线或有线网络连接为例进行说明。
可选地,移动终端230可以包音频源16、预处理器18、编码器20和信道编码器232,其中,音频源16、预处理器18、编码器20和信道编码器232连接。
可选地,移动终端240可以包括信道解码器242、解码器30、音频后处理器32和扬声设备34,其中,信道解码器242、解码器30、音频后处理器32和扬声设备34连接。
移动终端230通过音频源16获取到音频信号后,通过预处理器18对该音频进行预处理,之后通过编码器20对该音频信号进行编码,得到编码码流;然后,通过信道编码器232对编码码流进行编码,得到传输信号。
移动终端230通过无线或有线网络将该传输信号发送至移动终端240。
移动终端240接收到该传输信号后,通过信道解码器242对传输信号进行解码得到编码码流;通过解码器30对编码码流进行解码得到音频信号;通过音频后处理器32对该音频信号进行处理,之后通过扬声设备34播放该音频信号。可以理解的是,移动终端230也可以包括移动终端240所包括的各个功能模块,移动终端240也可以包括移动终端230所包括的功能模块。
示例性地,如图3所示,以编码器20和解码器30设置于同一核心网或无线网中具有音频信号处理能力的网元350中为例进行说明。该网元350可以实现转码,例如,将其他音频编码器(非多声道编码器)的编码码流转换为多声道编码器的编码码流。该网元350可以是无线接入网或核心网的媒体网关、转码设备、或媒体资源服务器等。
可选地,网元350包括信道解码器351、其他音频解码器352、编码器20和信道编码器353。其中,道解码器351、其他音频解码器352、编码器20和信道编码器353连接。
信道解码器351接收到其它设备发送的传输信号后,对该传输信号进行解码得到第一编码码流;通过其他音频解码器352对第一编码码流进行解码得到音频信号;通过编码器20对该音频信号进行编码,得到第二编码码流;通过信道编码器353对该第二编码码流进行编码得到传输信号。即实现将第一编码码流转码为第二编码码流。
其中,其它设备可以是具有音频信号处理能力的移动终端;或者,也可以是具有音频信号处理能力的其它网元,本实施例对此不作限定。
可选地,本申请实施例中可以将安装有编码器20的设备称为音频编码设备,在实际实现时,该音频编码设备也可以具有音频解码功能,本申请实施对此不作限定。
可选地,本申请实施例中可以将安装有解码器30的设备称为音频解码设备,在实际实现时,该音频解码设备也可以具有音频编码功能,本申请实施对此不作限定。
上述编码器可以执行本申请实施例的音频信号编码方法,以根据音频信号的功率谱比值,确定音频信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该音频信号,提升编码质量。
例如,上述编码器或编码器内部的核心编码器获取音频信号的当前帧,根据该当前帧的至少部分信号的至少一个频率区域的至少一个频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项。对编码参数进行码流复用,获取编码码流。其具体实施方式可以参见下述图4所示实施例的具体解释说明。
图4为本申请实施例的一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,如图4所示,本实施例的方法可以包括:
步骤101、获取音频信号的当前帧。
其中,当前帧可以是音频信号中的任意一个帧。换言之,可以对音频信号中的任意一个帧或每一个帧进行如本申请实施例的步骤101至步骤103的处理。
步骤102、根据当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数。
该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息可以包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。该功率谱的平均值也可以称为平均功率谱。
对当前帧的至少部分信号进行解释说明。当前帧的至少部分信号,可以是该当前帧的 高频带信号、或该当前帧的低频带信号、或该当前帧的全频带信号、或该当前帧的一个或多个频率区域的信号,还可以是高频带信号中的部分信号,例如,高频带信号中的一个或多个频率区域的信号,还可以是低频带信号中的部分信号,例如,低频带信号中的一个或多个频率区域的信号。该高频信号和低频带信号的具体解释说明可以参见下述图5所示实施例的步骤201的解释说明。
该至少部分信号的当前频率区域可以是该至少部分信号中的任意一个频率区域。该当前频点可以是该当前频率区域中的任意一个频点。
一种可实现方式,可以根据当前频点的功率谱比值在当前频率区域进行峰值搜索,以获取当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。根据当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取编码参数。该峰值可以是功率谱比值峰值或功率谱峰值。功率谱比值峰值与功率谱峰值对应同一频点,功率谱比值峰值能够指示功率谱峰值。
在一些实施例中,本申请实施例涉及的峰值还可以是能量谱峰值或能量谱比值峰值。该能量谱比值峰值与能量谱峰值对应同一频点,因此能量谱比值峰值能够指示能量谱峰值。
由于能量谱/功率谱的动态范围较大,因此使用功率谱比值/能量谱比值能够提高搜索效率。
换言之,本申请实施例中的功率谱比值可以替换为能量谱比值,能量谱比值是当前频率区域内频点的能量与该当前频率区域的平均能量的比值。例如,据该当前帧的至少部分信号的至少一个频率区域的至少一个频点的能量谱比值,获取编码参数。
步骤103、对该编码参数进行码流复用,获取编码码流。
该编码码流可以是载荷码流。载荷码流中可以携带音频信号的各个帧的具体信息,例如,可以携带上述各个帧的音调成分信息。
在一些实施例中,该编码码流还可以包括配置码流,该配置码流中可以携带音频信号中各个帧共用的配置信息。载荷码流和配置码流可以是相互独立的码流,也可以包括于同一码流中,即载荷码流和配置码流可以是同一码流中的不同部分。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该编码参数,进而准确获取该音频信号的当前帧。
本实施例,通过音频信号的当前帧的至少部分信号的功率谱比值,获取该至少部分信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱的值与功率谱的平均值的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该当前帧的至少部分信号,进而准确获取该音频信号的当前帧,提升编码质量。
下面采用高频带信号的功率谱比值,获取音调成分信息的实施例对本申请实施例的音频信号编码方法进行举例解释说明。
图5为本申请实施例的一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,如图5所示,本实施例的方法可以包括:
步骤201、获取音频信号的当前帧,该当前帧包括第一部分信号和第二部分信号,该第一部分信号的频率高于该第二部分信号的频率。
其中,当前帧可以是音频信号中的任意一个帧,该第一部分信号也可以称为高频带信号,该第二部分信号也可以称为低频带信号。其中,当前帧中高频带信号和低频带信号的划分可以通过频带阈值确定。该当前帧中高于该频带阈值的部分为高频带信号,低于该频带阈值的部分为低频带信号。对于频带阈值的确定可以根据传输带宽、编码器和解码器的数据处理能力来确定,此处不做具体限定。
例如,在当前帧为0-8khz的宽带信号时,该频带阈值可以为4khz。在当前帧为0-16khz的超宽带信号时,该频带阈值可以为8khz。
步骤202、根据该第一部分信号和该第二部分信号获取第一编码参数。
该第一编码参数用于解码端重建音频信号的当前帧。示例性的,该第一编码参数可以包括:时域噪声整形参数、频域噪声整形参数、频谱量化参数、或频带扩展信息等中任意一项或其组合。
以频带扩展信息为例,该频带扩展信息的确定,可以是以频率区域(tile)为单位进行,也可以是以频带(SFB)为单位进行。换言之,第一编码参数中包含的频带扩展信息,可以是一个或多个频率区域(tile)对应的频带扩展信息,或者,一个或多个频带(SFB)对应一个频带扩展信息,还可以既包括频率区域(tile)对应的频带扩展信息也包括频带(SFB)对应一个频带扩展信息。
频带扩展信息对应的频带扩展上限可以是在获取频带扩展信息的过程中确定下来,或者也可以是通过预先设定或者查表的方式得到的。
同样,频带扩展信息对应的频带扩展的频率区域数量也可以是在获取频带扩展信息的过程中确定下来,或者通过预先设定、查表的方式得到的。
频带扩展信息对应的频带扩展上限可以是频带扩展的最高频率、最高频点序号、最高频带序号、或最高频率区域序号中的一个或多个。
例如,在编码的过程中,可以将高频带划分成K个频率区域(tile),每一个频率区域内划分为N个频带(SFB),以频率区域(tile)或频带(SFB)为粒度获取频带扩展信息。或者,将高频带划分成K个频率区域(tile),每一个频率区域内划分为一个或多个频带(SFB),再将每个带又划分为一个或多个子带,以频率区域(tile)或频带(SFB)或子带为粒度获取参数,例如,频谱量化参数。
步骤203、根据第一部分信号的功率谱比值,获取第二编码参数,该第二编码参数用于表示该第一部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、数量、幅度或能量中至少一项。
该第二编码参数用于解码端重建该第一部分信号,即重建该当前帧的高频带信号。该第二编码参数可以包括当前帧的高频带参数,该高频带参数可以包括该高频带信号的音调成分信息。高频带信号对应的高频带包括至少一个频率区域,一个频率区域包括至少一个子带。该当前帧的高频带参数可以包括一个或多个频域区域的高频带参数,即一个或多个频率区域的音调成分信息。需要获取高频带参数的频率区域的数量可以是预先给定的,也可以是根据具体算法计算得到的,还可以从码流中获取,本申请实施例不做限定。
根据高频带信号获取当前帧的第二编码参数的过程,可以按照高频带信号对应的高频带的频率区域划分和/或子带划分来进行。
本申请实施例可以根据该第一部分信号(高频带信号)的功率谱比值,确定出该高频 带信号的峰值,基于该峰值确定音调成分,根据该音调成分的位置信息、数量信息、幅度信息或能量信息中至少一项,获取该第二编码参数。
该高频带信号的功率谱比值为高频带信号的功率谱与高频带信号所在频率区域的功率谱的平均值的比值。例如,该高频带信号的功率谱比值包括该高频带信号的至少一个频率区域的功率谱与平均功率谱的比值,该平均功率谱为该高频带信号的至少一个频率区域的平均功率谱。
步骤204、对第一编码参数和第二编码参数进行码流复用,获取编码码流。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该第一编码参数和第二编码参数,从而准确获取该音频信号的当前帧。该编码码流的具体解释说明可以参见上述步骤103的编码码流的解释说明,此处不再赘述。
本实施例,通过音频信号的高频带信号的功率谱比值,获取高频带信号的音调成分信息,基于该音调成分信息获取编码码流,由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
图6为本申请实施例的另一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,本实施例为上述图5所示实施例的一种具体实现方式,如图6所示,本实施例的方法可以包括:
步骤301、获取音频信号的当前帧,该当前帧包括高频带信号和低频带信号。
步骤302、根据该高频带信号和该低频带信号获取第一编码参数。
该高频带信号包括至少一个频率区域的高频带信号。其中,步骤301和步骤302的具体解释说明可以参见图5所示实施例的步骤201和步骤202,此处不再赘述。
步骤303、根据至少一个频率区域的高频带信号,获取该频率区域的高频带信号的功率谱比值。
示例性的,以一个频率区域(例如,当前频率区域,该当前频率区域可以是该高频带信号中的任意一个频率区域)为例进行解释说明,对每个频域区域可以执行相同操作。根据该频率区域的高频带信号,获取该频率区域的高频带信号的功率谱。该高频带信号的功率谱可以包括该频率区域的各个频点的功率谱。根据该频率区域的高频带信号的功率谱,确定频率区域的平均功率谱。根据该频率区域的高频带信号的功率谱和该频率区域的平均功率谱,确定该频率区域的高频信号的功率谱比值。该功率谱比值为该频率区域的高频带信号的功率谱除以该频率区域的平均功率谱。
例如,可以通过下述公式(1)计算一个频率区域(tile)的平均功率谱。
Figure PCTCN2021083029-appb-000001
其中powerSpectrum为该频率区域的功率谱,tile_width为频率区域(tile)的宽度(频点数),mean_powerspec为平均功率谱,也称为功率谱平均值。
可以通过下述公式(2)计算一个频率区域(tile)内每个频点功率谱与平均功率谱的比值。功率谱比值可以用以10为底的对数表示:
Figure PCTCN2021083029-appb-000002
其中:tile[p]为第p个tile的起始频点,sb为频点序号,peak_ratio表示功率谱比值,powerSpectrum[sb]为频点sb的功率谱,mean_powerspec为频点sb所在频率区域的平均功率谱。A为保证对数运算有效的极小值,例如A=1.0e -18
对于频点序号,本申请实施例以频域区域内的频点的频点序号从低频(左)到高频(右)递增为例进行举例说明。
步骤304、根据该频率区域的高频带信号的功率谱比值,在该频率区域内进行峰值搜索,获取该频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项。
本申请实施例根据功率谱比值进行峰值搜索,由于功率谱比值可以更好的反映信号特性,所以使得搜索得到的峰值更加准确,进而基于该峰值确定音调成分,可以使得音调成分更为准确,从而准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号。
进行峰值搜索的范围可以是该频率区域中除两端频点的范围,也可以是该频率区域内的部分区域,还可以是该频率区域的全部频点,其可以根据需求进行灵活设置。对于进行峰值搜索的范围是该频率区域的全部频点,在一些实施例中,涉及需要比较频点与左邻频点的功率谱比值时,可以忽略该频率区域的最左频点,即不对该最左频点进行峰值搜索。在一些实施例中,涉及需要比较频点与右邻频点的功率谱比值时,可以忽略该频率区域的最右频点,即不对该最右频点进行峰值搜索。
示例性的,该峰值满足以下条件中至少一项,该条件用于搜索该高频带信号中的峰值。
该条件包括可以包括以下(1)至(6)项。
(1)、峰值所在频点的功率谱比值大于或等于第一预设阈值。
换言之,高频带信号的峰值所在频点的功率谱比值大于或等于第一预设阈值,该第一预设阈值可以根据需求进行灵活设置。以一个频率区域为例,在该频率区域的各个频点中搜索功率谱比值大于或等于第一预设阈值的频点,该频点即为该频率区域的峰值所在频点。
(2)、峰值所在频点的功率谱比值大于该峰值所在频点的左邻频点的功率谱比值。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的左邻频点的功率谱比值。该左邻频点为与该峰值所在频点相邻,且频点序号小于该峰值所在频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的左邻频点的频点序号为sb-1。当然可以理解的,该峰值所在频点的左邻频点的频点序号也可以为sb-2、或sb-3等,其可以根据需求进行合理设置。该峰值所在频点的左邻频点也可以是多个频点,例如,该峰值所在频点的左邻频点的频点序号包括sb-1、sb-2以及sb-3。
(3)、峰值所在频点的功率谱比值大于该峰值所在频点的右邻频点的功率谱比值。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的右邻频点的功率谱比值。该右邻频点为与该峰值所在频点相邻,且频点序号大于该峰值所在频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的右邻频点的频点序号为sb+1。当然可以理解的,该峰值所在频点的右邻频点的频点序号也可以为sb+2、或sb+3等,其可以根据需求进行合理设置。该峰值所在频点的右邻频点也可以是多个频点,例如,该峰值所 在频点的右邻频点的频点序号包括sb+1、sb+2以及sb+3。
(4)、峰值所在频点的功率谱比值大于该峰值所在频点的左邻区域的功率谱比值的平均值,该左邻区域包括频点序号小于该峰值所在频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的左邻区域的功率谱比值的平均值。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值,第二预设阈值可以根据需求进行灵活设置。该左邻区域包括频点序号小于该峰值所在频点的频点序号的N_neighbor_l个频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的左邻区域所包括的频点序号为sb-N_neighbor_l至sb-1。
(5)、峰值所在频点的功率谱比值大于该峰值所在频点的右邻区域的功率谱比值的平均值,该右邻区域包括频点序号大于该峰值所在频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。
换言之,高频带信号的峰值所在频点的功率谱比值大于峰值所在频点的右邻区域的功率谱比值的平均值。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值,第三预设阈值可以根据需求进行灵活设置。该右邻区域包括频点序号大于该峰值所在频点的频点序号的N_neighbor_r个频点。以峰值所在频点的频点序号为sb为例,该峰值所在频点的右邻区域所包括的频点序号为sb+1至sb+N_neighbor_r。
(6)、峰值所在频点的功率谱比值大于该峰值所在频率区域的功率谱比值的平均值。
换言之,高频带信号的峰值所在频点的功率谱比值大于该峰值所在频率区域的功率谱比值的平均值。即该峰值所在频点为功率谱比值高于其所在频率区域的功率谱比值的平均值的频点。或者高频带信号的峰值所在频点的功率谱比值与该峰值所在频率区域的功率谱比值的平均值的差大于第四预设阈值,第四预设阈值可以根据需求进行灵活设置。
当然可以理解,的上述条件还可以包括其他项,本申请实施例以上述(1)至(6)项进行举例说明,本申请实施例不以此作为限定。
一种可实现方式,可以根据该频率区域的高频带信号的功率谱比值,确定该频率区域的高频带信号的功率谱比值的平均值、该频率区域的高频带信号的各个频点的左邻区域的功率谱比值的平均值或该频率区域的高频带信号的各个频点的右邻区域的功率谱比值的平均值中至少一项。根据该频率区域的高频带信号的各个频点的功率谱比值、各个频点的左邻频点的功率谱比值、各个频点的右邻频点的功率谱比值、该频率区域的高频带信号的功率谱比值的平均值、该频率区域的高频带信号的各个频点的左邻区域的功率谱比值的平均值或该频率区域的高频带信号的各个频点的右邻区域的功率谱比值的平均值中至少一项,在该频率区域内进行峰值搜索,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下至少一项:大于或等于第一预设阈值;或者,大于该频点的左邻频点的功率谱比值;或者,大于该频点的右邻频点的功率谱比值;或者,大于该频点的左邻区域的功率谱比值的平均值,该左邻区域包括频点序号小于该频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意 自然数;或者,大于该频点的右邻区域的功率谱比值的平均值,该右邻区域包括频点序号大于该频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;或者,大于该频率区域的功率谱比值的平均值;或者,该频点的功率谱比值与该频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;或者,该频点的功率谱比值与该频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;或者,该频点的功率谱比值与该频点所在频率区域的功率谱比值的平均值的差大于第四预设阈值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
再例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下所有项:大于或等于第一预设阈值;大于该频点的左邻频点的功率谱比值;大于该频点的右邻频点的功率谱比值;该频点的功率谱比值与该频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值,该左邻区域包括频点序号小于该频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数;该频点的功率谱比值与该频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值,该右邻区域包括频点序号大于该频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;该频点的功率谱比值与该频点所在频率区域的功率谱比值的平均值的差大于第四预设阈值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
以峰值搜索对[1,tile_width-2]范围内的频点进行,第一预设阈值为2.0f,第二预设阈值为12,第三预设阈值为12,第四预设阈值为15为例,tile_width为频率区域的宽度。判断包含以下条件:
条件1(Cond1):peak_ratio[sb]≥2.0f;
条件2(Cond2):peak_ratio[sb]>peak_ratio[sb-1]且peak_ratio[sb]>peak_ratio[sb+1];
条件3(Cond3):peak_ratio[sb]>neighbor_l+12;
条件4(Cond4):peak_ratio[sb]>neighbor_r+12;
条件5(Cond5):peak_ratio[sb]>mean_ratio+25;
满足上述所有条件的频点为峰值对应的频点。其中,mean_ratio,neighbor_l,neighbor_r的具体解释说明,参见下述公式(3)至(5)。
又例如,判断该频率区域的高频带信号的各个频点的功率谱比值是否满足以下所有项:大于或等于第一预设阈值;大于该频点的左邻频点的功率谱比值;大于该频点的右邻频点的功率谱比值。当满足时,确定该频点为峰值对应的频点,获取该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
峰值搜索的判断条件还可以是其他条件,或上述各项条件的组合,本申请实施例以上述几种判断方式为例进行举例说明,并不以此作为限制。
峰值搜索可以是对整个频率区域内的各个频点进行,也可以是只在频率区域内不包含起始频点和截止频点的范围内进行,还可以是在频率区域内预定义的峰值搜索范围内进行。不同的频率区域进行峰值搜索的范围可以相同也可以不同。
峰值的幅度信息或峰值的能量信息可以包括峰值的功率谱比值,峰值的功率谱,峰值 的能量,峰值的能量比值。能量比值为频率区域内信号频谱的能量与平均能量的比值。平均能量为频率区域内信号频谱能量的平均值。
步骤305、根据该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项,获取该第二编码参数。
可选的,在一些实施例中,还可以在满足上述条件的频点中选取部分频点作为筛选后的峰值所在频点,基于筛选后的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、位置信息、幅度信息或能量信息中至少一项,根据音调成分的数量信息、位置信息、幅度信息或能量信息中至少一项,获取第二编码参数。
例如,一种筛选峰值的方式,该高频带信号的峰值包括N个峰值,本申请实施例还可以基于该N个峰值的功率谱比值或能量或幅度,选取其中的M个峰值,作为筛选后的峰值。N和M为任意正整数,且N≥M。举例而言,可以基于该N个峰值的能量或幅度,选取该N个峰值的能量或幅度较大的M个峰值,也即该M个峰值的能量或幅度大于N个峰值中除该M个峰值之外的峰值的能量或幅度。
音调成分的幅度信息或音调成分的能量信息可以包括音调成分的功率谱比值,音调成分的功率谱,音调成分的能量,音调成分的能量比值。能量比值为频率区域内信号频谱的能量与平均能量的比值。平均能量为频率区域内信号频谱能量的平均值。
步骤306、对第一编码参数和第二编码参数进行码流复用,获取编码码流。
编码器将编码码流发送至解码器,解码器对该编码码流进行码流解复用,从而获取该第一编码参数和第二编码参数,从而准确获取该音频信号的当前帧。
本实施例,通过音频信号的高频带信号的功率谱比值,进行峰值搜索,由于功率谱比值可以更好的反映信号特性,所以使得搜索得到的峰值更加准确,进而基于该峰值确定音调成分,可以使得音调成分更为准确,从而准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
图7为本申请实施例的另一种音频信号编码方法的流程图,本申请实施例的执行主体可以是上述编码器或编码器内部的核心编码器,本实施例对上述图6所示实施例的步骤304进行具体解释说明,本实施例以一个频率区域做举例说明,如图7所示,本实施例的方法可以包括:
步骤401、根据频率区域的高频带信号的功率谱比值,获取功率谱比值的平均值参数。
其中,功率谱比值的平均值参数包括功率谱比值的第一平均值参数、功率谱比值的第二平均值参数、或功率谱比值的第三平均值参数中的至少一种。
该第一平均值参数为频率区域中的所有频点的功率谱比值的平均值。换言之,该第一平均值参数与频率区域对应,例如,对应一个频率区域。
以上述公式(1)和公式(2)为例,对本实施例的第一平均值参数进行解释说明,可以通过下述公式(3)计算第一平均值参数mean_ratio。
Figure PCTCN2021083029-appb-000003
其中,tile_width为tile宽度,tile[p]为第p个tile的起始频点,sb属于[tile[p], tile[p]+tile_width-1]。
该第二平均值参数为频点的左邻区域内的功率谱比值的平均值。其中,左邻区域是指频点序号小于该频点的频点序号的N_neighbor_l个频点。换言之,该第二平均值参数与频率区域中的各个频点对应,例如,一个第二平均值参数对应一个频点。
以上述公式(1)和公式(2)为例,对本实施例的第二平均值参数进行解释说明,可以通过下述公式(4)计算第二平均值参数neighbor_l。
Figure PCTCN2021083029-appb-000004
其中,N_neighbor_l是左邻区域的点数,例如取3。sb为频点序号,sb的左邻区域包括[sb-N_neighbor_l,sb-1]内的频点。
该第三平均值参数为频点的右邻区域内的功率谱比值的平均值。其中,右邻区域是指频点序号大于该频点的频点序号的N_neighbor_r个频点。换言之,该第三平均值参数与频率区域中的各个频点对应,例如,一个第三平均值参数对应一个频点。
以上述公式(1)和公式(2)为例,对本实施例的第三平均值参数进行解释说明,可以通过下述公式(5)计算第三平均值参数neighbor_r。
Figure PCTCN2021083029-appb-000005
其中,N_neighbor_r是右邻区域的点数,例如取3。sb为频点序号,sb的右邻区域包括[sb+1,sb+N_neighbor_r]内的频点。
步骤402、根据功率谱比值和功率谱比值的平均值参数,获取第一判断标志、第二判断标志、第三判断标志、第四判断标志或第五判断标志中至少一项。
对在频率区域内的每一个频点,获取第一判断标志、第二判断标志、第三判断标志、第四判断标志、或第五判断标志中至少一项。
以一个频点进行示例说明,可以根据该频点的功率谱比值和第一预设阈值,确定第一判断标志。若该频点的功率谱比值大于该第一预设阈值,则第一判断标志为1,否则第一判断标志为0。第一预设阈值可以是大于零的实数,其可以根据需求进行灵活设置。例如,该第一预设阈值为2.0,即判断该频点的功率谱比值是否满足条件1(Cond1)。Cond1:peak_ratio[sb]≥2.0f。当满足条件1(Cond1)时,第一判断标志为1,否则,第一判断标志为0。
根据该频点的功率谱比值,以及该频点相邻的左、右频点的功率谱比值,确定第二判断标志。若该频点的功率谱比值均大于该频点相邻的左、右频点的功率谱比值,则第二判断标志为1,否则第二判断标志为0。例如,判断该频点的功率谱比值是否满足条件2(Cond2)。Cond2:peak_ratio[sb]>peak_ratio[sb-1]且peak_ratio[sb]>peak_ratio[sb+1]。当满足条件2(Cond2)时,第二判断标志为1,否则,第二判断标志为0。
根据该频点的功率谱比值以及该第二平均值参数,确定第三判断标志。若该频点的功率谱比值大于该第二平均值参数,或者该频点的功率谱比值与该第二平均值参数的差大于第二预设阈值,则第三判断标志为1,否则第三判断标志为0。例如,该第二预设阈值为12,判断该频点的功率谱比值是否满足条件3(Cond3)。Cond3:peak_ratio[sb]>neighbor_l+12,当满足条件3(Cond3)时,第三判断标志为1,否则,第三判断标志为 0。
根据该频点的功率谱比值以及该第三平均值参数,确定第四判断标志。若该频点的功率谱比值大于该第三平均值参数,或者该频点的功率谱比值与该第三平均值参数的差大于第三预设阈值,则第四判断标志为1,否则第四判断标志为0。例如,该第三预设阈值为12,判断该频点的功率谱比值是否满足条件4(Cond4)。Cond4:peak_ratio[sb]>neighbor_r+12,当满足条件4(Cond4)时,第四判断标志为1,否则,第四判断标志为0。
根据该频点的功率谱比值以及该第一平均值参数,确定第五判断标志。该频点的功率谱比值大于该第一平均值参数,或者该频点的功率谱比值与该第一平均值参数的差大于第四预设阈值,则第五判断标志为1,否则第五判断标志为0。例如,该第三预设阈值为25,判断该频点的功率谱比值是否满足条件5(Cond5)。Cond5:peak_ratio[sb]>mean_ratio+25,当满足条件4(Cond4)时,第五判断标志为1,否则,第五判断标志为0。
步骤403、根据第一判断标志、第二判断标志、第三判断标志、第四判断标志、第五判断标志中至少一项,进行峰值搜索,获得该频率区域的峰值的数量、峰值的位置信息、峰值的幅度或峰值的能量中至少一项。
例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志、第二判断标志、第三判断标志、第四判断标志或第五判断标志中至少一项为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。
再例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志、第二判断标志、第三判断标志、第四判断标志和第五判断标志中均为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。即峰值所在频点的能量大于第一预设阈值,大于左邻频点的能量,大于右邻频点的能量,大于左邻区域的能量,大于右邻区域的能量,且大于平均能量。
又例如,对频率区域内的每一个频点进行峰值搜索,若该频点对应的第一判断标志和第二判断标志均为1,则该频点为峰值对应的频点,该频点的频点序号为峰值的位置信息,该频点的功率谱比值为峰值的幅度或能量信息,频率区域内所有满足条件的频点的数量为该频率区域的峰值的数量。
满足如上条件的峰值作为音调成分的候选,其峰值位置和峰值功率谱比值分别存储在峰值标识(peak_idx)和峰值数值(peak_val)数组中,峰值数量为peak_cnt。
本实施例,根据频率区域的高频带信号的功率谱比值,获取功率谱比值的平均值参数,通过功率谱比值的平均值参数,可以对频率区域的每一个频点进行峰值搜索,以确定频率区域内的峰值,进而基于峰值确定音调成分信息。由于该功率谱比值是功率谱与平均功率谱的比值,其可以更好的反映信号特性,从而可以准确获取音调成分信息,以便解码端根据该音调成分信息可以更准确的重建该高频带信号,进而准确获取该音频信号,提升编码质量。
基于与上述方法相同的发明构思,本申请实施例还提供了一种音频信号编码装置,该 音频信号编码装置可以应用于音频编码器。
图8为本申请实施例的一种音频信号编码装置的结构示意图,如图8所示,该音频信号编码装置800包括:获取单元801、编码参数确定模块802、以及码流复用模块803。
该获取模块801,用于获取音频信号的当前帧。
该编码参数确定模块802,用于根据该当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,该编码参数用于表示该至少部分信号的音调成分信息,该音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,该当前频点的功率谱比值为该当前频点的功率谱的值与该当前频率区域的功率谱的平均值的比值。
该码流复用模块803,用于对编码参数进行码流复用,获取编码码流。
在一些实施例中,该编码参数确定模块802用于:根据该当前频点的功率谱比值在该当前频率区域进行峰值搜索,以获取该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,该峰值为功率谱峰值或功率谱比值峰值。根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取该编码参数。
在一些实施例中,该编码参数确定模块802用于:根据该当前频点的功率谱比值、该当前频点的左邻频点的功率谱比值、该当前频点的右邻频点的功率谱比值、该当前频率区域的功率谱比值的平均值、该当前频点的左邻区域的功率谱比值的平均值和该当前频点的右邻区域的功率谱比值的平均值,在该当前频率区域内进行峰值搜索。
其中,该当前频点的左邻区域包括频点序号小于当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,该当前频点的右邻区域包括频点序号大于当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数。该当前频点的左邻频点是频点序号比当前频点小1的频点,该当前频点的右邻频点是频点序号比当前频点大1的频点。
在一些实施例中,该编码参数确定模块802用于:判断当前频点的功率谱比值是否满足以下条件:大于或等于该第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大于该当前频点的右邻频点的功率谱比值;当前频点的功率谱比值与该当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;当前频点的功率谱比值与该当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;当前频点的功率谱比值与该当前频率区域的功率谱比值的平均值的差大于第四预设阈值。当该当前频点的功率谱比值满足所述条件时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:判断当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于该当前频点的左邻频点的功率谱比值;或者,大于该当前频点的右邻频点的功率谱比值;或者,大于当前频点的左邻区域的功率谱比值的平均值;或者,大于当前频点的右邻区域的功率谱比值的平均值;或者,大于当前频率区域的功率谱比值的平均值。当满足该条件中至少一项时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:判断该当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于该当前频点的左邻频点的功率谱比值;大 于该当前频点的右邻频点的功率谱比值。当满足该条件时,确定该当前频点为峰值对应的频点。
在一些实施例中,该编码参数确定模块802用于:根据该当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项。根据该音调成分的数量信息、该音调成分的位置信息、该音调成分的幅度信息或该音调成分的能量信息中至少一项,获取该编码参数。
在一些实施例中,该至少部分信号包括该当前帧的高频带信号。
需要说明的是,上述获取模块801、编码参数确定模块802、以及码流复用模块803可应用于编码端的音频信号编码过程。
还需要说明的是,获取模块801、编码参数确定模块802、以及码流复用模块803的具体实现过程可参考上述方法实施例的详细描述,为了说明书的简洁,这里不再赘述。
基于与上述方法相同的发明构思,本申请实施例提供一种音频信号编码器,音频信号编码器用于编码音频信号,包括:如执行如上述一个或者多个实施例中所述的编码器,其中,音频信号编码装置用于编码生成对应的码流。
基于与上述方法相同的发明构思,本申请实施例提供一种用于编码音频信号的设备,例如,音频信号编码设备,请参阅图9所示,音频信号编码设备900包括:
处理器901、存储器902以及通信接口903(其中音频信号编码设备900中的处理器901的数量可以一个或多个,图9中以一个处理器为例)。在本申请的一些实施例中,处理器901、存储器902以及通信接口903可通过总线或其它方式连接,其中,图9中以通过总线连接为例。
存储器902可以包括只读存储器和随机存取存储器,并向处理器901提供指令和数据。存储器902的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。存储器902存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
处理器901控制音频编码设备的操作,处理器901还可以称为中央处理单元(central processing unit,CPU)。具体的应用中,音频编码设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器901中,或者由处理器901实现。处理器901可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的 步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902,处理器901读取存储器902中的信息,结合其硬件完成上述方法的步骤。
通信接口903可用于接收或发送数字或字符信息,例如可以是输入/输出接口、管脚或电路等。举例而言,通过通信接口903发送上述编码码流。
基于与上述方法相同的发明构思,本申请实施例提供一种音频编码设备,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤的指令。
基于与上述方法相同的发明构思,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如上述一个或者多个实施例中所述的音频信号编码方法的部分或全部步骤。
以上各实施例中提及的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。处理器可以是通用处理器、数字信号处理器(digital signal processor,DSP)、特定应用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本申请实施例公开的方法的步骤可以直接体现为硬件编码处理器执行完成,或者用编码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
上述各实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及 算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

  1. 一种音频信号编码方法,其特征在于,包括:
    获取音频信号的当前帧;
    根据所述当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,所述编码参数用于表示所述至少部分信号的音调成分信息,所述音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,所述当前频点的功率谱比值为所述当前频点的功率谱的值与所述当前频率区域的功率谱的平均值的比值;
    对所述编码参数进行码流复用,获取编码码流。
  2. 根据权利要求1所述的方法,其特征在于,所述根据所述至少部分信号的当前频率区域的当前频点的功率谱比值获取编码参数,包括:
    根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,以获取所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项;所述峰值为功率谱峰值或功率谱比值峰值;
    根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数。
  3. 根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
    根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索;
    其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  4. 根据权利要求3所述的方法,其特征在于,所述根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索,包括:
    判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;所述当前频点的功率谱比值与所述当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;所述当前频点的功率谱比值与所述当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;所述当前频点的功率谱比值与所述当前频率区域的功率谱比值的平均值的差大于第四预设阈值;
    当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点。
  5. 根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
    判断所述当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于所述当前频点的左邻频点的功率谱比值;或者,大于所述当前频点的右邻频点的功率谱比值;或者,大于所述当前频点的左邻区域的功率谱比值的平均值;或者,大于所述当前频点的右邻区域的功率谱比值的平均值;或者,大于所述当前频率区域的功率谱比值的平均值;
    当所述当前频点的功率谱比值满足所述条件中至少一项时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
    其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  6. 根据权利要求2所述的方法,其特征在于,所述根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,包括:
    判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;
    当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  7. 根据权利要求2至6任一项所述的方法,其特征在于,所述根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数,包括:
    根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项;
    根据所述音调成分的数量信息、所述音调成分的位置信息、所述音调成分的幅度信息或所述音调成分的能量信息中至少一项,获取所述编码参数。
  8. 根据权利要求1至7任一项所述的方法,其特征在于,所述至少部分信号包括所述当前帧的高频带信号。
  9. 一种音频信号编码装置,其特征在于,包括:
    获取模块,用于获取音频信号的当前帧;
    编码参数确定模块,用于根据所述当前帧的至少部分信号的当前频率区域的当前频点的功率谱比值,获取编码参数,所述编码参数用于表示所述至少部分信号的音调成分信息,所述音调成分信息包括音调成分的位置信息、音调成分的数量信息、音调成分的幅度信息或音调成分的能量信息中至少一项,所述当前频点的功率谱比值为所述当前频点的功率谱的值与所述当前频率区域的功率谱的平均值的比值;
    码流复用模块,用于对所述编码参数进行码流复用,获取编码码流。
  10. 根据权利要求9所述的装置,其特征在于,所述编码参数确定模块用于:
    根据所述当前频点的功率谱比值在所述当前频率区域进行峰值搜索,以获取所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项;所述峰值为功率谱峰值或功率谱比值峰值;
    根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,获取所述编码参数。
  11. 根据权利要求10所述的装置,其特征在于,所述编码参数确定模块用于:
    根据所述当前频点的功率谱比值、所述当前频点的左邻频点的功率谱比值、所述当前频点的右邻频点的功率谱比值、所述当前频率区域的功率谱比值的平均值、所述当前频点的左邻区域的功率谱比值的平均值和所述当前频点的右邻区域的功率谱比值的平均值,在所述当前频率区域内进行峰值搜索;
    其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为任意自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为任意自然数;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  12. 根据权利要求11所述的装置,其特征在于,所述编码参数确定模块用于:
    判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;所述当前频点的功率谱比值与所述当前频点的左邻区域的功率谱比值的平均值的差大于第二预设阈值;所述当前频点的功率谱比值与所述当前频点的右邻区域的功率谱比值的平均值的差大于第三预设阈值;所述当前频点的功率谱比值与所述当前频率区域的功率谱比值的平均值的差大于第四预设阈值;
    当满足所述条件时,确定所述当前频点为所述当前频率区域的峰值对应的频点。
  13. 根据权利要求10所述的装置,其特征在于,所述编码参数确定模块用于:
    判断所述当前频点的功率谱比值是否满足以下条件中至少一项:大于或等于第一预设阈值;或者,大于所述当前频点的左邻频点的功率谱比值;或者,大于所述当前频点的右邻频点的功率谱比值;或者,大于所述当前频点的左邻区域的功率谱比值的平均值;或者,大于所述当前频点的右邻区域的功率谱比值的平均值;或者,大于所述当前频率区域的功率谱比值的平均值;
    当所述当前频点的功率谱比值满足所述条件中至少一项时,确定所述当前频点为所述当前频率区域的峰值对应的频点;
    其中,所述当前频点的左邻区域包括频点序号小于所述当前频点的频点序号的N_neighbor_l个频点,N_neighbor_l为自然数,所述当前频点的右邻区域包括频点序号大于所述当前频点的频点序号的N_neighbor_r个频点,N_neighbor_r为自然数;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  14. 根据权利要求11所述的装置,其特征在于,所述编码参数确定模块用于:
    判断所述当前频点的功率谱比值是否满足以下条件:大于或等于第一预设阈值;大于 所述当前频点的左邻频点的功率谱比值;大于所述当前频点的右邻频点的功率谱比值;
    当满足所述条件时,确定所述当前频点为所述频率区域的峰值对应的频点;
    所述当前频点的左邻频点是频点序号比所述当前频点小1的频点,所述当前频点的右邻频点是频点序号比所述当前频点大1的频点。
  15. 根据权利要求10至14任一项所述的装置,其特征在于,所述编码参数确定模块用于:
    根据所述当前频率区域的峰值的数量信息、峰值的位置信息、峰值的幅度信息或峰值的能量信息中至少一项,确定音调成分的数量信息、音调成分的位置信息、音调成分的幅度信息或音调成分的能量信息中至少一项;
    根据所述音调成分的数量信息、所述音调成分的位置信息、所述音调成分的幅度信息或所述音调成分的能量信息中至少一项,获取所述编码参数。
  16. 根据权利要求15所述的装置,其特征在于,所述至少部分信号包括所述当前帧的高频带信号。
  17. 一种音频信号编码装置,其特征在于,包括:相互耦合的非易失性存储器和处理器,所述处理器调用存储在所述存储器中的程序代码以执行如权利要求1至8任一项所述的方法。
  18. 一种音频信号编解码设备,其特征在于,包括:编码器,所述编码器用于执行如权利要求1至8任一项所述的方法。
  19. 一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序在计算机上被执行时,使得所述计算机执行权利要求1至8任一项所述的方法。
  20. 一种计算机可读存储介质,其特征在于,包括根据如权利要求1至8任一项所述的方法获得的编码码流。
PCT/CN2021/083029 2020-04-21 2021-03-25 音频信号编码方法和装置 WO2021213128A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21793658.2A EP4131263A4 (en) 2020-04-21 2021-03-25 METHOD AND DEVICE FOR AUDIO SIGNAL ENCODING
BR112022021356A BR112022021356A2 (pt) 2020-04-21 2021-03-25 Método e aparelho de codificação de sinal de áudio
KR1020227040562A KR20230002899A (ko) 2020-04-21 2021-03-25 오디오 신호 코딩 방법 및 장치
MX2022013267A MX2022013267A (es) 2020-04-21 2021-03-25 Método y aparato de codificación de señal de audio.
US17/969,454 US20230040515A1 (en) 2020-04-21 2022-10-19 Audio signal coding method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010318590.8 2020-04-21
CN202010318590.8A CN113539281B (zh) 2020-04-21 2020-04-21 音频信号编码方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/969,454 Continuation US20230040515A1 (en) 2020-04-21 2022-10-19 Audio signal coding method and apparatus

Publications (1)

Publication Number Publication Date
WO2021213128A1 true WO2021213128A1 (zh) 2021-10-28

Family

ID=78093961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/083029 WO2021213128A1 (zh) 2020-04-21 2021-03-25 音频信号编码方法和装置

Country Status (7)

Country Link
US (1) US20230040515A1 (zh)
EP (1) EP4131263A4 (zh)
KR (1) KR20230002899A (zh)
CN (1) CN113539281B (zh)
BR (1) BR112022021356A2 (zh)
MX (1) MX2022013267A (zh)
WO (1) WO2021213128A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620854A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 频带扩展的方法、系统和设备
CN104321815A (zh) * 2012-03-21 2015-01-28 三星电子株式会社 用于带宽扩展的高频编码/高频解码方法和设备
CN104584124A (zh) * 2013-01-22 2015-04-29 松下电器产业株式会社 带宽扩展参数生成装置、编码装置、解码装置、带宽扩展参数生成方法、编码方法、以及解码方法
CN105103226A (zh) * 2013-01-29 2015-11-25 弗劳恩霍夫应用研究促进协会 低复杂度音调自适应音频信号量化
EP3343560A1 (en) * 2016-12-27 2018-07-04 Fujitsu Limited Audio coding device and audio coding method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2009084221A1 (ja) * 2007-12-27 2011-05-12 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN101521010B (zh) * 2008-02-29 2011-10-05 华为技术有限公司 一种音频信号的编解码方法和装置
US20100241423A1 (en) * 2009-03-18 2010-09-23 Stanley Wayne Jackson System and method for frequency to phase balancing for timbre-accurate low bit rate audio encoding
CN102194457B (zh) * 2010-03-02 2013-02-27 中兴通讯股份有限公司 音频编解码方法、系统及噪声水平估计方法
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
JP2013015598A (ja) * 2011-06-30 2013-01-24 Zte Corp オーディオ符号化/復号化方法、システム及びノイズレベルの推定方法
CN105976824B (zh) * 2012-12-06 2021-06-08 华为技术有限公司 信号解码的方法和设备
US9741349B2 (en) * 2014-03-14 2017-08-22 Telefonaktiebolaget L M Ericsson (Publ) Audio coding method and apparatus
ES2933287T3 (es) * 2016-04-12 2023-02-03 Fraunhofer Ges Forschung Codificador de audio para codificar una señal de audio, método para codificar una señal de audio y programa informático en consideración de una región espectral del pico detectada en una banda de frecuencia superior
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113963703A (zh) * 2020-07-03 2022-01-21 华为技术有限公司 一种音频编码的方法和编解码设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620854A (zh) * 2008-06-30 2010-01-06 华为技术有限公司 频带扩展的方法、系统和设备
CN104321815A (zh) * 2012-03-21 2015-01-28 三星电子株式会社 用于带宽扩展的高频编码/高频解码方法和设备
CN104584124A (zh) * 2013-01-22 2015-04-29 松下电器产业株式会社 带宽扩展参数生成装置、编码装置、解码装置、带宽扩展参数生成方法、编码方法、以及解码方法
CN105103226A (zh) * 2013-01-29 2015-11-25 弗劳恩霍夫应用研究促进协会 低复杂度音调自适应音频信号量化
EP3343560A1 (en) * 2016-12-27 2018-07-04 Fujitsu Limited Audio coding device and audio coding method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SAMAALI IMEN; MAHE GAEL; ALOUANE MONIA TURKI-HADJ: "High-frequency tonal components restoration in low-bitrate audio coding using multiple spectral translations", 2015 23RD EUROPEAN SIGNAL PROCESSING CONFERENCE (EUSIPCO), 31 December 2015 (2015-12-31), pages 1053 - 1057, XP032836499, DOI: 10.1109/EUSIPCO.2015.7362544 *
See also references of EP4131263A4

Also Published As

Publication number Publication date
CN113539281A (zh) 2021-10-22
EP4131263A1 (en) 2023-02-08
US20230040515A1 (en) 2023-02-09
KR20230002899A (ko) 2023-01-05
EP4131263A4 (en) 2023-07-26
MX2022013267A (es) 2023-01-16
BR112022021356A2 (pt) 2023-02-28
CN113539281B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
WO2021244418A1 (zh) 一种音频编码方法和音频编码装置
WO2021244417A1 (zh) 一种音频编码方法和音频编码装置
US20230040515A1 (en) Audio signal coding method and apparatus
WO2021143692A1 (zh) 一种音频编解码方法和音频编解码设备
WO2021208792A1 (zh) 音频信号编码方法、解码方法、编码设备以及解码设备
GB2592896A (en) Spatial audio parameter encoding and associated decoding
US20230145725A1 (en) Multi-channel audio signal encoding and decoding method and apparatus
CA3192976A1 (en) Spatial audio parameter encoding and associated decoding
US20230154472A1 (en) Multi-channel audio signal encoding method and apparatus
WO2022258036A1 (zh) 编解码方法、装置、设备、存储介质及计算机程序
TWI854237B (zh) 音訊訊號的編解碼方法、裝置、設備、儲存介質及電腦程式
RU2828171C1 (ru) Способ и устройство кодирования аудио
WO2022242534A1 (zh) 编解码方法、装置、设备、存储介质及计算机程序
EP4336498A1 (en) Audio data encoding method and related apparatus, audio data decoding method and related apparatus, and computer-readable storage medium
WO2023051368A1 (zh) 编解码方法、装置、设备、存储介质及计算机程序产品
WO2023179846A1 (en) Parametric spatial audio encoding
EP4162487A1 (en) Spatial audio parameter encoding and associated decoding
CN115881138A (zh) 解码方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21793658

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202217059853

Country of ref document: IN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022021356

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2021793658

Country of ref document: EP

Effective date: 20221102

ENP Entry into the national phase

Ref document number: 20227040562

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01E

Ref document number: 112022021356

Country of ref document: BR

Free format text: APRESENTE O RELATORIO DESCRITIVO E DESENHOS, SE HOUVER, CONFORME PEDIDO INTERNACIONALINICIALMENTE DEPOSITADO, POIS O MESMO NAO FOI APRESENTADO ATE O MOMENTO. A EXIGENCIA DEVESER RESPONDIDA EM ATE 60 (SESSENTA) DIAS DE SUA PUBLICACAO E DEVE SER REALIZADA POR MEIO DAPETICAO GRU CODIGO 207.

REG Reference to national code

Ref country code: BR

Ref legal event code: B01Y

Ref document number: 112022021356

Country of ref document: BR

Kind code of ref document: A2

Free format text: ANULADA A PUBLICACAO CODIGO 1.5 NA RPI NO 2712 DE 27/12/2022 POR TER SIDO INDEVIDA.

ENP Entry into the national phase

Ref document number: 112022021356

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20221020