WO2020135610A1 - 音频数据恢复方法、装置及蓝牙设备 - Google Patents

音频数据恢复方法、装置及蓝牙设备 Download PDF

Info

Publication number
WO2020135610A1
WO2020135610A1 PCT/CN2019/128776 CN2019128776W WO2020135610A1 WO 2020135610 A1 WO2020135610 A1 WO 2020135610A1 CN 2019128776 W CN2019128776 W CN 2019128776W WO 2020135610 A1 WO2020135610 A1 WO 2020135610A1
Authority
WO
WIPO (PCT)
Prior art keywords
frequency domain
data
frame
type
component
Prior art date
Application number
PCT/CN2019/128776
Other languages
English (en)
French (fr)
Inventor
冯宇红
王海业
杨晓东
熊焱
张亦农
Original Assignee
南京中感微电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京中感微电子有限公司 filed Critical 南京中感微电子有限公司
Publication of WO2020135610A1 publication Critical patent/WO2020135610A1/zh
Priority to US17/359,598 priority Critical patent/US20210327441A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/02—Arrangements for detecting or preventing errors in the information received by diversity reception
    • H04L1/04—Arrangements for detecting or preventing errors in the information received by diversity reception using frequency diversity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/04—Error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • the present application relates to the field of Bluetooth technology, and in particular, to an audio data recovery method, device, and Bluetooth device.
  • the sender (master device) of Bluetooth audio transmission needs to perform audio compression before signal transmission, and then send the compressed audio signal to the receiver (slave device) through wireless transmission.
  • the master device and the salve device are far away or close to each other but there is interference, packet loss or error packets may occur during the wireless transmission, resulting in stuck and noise when the audio signal received by the slave device is decoded and played.
  • the other is to use the correlation of the audio signal only on the slave side to use the good packet data before and after the error packet to recover the lost packet data.
  • the simplest way to achieve this is to insert the silent frame data or repeat the previous good frame data.
  • a more complicated implementation method is model-based interpolation, for example, based on interpolation of an autoregressive AR (Autoregressive) model or a sine model to restore audio data.
  • autoregressive AR Autoregressive
  • the audio quality after audio recovery is poor.
  • the embodiments of the present application provide an audio data recovery method, device and electronic equipment to solve the above technical problems.
  • an embodiment of the present application provides an audio data recovery method, including the following steps:
  • the audio data is divided into a first frequency domain component and a second frequency domain component;
  • the second data recovery method is used to recover the audio data
  • a first data recovery method with a complexity lower than that of the second data recovery method is used to recover audio data.
  • an audio data recovery device including:
  • the classification module is used to divide the audio data into the first frequency domain component and the second frequency domain component in the frequency domain;
  • the first recovery module is used to recover the audio data by using the second data recovery method for the second frequency domain component
  • the second recovery module is configured to recover the audio data by using a first data recovery method with a complexity lower than that of the second data recovery method for the first frequency domain component.
  • the present application provides a Bluetooth device, including the above audio data recovery device.
  • the audio data recovery method, device and Bluetooth device provided in the embodiments of the present application divide the audio data into the first frequency domain component and the second frequency domain component in the frequency domain, and adopt the second data recovery for the second frequency domain component Method to recover audio data, for the first frequency domain component, a first data recovery method with a complexity lower than the second data recovery method is used to recover audio data, so that the implementation complexity of audio data recovery is low, and computing resources can be used High-quality audio recovery is achieved on insufficient Bluetooth audio devices.
  • FIG. 1 shows a schematic flowchart of the implementation of the audio data recovery method in the embodiment of the present application
  • FIG. 2 shows a schematic structural diagram of an audio data recovery device according to an embodiment of the present application
  • FIG. 3 shows a schematic structural diagram of a Bluetooth device according to an embodiment of the present application
  • FIG. 4 shows a schematic flowchart of Bluetooth audio processing in an embodiment of the present application.
  • GAPES Global-data Amplitude and Phase Estimation
  • the recovered audio quality is significantly improved, even It also has a good effect at a packet loss rate of 30%.
  • the computational complexity of this method is too high, and it is not suitable for use on some Bluetooth audio devices with insufficient computing resources.
  • the inventor thought to propose a low-complexity implementation method based on the GAPES algorithm, so as to implement the algorithm on a Bluetooth audio device with insufficient computing resources to improve the recovered audio quality.
  • embodiments of the present application provide an audio data recovery method, device, and Bluetooth device, which will be described below.
  • An embodiment of the present application provides an audio data recovery method, which will be described below.
  • FIG. 1 shows a schematic flowchart of implementation of an audio data recovery method in an embodiment of the present application. As shown in the figure, the method includes the following steps:
  • Step 101 Divide audio data into a first frequency domain component and a second frequency domain component in the frequency domain;
  • Step 102 For the second frequency domain component, use a second data recovery method to recover audio data
  • Step 103 For the first frequency domain component, a first data recovery method with a complexity lower than that of the second data recovery method is used to recover audio data.
  • the audio data receiving end can first perform time-frequency transformation on the audio data, convert the time-domain signal into a frequency-domain signal, and then divide the audio data into two types of frequency-domain components in the frequency domain, the first frequency
  • the domain component and the second frequency domain component respectively use different audio restoration methods for the two types of frequency domain components to restore audio data.
  • the second data recovery method is used to recover the audio data; for the first frequency domain component, the first data recovery method that is less complicated than the second data recovery method is used to recover the audio data, which can be found at To a certain extent, reduce the resources required for audio recovery.
  • the audio data is divided into two categories in the frequency domain, one category is the first frequency domain component, and the other category is the second frequency domain component.
  • a second data recovery method is used for recovery;
  • a first data recovery method that is less complicated than the second data recovery method is used for recovery.
  • the first frequency domain component is a noise-like component
  • the second frequency domain component is a tone-dominant component
  • the power of the tone-dominant component is higher than the power of the noise-like component
  • the second data recovery method may be a GAPES interpolation interpolation method for the lost frame amplitude and phase.
  • the first data recovery method may be a noise shaping and random phase method.
  • the dividing audio data into the first frequency domain component and the second frequency domain component in the frequency domain may include:
  • the audio data is divided into the first type frame data and the second type frame data;
  • the first type of frame data is divided into a first frequency domain component and a second frequency domain component.
  • the audio data is divided into the first frequency domain component and the second frequency domain component in the frequency domain.
  • the audio data may be divided into first type frame data and second type frame data first, and the first type frame
  • the data can be erroneous audio data, usually caused by packet loss or error packets, and can also be called problem frames, error frames, bad frames, etc.
  • the second type of frame data can be correct audio data, or good frame.
  • the audio data is divided into correct data and erroneous data
  • only the erroneous data can be divided into frequency domain components, and then the divided frequency domain components can be separately restored.
  • the audio data is first divided into the first type frame data and the second type frame data.
  • the frame data can be judged whether the frame data is the first type frame or according to the check mechanism of the audio data in the prior art, or the frame error flag The second type of frames will not be repeated in this application.
  • the dividing of the first type of frame data into a first frequency domain component and a second frequency domain component includes:
  • the candidate frequency domain component whose power is greater than the preset threshold value is used as the second frequency domain component, and the other frequency domain components are used as the first frequency domain component.
  • dividing the erroneous audio data into the first frequency domain component and the second frequency domain component may specifically be: first, perform power spectrum estimation on the audio data, determine the peak value of the estimated power spectrum, and then determine according to the peak value
  • the candidate frequency domain component, and the candidate frequency domain component whose power is greater than a preset threshold value are used as the second frequency domain component, and the other frequency domain components are used as the first frequency domain component.
  • the peak value of the estimated power spectrum is determined, and the peak value can be specifically found by using a local maximum method.
  • the estimating the power spectrum of the first type of frame data includes calculating the power spectrum of the first type of frame data using the following formula:
  • m represents the sequence number of the current first type frame
  • m 1 is the sequence number of the previous second type frame
  • m 2 is the sequence number of the next second type frame
  • It is the spectrum data of frame m 2 .
  • X m (k) represents the m-th frame FFT bin spectrum data
  • k represents the FFT bin number
  • 1 ⁇ k ⁇ L the FFT transform length
  • the spectrum data of the previous second type frame of the current frame (first type frame) and the spectrum of the second second type frame of the current frame (first type frame) can be used Data to calculate the power spectrum of the current frame.
  • the determining the candidate frequency domain component according to the peak value includes:
  • the frequency domain component within the preset length centered on the peak is determined as the candidate frequency domain component.
  • the found peaks may be sorted from largest to smallest, and the first N peaks are selected from the sorted peaks.
  • N may be a positive integer, for example, N may be 10.
  • a window Window centered on the peak PeakBin can be added, and the FFT bin falling in the window can be regarded as a candidate WinBin for tone.
  • the length of this window can be set to a length value of 3 or 5 and the like.
  • a first data recovery method with a complexity lower than that of the second data recovery is used to recover the audio data, specifically using the following formula for recovery:
  • s(k) is a random variable, the value is ⁇ 1, -1 ⁇ ; ⁇ (k) is the amplitude shaping factor; m is the sequence number of the current frame; m-1 is the sequence number of the previous frame; X m-1 (k) is the spectrum data of the m-1th frame.
  • the embodiment of the present application uses the spectrum data of the previous frame, and uses a random variable to add a random phase to the component, and combines the amplitude shaping factor to restore the current frame data.
  • the amplitude shaping factor is a preset constant.
  • the amplitude shaping factor may be set to a constant fadeout_factor, for example, the amplitude shaping factor may take a value of 0.9.
  • the amplitude shaping factor is calculated using the following formula:
  • B b is the critical sub-band of the spectrum
  • m 1 is the sequence number of the previous frame of the second type
  • m 2 is the sequence number of the frame of the second type
  • the entire frequency spectrum can be divided into several subbands, and a corresponding amplitude shaping factor is calculated for each subband.
  • an embodiment of the present application also provides an audio data recovery device. Since the principle of the audio data recovery device to solve the problem is similar to the audio data recovery method provided in Embodiment 1 of the present application, the audio data recovery device The implementation can refer to the implementation of the method, and the repetition will not be repeated.
  • FIG. 2 shows a schematic structural diagram of an audio data recovery device according to an embodiment of the present application. As shown in the figure, the device includes:
  • the classification module 201 is used to divide audio data into a first frequency domain component and a second frequency domain component in the frequency domain;
  • the first recovery module 202 is configured to recover the audio data by using the second data recovery method for the second frequency domain component
  • the second recovery module 203 is configured to recover the audio data using a first data recovery method with a complexity lower than that of the second data recovery method for the first frequency domain component.
  • the audio data restoration device divides the audio data into two categories in the frequency domain, one category is the first frequency domain component, and the other category is the second frequency domain component.
  • a second data recovery method is used for recovery;
  • a first data recovery method that is less complicated than the second data recovery method is used for recovery. In this way, only a small number of frequency domain components need to be estimated by the second data recovery method, which can greatly reduce the calculation complexity, and high-quality audio recovery can be achieved even on a Bluetooth audio device with insufficient calculation resources.
  • the classification module includes:
  • the first classification unit is used to divide the audio data into the first-type frame data and the second-type frame data in the frequency domain;
  • the second classification unit is used to divide the first type of frame data into a first frequency domain component and a second frequency domain component.
  • the first type of frame data is erroneous data
  • the second type of frame data is correct data
  • the second classification unit includes:
  • the estimation subunit is used to estimate the power spectrum of the first type of frame data
  • a peak determination subunit used to determine the peak value of the power spectrum
  • a candidate frequency domain component determination subunit configured to determine the candidate frequency domain component according to the peak value
  • the classification subunit is configured to use a candidate frequency domain component whose power is greater than a preset threshold value as the second frequency domain component, and other frequency domain components as the first frequency domain component.
  • the estimation subunit uses the following formula to calculate the power spectrum of the first type of frame data:
  • m represents the sequence number of the current first type frame
  • m 1 is the sequence number of the previous second type frame
  • m 2 is the sequence number of the next second type frame
  • It is the spectrum data of frame m 2 .
  • the peak determination subunit is used to find the peak of the power spectrum based on a local maximum method.
  • the candidate frame determination subunit is used to sort the peaks from large to small; for the first N peaks after sorting, the frequency domain component within the preset length centered on the peak is determined as the candidate frequency Domain component.
  • the second recovery module is configured to recover audio data using the following formula:
  • s(k) is a random variable, the value is ⁇ 1, -1 ⁇ ; ⁇ (k) is the amplitude shaping factor; m is the current first type frame, m-1 is the previous frame, X m-1 ( k) is the spectrum data of frame m-1.
  • the amplitude shaping factor is a preset constant.
  • the amplitude shaping factor is calculated using the following formula:
  • B b is the critical sub-band of the spectrum
  • m 1 is the sequence number of the previous frame of the second type
  • m 2 is the sequence number of the frame of the second type
  • embodiments of the present application also provide a Bluetooth device.
  • FIG. 3 shows a schematic structural diagram of a Bluetooth device according to an embodiment of the present application.
  • the Bluetooth device provided by the embodiment of the present application includes the audio data recovery device as in Embodiment 2 of the present application.
  • the Bluetooth device in the embodiment of the present application may include a Bluetooth headset, a Bluetooth speaker, a Bluetooth gateway, a Bluetooth MP3, a Bluetooth flash drive, a Bluetooth vehicle-mounted device, a Bluetooth adapter, etc., which is not limited in this application.
  • the Bluetooth device provided in the embodiment of the present application divides the audio data into two categories in the frequency domain, one category is the first frequency domain component, and the other category is the second frequency domain component.
  • the second frequency domain component the second data recovery method is used for recovery; for the first frequency domain component, the first data recovery method is used for recovery.
  • the second data recovery method is used for recovery;
  • the first data recovery method is used for recovery. In this way, only a small number of frequency domain components need to be estimated by the second data recovery method, which can greatly reduce the calculation complexity, and high-quality audio recovery can be achieved even on a Bluetooth audio device with insufficient calculation resources.
  • FIG. 4 shows a schematic flowchart of Bluetooth audio processing in an embodiment of the present application. As shown in the figure, the processing flow may be as follows:
  • Step 401 Perform time-frequency conversion on the received Bluetooth audio signal
  • time-frequency transform uses Fast Fourier Transform (Fast Fourier Transformation, FFT).
  • FFT Fast Fourier Transformation
  • an analysis window can be added to the time-domain signal before performing the FFT transform.
  • Step 402 Determine whether the current frame is a bad frame
  • the data frame is divided into good frames and bad frames (for example, dropped frames, wrong frames, etc.).
  • step 406 is executed;
  • step 403 is executed.
  • Step 403 Perform frequency domain component classification on the current frame.
  • the power spectrum of the current frame is estimated according to the buffered good frame data spectrum, and the peak detection peak detcetion method is used to classify each FFTbin based on the estimated power spectrum of the current frame.
  • step 404 is executed;
  • step 405 is performed.
  • Step 404 Use the GAPES method to estimate the FFT bin spectrum data.
  • Step 405 Use noise shaping and random phase methods to recover the FFT bin spectrum data.
  • Step 406 Perform inverse time-frequency transformation on the audio data.
  • the inverse time-frequency transform can generally use inverse fast Fourier transform IFFT, add a synthesis window to the audio signal after the IFFT transform, and then perform overlap-add processing (overlap-add) to obtain a reconstructed time-domain signal.
  • the embodiments of the present application may be provided as methods, systems, or computer program products. Therefore, the present application may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware. Moreover, the present application may take the form of a computer program product implemented on one or more computer usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) containing computer usable program code.
  • computer usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • These computer program instructions may also be stored in a computer readable memory that can guide a computer or other programmable data processing device to work in a specific manner, so that the instructions stored in the computer readable memory produce an article of manufacture including an instruction device, the instructions
  • the device implements the functions specified in one block or multiple blocks of the flowchart one flow or multiple flows and/or block diagrams.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device, so that a series of operating steps are performed on the computer or other programmable device to generate computer-implemented processing, which is executed on the computer or other programmable device
  • the instructions provide steps for implementing the functions specified in one block or multiple blocks of the flowchart one flow or multiple flows and/or block diagrams.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

音频数据恢复方法、装置及蓝牙设备，包括：在频域上将音频数据分为第一频域分量和第二频域分量，对第二频域分量采用第二数据恢复方法来恢复音频数据，对于第一频域分量，采用复杂度低于所述第二数据恢复的第一数据恢复方法来恢复音频数据。

Description

音频数据恢复方法、装置及蓝牙设备
相关申请的交叉引用
本申请主张在2018年12月28日在中国提交的中国专利申请号No.201811621631.X的优先权，其全部内容通过引用包含于此。
技术领域
本申请涉及蓝牙技术领域，尤其涉及一种音频数据恢复方法、装置及蓝牙设备。
背景技术
由于传输带宽受限，蓝牙音频传输的发送端(master设备)需要在信号发射前先进行音频压缩然后再通过无线传输把压缩后的音频信号发送给接收端(slave设备)。当master设备和salve设备距离较远或者近距离但存在干扰情况下，无线传输过程中可能会出现丢包或者错包，导致slave设备接收到的音频信号解码播放时会出现卡顿和杂音。
为了解决丢包或者错包引起的音频数据错误，现有技术中通常有以下两种处理方法：
一种是在master设备发射时在码流中增加冗余信息，例如：CRC检验、纠错码、以及其他重要编码信息保护机制。
另一种是只在slave端，利用音频信号自身相关性，使用丢错包前后的好包数据来恢复丢错包数据，最简单的实现方法就是插入静音帧数据或者重复前一个好帧数据，比较复杂的实现方法是基于模型的插值，例如基于自回归AR(Autoregressive)模型或者正弦模型的插值来恢复音频数据。但这些方法对于音频数据来说，恢复质量较差，尤其是在较高的丢包率情况下。
现有技术的缺点在于：
音频恢复后的音频质量较差。
发明内容
本申请实施例提出了一种音频数据恢复方法、装置及电子设备，以解决上述技术问题。
第一个方面，本申请实施例提供了一种音频数据恢复方法，包括如下步骤：
在频域上将音频数据分为第一频域分量和第二频域分量；
对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
第二个方面，本申请提供了一种音频数据恢复装置，包括：
分类模块，用于在频域上将音频数据分为第一频域分量和第二频域分量；
第一恢复模块，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
第二恢复模块，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
第三个方面，本申请提供了一种蓝牙设备，包括上述音频数据恢复装置。
有益效果如下：
本申请实施例所提供的音频数据恢复方法、装置及蓝牙设备，通过在频域上将音频数据分为第一频域分量和第二频域分量，对第二频域分量采用第二数据恢复方法来恢复音频数据，对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，使得音频数据恢复的实现复杂度低，可以在计算资源不足的蓝牙音频设备上实现高质量的音频恢复。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了本申请实施例中音频数据恢复方法实施的流程示意图；
图2示出了本申请实施例的音频数据恢复装置的结构示意图；
图3示出了本申请实施例的蓝牙设备的结构示意图；
图4示出了本申请实施例中蓝牙音频处理的流程示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到：
现有技术中存在一种基于丢失帧幅度和相位估计插值算法GAPES(Gapped-data Amplitude and Phase Estimation)方法来恢复音频数据，该方法同其他现有技术相比，恢复音频质量有明显提高，甚至在30％丢包率下也有不错效果。但是，该方法计算复杂度太高，不太适合在计算资源不足一些蓝牙音频设备上使用。
其中，GAPES算法的详细介绍可以参见Hadas Ofir和David Malah在2005年发表的论文“Packet Loss Concealment for Audio Streaming Based on the GAPES Algorithm”，此处不再赘述。
因此，发明人想到在GAPES算法基础上提出一种低复杂度实现方法，以便在计算资源不足的蓝牙音频设备上实现该算法，提高恢复音频质量。
针对现有技术的不足，本申请实施例提出了一种音频数据恢复方法、装置及蓝牙设备，下面进行说明。
实施例1
本申请实施例提供了一种音频数据恢复方法，下面进行说明。
图1示出了本申请实施例中音频数据恢复方法实施的流程示意图，如图所示，所述方法包括如下步骤：
步骤101、在频域上将音频数据分为第一频域分量和第二频域分量；
步骤102、对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
步骤103、对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
音频数据接收端可以在接收到音频数据之后，先对音频数据进行时频变换，将时域信号转换为频域信号，然后在频域上将音频数据划分为两类频域 分量，第一频域分量和第二频域分量，对两类频域分量分别采用不同的音频恢复方法进行音频数据的恢复。
对于第二频域分量，采用第二数据恢复方法来恢复音频数据；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，可以在一定程度上降低音频恢复所需要的资源。
本申请实施例通过在频域上将音频数据进行分成两类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
具体实施时，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
具体实施时，所述第二数据恢复方法可以为丢失帧幅度和相位估计插值GAPES方法。
具体实施时，所述第一数据恢复方法可以为噪声整形和随机相位方法。
实施中，所述在频域上将音频数据分为第一频域分量和第二频域分量，可以包括：
在频域上将音频数据分为第一类帧数据和第二类帧数据；
将所述第一类帧数据分为第一频域分量和第二频域分量。
具体实施时，在频域上将音频数据划分成第一频域分量和第二频域分量，具体可以是将音频数据先分为第一类帧数据和第二类帧数据，第一类帧数据可以是错误的音频数据，通常可能是因为丢包或错包导致的，也可以称为问题帧、错帧、坏帧等，第二类帧数据可以是正确的音频数据、或者称为好帧。
在将音频数据分为正确的数据和错误的数据之后，可以仅对错误的数据进行频域分量的划分，进而对划分后的频域分量分别进行数据恢复。
具体实施时，将音频数据先分为第一类帧数据和第二类帧数据可以根据现有技术中音频数据的校验机制、或者丢错帧标志来判断该帧数据是第一类 帧还是第二类帧，本申请在此不做赘述。
实施中，所述将第一类帧数据分为第一频域分量和第二频域分量，包括：
估计第一类帧数据的功率谱；
确定所述功率谱的峰值；
根据所述峰值确定候选频域分量
将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
具体实施时，将错误的音频数据划分为第一频域分量和第二频域分量具体可以为，首先对该音频数据进行功率谱的估计，确定估计出的功率谱的峰值，然后根据峰值确定候选频域分量、并将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
具体实施时，确定估计出的功率谱的峰值，具体可以采用局部最大的方法来寻找峰值。
实施中，所述估计第一类帧数据的功率谱，包括采用下式计算第一类帧数据的功率谱：
Figure PCTCN2019128776-appb-000001
其中，m表示当前第一类帧的序号，m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
Figure PCTCN2019128776-appb-000002
为第m 1帧的频谱数据，
Figure PCTCN2019128776-appb-000003
为第m 2帧的频谱数据。
具体实施时，本申请实施例假设X m(k)表示第m帧FFT bin频谱数据，k表示FFT bin序号，1≤k≤L，L表示FFT变换长度。
在估计第一类帧数据的功率谱时可以根据当前帧(第一类帧)的前一个第二类帧的频谱数据、以及当前帧(第一类帧)的后一个第二类帧的频谱数据来计算当前帧的功率谱。
实施中，所述根据所述峰值确定候选频域分量，包括：
对所述峰值进行从大到小排序；
对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
具体实施时，在得到功率谱的峰值之后，可以先对找到的峰值进行从大 到小排序，从排序的峰值中挑出前N个峰值，N可以为正整数，例如N可以取10。对于挑出来的每个峰值PeakBin，可以加上一个以该峰值PeakBin为中心的窗口Window，落在window里面的FFT bin可以认为是tone bin候选WinBin。
具体实施时，可以设这个窗口window长度为3或者5等长度值。
实施中，所述对于第一的频域分量，采用复杂度低于所述第二数据恢复的第一数据恢复方法来恢复音频数据，具体为采用下式恢复：
Figure PCTCN2019128776-appb-000004
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；X m-1(k)为第m-1帧的频谱数据。
具体实施时，对于第一的频域分量，本申请实施例利用前一帧的频谱数据、并利用一个随机变量给该分量增加一个随机相位、结合幅度整形因子来恢复当前帧数据。
实施中，所述幅度整形因子为预设常数。
具体实施时，所述幅度整形因子可以设为一个常数fadeout_factor，例如：所述幅度整形因子可以取值0.9。
实施中，所述幅度整形因子采用下式计算得到：
Figure PCTCN2019128776-appb-000005
其中，B b为频谱的临界子带；m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
Figure PCTCN2019128776-appb-000006
为第m 1帧的频谱数据，
Figure PCTCN2019128776-appb-000007
为第m 2帧的频谱数据。
具体实施时，可以把整个频谱划分为若干子带，对每个子带分别计算一个相应的幅度整形因子。
实施例2
基于同一发明构思，本申请实施例还提供了一种音频数据恢复装置，由于该音频数据恢复装置解决问题的原理与本申请实施例1所提供的音频数据恢复方法相似，因此该音频数据恢复装置的实施可以参见方法的实施，重复 之处不再赘述。
图2示出了本申请实施例的音频数据恢复装置的结构示意图，如图所示，所述装置包括：
分类模块201，用于在频域上将音频数据分为第一频域分量和第二频域分量；
第一恢复模块202，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
第二恢复模块203，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
本申请实施例所提供的音频数据恢复装置，通过在频域上将音频数据进行分成两类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复方法估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
实施中，所述分类模块，包括：
第一分类单元，用于在频域上将音频数据分为第一类帧数据和第二类帧数据；
第二分类单元，用于将所述第一类帧数据分为第一频域分量和第二频域分量。
实施中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据。
实施中，所述第二分类单元，包括：
估计子单元，用于估计第一类帧数据的功率谱；
峰值确定子单元，用于确定所述功率谱的峰值；
候选频域分量确定子单元，用于根据所述峰值确定候选频域分量；
分类子单元，用于将功率大于预设门限值的候选频域分量作为第二频域分量，其他频域分量作为第一频域分量。
实施中，所述估计子单元采用下式计算第一类帧数据的功率谱：
P m(k)＝|X m1(k)| 2+|X m2(k)| 2；
其中，m表示当前第一类帧的序号，m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
Figure PCTCN2019128776-appb-000008
为第m 1帧的频谱数据，
Figure PCTCN2019128776-appb-000009
为第m 2帧的频谱数据。
实施中，所述峰值确定子单元用于基于局部最大的方法寻找到所述功率谱的峰值。
实施中，所述候选帧确定子单元用于对所述峰值进行从大到小排序；对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
实施中，所述第二恢复模块，用于采用下式恢复音频数据：
Figure PCTCN2019128776-appb-000010
其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前第一类帧，m-1为前一帧，X m-1(k)为第m-1帧的频谱数据。
实施中，所述幅度整形因子为预设常数。
实施中，所述幅度整形因子采用下式计算得到：
Figure PCTCN2019128776-appb-000011
其中，B b为频谱的临界子带；m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
Figure PCTCN2019128776-appb-000012
为第m 1帧的频谱数据，
Figure PCTCN2019128776-appb-000013
为第m 2帧的频谱数据。
实施例3
基于同一发明构思，本申请实施例还提供了一种蓝牙设备。
图3示出了本申请实施例的蓝牙设备的结构示意图，如图所示，本申请实施例所提供的蓝牙设备，包括如本申请实施例2中的音频数据恢复装置。
在具体实施时，本申请实施例中的蓝牙设备可以包括蓝牙耳机、蓝牙音箱、蓝牙网关、蓝牙MP3、蓝牙闪存盘、蓝牙车载设备、蓝牙适配器等，本申请对此不作限制。
本申请实施例所提供的蓝牙设备，通过在频域上将音频数据进行分成两 类，一类是第一频域分量，一类是第二频域分量。对于第二频域分量采用第二数据恢复方法来恢复；对于第一频域分量，采用第一数据恢复方法来恢复。这样只需要对少数频域分量进行第二数据恢复方法估计，从而可以大大降低计算复杂度，即使在计算资源不足的蓝牙音频设备上也可以实现高质量音频恢复。
实施例4
图4示出了本申请实施例中蓝牙音频处理的流程示意图，如图所示，处理流程可以如下：
步骤401，对接收到的蓝牙音频信号进行时频变换；
通常时频变换采用快速傅里叶变换(Fast Fourier Transformation,FFT)，在FFT变换之前，可以对时域信号先加分析窗，然后再进行FFT变换。
由于FFT技术为现有数字信号处理的常用技术，本申请在此不做赘述。
步骤402，判断当前帧是否为坏帧；
本申请实施例将数据帧分为好帧、坏帧(例如：丢帧、错帧等)。
如果当前帧是好帧，则缓冲该帧频谱数据，并执行步骤406；
如果当前帧是坏帧，则执行步骤403。
步骤403、对当前帧进行频域分量分类。
根据缓冲的好帧数据频谱估计当前帧的功率谱，基于估计出的当前帧的功率谱采用峰值检测peak detcetion方法对每个FFTbin进行分类。
如果当前坏帧的FFTbin分类为tone-dominant分量，则执行步骤404；
如果当前坏帧的FFTbin分类为noise-like分量，则执行步骤405。
步骤404、使用GAPES方法对这个FFT bin频谱数据的进行估计。
步骤405、使用噪声整形和随机相位方法对这个FFT bin频谱数据进行恢复。
步骤406、对音频数据进行时频逆变换。
时频逆变换一般可以采用快速傅里叶反变换IFFT，在IFFT变换后对音频信号加合成窗，然后进行重叠相加处理(overlap-add)，获得重构的时域信号。
下面以实验来证明本申请的有益效果：
通常情况下，使用24位定点数字信号处理器(Digital Signal Processing,DSP)，利用GAPES算法估计一个FFT bin需要12MHz。假设作1024点FFT，则需要估计513个FFT bin才能恢复当前帧数据。
如果这些FFT bin全部采用GAPES算法来估计，则需要12*513＝6156MHz。
如果采用本申请实施例所提供的分类计算方式的话，只需要少数FFT bin使用GAPES算法来恢复，其他bin按照噪声整形和随机相位方法来恢复。通过实验可以确定，只需要使用GAPES算法估计30个FFT bin就可以在10％丢错包率下，恢复音频质量接近全部513个FFT bin都采用GAPES算法估计的音频质量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (23)

  1. 一种音频数据恢复方法，包括：
    在频域上将音频数据分为第一频域分量和第二频域分量；
    对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
    对于第一频域分量，采用复杂度低于第二数据恢复方法的第一数据恢复方法来恢复音频数据。
  2. 如权利要求1所述的方法，其中，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
  3. 如权利要求1所述的方法，其中，所述第二数据恢复方法为丢失帧幅度和相位估计插值GAPES方法。
  4. 如权利要求1所述的方法，其中，所述第一数据恢复方法为噪声整形和随机相位方法。
  5. 如权利要求1所述的方法，其中，所述在频域上将音频数据分为第一频域分量和第二频域分量，包括：
    在频域上将音频数据分为第一类帧数据和第二类帧数据；
    将所述第一类帧数据分为第一频域分量和第二频域分量。
  6. 如权利要求5所述的方法，其中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据。
  7. 如权利要求5所述的方法，其中，所述将第一类帧数据分为第一频域分量和第二频域分量，包括：
    估计第一类帧数据的功率谱；
    确定所述功率谱的峰值；
    根据所述峰值确定候选频域分量；
    将功率大于预设门限值的候选频域分量作为第二频域分量，其他帧作为 第一频域分量。
  8. 如权利要求7所述的方法，其中，所述估计第一类帧数据的功率谱，包括采用下式计算第一类帧数据的功率谱：
    Figure PCTCN2019128776-appb-100001
    其中，m表示当前第一类帧的序号，m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
    Figure PCTCN2019128776-appb-100002
    为第m 1帧的频谱数据，
    Figure PCTCN2019128776-appb-100003
    为第m 2帧的频谱数据。
  9. 如权利要求7所述的方法，其中，所述根据所述峰值确定候选频域分量，包括：
    对所述峰值进行从大到小排序；
    对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
  10. 如权利要求1所述的方法，其中，所述对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据，具体为对于第一频域分量采用下式恢复：
    Figure PCTCN2019128776-appb-100004
    其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；X m-1(k)为第m-1帧的频谱数据。
  11. 如权利要求10所述的方法，其中，所述幅度整形因子采用下式计算得到：
    Figure PCTCN2019128776-appb-100005
    其中，B b为频谱的临界子带；m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
    Figure PCTCN2019128776-appb-100006
    为第m 1帧的频谱数据，
    Figure PCTCN2019128776-appb-100007
    为第m 2帧的频谱数据。
  12. 一种音频数据恢复装置，包括：
    分类模块，用于在频域上将音频数据分为第一频域分量和第二频域分量；
    第一恢复模块，用于对于第二频域分量，采用第二数据恢复方法来恢复音频数据；
    第二恢复模块，用于对于第一频域分量，采用复杂度低于所述第二数据恢复方法的第一数据恢复方法来恢复音频数据。
  13. 如权利要求12所述的装置，其中，所述第一频域分量为noise-like分量，所述第二频域分量为tone-dominant分量，所述tone-dominant分量的功率高于所述noise-like分量的功率。
  14. 如权利要求12所述的装置，其中，所述第二数据恢复方法为丢失帧幅度和相位估计插值GAPES方法。
  15. 如权利要求12所述的装置，其中，所述第一数据恢复方法为噪声整形和随机相位方法。
  16. 如权利要求12所述的装置，其中，所述分类模块，包括：
    第一分类单元，用于在频域上将音频数据分为第一类帧数据和第二类帧数据；
    第二分类单元，用于将所述第一类帧数据分为第一频域分量和第二频域分量。
  17. 如权利要求16所述的装置，其中，所述第一类帧数据为错误的数据，所述第二类帧数据为正确的数据。
  18. 如权利要求16所述的装置，其中，所述第二分类单元，包括：
    估计子单元，用于估计第一类帧数据的功率谱；
    峰值确定子单元，用于确定所述功率谱的峰值；
    候选频域分量确定子单元，用于根据所述峰值确定候选频域分量；
    分类子单元，用于将功率大于预设门限值的候选频域分量作为第二频域分量，其他帧作为第一频域分量。
  19. 如权利要求18所述的装置，其中，所述估计子单元采用下式计算第一类帧数据的功率谱：
    Figure PCTCN2019128776-appb-100008
    其中，m表示当前第一类帧的序号，m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
    Figure PCTCN2019128776-appb-100009
    为第m 1帧的频谱数据，
    Figure PCTCN2019128776-appb-100010
    为第m 2帧的频谱数据。
  20. 如权利要求18所述的装置，其中，所述候选频域分量确定子单元用于对所述峰值进行从大到小排序；对于排序后的前N个峰值，以该峰值为中心、预设长度内的频域分量确定为候选频域分量。
  21. 如权利要求12所述的装置，其中，所述第二恢复模块，用于采用下式恢复音频数据：
    Figure PCTCN2019128776-appb-100011
    其中，s(k)为随机变量，取值为{1，-1}；α(k)为幅度整形因子；m为当前帧的序号；m-1为前一帧的序号；X m-1(k)为第m-1帧的频谱数据。
  22. 如权利要求21所述的装置，其中，所述幅度整形因子采用下式计算得到：
    Figure PCTCN2019128776-appb-100012
    其中，B b为频谱的临界子带；m 1为前一个第二类帧的序号，m 2为后一个第二类帧的序号，
    Figure PCTCN2019128776-appb-100013
    为第m 1帧的频谱数据，
    Figure PCTCN2019128776-appb-100014
    为第m 2帧的频谱数据。
  23. 一种蓝牙设备，包括如权利要求12至22任一所述的音频数据恢复装置。
PCT/CN2019/128776 2018-12-28 2019-12-26 音频数据恢复方法、装置及蓝牙设备 WO2020135610A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/359,598 US20210327441A1 (en) 2018-12-28 2021-06-27 Audio data recovery method, device and Bluetooth device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811621631.XA CN111402904B (zh) 2018-12-28 2018-12-28 音频数据恢复方法、装置及蓝牙设备
CN201811621631.X 2018-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/359,598 Continuation US20210327441A1 (en) 2018-12-28 2021-06-27 Audio data recovery method, device and Bluetooth device

Publications (1)

Publication Number Publication Date
WO2020135610A1 true WO2020135610A1 (zh) 2020-07-02

Family

ID=71126335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128776 WO2020135610A1 (zh) 2018-12-28 2019-12-26 音频数据恢复方法、装置及蓝牙设备

Country Status (3)

Country Link
US (1) US20210327441A1 (zh)
CN (1) CN111402904B (zh)
WO (1) WO2020135610A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289343A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113035207B (zh) * 2021-03-03 2024-03-22 北京猿力未来科技有限公司 音频处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157152A (zh) * 2010-02-12 2011-08-17 华为技术有限公司 立体声编码的方法、装置
CN103065636A (zh) * 2011-10-24 2013-04-24 中兴通讯股份有限公司 语音频信号的丢帧补偿方法和装置
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
US20170078807A1 (en) * 2015-09-15 2017-03-16 Frederic Philippe Denis Mustiere Packet loss concealment for bidirectional ear-to-ear streaming

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784993B2 (ja) * 1998-06-26 2006-06-14 株式会社リコー 音響信号の符号化・量子化方法
CN101937679B (zh) * 2010-07-05 2012-01-11 展讯通信（上海）有限公司 音频数据帧的错误掩盖方法及音频解码装置
CN102136271B (zh) * 2011-02-09 2012-07-04 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
CN104011794B (zh) * 2011-12-21 2016-06-08 杜比国际公司 具有并行架构的音频编码器
ES2881510T3 (es) * 2013-02-05 2021-11-29 Ericsson Telefon Ab L M Método y aparato para controlar la ocultación de pérdida de trama de audio
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157152A (zh) * 2010-02-12 2011-08-17 华为技术有限公司 立体声编码的方法、装置
CN103065636A (zh) * 2011-10-24 2013-04-24 中兴通讯股份有限公司 语音频信号的丢帧补偿方法和装置
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
US20170078807A1 (en) * 2015-09-15 2017-03-16 Frederic Philippe Denis Mustiere Packet loss concealment for bidirectional ear-to-ear streaming

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289343A (zh) * 2020-10-28 2021-01-29 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质
CN112289343B (zh) * 2020-10-28 2024-03-19 腾讯音乐娱乐科技（深圳）有限公司 音频修复方法、装置及电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111402904A (zh) 2020-07-10
US20210327441A1 (en) 2021-10-21
CN111402904B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
JP7443423B2 (ja) マルチチャネル信号の符号化方法およびエンコーダ
US10360927B2 (en) Method and apparatus for frame loss concealment in transform domain
US9330672B2 (en) Frame loss compensation method and apparatus for voice frame signal
JP5281169B2 (ja) 過渡信号符号化方法及び装置、復号化方法及び装置、並びに処理システム
CN105518778B (zh) 抖动缓冲器控制器、音频解码器、方法及计算机可读存储介质
CN102612711B (zh) 信号处理方法、信息处理装置
WO2020135610A1 (zh) 音频数据恢复方法、装置及蓝牙设备
JP2016173597A (ja) 高周波オーディオ内容の効率的な復元のための方法およびシステム
WO2010072115A1 (zh) 信号分类处理方法、分类处理装置及编码系统
CN109074814B (zh) 一种噪声检测方法及终端设备
JP2019053321A (ja) 音声信号を検出するための方法および装置
JP6487569B2 (ja) チャネル間時間差パラメータを決定するための方法および装置
US10666490B1 (en) Method and apparatus for estimation of a bit rate of a digital signal
EP2956932A1 (en) Frame error concealment
CN110097892B (zh) 一种语音频信号的处理方法和装置
CN107969164B (zh) 适应性信道间判别再缩放滤波器
WO2020135614A1 (zh) 音频数据恢复方法、装置及蓝牙设备
US11900951B2 (en) Audio packet loss concealment method, device and bluetooth receiver
KR20190019688A (ko) 음성 신호 대역폭 확장 장치 및 방법
CN113205826B (zh) 一种lc3音频噪声消除方法、装置及存储介质
CN111105810B (zh) 一种噪声估计方法、装置、设备及可读存储介质
CN114333801A (zh) 一种音频分类方法和装置以及设备
TW201243301A (en) Electronic device and decoding method of audio files
CN117037808A (zh) 语音信号处理方法、装置、设备及存储介质
Huang et al. A method for separating drum objects from polyphonic musical signals

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19902667

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19902667

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19902667

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.02.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19902667

Country of ref document: EP

Kind code of ref document: A1