RU2021139507A - PACKET LOSS CAUTION FOR DIRAC-BASED SPATIAL AUDIO DATA CODING - Google Patents

PACKET LOSS CAUTION FOR DIRAC-BASED SPATIAL AUDIO DATA CODING Download PDF

Info

Publication number
RU2021139507A
RU2021139507A RU2021139507A RU2021139507A RU2021139507A RU 2021139507 A RU2021139507 A RU 2021139507A RU 2021139507 A RU2021139507 A RU 2021139507A RU 2021139507 A RU2021139507 A RU 2021139507A RU 2021139507 A RU2021139507 A RU 2021139507A
Authority
RU
Russia
Prior art keywords
spatial audio
arrival direction
information
direction information
audio parameters
Prior art date
Application number
RU2021139507A
Other languages
Russian (ru)
Other versions
RU2807473C2 (en
Inventor
Гийом ФУКС
Маркус МУЛЬТРУС
Штефан ДЁЛА
Андреа АЙХЕНЗЕР
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2021139507A publication Critical patent/RU2021139507A/en
Application granted granted Critical
Publication of RU2807473C2 publication Critical patent/RU2807473C2/en

Links

Claims (32)

1. Способ (100) маскировки потерь пространственных аудиопараметров, причем пространственные аудиопараметры содержат по меньшей мере информацию направления поступления, при этом способ содержит следующие этапы, на которых:1. A method (100) for concealing loss of spatial audio parameters, wherein the spatial audio parameters contain at least arrival direction information, the method comprising the steps of: - принимают (110) первый набор пространственных аудиопараметров, содержащих по меньшей мере первую информацию направления (azi1, ele1) поступления;- receive (110) the first set of spatial audio parameters containing at least the first direction information (azi1, ele1) arrival; - принимают (120) второй набор пространственных аудиопараметров, содержащих по меньшей мере вторую информацию направления (azi2, ele2) поступления; иreceiving (120) a second set of spatial audio parameters containing at least second arrival direction information (azi2, ele2); And - заменяют вторую информацию направления (azi2, ele2) поступления второго набора заменяющей информацией направления поступления, извлекаемой из первой информации направления (azi1, ele1) поступления, если по меньшей мере вторая информация направления (azi2, ele2) поступления или часть второй информации направления (azi2, ele2) поступления потеряна или повреждена.- replacing the second arrival direction information (azi2, ele2) of the second set with replacing arrival direction information extracted from the first arrival direction information (azi1, ele1) if at least the second arrival direction information (azi2, ele2) or part of the second arrival direction information (azi2, ele2) is lost or damaged. 2. Способ (100) по п. 1, в котором первые наборы (1-е наборы) и вторые наборы (2-е наборы) пространственных аудиопараметров содержат первую и вторую информацию диффузности (Ψ1, Ψ2), соответственно.2. The method (100) of claim 1, wherein the first sets (1st sets) and second sets (2nd sets) of spatial audio parameters contain first and second diffuseness information (Ψ1, Ψ2), respectively. 3. Способ (100) по п. 2, в котором первая или вторая информация диффузности (Ψ1, Ψ2) извлекается по меньшей мере из одного отношения энергий, связанного по меньшей мере с одной информацией направления поступления.3. The method (100) of claim 2, wherein the first or second diffuseness information (Ψ1, Ψ2) is extracted from at least one energy ratio associated with at least one arrival direction information. 4. Способ (100) по п. 2 или 3, при этом способ дополнительно содержит этап, на котором заменяют вторую информацию (Ψ2) диффузности второго набора (2-го набора) заменяющей информацией диффузности, извлекаемой из первой информации (Ψ1) диффузности.4. The method (100) according to claim 2 or 3, the method further comprising replacing the second diffuseness information (Ψ2) of the second set (2nd set) with replacement diffuseness information derived from the first diffuseness information (Ψ1). 5. Способ (100) по одному из предыдущих пунктов, в котором заменяющая информация направления поступления соответствует первой информации направления (azi1, ele1) поступления.5. The method (100) according to one of the preceding claims, wherein the replacement arrival direction information corresponds to the first arrival direction information (azi1, ele1). 6. Способ (100) по одному из предыдущих пунктов, в котором этап замены содержит этап, на котором размывают заменяющую информацию направления поступления; и/или6. The method (100) according to one of the previous paragraphs, in which the step of replacing contains the step of blurring the replacement information of the direction of receipt; and/or - в котором этап замены содержит этап, на котором вводят случайный шум в первую информацию направления (azi1, ele1) поступления для получения заменяющей информации направления поступления.wherein the replacement step comprises a step of introducing random noise into the first arrival direction information (azi1, ele1) to obtain replacement arrival direction information. 7. Способ (100) по п. 6, в котором этап введения выполняется, если первая или вторая информация (Ψ1, Ψ2) диффузности указывает высокую диффузность; и/или если первая или вторая информация (Ψ1, Ψ2) диффузности выше заданного порогового значения для информации диффузности.7. The method (100) according to claim 6, wherein the step of introducing is performed if the first or second diffuseness information (Ψ1, Ψ2) indicates high diffuseness; and/or if the first or second diffuseness information (Ψ1, Ψ2) is above a predetermined threshold value for the diffuseness information. 8. Способ (100) по п. 7, в котором информация диффузности содержит или основана на отношении между направленными и ненаправленными компонентами аудиосцены, описанной посредством первого набора (1-го набора) и/или второго набора (2-го набора) пространственных аудиопараметров.8. The method (100) of claim 7, wherein the diffuseness information comprises or is based on a relationship between directional and non-directional components of an audio scene described by a first set (1st set) and/or a second set (2nd set) of spatial audio parameters. 9. Способ (100) по одному из пп. 6-8, в котором случайный шум, который должен быть введён, зависит от первой и/или второй информации (Ψ1, Ψ2) диффузности; и/или9. The method (100) according to one of paragraphs. 6-8, in which the random noise to be introduced depends on the first and/or second diffuseness information (Ψ1, Ψ2); and/or - в котором случайный шум, который должен быть введён, масштабируется на коэффициент в зависимости от первой и/или второй информации (Ψ1, Ψ2) диффузности.- in which the random noise to be introduced is scaled by a factor depending on the first and/or second diffuseness information (Ψ1, Ψ2). 10. Способ (100) по одному из пп. 6-9, дополнительно содержащий этап, на котором анализируют тональность аудиосцены, описанной посредством первого набора (1-го набора) и/или второго набора (2-го набора) пространственных аудиопараметров, либо анализируют тональность передаваемого понижающего микширования, относящегося к первому набору (1-му набору) и/или второму набору (2-му набору) пространственных аудиопараметров, для получения значения тональности, описывающего тональность; и10. The method (100) according to one of paragraphs. 6-9, further comprising analyzing the tone of the audio scene described by the first set (1st set) and/or the second set (2nd set) of spatial audio parameters, or analyzing the tone of the transmitted downmix relating to the first set (1st set) and/or the second set (2nd set) of spatial audio parameters to obtain a tone value describing the tone; And - при этом случайный шум, который должен быть введён, зависит от значения тональности.- while the random noise to be introduced depends on the tone value. 11. Способ (100) по п. 10, в котором случайный шум масштабируется с понижением на коэффициент, снижающийся вместе с инверсией значения тональности, либо если тональность увеличивается.11. The method (100) of claim 10, wherein the random noise is scaled down by a factor that decreases with the inversion of the tone value, or if the tone increases. 12. Способ (100) по одному из предыдущих пунктов, при этом способ (100) содержит этап, на котором экстраполируют первую информацию направления (azi1, ele1) поступления для получения заменяющей информации направления поступления.12. The method (100) according to one of the preceding claims, wherein the method (100) comprises extrapolating the first arrival direction information (azi1, ele1) to obtain substitute arrival direction information. 13. Способ (100) по п. 12, в котором экстраполяция основана на одной или более дополнительной информации направления поступления, относящейся к одному или более наборам пространственных аудиопараметров.13. The method (100) of claim 12, wherein the extrapolation is based on one or more arrival direction side information related to one or more spatial audio parameter sets. 14. Способ (100) по одному из пп. 12 или 13, в котором экстраполяция выполняется, если первая и/или вторая информация (Ψ1, Ψ2) диффузности указывает низкую диффузность; или если первая и/или вторая информация (Ψ1, Ψ2) диффузности ниже заданного порогового значения для информации диффузности.14. The method (100) according to one of paragraphs. 12 or 13, wherein extrapolation is performed if the first and/or second diffuseness information (Ψ1, Ψ2) indicates low diffuseness; or if the first and/or second diffuseness information (Ψ1, Ψ2) is below a predetermined threshold value for the diffuseness information. 15. Способ (100) по одному из предыдущих пунктов, в котором первый набор (1-й набор) пространственных аудиопараметров относится к первому моменту времени и/или первому кадру, и при этом второй набор (2-й набор) пространственных аудиопараметров относится ко второму моменту времени и/или второму кадру; или15. The method (100) according to one of the previous paragraphs, in which the first set (1st set) of spatial audio parameters refers to the first time point and/or the first frame, and the second set (2nd set) of spatial audio parameters refers to the second time point and/or the second frame; or - в котором первый набор (1-й набор) пространственных аудиопараметров относится к первому моменту времени, и при этом второй момент времени следует после первого момента времени, либо в котором второй кадр следует после первого кадра.- in which the first set (1st set) of spatial audio parameters refers to the first time point, and the second time point follows the first time point, or in which the second frame follows the first frame. 16. Способ (100) по одному из предыдущих пунктов, в котором первый набор (1-й набор) пространственных аудиопараметров содержит первый поднабор пространственных аудиопараметров для первой полосы частот и второй поднабор пространственных аудиопараметров для второй полосы частот; и/или16. The method (100) according to one of the previous paragraphs, in which the first set (1st set) of spatial audio parameters contains the first subset of spatial audio parameters for the first frequency band and the second subset of spatial audio parameters for the second frequency band; and/or - в котором второй набор (2-й набор) пространственных аудиопараметров содержит другой первый поднабор пространственных аудиопараметров для первой полосы частот и другой второй поднабор пространственных аудиопараметров для второй полосы частот.- wherein the second set (2nd set) of spatial audio parameters comprises another first subset of spatial audio parameters for the first frequency band and another second subset of spatial audio parameters for the second frequency band. 17. Способ (200) декодирования кодированной с помощью DirAC аудиосцены, содержащий следующие этапы, на которых:17. A method (200) for decoding a DirAC-encoded audio scene, comprising the steps of: - декодируют кодированную с помощью DirAC аудиосцену, содержащую понижающее микширование, первый набор пространственных аудиопараметров и второй набор пространственных аудиопараметров;decoding a DirAC-encoded audio scene comprising a downmix, a first set of spatial audio parameters, and a second set of spatial audio parameters; - осуществляют способ по одному из предыдущих этапов.- carry out the method according to one of the previous stages. 18. Машиночитаемый цифровой носитель хранения данных, на котором сохранена компьютерная программа, имеющая программный код для осуществления способа (100, 200) по одному из предыдущих пунктов при её выполнении на компьютере.18. A computer-readable digital storage medium on which a computer program is stored having a program code for implementing the method (100, 200) according to one of the previous paragraphs when it is executed on a computer. 19. Устройство (50) маскировки потерь для маскировки потерь пространственных аудиопараметров, причем пространственные аудиопараметры содержат по меньшей мере информацию направления поступления, причем устройство содержит:19. Loss masking device (50) for masking losses of spatial audio parameters, wherein the spatial audio parameters contain at least arrival direction information, the device comprising: - приемное устройство (52) для приема (110) первого набора пространственных аудиопараметров, содержащих первую информацию направления (azi1, ele1) поступления, и для приема (120) второго набора пространственных аудиопараметров, содержащих вторую информацию направления (azi2, ele2) поступления;- a receiver (52) for receiving (110) a first set of spatial audio parameters containing first arrival direction information (azi1, ele1) and for receiving (120) a second set of spatial audio parameters containing second arrival direction information (azi2, ele2); - процессор (54) для замены второй информации направления (azi2, ele2) поступления второго набора заменяющей информацией направления поступления, извлекаемой из первой информации направления (azi1, ele1) поступления, если по меньшей мере вторая информация направления (azi2, ele2) поступления или часть второй информации направления (azi2, ele2) поступления потеряна или повреждена.- a processor (54) for replacing the second arrival direction information (azi2, ele2) of the second set with replacing arrival direction information extracted from the first arrival direction information (azi1, ele1) if at least the second arrival direction information (azi2, ele2) or part of the second arrival direction information (azi2, ele2) is lost or damaged. 20. Декодер (70) для кодированной с помощью DirAC аудиосцены, содержащий устройство маскировки потерь по п. 19. 20. Decoder (70) for a DirAC-encoded audio scene, comprising a loss masking device according to claim 19.
RU2021139507A 2019-06-12 2020-06-05 PACKET LOSS MASKING FOR DirAC-BASED SPATIAL AUDIO CODING RU2807473C2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP19179750.5 2019-06-12

Publications (2)

Publication Number Publication Date
RU2021139507A true RU2021139507A (en) 2023-07-12
RU2807473C2 RU2807473C2 (en) 2023-11-15

Family

ID=

Similar Documents

Publication Publication Date Title
JP6820360B2 (en) Signal classification methods and signal classification devices, as well as coding / decoding methods and coding / decoding devices.
US11227612B2 (en) Audio frame loss and recovery with redundant frames
US10777213B2 (en) Audio bandwidth selection
US8321216B2 (en) Time-warping of audio signals for packet loss concealment avoiding audible artifacts
US9584944B2 (en) Stereo decoding method and apparatus using group delay and group phase parameters
US9805729B2 (en) Encoding device and method, decoding device and method, and program
KR20030036624A (en) Method of decoding a variable-length codeword sequence
US20170111659A1 (en) Method and apparatus for encoding and decoding transform coefficients
JP2018513411A5 (en)
US20140088974A1 (en) Apparatus and method for audio frame loss recovery
US8996389B2 (en) Artifact reduction in time compression
JP2014507681A (en) Method and apparatus for extending bandwidth
US20210184701A1 (en) Scl parallel decoding method and apparatus and device
EP2695301B1 (en) Method and decoder for reconstructing a source signal
RU2021139507A (en) PACKET LOSS CAUTION FOR DIRAC-BASED SPATIAL AUDIO DATA CODING
US10614817B2 (en) Recovering high frequency band signal of a lost frame in media bitstream according to gain gradient
US10002615B2 (en) Inter-channel level difference processing method and apparatus
TWI762949B (en) Method for loss concealment, method for decoding a dirac encoding audio scene and corresponding computer program, loss concealment apparatus and decoder
US10079020B2 (en) Speech recognition method and speech recognition apparatus to improve performance or response of speech recognition
US20120239386A1 (en) Method and device for determining a decoding mode of in-band signaling
US20150194157A1 (en) System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
US20240055006A1 (en) Method and apparatus for processing of audio data using a pre-configured generator
Yang et al. An inter-frame correlation based error concealment of immittance spectral coefficients for mobile speech and audio codecs
Prasanna et al. Real-time codebook-based speech enhancement with GPUs
Ajorloo et al. Cirols: Codec independent recovery of lost speech packets