RU2817687C2 - Method and apparatus for generating mixed representation of said hoa signals in coefficient domain from representation of hoa signals in spatial domain/coefficient domain - Google Patents
Method and apparatus for generating mixed representation of said hoa signals in coefficient domain from representation of hoa signals in spatial domain/coefficient domain Download PDFInfo
- Publication number
- RU2817687C2 RU2817687C2 RU2022119198A RU2022119198A RU2817687C2 RU 2817687 C2 RU2817687 C2 RU 2817687C2 RU 2022119198 A RU2022119198 A RU 2022119198A RU 2022119198 A RU2022119198 A RU 2022119198A RU 2817687 C2 RU2817687 C2 RU 2817687C2
- Authority
- RU
- Russia
- Prior art keywords
- vector
- signals
- domain
- pcm
- hoa
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims abstract description 135
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 abstract description 39
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Abstract
Description
Область техники, к которой относится изобретениеField of technology to which the invention relates
Настоящее изобретение относится к способу и к устройству для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, в котором количество HOA-сигналов может быть переменным.The present invention relates to a method and apparatus for generating from a coefficient domain representation of HOA signals a mixed representation of said HOA signals in a spatial/coefficient domain, in which the number of HOA signals may be variable.
Уровень техникиState of the art
Обозначаемые в качестве HOA (Higher Order Ambisonics) Амбиофонические Звуки Высокого Порядка являются математическим описанием двух- или трехмерного звукового поля. Звуковое поле может быть захвачено набором микрофонов, образовано из синтетических звуковых источников либо представляет собой сочетание обоих вариантов. HOA могут использоваться в качестве транспортного формата для двух- или трехмерного объемного звука. В отличие от основанных на громкоговорителе представлений объемного звука преимущество HOA заключается в воспроизведении звукового поля на разных установках громкоговорителей. Поэтому, HOA подходят для универсального звукового формата.Referred to as HOA (Higher Order Ambisonics), High Order Ambisonics are a mathematical description of a two- or three-dimensional sound field. The sound field can be captured by an array of microphones, generated from synthetic sound sources, or a combination of both. HOAs can be used as a transport format for 2D or 3D surround sound. Unlike speaker-based surround sound concepts, HOA has the advantage of reproducing the sound field across different speaker setups. Therefore, HOAs are suitable for a universal audio format.
Пространственное разрешение HOA определяется порядком HOA. Данный порядок задает количество HOA-сигналов, которые описывают звуковое поле. Существует два представления для HOA, которые называются пространственной областью и областью коэффициентов, соответственно. В большинстве случаев HOA первоначально представлены в области коэффициентов, и такое представление может быть преобразовано в пространственную область посредством матричного умножения (или преобразования), как описано в документе EP 2469742 A2. Пространственная область состоит из одного и того же количества сигналов, что и область коэффициентов. Однако в пространственной области каждый сигнал относится к направлению, причем направления равномерно распределены по единичной сфере. Это содействует анализу пространственного распределения HOA-представления. Представления в области коэффициентов, так же как и представления в пространственной области являются представлениями во временной области.The spatial resolution of the HOA is determined by the order of the HOA. This order specifies the number of HOA signals that describe the sound field. There are two representations for HOA, called spatial domain and coefficient domain, respectively. In most cases, HOAs are initially represented in the coefficient domain, and such a representation can be converted to the spatial domain via matrix multiplication (or transformation) as described in EP 2469742 A2. The spatial domain consists of the same number of signals as the coefficient domain. However, in the spatial domain, each signal refers to a direction, with directions evenly distributed over the unit sphere. This facilitates the analysis of the spatial distribution of the HOA representation. Representations in the coefficient domain, just like representations in the spatial domain, are representations in the time domain.
Раскрытие изобретенияDisclosure of the Invention
В нижеследующем, в основном, цель состоит в максимально возможном использовании для PCM-передачи HOA-представлений пространственной области для обеспечения идентичного динамического диапазона для каждого направления. Это означает, что дискретные PCM-отсчеты HOA-сигналов в пространственной области должны быть пронормированы до диапазона предварительно заданных значений. Однако недостаток такого нормирования состоит в том, что динамический диапазон HOA-сигналов в пространственной области меньше, чем в области коэффициентов. Это обуславливается матрицей преобразования, которая формирует сигнал в пространственной области из сигналов в области коэффициентов.In general, the goal here is to use spatial domain HOA representations as much as possible for PCM transmission to provide identical dynamic range for each direction. This means that discrete PCM samples of HOA signals in the spatial domain must be normalized to a range of predefined values. However, the disadvantage of such normalization is that the dynamic range of HOA signals in the spatial domain is smaller than in the coefficient domain. This is due to the transformation matrix, which generates a signal in the spatial domain from signals in the coefficient domain.
В некоторых применениях HOA-сигналы передаются в области коэффициентов, например, при обработке, описанной в документе EP 13305558.2, в которой все сигналы передаются в области коэффициентов, потому что должно быть передано постоянное количество HOA-сигналов и переменное количество дополнительных HOA-сигналов. Однако, как уже упомянуто выше и показано в документе EP 2469742 A2, передача в области коэффициентов не выгодна. В качестве решения, постоянное количество HOA-сигналов может быть передано в пространственной области, и лишь дополнительные HOA-сигналы с переменным количеством передается в области коэффициентов. Передача дополнительных HOA-сигналов в пространственной области не возможна, так как изменяющееся во времени количество HOA-сигналов приведет в результате к изменяющимся во времени матрицам преобразования из области коэффициентов в пространственную область, и во всех сигналах в пространственной области могут возникать разрывы, которые являются неоптимальными для последующего перцепционного кодирования PCM-сигналов.In some applications, HOA signals are transmitted in the coefficient domain, for example in the processing described in EP 13305558.2, in which all signals are transmitted in the coefficient domain, because a constant number of HOA signals and a variable number of additional HOA signals must be transmitted. However, as already mentioned above and shown in document EP 2469742 A2, transfer in the field of coefficients is not beneficial. As a solution, a constant number of HOA signals can be transmitted in the spatial domain, and only additional HOA signals with a variable number are transmitted in the coefficient domain. Transmitting additional HOA signals in the spatial domain is not possible because the time-varying number of HOA signals will result in time-varying coefficient-domain to spatial-domain conversion matrices, and discontinuities may occur in all spatial-domain signals that are suboptimal for subsequent perceptual coding of PCM signals.
Для обеспечения передачи этих дополнительных HOA-сигналов без превышения диапазона предварительно заданных значений может использоваться обработка обратимого нормирования, которая разработана для предотвращения таких разрывов сигналов, и которая также достигает эффективной передачи инверсионных параметров.To ensure the transmission of these additional HOA signals without exceeding the range of predefined values, reversible normalization processing can be used, which is designed to prevent such signal discontinuities and which also achieves efficient transmission of inversion parameters.
Относительно динамического диапазона упомянутых двух HOA-представлений и нормирования HOA-сигналов для PCM-кодирования в нижеследующем делается вывод о том, должно ли такое нормирование иметь место в области коэффициентов или в пространственной области.With respect to the dynamic range of the two HOA representations and the normalization of HOA signals for PCM encoding, the following concludes whether such normalization should take place in the coefficient domain or in the spatial domain.
Во временной области коэффициентов HOA-представление состоит из последовательных кадров состоящих из N коэффициентов сигналов d n ( k ), n =0, …, N -1, где k обозначает индекс дискретного отсчета, а n обозначает индекс сигнала.In the time domain of coefficients, the HOA representation consists of successive frames of N signal coefficients d n ( k ), n =0, ..., N -1 , where k denotes the sample index and n denotes the signal index.
Эти состоящие из коэффициентов сигналы собраны в вектор d ( k )=[ d 0 ( k ), …, d N -1 ( k )] T для получения компактного представления.These coefficient signals are collected into the vector d ( k )=[ d 0 ( k ), ..., d N -1 ( k )] T to obtain a compact representation.
Преобразование в пространственную область выполняется посредством матрицы N x N преобразованияConversion to the spatial domain is performed via an N x N transformation matrix
как это определено в документе EP 12306569.0, см. определение для Ξ GRID совместно с уравнениями (21) и (22).as defined in EP 12306569.0, see the definition for Ξ GRID together with equations (21) and (22).
Вектор w ( k )=[ w 0 ( k ), …, w N -1 ( k )] T в пространственной области получается из w ( k )=Ψ -1 d ( k ), (1)Vector w ( k )=[ w 0 ( k ), …, w N -1 ( k )] T in the spatial domain is obtained from w ( k ) = Ψ -1 d ( k ) , (1)
где Ψ -1 является обратной матрицей матрицы Ψ.where Ψ -1 is the inverse matrix of the matrix Ψ .
Обратное преобразование из пространственной области в область коэффициентов выполняется посредствомThe inverse transformation from the spatial domain to the coefficient domain is performed by
d ( k )=Ψ w ( k ). (2) d ( k )=Ψ w ( k ). (2)
Если диапазон значений дискретных отсчетов задан в одной области, то матрица Ψ преобразования автоматически задает диапазон значений другой области. Термин ( k ) для k -ого дискретного отсчета далее опускается.If the range of values of discrete samples is specified in one area, then the transformation matrix Ψ automatically specifies the range of values in another area. The term ( k ) for the k -th discrete sample is further omitted.
Поскольку HOA-представление фактически воспроизводится в пространственной области, то диапазон значений, громкость и динамический диапазон задаются в данной области. Динамический диапазон задается битовым разрешением PCM-кодирования. В данной заявке «PCM–кодирование» означает преобразование дискретных отсчетов в представлении с плавающей запятой в дискретные отсчеты в целочисленном представлении в обозначении с фиксированной запятой.Since the HOA representation is actually rendered in a spatial domain, the range, loudness, and dynamic range are specified in that domain. Dynamic range is specified by the bit resolution of the PCM encoding. In this application, "PCM encoding" means the conversion of discrete samples in floating point notation to discrete samples in integer representation in fixed point notation.
Для PCM-кодирования HOA-представления, N сигналов в пространственной области должны быть отнормированы до диапазона значений -1 ≤ w n < 1 так, чтобы они могли быть отмасштабированы до максимального PCM-значения W max и округлены до целочисленного PCM-обозначения с фиксированной запятойTo PCM encode an HOA representation, the N signals in the spatial domain must be normalized to the value range -1 ≤ w n < 1 so that they can be scaled to the maximum PCM value W max and rounded to a fixed-point integer PCM notation
w’ n =⎣ w n W max ⎦. (3) w' n =⎣ w n W max ⎦. (3)
Замечание: это обобщенное представление PCM-кодирования.Note: This is a generalized representation of PCM encoding.
Диапазон значений для дискретных отсчетов в области коэффициентов может быть вычислен посредством бесконечной матричной нормой матрицы Ψ, которая определена следующим образомThe range of values for discrete samples in the coefficient domain can be calculated using the infinite matrix norm of the matrix Ψ , which is defined as follows
, (4) , (4)
и максимальное абсолютное значение в пространственной области w max =1 для -║Ψ║∞ w max ≤ d n < ║Ψ║∞ w max . Поскольку значение ║Ψ║∞ больше '1' для используемого определения матрицы Ψ, то диапазон значений d n увеличивается.and the maximum absolute value in the spatial domain w max = 1 for - ║ Ψ ║ ∞ w max ≤ d n < ║ Ψ ║ ∞ w max . Since the value of ║ Ψ ║ ∞ is greater than '1' for the definition of matrix Ψ used, the range of values d n increases.
Обратный ход означает, что нормирование на ║Ψ║∞ необходимо для PCM-кодирования сигналов в области коэффициентов поскольку -1 ≤ d n /║Ψ║∞ < 1. Однако данное нормирование уменьшает динамический диапазон сигналов в области коэффициентов, что приведет в результате к пониженному соотношению сигнала к шуму квантования. Поэтому предпочтительным должно быть PCM-кодирование сигналов в пространственной области.The reversal means that normalization to ║ Ψ ║ ∞ is necessary for PCM coding of signals in the domain of coefficients since -1 ≤ d n / ║ Ψ ║ ∞ < 1 . However, this normalization reduces the dynamic range of signals in the coefficient domain, resulting in a lower signal-to-quantization noise ratio. Therefore, PCM encoding of spatial domain signals should be preferred.
Проблема, которая должна быть решена посредством настоящего изобретения, состоит в том, как передать в области коэффициентов часть желаемых HOA-сигналов в пространственной области с использованием нормирования без уменьшения динамического диапазона в области коэффициентов. Дополнительно, нормированные сигналы не должны содержать скачки уровня сигнала так, чтобы они могли быть подвержены перцепционному кодированию без вызываемых скачками потерь качества. Данная проблема решается с помощью способов, раскрытых в пунктах 1 и 6 формулы изобретения. Устройства, которые используют эти способы, раскрыты в пунктах 2 и 7 формулы изобретения, соответственно.The problem to be solved by the present invention is how to transfer to the coefficient domain a portion of the desired HOA signals in the spatial domain using normalization without reducing the dynamic range in the coefficient domain. Additionally, normalized signals should not contain signal level spikes so that they can be subject to perceptual encoding without the spike-induced loss of quality. This problem is solved using the methods disclosed in paragraphs 1 and 6 of the claims. Devices that use these methods are disclosed in claims 2 and 7, respectively.
В принципе, заявляемый способ формирования пригоден для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, причем количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов, отличающийся этапами, на которых:In principle, the inventive generation method is suitable for generating from a representation of HOA signals in the coefficient domain a mixed representation of said HOA signals in the spatial/coefficient domain, wherein the number of said HOA signals may be variable in time in successive coefficient frames, differing in stages, by of which:
- разделяют вектор HOA-сигналов в области коэффициентов на первый вектор сигналов в области коэффициентов, имеющий постоянное количество HOA-коэффициентов, и второй вектор сигналов в области коэффициентов, имеющий переменное во времени количество HOA-коэффициентов;- dividing the vector of HOA signals in the coefficient domain into a first vector of signals in the coefficient domain having a constant number of HOA coefficients, and a second vector of signals in the coefficient domain having a time-varying number of HOA coefficients;
- преобразовывают упомянутый первый вектор сигналов в области коэффициентов в соответствующий вектор сигналов в пространственной области посредством умножения упомянутого вектора сигналов в области коэффициентов на обратную матрицу матрицы преобразования;- transforming said first vector of signals in the coefficient domain into a corresponding vector of signals in the spatial domain by multiplying said vector of signals in the coefficient domain by the inverse matrix of the transformation matrix;
- подвергают PCM-кодированию упомянутый вектор сигналов в пространственной области для получения вектора подвергшихся PCM-кодированию сигналов в пространственной области;- subjecting said vector of signals in the spatial domain to PCM coding to obtain a vector of PCM-coding signals in the spatial domain;
- нормируют упомянутый второй вектор сигналов в области коэффициентов на нормировочный множитель, причем упомянутое нормирование является адаптивным нормированием по отношению к диапазону текущих значений HOA-коэффициентов упомянутого второго вектора сигналов в области коэффициентов, и при упомянутом нормировании диапазон доступных значений для HOA-коэффициентов вектора не превышается, и при этом при упомянутом нормировании к коэффициентам текущего второго вектора применяют равномерно непрерывную передаточную функцию с целью непрерывного изменения коэффициента усиления внутри этого вектора с коэффициента усиления в предыдущем втором векторе на коэффициент усиления в следующем втором векторе, и причем упомянутое нормирование предоставляет вспомогательную информацию для соответствующего денормирования на стороне декодера;- normalizing said second vector of signals in the domain of coefficients by a normalization factor, wherein said normalization is an adaptive normalization with respect to the range of current values of the HOA coefficients of said second vector of signals in the domain of coefficients, and with said normalization the range of available values for the HOA coefficients of the vector is not exceeded , and wherein said normalization applies a uniformly continuous transfer function to the coefficients of the current second vector to continuously change the gain within that vector from the gain in the previous second vector to the gain in the next second vector, and wherein said normalization provides auxiliary information for the corresponding denormalization on the decoder side;
- подвергают PCM-кодированию упомянутый вектор нормированных сигналов в области коэффициентов для получения вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;- subjecting said vector of normalized signals in the domain of coefficients to PCM coding to obtain a vector of PCM-coded and normalized signals in the domain of coefficients;
- мультиплексируют упомянутый вектор подвергшихся PCM-кодированию сигналов в пространственной области и упомянутый вектор подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов.- multiplexing said vector of PCM-coded signals in the spatial domain and said vector of PCM-coded and normalized signals in the coefficient domain.
В принципе заявляемое устройство формирования пригодно для формирования из представления HOA-сигналов в области коэффициентов смешанного представления упомянутых HOA-сигналов в пространственной области/области коэффициентов, причем количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов, при этом упомянутое устройство включает в себя:In principle, the inventive generation device is suitable for generating from a coefficient domain representation of HOA signals a mixed representation of said HOA signals in a spatial/coefficient domain, wherein the number of said HOA signals may be variable over time in successive coefficient frames, wherein said device includes into yourself:
- средство, выполненное с возможностью разделения вектора HOA-сигналов в области коэффициентов на первый вектор сигналов в области коэффициентов, имеющий постоянное количество HOA-коэффициентов, и второй вектор сигналов в области коэффициентов, имеющий переменное во времени количество HOA-коэффициентов;- means configured to divide the vector of HOA signals in the coefficient domain into a first vector of signals in the coefficient domain having a constant number of HOA coefficients, and a second vector of signals in the coefficient domain having a time-varying number of HOA coefficients;
- средство, выполненное с возможностью преобразования упомянутого первого вектора сигналов в области коэффициентов в соответствующий вектор сигналов в пространственной области посредством умножения упомянутого вектора сигналов в области коэффициентов на обратную матрицу матрицы преобразования;- means configured to transform said first vector of coefficient domain signals into a corresponding vector of spatial domain signals by multiplying said vector of coefficient domain signals by an inverse matrix of the transformation matrix;
- средство, выполненное с возможностью PCM-кодирования упомянутого вектора сигналов в пространственной области для получения вектора подвергшихся PCM-кодированию сигналов в пространственной области;- means configured to PCM-encode said vector of signals in the spatial domain to obtain a vector of PCM-encoded signals in the spatial domain;
- средство, выполненное с возможностью нормирования упомянутого второго вектора сигналов в области коэффициентов на нормировочный множитель, причем упомянутое нормирование является адаптивным нормированием по отношению к диапазону текущих значений HOA-коэффициентов упомянутого второго вектора сигналов в области коэффициентов, и при упомянутом нормировании диапазон доступных значений для HOA-коэффициентов вектора не превышается, и причем при упомянутом нормировании к коэффициентам текущего второго вектора применена равномерно непрерывная передаточная функция с целью непрерывного изменения коэффициента усиления внутри этого вектора с коэффициента усиления в предыдущем втором векторе на коэффициент усиления в следующем втором векторе, и при этом упомянутое нормирование предоставляет вспомогательную информацию для соответствующего денормирования на стороне декодера;- means configured to normalize said second vector of signals in the domain of coefficients by a normalization factor, wherein said normalization is an adaptive normalization with respect to the range of current values of the HOA coefficients of said second vector of signals in the domain of coefficients, and with said normalization the range of available values for the HOA -coefficients of the vector is not exceeded, and with said normalization, a uniformly continuous transfer function is applied to the coefficients of the current second vector for the purpose of continuously changing the gain within this vector from the gain in the previous second vector to the gain in the next second vector, and at the same time, said normalization provides auxiliary information for appropriate denormalization on the decoder side;
- средство, выполненное с возможностью PCM-кодирования упомянутого вектора нормированных сигналов в области коэффициентов для получения вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;- means configured to PCM-encode said vector of normalized signals in the domain of coefficients to obtain a vector of PCM-encoded and normalized signals in the domain of coefficients;
- средство, выполненное с возможностью мультиплексирования упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области и упомянутого вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов.- means configured to multiplex said vector of PCM-coded signals in the spatial domain and said vector of PCM-coded and normalized signals in the coefficient domain.
В принципе, заявляемый способ декодирования пригоден для декодирования смешанного представления кодированных HOA-сигналов в пространственной области/области коэффициентов, в котором количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов и в котором упомянутое смешанное представление кодированных HOA-сигналов в пространственной области/области коэффициентов сформировано согласно выше упомянутому заявляемому способу формирования, при этом упомянутое декодирование включает в себя этапы, на которых:In principle, the inventive decoding method is suitable for decoding a mixed representation of encoded HOA signals in the spatial/coefficient domain, in which the number of said HOA signals may be time-varying in successive coefficient frames and in which said mixed representation of encoded HOA signals in the spatial area/area of coefficients is generated according to the above-mentioned inventive generation method, wherein said decoding includes the steps of:
- демультиплексируют упомянутые мультиплексированные векторы подвергшихся PCM-кодированию сигналов в пространственной области и подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;- demultiplexing said multiplexed vectors of PCM-coded signals in the spatial domain and PCM-coded and normalized signals in the coefficient domain;
- преобразовывают упомянутый вектор подвергшихся PCM-кодированию сигналов в пространственной области в соответствующий вектор сигналов в области коэффициентов посредством умножения упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области на упомянутую матрицу преобразования;- transforming said vector of PCM-encoded signals in the spatial domain into a corresponding vector of signals in the coefficient domain by multiplying said vector of PCM-encoded signals in the spatial domain by said transformation matrix;
- денормируют упомянутый вектор подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, при этом упомянутый этап денормирования включает в себя этапы, на которых:- denormalize said vector of PCM-encoded and normalized signals in the domain of coefficients, wherein said denormalization stage includes stages in which:
-- вычисляют, с использованием соответствующего показателя степени (exponent) e n ( j -1) из принятой вспомогательной информации и рекурсивно вычисленного значения g n ( j -2) коэффициента усиления, вектор h n ( j -1) передаточной функции, причем сохраняют значение g n ( j -1) коэффициента усиления для соответствующей обработки следующего вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, подлежащих обработке, при этом j является переменным (running, пробегающим) индексом входной матрицы векторов HOA-сигналов;-- calculate, using the appropriate exponent e n ( j -1) from the received auxiliary information and the recursively calculated gain value g n ( j -2) , the transfer function vector h n ( j -1) , and store the value g n ( j -1) of the gain for the corresponding processing of the next vector of PCM-encoded and normalized signals in the domain of coefficients to be processed, with j being a running index of the input matrix of HOA signal vectors;
-- применяют соответствующее значение обратного коэффициента усиления к текущему вектору подвергшегося PCM-кодированию и нормированного сигнала для получения соответствующего вектора подвергшегося PCM-кодированию и денормированного сигнала;-- apply the corresponding inverse gain value to the current vector of the PCM-encoded and normalized signal to obtain the corresponding vector of the PCM-encoded and denormalized signal;
- объединяют упомянутый вектор сигналов в области коэффициентов и вектор денормированных сигналов в области коэффициентов для получения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.- combining said vector of coefficient domain signals and a vector of denormalized coefficient domain signals to obtain a combined vector of coefficient domain HOA signals, which may have a variable number of HOA coefficients.
В принципе заявляемое устройство декодирования пригодно для декодирования смешанного представления кодированных HOA-сигналов в пространственной области/области коэффициентов, в котором количество упомянутых HOA-сигналов может быть переменным во времени в последовательных кадрах коэффициентов и в котором упомянутое смешанное представление кодированных HOA-сигналов в пространственной области/области коэффициентов сформировано согласно вышеупомянутому способу формирования, причем упомянутое устройство декодирования включает в себя:In principle, the inventive decoding apparatus is suitable for decoding a mixed representation of spatial domain/coefficient domain encoded HOA signals, in which the number of said HOA signals may be time-varying in successive coefficient frames, and in which said mixed representation of spatial domain encoded HOA signals /coefficient region is generated according to the above-mentioned generation method, wherein said decoding device includes:
- средство, выполненное с возможностью демультиплексирования упомянутых мультиплексированных векторов подвергшихся PCM-кодированию сигналов в пространственной области и подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов;- means configured to demultiplex said multiplexed vectors of PCM-coded signals in the spatial domain and PCM-coded and normalized signals in the coefficient domain;
- средство, выполненное с возможностью преобразования упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области в соответствующий вектор сигналов в области коэффициентов посредством умножения упомянутого вектора подвергшихся PCM-кодированию сигналов в пространственной области на упомянутую матрицу преобразования;means configured to convert said vector of PCM-encoded spatial domain signals into a corresponding vector of coefficient domain signals by multiplying said vector of PCM-encoded spatial domain signals by said transformation matrix;
- средство, выполненное с возможностью денормирования упомянутого вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, причем упомянутое денормирование включает в себя:- means configured to denormalize said vector of PCM-encoded and normalized signals in the domain of coefficients, said denormalization including:
-- вычисление, с использованием соответствующего показателя e n ( j -1) степени из принятой вспомогательной информации и рекурсивно вычисленного значения g n ( j -2) коэффициента усиления, вектора h n ( j -1) передаточной функции, причем выполнена возможность сохранения значения g n ( j -1) коэффициента усиления для соответствующей обработки следующего вектора подвергшихся PCM-кодированию и нормированных сигналов в области коэффициентов, подлежащих обработке, при этом j является переменным индексом входной матрицы векторов HOA-сигналов;-- calculation, using the corresponding exponent e n ( j -1) of the power from the received auxiliary information and the recursively calculated value g n ( j -2) of the gain, the vector h n ( j -1) of the transfer function, and it is possible to store the value g n ( j -1) a gain for appropriate processing of the next vector of PCM-coded and normalized signals in the domain of coefficients to be processed, wherein j is a variable index of the input matrix of HOA signal vectors;
-- применение соответствующего значения обратного коэффициента усиления к текущему вектору подвергшегося PCM-кодированию и нормированного сигнала для получения соответствующего вектора подвергшегося PCM-кодированию и денормированного сигнала;-- applying the appropriate inverse gain value to the current vector of the PCM-encoded and normalized signal to obtain the corresponding vector of the PCM-encoded and denormalized signal;
- средство, выполненное с возможностью объединения упомянутого вектора сигналов в области коэффициентов и вектора денормированных сигналов в области коэффициентов для получения объединенного вектора HOA-сигналов в области коэффициентов, который может иметь переменное количество HOA-коэффициентов.- means configured to combine said vector of coefficient domain signals and a vector of denormalized coefficient domain signals to obtain a combined vector of coefficient domain HOA signals, which may have a variable number of HOA coefficients.
Преимущественные дополнительные варианты осуществления настоящего изобретения раскрыты в соответствующих зависимых пунктах формулы изобретения.Advantageous further embodiments of the present invention are disclosed in the respective dependent claims.
Краткое описание чертежейBrief description of drawings
Примерные варианты осуществления настоящего изобретения описаны со ссылкой на сопроводительные чертежи, на которых:Exemplary embodiments of the present invention are described with reference to the accompanying drawings, in which:
На Фиг.1 показана PCM-передача в пространственной области исходного HOA-представления в области коэффициентов;1 shows the spatial domain PCM transmission of the original HOA representation in the coefficient domain;
На Фиг.2 показана объединенная передача HOA-представления в области коэффициентов и пространственной области;Figure 2 shows the combined transmission of the HOA representation in the coefficient domain and the spatial domain;
На Фиг.3 показана объединенная передача HOA-представления в области коэффициентов и пространственной области с использованием поблочного адаптивного нормирования для сигналов в области коэффициентов;3 shows a combined coefficient-domain and spatial-domain HOA representation using block-wise adaptive normalization for coefficient-domain signals;
На Фиг.4 показана обработка адаптивного нормирования для HOA-сигнала x n ( j ), представленного в области коэффициентов;Figure 4 shows adaptive normalization processing for an HOA signal x n ( j ) represented in the coefficient domain;
На Фиг.5 показана передаточная функция, используемая для плавного перехода между двумя различными значениями коэффициента усиления;Figure 5 shows the transfer function used to smoothly transition between two different gain values;
На Фиг.6 показана обработка адаптивного денормирования;Figure 6 shows adaptive denormalization processing;
На Фиг.7 показан частотный FFT-спектр передаточных функций h n ( l ) с использованием различных показателей степени e n , в котором максимальная амплитуда каждой функции нормирована до 0 дБ;Figure 7 shows the FFT frequency spectrum of transfer functions h n ( l ) using various exponents e n , in which the maximum amplitude of each function is normalized to 0 dB;
На Фиг.8 показаны примерные передаточные функции для трех последовательных векторов сигнала.Figure 8 shows exemplary transfer functions for three successive signal vectors.
Описание вариантов осуществленияDescription of Embodiments
Относительно PCM-кодирования HOA-представления в пространственной области предполагается, что (в представлении с плавающей запятой) -1 ≤ w n < 1 выполняется так, чтобы PCM-передача HOA-представления могла быть выполнена согласно тому, как это показано на Фиг.1. На этапе или стадии 11 преобразователя на входе HOA-кодера сигнал d в области коэффициентов текущего входного кадра сигнала преобразовывается в сигнал w в пространственной области с использованием уравнения (1). На этапе или стадии 12 PCM-кодирования дискретные отсчеты w с плавающей запятой преобразовываются в подвергшиеся PCM-кодированию целочисленные дискретные отсчеты w’ в обозначении с фиксированной запятой с использованием уравнения (3). На этапе или стадии 13 мультиплексора дискретные отсчеты w’ мультиплексируются в формат HOA-передачи.With respect to PCM encoding of the HOA representation in the spatial domain, it is assumed that (in the floating point representation) -1 ≤ w n < 1 is performed so that PCM transmission of the HOA representation can be performed as shown in FIG. . In converter step or stage 11, at the input of the HOA encoder, the signal d in the coefficient domain of the current input signal frame is converted into a signal w in the spatial domain using equation (1). In the PCM encoding step or stage 12, the floating point samples w are converted into PCM encoded integer samples w' in fixed point notation using Equation (3). In multiplexer step or stage 13, the sampled samples w' are multiplexed into the HOA transmission format.
HOA-декодер демультиплексирует сигналы w’ из принятого формата HOA-передачи на этапе или стадии 14 демультиплексора, и повторно преобразовывает их на этапе или стадии 15 в сигналы d ’ в области коэффициентов с использованием уравнения (2). Данное обратное преобразование увеличивает динамический диапазон d ’ так, что такое преобразование из пространственной области в область коэффициентов всегда включает в себя преобразование формата из целочисленного (PCM) в формат с плавающей запятой.The HOA decoder demultiplexes the signals w' from the received HOA transmission format in a demultiplexer step or stage 14, and re-converts them in a step or stage 15 into coefficient domain signals d ' using equation (2). This inverse conversion increases the dynamic range d ' such that such a conversion from the spatial domain to the coefficient domain always involves a conversion from an integer (PCM) format to a floating point format.
Стандартная HOA-передача с Фиг.1 не будет успешно осуществлена, если матрица Ψ будет изменяющейся во времени, что имеет место, если количество или индекс HOA-сигналов является изменяющимся во времени для последовательных последовательностей HOA-коэффициентов, то есть последовательных входных кадров сигнала. Как упомянуто выше, один пример такого случая является обработкой HOA-сжатия, описанной в документе EP 13305558.2: постоянное количество HOA-сигналов передается непрерывно, а переменное количество HOA-сигналов с изменяющимся индексами n сигналов передается параллельно. Все сигналы передаются в области коэффициентов, которая является неоптимальной, как объяснено выше.The standard HOA transmission of FIG. 1 will not be successfully implemented if the matrix Ψ is time-varying, which is the case if the number or index of HOA signals is time-varying for successive sequences of HOA coefficients, that is, successive input signal frames. As mentioned above, one example of such a case is the HOA compression processing described in EP 13305558.2: a constant number of HOA signals are transmitted continuously, and a variable number of HOA signals with varying index n signals are transmitted in parallel. All signals are transmitted in the coefficient region, which is suboptimal, as explained above.
Согласно настоящему изобретению, обработка, описанная совместно с Фиг.1, расширяется так, как показано на Фиг.2.According to the present invention, the processing described in conjunction with FIG. 1 is extended as shown in FIG. 2.
На этапе или стадии 20 HOA-кодер разделяет HOA-вектор d на два вектора d 1 и d 2, при этом количество M HOA-коэффициентов для вектора d 1 является постоянным, а вектор d 2 содержит переменное количество K HOA-коэффициентов. Поскольку индексы n сигнала не изменяются во времени для вектора d 1, PCM-кодирование выполняется в пространственной области на этапах или стадиях 21, 22, 23, 24 и 25 с сигналами, соответствующими w 1 и w’ 1, изображенных в нижнем сигнальном тракте Фиг.2, соответствующем этапам/стадиям 11-15 с Фиг.1. Однако на этап/стадии 23 мультиплексора происходит получение дополнительного входного сигнала d ”2, а на этапе/стадии 24 демультиплексора в HOA-декодере происходит предоставление другого выходного сигнала d ”2.In step or stage 20, the HOA encoder divides the HOA vector d into two vectors d 1 and d 2 , wherein the number M of HOA coefficients for the vector d 1 is constant and the vector d 2 contains a variable number K of HOA coefficients. Since the signal indices n do not change with time for the vector d 1 , PCM encoding is performed in the spatial domain in stages or stages 21, 22, 23, 24 and 25 with the signals corresponding to w 1 and w' 1 depicted in the lower signal path of FIG. .2, corresponding to steps/stages 11-15 from Fig.1. However, the multiplexer stage/stages 23 receives an additional input signal d " 2 , and the demultiplexer stage/stage 24 in the HOA decoder provides another output signal d " 2 .
Количество HOA-коэффициентов, или размер, K вектора d 2 является изменяющимся во времени, и индексы переданных HOA-сигналов n могут изменяться во времени. Это предотвращает передачу в пространственной области, так как потребуется изменяющаяся во времени матрица преобразования, что в результате приведет к разрывам сигнала во всех перцепционно кодированных HOA-сигналах (этап или стадия перцепционного кодирования не показаны). Однако таких разрывов сигнала следует избегать, потому что они снижают качество перцепционного кодирования переданных сигналов. Таким образом, d 2 должен быть передан в области коэффициентов. Вследствие большего диапазона значений сигналов в области коэффициентов сигналы должны быть отмасштабированы на этапе или стадии 26 на множитель 1/║Ψ║∞ прежде, чем PCM-кодирование сможет быть применено на этапе или стадии 27. Однако, недостаток такого масштабирования заключается в том, что максимальное абсолютное значение для ║Ψ║∞ является оценкой для наихудшего случая, максимальное абсолютное значение дискретного отсчета которого не будет возникать очень часто, потому что обычно диапазон ожидаемых значений более мал. В результате доступное разрешение для PCM-кодирования не используется эффективно, и соотношение сигнала к шуму квантования является низким.The number of HOA coefficients, or size, K of the vector d 2 is time-varying, and the indices of the transmitted HOA signals n may vary with time. This prevents transmission in the spatial domain, since a time-varying transform matrix would be required, resulting in signal discontinuities in all perceptually encoded HOA signals (perceptual encoding stage or stage not shown). However, such signal discontinuities should be avoided because they reduce the quality of the perceptual encoding of the transmitted signals. Thus, d 2 must be passed into the coefficient domain. Due to the larger range of signal values in the coefficient domain, the signals must be scaled in step or stage 26 by a factor of 1/║ Ψ ║ ∞ before PCM coding can be applied in step or stage 27. However, a disadvantage of such scaling is that the maximum absolute value for ║ Ψ ║ ∞ is a worst-case estimate whose maximum absolute value of a sample will not occur very often because the range of expected values is usually smaller. As a result, the available resolution for PCM encoding is not used efficiently and the quantization signal-to-noise ratio is low.
Выходной сигнал d ”2 этапа/стадии 24 демультиплексора обратно масштабируется на этапе или стадии 28 с использованием множителя ║Ψ║∞. Результирующий сигнал d ’’’2 объединяется на этапе или стадии 29 с сигналом d ’1, приводя в результате к декодированному HOA-сигналу d ’ в области коэффициентов.The output signal d ” 2 of stage/stage 24 of the demultiplexer is inversely scaled at stage or stage 28 using a multiplier ║ Ψ ║ ∞ . The resulting signal d ''' 2 is combined at step or stage 29 with the signal d ' 1 , resulting in a decoded HOA signal d ' in the coefficient domain.
Согласно настоящему изобретению эффективность PCM-кодирования в области коэффициентов может быть повышена посредством использования адаптивного к сигналам нормирования сигналов. Однако такое нормирование должно быть обратимым и равномерно непрерывным от одного дискретного отсчета к другому дискретному отсчету. Необходимая поблочная адаптивная обработка изображена на Фиг.3. j -ая входная матрица D ( j )=[ d ( jL+ 0) … d ( jL + L - 1)] содержит L векторов d HOA-сигнала (индекс j не изображен на Фиг.3). Матрица D разделяется на две матрицы D 1 и D 2 подобно обработке на Фиг.2. Обработка для D 1 на этапах или стадиях 31-35 соответствует обработке в пространственной области, описанной совместно с Фиг.2 и Фиг.1. Однако кодирование сигнала в области коэффициентов включает в себя этап или стадию 36 поблочного адаптивного нормирования, который автоматически адаптируется к диапазону текущих значений сигнала, за которым следует этап или стадия 37 PCM-кодирования. Требуемая вспомогательная информация для денормирования каждого подвергшегося PCM-кодированию сигнала в матрице D ”2 хранится и передается в векторе e . Вектор e =[ e n 1 … e nK ] T содержит одно значение на сигнал. На этапе или стадии 38 соответствующего адаптивного денормирования декодера на приемной стороне происходит обращение нормирования сигналов D ”2 в D ’’’2 с использованием информации из переданного вектора e . Результирующий сигнал D ’’’2 объединяется на этапе или стадии 39 с сигналом D’ 1, приводя в результате к декодированному HOA-сигналу D' в области коэффициентов.According to the present invention, the efficiency of PCM coding in the coefficient domain can be improved by using signal-adaptive signal normalization. However, such normalization must be reversible and uniformly continuous from one discrete sample to another discrete sample. The required block-by-block adaptive processing is depicted in Figure 3. j th input matrix D ( j )=[ d ( jL+ 0) ... d ( jL + L - 1)] contains L vectors d HOA signal (index j not shown in Figure 3). Matrix D splits into two matrices D 1 And D 2 similar to the processing in Figure 2. Processing for D 1at steps or steps 31-35 corresponds to the spatial domain processing described in conjunction with FIG. 2 and FIG. 1. However, encoding the signal in the coefficient domain includes a blockwise adaptive normalization step or stage 36 that automatically adapts to the range of current signal values, followed by a PCM encoding step or stage 37. Required auxiliary information to denormalize each PCM-encoded signal in the matrix D ”2 stored and transmitted in a vector e . Vector e =[ e n 1 ... e nK ] T contains one value per signal. At the stage or stage 38 of the corresponding adaptive denormalization of the decoder at the receiving side, the normalization of the signals is reversed D ”2 V D '''2 using information from the transmitted vector e . Resulting signal D '''2 is combined at stage or stage 39 with the signal D' 1, resulting in a decoded HOA signal D' in the field of coefficients.
В адаптивном нормировании на этапе/стадии 36 равномерно непрерывная передаточная функция применяется к дискретным отсчетам текущего входного блока коэффициентов с целью постоянного изменения коэффициента усиления с последнего входного блока коэффициентов на коэффициент усиления следующего входного блока коэффициентов. Данный вид обработки требует задержки одного блока, потому что изменение коэффициента усиления нормирования (коэффициента нормирования) должно быть обнаружено на один входной блок коэффициентов вперед. Преимущество состоит в том, что вводимая амплитудная модуляция является малой, так что перцепционное кодирование модулированного сигнала почти не оказывает никакого влияния на денормированный сигнал.In adaptive normalization at step/stage 36, a uniformly continuous transfer function is applied to samples of the current input coefficient block to continuously change the gain from the last input coefficient block to the gain of the next input coefficient block. This type of processing requires a delay of one block because a change in the normalization gain (normalization coefficient) must be detected one input block of coefficients ahead. The advantage is that the amplitude modulation introduced is small, so that the perceptual encoding of the modulated signal has almost no effect on the denormalized signal.
Что касается варианта реализации адаптивного нормирования, то оно выполняется независимо для каждого HOA-сигнала D 2 ( j ). Сигналы представлены векторами-строками x n T матрицыAs for the implementation option for adaptive normalization, it is performed independently for each HOA signal D 2 ( j ) . The signals are represented by row vectors of the x n T matrix
где n обозначает индексы переданных HOA-сигналов. x n является транспонированным, потому что первоначально он является вектором-столбцом, но здесь требуется вектор-строка.where n denotes the indices of the transmitted HOA signals. x n is transposed because it is originally a column vector, but a row vector is required here.
На Фиг.4 показано данное адаптивное нормирование на этапе/стадии 36 более подробно. Входные значения обработки представляют собой следующее:Figure 4 shows this adaptive normalization at stage/stage 36 in more detail. The processing input values are as follows:
- сглаженное во времени максимальное значение x n ,max,s m ( j -2),- time-smoothed maximum value x n ,max,s m ( j -2) ,
- значение g n ( j -2) коэффициента усиления, то есть коэффициент усиления, который был применен к последнему коэффициенту соответствующего блока x n ( j -2) вектора сигнала,- value g n ( j -2) of the gain, that is, the gain that was applied to the last coefficient of the corresponding block x n ( j -2) of the signal vector,
- вектор сигнала текущего блока x n ( j ),- signal vector of the current block x n ( j ) ,
- вектор сигнала предыдущего блока x n ( j -1).- signal vector of the previous block x n ( j -1) .
В начале обработки первого блока x n (0) рекурсивные входные значения инициализируется предварительно заданными значениями: коэффициенты вектора x n (-1) могут быть обнулены, значение g n (-2) коэффициента усиления должно быть установлено в '1', а x n ,max,s m (-2) должно быть установлено в предварительно заданное среднее амплитудное значение.At the start of processing the first block xn ( 0), the recursive input values are initialized to predefined values: the vector coefficients xn (-1) can be set to zero, the gain value gn (-2) must be set to ' 1 ', and xn ,max,s m (-2) must be set to the preset average amplitude value.
После этого, значение g n ( j -1) коэффициента усиления последнего блока, соответствующее значение e n ( j -1) вектора e ( j -1) вспомогательной информации, сглаженное во времени максимальное значение x n ,max,s m ( j -1) и нормированный вектор x’ n ( j -1) сигнала представляют собой выходные результаты обработки.After this, the value g n ( j -1) of the gain of the last block, the corresponding value e n ( j -1) of the auxiliary information vector e ( j -1) , the time-smoothed maximum value x n ,max,s m ( j - 1) and the normalized vector x' n ( j -1) of the signal represent the output results of the processing.
Цель данной обработки состоит в непрерывном изменении значений коэффициента усиления, примененных к вектору x n ( j -1) сигнала, с g n ( j -2) на g n ( j -1) так, чтобы значение g n ( j -1) коэффициента усиления нормировало вектор x n ( j ) сигнала до диапазона подходящих значений.The purpose of this processing is to continuously change the gain values applied to the vector x n ( j -1)signal, s g n ( j -2) on g n ( j -1) so that the value g n ( j -1)gain normalized vector x n ( j )signal to a range of suitable values.
На первом этапе или стадии 41 обработки каждый коэффициент вектора x n ( j )=[ x n ,0 ( j )… x n, L -1 ( j )] сигнала умножается на значение g n ( j -2) коэффициента усиления, при этом g n ( j -2) было сохранено из обработки нормирования вектора x n ( j -1) сигнала в качестве основы для нового коэффициента усиления нормирования. Из результирующего нормированного вектора x n ( j ) сигнала на этапе или стадии 42 с использованием уравнения (5) получается максимум x n ,max абсолютных значений:At the first stage or processing stage 41, each coefficient of the vector x n ( j )=[ x n ,0 ( j )... x n, L -1 ( j )] of the signal is multiplied by the gain value g n ( j -2) , with This g n ( j -2) was retained from the normalization processing of the signal vector x n ( j -1) as the basis for the new normalization gain. From the resulting normalized signal vector x n ( j ) at stage or stage 42 using equation (5), the maximum x n ,max absolute values are obtained:
x n , max =max 0≤ l < L │ g n ( j -2) x n , l ( j )│ (5) x n , max =max 0≤ l < L │ g n ( j -2) x n , l ( j )│ (5)
На этапе или стадии 43 сглаживание во времени применяется к x n ,max с использованием рекурсивного фильтра, принимающего предыдущее значение x n ,max,s m ( j -2) упомянутого сглаженного максимума и приводящего в результате к текущему сглаженному во времени максимуму x n ,max,s m ( j -1). Цель такого сглаживания заключается в ослаблении адаптации коэффициента усиления нормирования во времени, что уменьшает количество изменений коэффициента усиления и поэтому амплитудную модуляцию сигнала. Сглаживание во времени применяется только в том случае, если значение x n, max находится внутри диапазона предварительно заданных значений. Иначе, x n ,max,s m ( j -1) устанавливается в x n, max (т.е. значение x n, max сохраняется таким, какое оно есть), потому что последующая обработка должна ослаблять действующее значение x n, max до диапазона предварительно заданных значений. Поэтому, сглаживание во времени задействуется только тогда, когда коэффициент усиления нормирования является постоянным или когда сигнал x n (j ) может быть усилен без покидания диапазона значений.At step or stage 43, time smoothing is applied to x n ,max using a recursive filter taking the previous value x n ,max,s m ( j -2) of said smooth maximum and resulting in the current time smooth maximum x n . max,s m ( j -1). The purpose of such smoothing is to weaken the adaptation of the normalization gain over time, which reduces the number of gain changes and therefore the amplitude modulation of the signal. Time smoothing is only applied if the value of xn , max is within the range of predefined values. Otherwise, x n ,max,s m ( j -1) is set to x n, max (i.e., the value of x n, max is kept as it is) because subsequent processing must weaken the effective value of x n, max up to a range of preset values. Therefore, time smoothing is only enabled when the normalization gain is constant or when the signal xn (j ) can be amplified without leaving the value range.
( x n ,max,s m ( j -1)) вычисляется на этапе/стадии 43 следующим образом: ( x n ,max,s m ( j -1)) is calculated in step/stage 43 as follows:
(6) (6)
где 0 < a ≤ 1 является постоянной ослабления.where 0 < a ≤ 1 is the attenuation constant.
С целью уменьшения битовой скорости для передачи вектора e коэффициент усиления нормирования вычисляется из текущего сглаженного во времени максимального значения x n ,max,s m ( j -1) и передается в качестве показателя степени по основанию '2'. Таким образом должно выполняться следующее условие:In order to reduce the bit rate for transmitting vector e, the normalization gain is calculated from the current time-smoothed maximum value x n ,max,s m ( j -1) and transmitted as a base '2' exponent. Therefore, the following condition must be met:
(7) (7)
и квантованный показатель степени e n ( j -1) получается изand the quantized exponent e n ( j -1) is obtained from
(8) (8)
на этапе или стадии 44.at stage or stage 44.
В периоды, в которые сигнал повторно усиливается (то есть значение общего коэффициента усиления увеличивается во времени), с целью использования доступного разрешения для эффективного PCM-кодирования, показатель e n ( j ) степени может быть ограничен (и таким образом разность коэффициента усиления между последовательными блоками) малым максимальным значением, например, '1'. Данное действие имеет два преимущественных технических результата. С одной стороны, малые разности коэффициента усиления между последовательными блоками приводят только к малым амплитудным модуляциям через передаточную функцию, приводя в результате к уменьшенной перекрестной помехе между смежными подполосами FFT-спектра (см. соответствующее описание воздействия передаточной функции на перцепционное кодирование совместно с Фиг.7). С другой стороны, битовая скорость для кодирования показателя степени уменьшается за счет ограничения диапазона его значений.During periods in which the signal is re-amplified (that is, the value of the overall gain increases over time), in order to use the available resolution for efficient PCM encoding, the exponent e n ( j ) of the power can be limited (and thus the gain difference between successive blocks) with a small maximum value, for example '1'. This action has two advantageous technical results. On the one hand, small gain differences between successive blocks result in only small amplitude modulations through the transfer function, resulting in reduced crosstalk between adjacent subbands of the FFT spectrum (see the corresponding discussion of the effect of the transfer function on perceptual encoding in conjunction with FIG. 7 ). On the other hand, the bit rate for encoding the exponent is reduced by limiting the range of its values.
Значение полного максимального усиленияFull Maximum Gain Value
(9) (9)
может быть ограничено, например, '1'. Причина состоит в том, что, если один из сигналов коэффициентов демонстрирует большое амплитудное изменение между двумя последовательными блоками, из которых первый имеет очень малые амплитуды, а второй имеет максимально возможную амплитуду (предполагается нормирование HOA-представления в пространственной области), то очень большие разности коэффициента усиления между этими двумя блоками приведут к большим амплитудным модуляциям через передаточную функцию, приводя в результате к серьезной перекрестной помехе между смежными подполосами FFT-спектра. Это может бы быть неоптимальным для последующего перцепционного кодирования, обсуждаемого ниже.can be limited, for example, '1'. The reason is that if one of the coefficient signals exhibits a large amplitude change between two successive blocks, of which the first has very small amplitudes and the second has the maximum possible amplitude (assuming normalization of the HOA representation in the spatial domain), then very large differences The gain between the two blocks will result in large amplitude modulations across the transfer function, resulting in severe crosstalk between adjacent subbands of the FFT spectrum. This might not be optimal for subsequent perceptual encoding discussed below.
На этапе или стадии 45 значение показателя e n ( j -1) степени применяется к передаточной функции для получения текущего значения g n ( j -1) коэффициента усиления. Для непрерывного перехода от значения g n ( j -2) коэффициента усиления к значению g n ( j -1) коэффициента усиления используется функция, изображенная на Фиг.5. Вычислительное правило для этой функции состоит в следующем:At step or stage 45, the value of the exponent e n ( j -1) is applied to the transfer function to obtain the current gain value g n ( j -1) . To continuously transition from the gain value g n ( j -2) to the gain value g n ( j -1), the function shown in Fig. 5 is used. The computational rule for this function is:
(10) (10)
где l =0, 1, 2, …, L -1. Фактический вектор h n ( j -1)=[ h n (0), …, h n ( L -1)] T передаточной функции сwhere l =0, 1, 2, …, L -1 . Actual vector h n ( j -1)=[ h n (0), …, h n ( L -1)] T of the transfer function with
(11) (eleven)
используется для непрерывного ослабления с g n ( j -2) до g n ( j -1). Для каждого значения e n ( j -1) значение h n (0) равно e n ( j -2) поскольку f (0)=1. Последнее значение f (L-1) равно 0,5, так что будет приводить в результате к требуемому усилению g n ( j -1) для нормирования x n ( j ) из уравнения (9).used for continuous attenuation from gn ( j -2) to gn ( j -1) . For each value of e n ( j -1), the value of h n (0) is equal to e n ( j -2) since f (0)=1 . The last value of f (L-1) is 0.5 , so will result in the required gain g n ( j -1) to normalize x n ( j ) from equation (9).
На этапе или стадии 46 дискретные отсчеты вектора x n ( j -1) сигнала взвешиваются по значениям коэффициента усиления вектора h n ( j -1) передаточной функции для полученияAt step or stage 46, discrete samples of the signal vector x n ( j -1) are weighted by the gain values of the transfer function vector h n ( j -1) to obtain
x’ n ( j -1)= x n ( j -1)⊗ h n ( j -1), (12) x' n ( j -1)= x n ( j -1)⊗ h n ( j -1),(12)
где оператор «⊗» представляет собой векторное поэлементное умножение двух векторов. Данное умножение может также быть рассмотрено в качестве представления амплитудной модуляции сигнала x n ( j -1).where the operator " ⊗ " represents a vector element-wise multiplication of two vectors. This multiplication can also be considered as a representation of the amplitude modulation of the signal x n ( j -1) .
Более подробно, коэффициенты вектора h n ( j -1)=[ h n (0), …, h n ( L -1)] T передаточной функции умножаются на соответствующие коэффициенты вектора x n ( j -1) сигнала, где значение h n (0) представляет собой h n (0)= g n ( j -2), а значение h n ( L -1) представляет собой h n ( L -1)= g n ( j -1). Поэтому передаточная функция непрерывно ослабляется от значения g n ( j -2) коэффициента усиления к значению g n ( j -1) коэффициента усиления, как это изображено в примере Фиг.8, на которой показаны значения коэффициента усиления от передаточных функций h n ( j ), h n ( j -1) и h n ( j -2), которые применяются к соответствующим векторам x n ( j ), x n ( j -1) и x n ( j -2) сигнала для трех последовательных блоков. Преимущество по отношению к последующему перцепционному кодированию состоит в том, что на границах блоков применяемые коэффициенты усиления непрерывны: передаточная функция h n ( j -1) непрерывно ослабляет коэффициенты усиления для коэффициентов x n ( j -1) с g n ( j -2) к g n ( j -1).In more detail, the coefficients of the vector h n ( j -1)=[ h n (0), ..., h n ( L -1)] T of the transfer function are multiplied by the corresponding coefficients of the signal vector x n ( j -1) , where the value of h n ( 0) represents hn (0) = gn ( j -2) and the value of hn ( L -1) represents hn ( L -1)= gn ( j - 1 ) . Therefore, the transfer function is continuously attenuated from the gain value g n ( j -2) to the gain value g n ( j -1) , as depicted in the example of Fig. 8, which shows the gain values from the transfer functions h n ( j ) , h n ( j -1) and h n ( j -2) , which are applied to the corresponding signal vectors x n ( j ) , x n ( j -1) and x n ( j -2) for three consecutive blocks. The advantage with respect to subsequent perceptual encoding is that at block boundaries the applied gains are continuous: the transfer function h n ( j -1) continuously attenuates the gains for factors x n ( j -1) with g n ( j -2) to g n ( j -1) .
Обработка адаптивного денормирования на стороне декодера или приемника показана на Фиг.6. Входными значениями являются подвергшиеся PCM-кодированию и нормированные сигналы x” n ( j -1), подходящий показатель e n ( j -1) степени и значение g n ( j -2) коэффициента усиления последнего блока. Значение g n ( j -2) коэффициента усиления последнего блока вычисляется рекурсивно, причем g n ( j -2) должно быть инициализировано предварительно заданным значением, которое также уже использовалось в кодере. Выходными результатами являются значение g n ( j -1) коэффициента усиления с этапа/стадии 61 и денормированный сигнал x’’’ n ( j -1) с этапа/стадии 62.The adaptive denormalization processing at the decoder or receiver side is shown in FIG. 6. Input values are PCM-coded and normalized signals x" n ( j -1), a suitable indicator e n ( j -1) degrees and meaning g n ( j -2) gain of the last block. Meaning g n ( j -2) last block gain is calculated recursively, and g n ( j -2) must be initialized with a preset value that has also already been used in the encoder. The output results are the value g n ( j -1)gain from stage/stage 61 and denormalized signal x''' n ( j -1) from stage/stage 62.
На этапе или стадии 61 показатель степени применяется к передаточной функции. Для восстановления диапазона значений x n ( j -1), в уравнении (11) вычисляется вектор h n ( j -1) передаточной функции из принятого показателя e n ( j -1) степени и рекурсивно вычисленного коэффициента усиления g n ( j -2). Коэффициент усиления g n ( j -1) для обработки следующего блока устанавливается равным h n ( L -1).At step or stage 61, the exponent is applied to the transfer function. To restore the range of values x n ( j -1) , in equation (11) the vector h n ( j -1) of the transfer function is calculated from the accepted exponent e n ( j -1) of the degree and the recursively calculated gain g n ( j -2 ) . The gain g n ( j -1) for processing the next block is set equal to h n ( L -1) .
На этапе или стадии 62 применяется обратный коэффициент усиления. Примененная амплитудная модуляция обработки нормирования обращается посредством x’’’ n ( j -1)= x” n ( j -1)⊗ h n ( j -1) -1 , (13)At step or stage 62, the inverse gain is applied. The applied amplitude modulation of the normalization processing is reversed by x''' n ( j -1)= x” n ( j -1)⊗ h n ( j -1) -1 , (13)
где , а «⊗» является векторным поэлементным умножением, которое было использовано на стороне кодера или передатчика. Дискретные отсчеты x’ n ( j -1) не могут быть представлены входным PCM-форматом x” n ( j -1), так что денормированию требуется преобразование в формат диапазона больших значений, как например формат с плавающей запятой.Where , and " ⊗ " is the vector element-wise multiplication that was used at the encoder or transmitter side. Discrete samples x' n ( j -1) cannot be represented by the input PCM format x” n ( j -1), so denormalization requires conversion to a large value range format, such as a floating point format.
Что касается передачи вспомогательной информации, то для передачи показателей e n ( j -1) степени нельзя предположить, что их вероятность является равномерной, потому что применяемый коэффициент усиления нормирования будет постоянным для последовательных блоков одного и тот же диапазона значений. Таким образом энтропийное кодирование, как например Кодирование методом Хаффмана, может быть применено к значениям показателя степени для уменьшения требуемой скорости передачи данных.As for the transmission of auxiliary information, for the transmission of exponents e n ( j -1) degree it cannot be assumed that their probability is uniform, because the applied normalization gain will be constant for successive blocks of the same range of values. Thus, entropy coding, such as Huffman coding, can be applied to the exponent values to reduce the required data rate.
Один недостаток описанной обработки может заключаться в рекурсивном вычислении значения g n ( j -2) коэффициента усиления. Следовательно, обработка денормирования может начинаться только с начала HOA-потока.One drawback of the described processing may be the recursive calculation of the gain value g n ( j -2) . Therefore, denormalization processing can only begin at the beginning of the HOA stream.
Решение для данной проблемы состоит в добавлении блоков доступа в HOA-формат с целью предоставления информации для регулярного вычисления g n ( j -2). В данном случае блок доступа должен обеспечивать показатели e n,access =log 2 g n ( j -2) (14)The solution to this problem is to add access blocks to the HOA format in order to provide information for regular calculation g n ( j -2). In this case, the access unit must provide indicators e n,access =log 2 g n ( j -2) (14)
степени для каждого t -ого блока так, чтобы могло быть вычислено и денормирование могло начаться в каждом t -ом блоке.degrees for each t -th block so that could be calculated and denormalization could begin in every t -th block.
Воздействие на перцепционное кодирование нормированного сигнала x’ n ( j -1) анализируется по абсолютному значению частотной характеристики (15)The impact on perceptual encoding of the normalized signal x' n ( j -1) is analyzed by the absolute value of the frequency response (15)
функции h n ( l ). Частотная характеристика задается Быстрым Преобразованием Фурье (FFT) над h n ( l ), как показано в уравнении (15).functions h n ( l ) . The frequency response is given by a Fast Fourier Transform (FFT) over h n ( l ), as shown in equation (15).
На Фиг.7 показан нормированный (до 0 дБ) амплитудный FFT-спектр H n ( u ) для прояснения спектрального искажения, вводимого амплитудной модуляцией. Затухание │ H n ( u )│ является относительно резким для малых показателей степени и становится плоским для более больших показателей степени.Figure 7 shows the normalized (to 0 dB) amplitude FFT spectrum H n ( u ) to clarify the spectral distortion introduced by amplitude modulation. Attenuation │ H n ( u )│ is relatively sharp for small exponents and becomes flat for larger exponents.
Так как амплитудная модуляция x n ( j -1) по h n ( l ) во временной области эквивалентна свертке по H n ( u ) в частотной области, то резкое затухание частотной характеристики H n ( u ) уменьшает перекрестную помеху между смежными подполосами FFT-спектра x’ n ( j -1). Это сильно связано с последующим перцепционным кодированием x’ n ( j -1), потому что подполосная перекрестная помеха влияет на оцениваемые перцепционные характеристики сигнала. Таким образом, для резкого затухания H n ( u ), предположения перцепционного кодирования для x’ n ( j -1) также действительны для ненормированного сигнала x n ( j -1).Since amplitude modulation of x n ( j -1) by h n ( l ) in the time domain is equivalent to convolution by H n ( u ) in the frequency domain, sharp attenuation of the frequency response of H n ( u ) reduces crosstalk between adjacent FFT subbands spectrum x' n ( j -1). This is strongly related to the subsequent perceptual encoding of x' n ( j -1) because subband crosstalk affects the estimated perceptual characteristics of the signal. Thus, for a sharp decay H n ( u ) , the perceptual encoding assumptions for x' n ( j -1) are also valid for the unnormalized signal x n ( j -1) .
Это показывает, что для малых показателей степени перцепционное кодирование x’ n ( j -1) почти эквивалентно перцепционному кодированию x n ( j -1) и что перцепционное кодирование нормированного сигнала почти не имеет никакого воздействия на денормированный сигнал при малой амплитуде показателя степени.This shows that for small exponents the perceptual encoding x' n ( j -1) is almost equivalent to the perceptual encoding x n ( j -1) and that the perceptual encoding of the normalized signal has almost no effect on the denormalized signal at small exponent amplitude.
Заявляемая обработка может быть выполнена одиночным процессором или электронной схемой на передающей стороне и на приемной стороне или несколькими процессорами или электронными схемами, функционирующими параллельно и/или функционирующими в различных частях заявляемой обработки. The claimed processing may be performed by a single processor or electronic circuit on the transmitting side and on the receiving side, or by multiple processors or electronic circuits operating in parallel and/or operating in different parts of the claimed processing.
Claims (14)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13305986.5 | 2013-07-11 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018135962A Division RU2777660C2 (en) | 2013-07-11 | 2014-06-24 | Method and device for formation from representation of hoa signals in domain of mixed representation coefficients of mentioned hoa signals in spatial domain/coefficient domain |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2022119198A RU2022119198A (en) | 2024-01-15 |
| RU2817687C2 true RU2817687C2 (en) | 2024-04-18 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100198589A1 (en) * | 2008-07-29 | 2010-08-05 | Tomokazu Ishikawa | Audio coding apparatus, audio decoding apparatus, audio coding and decoding apparatus, and teleconferencing system |
| RU2422987C2 (en) * | 2006-01-20 | 2011-06-27 | Майкрософт Корпорейшн | Complex-transform channel coding with extended-band frequency coding |
| WO2012023864A1 (en) * | 2010-08-20 | 2012-02-23 | Industrial Research Limited | Surround sound system |
| EP2469742A2 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
| CN102982805A (en) * | 2012-12-27 | 2013-03-20 | 北京理工大学 | Multi-channel audio signal compressing method based on tensor decomposition |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2422987C2 (en) * | 2006-01-20 | 2011-06-27 | Майкрософт Корпорейшн | Complex-transform channel coding with extended-band frequency coding |
| US20100198589A1 (en) * | 2008-07-29 | 2010-08-05 | Tomokazu Ishikawa | Audio coding apparatus, audio decoding apparatus, audio coding and decoding apparatus, and teleconferencing system |
| WO2012023864A1 (en) * | 2010-08-20 | 2012-02-23 | Industrial Research Limited | Surround sound system |
| EP2469742A2 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
| CN102982805A (en) * | 2012-12-27 | 2013-03-20 | 北京理工大学 | Multi-channel audio signal compressing method based on tensor decomposition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7158452B2 (en) | Method and apparatus for generating a mixed spatial/coefficient domain representation of an HOA signal from a coefficient domain representation of the HOA signal | |
| RU2817687C2 (en) | Method and apparatus for generating mixed representation of said hoa signals in coefficient domain from representation of hoa signals in spatial domain/coefficient domain | |
| RU2777660C2 (en) | Method and device for formation from representation of hoa signals in domain of mixed representation coefficients of mentioned hoa signals in spatial domain/coefficient domain |