RU2635244C2 - Устройство и способ для пространственного кодирования аудиообъекта с использованием скрытых объектов для воздействия на смесь сигналов - Google Patents
Устройство и способ для пространственного кодирования аудиообъекта с использованием скрытых объектов для воздействия на смесь сигналов Download PDFInfo
- Publication number
- RU2635244C2 RU2635244C2 RU2015135593A RU2015135593A RU2635244C2 RU 2635244 C2 RU2635244 C2 RU 2635244C2 RU 2015135593 A RU2015135593 A RU 2015135593A RU 2015135593 A RU2015135593 A RU 2015135593A RU 2635244 C2 RU2635244 C2 RU 2635244C2
- Authority
- RU
- Russia
- Prior art keywords
- signals
- audio
- additional
- signal
- audio objects
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 51
- 239000000203 mixture Substances 0.000 title description 11
- 230000003116 impacting effect Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000000694 effects Effects 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims description 39
- 230000005236 sound signal Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000000926 separation method Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 101100180304 Arabidopsis thaliana ISS1 gene Proteins 0.000 description 2
- 101100519257 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDR17 gene Proteins 0.000 description 2
- 101100042407 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SFB2 gene Proteins 0.000 description 2
- 101100356268 Schizosaccharomyces pombe (strain 972 / ATCC 24843) red1 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- -1 ISS2 Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к области обработки аудиосигналов. Технический результат заключается в повышении качества воспроизведения целевых аудиосцен. Технический результат достигается за счет устройства, которое содержит блок понижающего микширования для понижающего микширования одного или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов, модуль обработки для обработки одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов, блок вычисления сигналов для вычисления одного или более дополнительных сигналов, причем блок вычисления сигналов выполнен с возможностью вычислять каждый из одного или более дополнительных сигналов на основе различия между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов, генератор информации объектов для формирования параметрической информации аудиообъектов для одного или более аудиообъектов и дополнительной параметрической информации для дополнительного сигнала. 7 н. и 9 з.п. ф-лы, 11 ил.
Description
Настоящее изобретение относится к обработке аудиосигнала и, в частности, к декодеру, кодеру, системе, способам и компьютерной программе для пространственного кодирования аудиообъекта с использованием скрытых объектов для воздействия на смесь сигналов.
Обработка аудиосигналов становится все более важной. Недавно были предложены параметрические методики для передачи и/или сохранения с эффективной битовой скоростью аудиосцен, содержащих множественные аудиообъекты, в области аудиокодирования (BCC, АО, SAOC, SAOC1, SAOC2) и, кроме того, в области разделения источника информации (ISS1, ISS2, ISS3, ISS4, ISS5, ISS6). Эти методики стремятся воссоздавать желаемую выходную аудиосцену или желаемый объект аудиоисточника на основе дополнительной вспомогательной информации, описывающей переданную и/или сохраненную аудиосцену и/или объекты аудиоисточников в аудиосцене.
Фиг. 11 изображает систему в соответствии с существующим уровнем техники, иллюстрирующую пример MPEG SAOC (MPEG = экспертная группа в области движущихся изображений; SAOC = пространственное кодирование аудиообъектов). В частности, фиг. 11 иллюстрирует обзор системы MPEG SAOC.
В соответствии с существующим уровнем техники общая обработка часто выполняется частотно-избирательным образом и, например, может быть описана следующим образом в пределах каждой полосы частот.
N входных сигналов аудиообъектов s1,..., sN микшируются c понижением в P каналов x1,..., xP как часть обработки микшера 912 кодера 910 SAOC существующего уровня техники. Может использоваться матрица понижающего микширования, содержащая элементы d1,1,..., dN,P. Кроме того, блок 914 оценки вспомогательной информации кодера 910 SAOC извлекает вспомогательную информацию, описывающую характеристики входных аудиообъектов. Для MPEG SAOC отношения мощностей объектов относительно друг друга являются базовой формой такой вспомогательной информации.
Затем микшированный с понижением сигнал (сигналы) и вспомогательная информация могут быть переданы и/или сохранены. С этой целью микшированный с понижением аудиосигнал может быть закодирован, например, сжат, посредством перцепционного аудиокодера 920 существующего уровня техники, такого как аудиокодер MPEG-1 уровня II или III (также известный как mp3) или аудиокодер усовершенствованного аудиокодирования (AAC) MPEG, и т. д.
На принимающей стороне закодированные сигналы сначала могут быть декодированы, например, посредством перцепционного аудиодекодера 940, такого как аудиодекодер MPEG-1 уровня II или III, аудиодекодер усовершенствованного аудиокодирования (AAC) MPEG.
Затем декодер 950 SAOC существующего уровня техники концептуально пытается восстановить сигналы исходного объекта, например, проводя "разделение объектов" из (декодированных) микшированных с понижением сигналов с использованием переданной вспомогательной информации, которая, например, могла быть сформирована блоком 914 оценки вспомогательной информации кодера 910 SAOC, как объяснено выше. В целях восстановления сигналов первоначальных объектов посредством проведения разделения объектов декодер 950 SAOC содержит разделитель 952 объектов, например, разделитель виртуальных объектов.
Затем разделитель 952 объектов может обеспечить приближенные сигналы объектов 
блоку 954 воспроизведения декодера 950 SAOC, причем блок 954 воспроизведения затем микширует приближенные сигналы объектов в целевую сцену, представленную M выходными аудиоканалами 
, например, с использованием матрицы воспроизведения. Коэффициенты r1,1, …, rN,M на фиг. 11, например, могут указывать некоторые коэффициенты матрицы воспроизведения. Желаемая целевая сцена в конкретном случае может представлять собой воспроизведение только одного сигнала источника из микшированного сигнала (сценарий разделения источников), но также может являться любой другой произвольной акустической сценой.
Однако обработка в соответствии с существующим уровнем техники имеет несколько недостатков.
Системы существующего уровня техники ограничены обработкой только сигналов аудиоисточников. Обработка сигналов в кодере и декодере выполняется в предположении, что никакая дополнительная обработка сигналов не применяется к микшированным сигналам или к сигналам объекта первоначального источника. Рабочие характеристики таких систем ухудшаются, если это предположение больше не поддерживается.
Заметным примером, который нарушает это предположение, является использование аудиокодера в цепи обработки для уменьшения объема данных, которые будут сохранены и/или переданы, для эффективного переноса микшированных с понижением сигналов. Сжатие сигнала перцепционно изменяет микшированные с понижением сигналы. Это имеет эффект, в котором рабочие характеристики разделителя объектов в системе декодирования ухудшаются, и, таким образом, воспринимаемое качество воспроизведенных целевых сцен также ухудшается (ISS5, ISS6).
Задача настоящего изобретения состоит в том, чтобы обеспечить улучшенные концепции для аудиокодирования и аудиодекодирования. Задача настоящего изобретения решена посредством устройства по пункту 1, устройства по пункту 8, системы по пункту 12, способа по пункту 13, способа по пункту 14, компьютерно-читаемый носитель по пункту 15 и компьютерно-читаемый носитель по пункту 16 формулы изобретения.
Обеспечено устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала. Устройство содержит блок понижающего микширования для понижающего микширования одного или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов. Кроме того, устройство содержит модуль обработки для обработки одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов. Кроме того, устройство содержит блок вычисления сигналов для вычисления одного или более дополнительных сигналов, причем блок вычисления сигналов выполнен с возможностью вычислять каждый из одного или более дополнительных сигналов на основе различия между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов. Кроме того, устройство содержит генератор информации объектов для генерации параметрической информации аудиообъектов для одного или более аудиообъектов и дополнительной параметрической информации для дополнительного сигнала. Кроме того, устройство содержит интерфейс вывода для вывода закодированного сигнала, закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов.
В соответствии с вариантом осуществления модуль обработки может быть выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством кодирования одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов.
В варианте осуществления блок вычисления сигналов может содержать модуль декодирования и блок объединения. Модуль декодирования может быть выполнен с возможностью декодировать один или более обработанных микшированных с понижением сигналов для получения одного или более декодированных сигналов. Кроме того, блок объединения может быть выполнен с возможностью формировать каждый из одного или более дополнительных сигналов посредством формирования разностного сигнала между одним из одного или более декодированных сигналов и одним из одного или более необработанных микшированных с понижением сигналов.
В соответствии с вариантом осуществления каждый из одного или более необработанных микшированных с понижением сигналов может содержать множество первых сигнальных отсчетов, каждый из первых сигнальных отсчетов присвоен одному из множества моментов времени. Каждый из одного или более декодированных сигналов может содержать множество вторых сигнальных отсчетов, каждый из вторых сигнальных отсчетов присвоен одному из множества моментов времени. Блок вычисления сигналов, кроме того, может содержать блок выравнивания по времени, выполненный с возможностью выравнивать по времени один из одного или более декодированных сигналов и один из одного или более необработанных микшированных с понижением сигналов таким образом, что один из первых сигнальных отсчетов упомянутого необработанного микшированного с понижением сигнала присвоен одному из вторых сигнальных отсчетов упомянутого декодированного сигнала, упомянутый первый сигнальный отсчет упомянутого необработанного микшированного с понижением сигнала и упомянутый второй сигнальный отсчет упомянутого декодированного сигнала присвоены одному и тому же моменту времени из множества моментов времени.
В варианте осуществления модуль обработки может быть выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством применения аудиоэффекта по меньшей мере к одному из одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов.
В соответствии с вариантом осуществления значение энергии аудиообъекта может быть присвоено каждому одному из одного или более аудиообъектов, и дополнительное значение энергии может быть присвоено каждому одному из одного или более дополнительных сигналов. Генератор информации объектов может быть выполнен с возможностью определять опорное значение энергии таким образом, что опорное значение энергии больше или равно значению энергии аудиообъекта каждого из одного или более аудиообъектов, и таким образом, что опорное значение энергии больше или равно дополнительному значению энергии каждого из одного или более дополнительных сигналов. Кроме того, генератор информации объектов может быть выполнен с возможностью определять параметрическую информацию аудиообъектов посредством определения различия уровней аудиообъектов для каждого аудиообъекта из одного или более аудиообъектов таким образом, что упомянутое различие уровней аудиообъектов указывает отношение значения энергии аудиообъекта упомянутого аудиообъекта к опорному значению энергии, или таким образом, что упомянутое различие уровней аудиообъектов указывает разность между опорным значением энергии и значением энергии аудиообъекта упомянутого аудиообъекта. Кроме того, генератор информации объектов может быть выполнен с возможностью определять дополнительную информацию объекта посредством определения дополнительного различия уровней объектов для каждого дополнительного сигнала из одного или более дополнительных сигналов таким образом, что упомянутое дополнительное различие уровней объектов указывает отношение дополнительного значения энергии упомянутого дополнительного сигнала к опорному значению энергии, или таким образом, чтоб упомянутое дополнительное различие уровней объектов указывает разность между опорным значением энергии и дополнительным значением энергии упомянутого дополнительного сигнала.
В варианте осуществления модуль обработки может содержать модуль акустического эффекта и модуль кодирования. Модуль акустического эффекта может быть выполнен с возможностью применять акустический эффект по меньшей мере к одному из одного или более необработанных микшированных с понижением сигналов для получения одного или более акустически скорректированных микшированных с понижением сигналов. Кроме того, модуль кодирования может быть выполнен с возможностью кодировать один или более акустически скорректированных микшированных с понижением сигналов для получения одного или более обработанных сигналов.
Кроме того, обеспечено устройство для декодирования закодированного сигнала, в котором закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию. Устройство содержит интерфейс для приема одного или более обработанных микшированных с понижением сигналов и для приема закодированного сигнала, причем дополнительная параметрическая информация отражает обработку, выполненную над одним или более необработанными микшированными с понижением сигналами, для получения одного или более обработанных микшированных с понижением сигналов. Кроме того, устройство содержит генератор аудиосцены для формирования аудиосцены, содержащей множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене, причем генератор аудиосцены выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией, в аудиосцене.
В соответствии с вариантом осуществления дополнительная параметрическая информация может зависеть от одного или более дополнительных сигналов, причем дополнительные сигналы указывают различие между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов, причем один или более необработанных микшированных с понижением сигналов указывает понижающее микширование одного или более аудиообъектов, и причем один или более обработанных микшированных с понижением сигналов получаются в результате обработки одного или более необработанных микшированных с понижением сигналов.
В варианте осуществления генератор аудиосцены может содержать генератор аудиообъектов и блок воспроизведения. Генератор аудиообъектов может быть выполнен с возможностью формировать один или более аудиообъектов на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов и дополнительной параметрической информации. Блок воспроизведения может быть выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, параметрической информации аудиообъектов и информации воспроизведения.
В соответствии с вариантом осуществления блок воспроизведения может быть выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, дополнительной параметрической информации и информации воспроизведения, причем блок воспроизведения может быть выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией в аудиосцене, в зависимости от одного или более коэффициентов воспроизведения, содержащихся в информации воспроизведения.
В варианте осуществления устройство может дополнительно содержать пользовательский интерфейс для установки одного или более коэффициентов воспроизведения для регулирования, является ли выходной сигнал, представленный дополнительной параметрической информацией, ослабленным или устраненным в аудиосцене.
В соответствии с вариантом осуществления генератор аудиосцены может быть выполнен с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене, причем генератор аудиосцены может быть выполнен с возможностью не формировать один или более аудиообъектов для формирования аудиосцены.
В варианте осуществления устройство, кроме того, может содержать аудиодекодер для декодирования одного или более обработанных микшированных с понижением сигналов для получения одного или более декодированных сигналов, причем генератор аудиосцены может быть выполнен с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более декодированных сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения.
В другом варианте осуществления генератор аудиосцены может быть выполнен с возможностью формировать аудиосцену с используем формул
где 
- первая матрица, указывающая аудиосцену, причем содержит множество строк, указывающих множество пространственных аудиосигналов, где R' - вторая матрица, указывающая информацию воспроизведения, где 
- третья матрица, где X' - четвертая матрица, указывающая один или более обработанных микшированных с понижением сигналов, где G' - пятая матрица, где D' - шестая матрицей, являющаяся матрицей понижающего микширования, и где E' - седьмая матрица, содержащая множество коэффициентов седьмой матрицы, причем коэффициенты седьмой матрицы определены формулой:
где E'i,j - один из коэффициентов седьмой матрицы в строке i и в столбце j, i - индекс строки, и j - индекс столбца, где IOC'i,j указывает значение взаимной корреляции, и где OLD'i указывает первое относящееся к энергии значение, и OLD'j указывает второе относящееся к энергии значение
Кроме того, обеспечена система. Система содержит устройство для кодирования в соответствии с одним из описанных выше вариантов осуществления и устройство для декодирования в соответствии с одним из описанных выше вариантов осуществления. Устройство для кодирования выполнено с возможностью обеспечивать один или более обработанных микшированных с понижением сигналов и закодированный сигнал устройству для декодирования, закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов. Устройство для декодирования выполнено с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене.
Кроме того, обеспечен способ кодирования одного или более аудиообъектов для получения закодированного сигнала. Способ содержит:
- понижающее микширование одного или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов.
- Обработку одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов.
- Вычисление одного или более дополнительных сигналов посредством вычисления каждого из одного или более дополнительных сигналов на основе различия между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов.
- Формирование параметрической информации аудиообъектов для одного или более аудиообъектов и дополнительной параметрической информации для одного или более дополнительных сигналов. И:
- Вывод закодированного сигнала, закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов.
Кроме того, обеспечен способ декодирования закодированного сигнала, закодированный сигнал содержит параметрическую информацию аудиообъектов об одном или более аудиообъектах и дополнительную параметрическую информацию. Способ содержит:
- прием одного или более обработанных микшированных с понижением сигналов для получения закодированного сигнала, причем дополнительная параметрическая информация отражает обработку, выполненную над одним или более необработанными микшированными с понижением сигналами, для получения одного или более обработанных микшированных с понижением сигналов.
- Формирование аудиосцены, содержащей множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене. И:
- ослабление или устранение выходного сигнала, представленного дополнительной параметрической информацией в аудиосцене.
Кроме того, обеспечена компьютерная программа для реализации одного из описанных выше способов, когда она исполняется на процессоре компьютера или процессоре сигналов.
В соответствии с вариантами осуществления понятие параметрического кодирования объектов улучшено/расширено посредством обеспечения изменений/манипуляций исходного объекта или микшированных сигналов в качестве дополнительных скрытых объектов. Включение этих скрытых объектов в процесс оценки вспомогательной информации и в разделение (виртуальных) объектов приводит к улучшенному воспринимаемому качеству воспроизведенной акустической сцены. Скрытые объекты, например, могут описывать искусственно сформированные сигналы, такие как сигнал ошибки кодирования от перцепционного аудиокодера, которые применяются к микшированным с понижением сигналам, но также могут, например, являться описанием другой нелинейной обработки, которая применена к микшированным с понижением сигналам, например, реверберации.
Вследствие характера этих скрытых объектов они изначально не предназначены для воспроизведения на стороне декодирования, а используются для улучшения процесса разделения (виртуальных) объектов и, таким образом, для улучшения воспринимаемого качества воспроизведенной акустической сцены. Это достигается посредством воспроизведения скрытого объекта (объектов) с нулевым уровнем воспроизведения ("тишина"). Таким образом, процессом воспроизведения в декодере автоматически управляют таким образом, что он имеет тенденцию подавлять нежелательные компоненты, представленные скрытым объектом (объектами), и, таким образом, улучшать субъективное качество воспроизведенной сцены/сигнала.
В соответствии с вариантом осуществления модуль кодирования может являться перцепционным аудиокодером.
Обеспеченные концепции среди прочего являются выгодными, поскольку они могут обеспечить улучшение качества аудио посредством включения информации скрытого объекта полностью совместимым с декодером образом. Это означает, что описанные улучшения качества выходного сигнала могут быть получены без какой-либо необходимости изменяться существующие/развернутые декодеры (например, SAOC), которые были стандартизированы посредством ISO/MPEG и не могут быть изменены без нарушения соответствия стандартной спецификации SAOC (или перевыпуска стандарта, что являлось бы отнимающим много времени и дорогостоящим процессом).
Далее будет делаться ссылка на "скрытые объекты". Следует отметить, что в некоторых вариантах осуществления дополнительная параметрическая информация, например, может представлять один или более скрытых объектов.
Далее варианты осуществления настоящего изобретения описаны более подробно со ссылкой на следующие фигуры.
Фиг. 1 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с вариантом осуществления.
Фиг. 2 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с другим вариантом осуществления.
Фиг. 3 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с дополнительным вариантом осуществления.
Фиг. 4 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с другим вариантом осуществления.
Фиг. 5 иллюстрирует модуль 120 обработки устройства для кодирования в соответствии с вариантом осуществления.
Фиг. 6 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с вариантом осуществления.
Фиг. 7 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с другим вариантом осуществления.
Фиг. 8 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с о дополнительным вариантом осуществления.
Фиг. 9 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с другим вариантом осуществления.
Фиг. 10 иллюстрирует систему в соответствии с вариантом осуществления.
Фиг. 11 иллюстрирует систему в соответствии с существующим уровнем техники, иллюстрирующую пример MPEG SAOC.
Фиг. 1 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с вариантом осуществления.
Устройство содержит блок 110 понижающего микширования для понижающего микширования одного или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов. С этой целью блок понижающего микширования на фиг. 1 принимает один или более аудиообъектов и подвергает их понижающему микшированию, например, применяя матрицу понижающего микширования, для получения одного или более необработанных микшированных с понижением сигналов.
Кроме того, устройство содержит модуль 120 обработки для обработки одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов. Модуль 120 обработки принимает один или более необработанных микшированных с понижением сигналов от блока понижающего микширования и обрабатывает их для получения одного или более обработанных сигналов.
Например, модуль 120 обработки может являться модулем кодирования, например, перцепционным кодером, и он может быть выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством кодирования одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов. Модуль 120 обработки, например, может являться перцепционным аудиокодером, например, аудиокодером MPEG-1 уровня II или III (также известным как mp3) или усовершенствованным аудиокодером (AAC) MPEG и т. д.
Или, например, модуль 120 обработки может являться модулем аудиоэффекта и может быть выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством применения аудиоэффекта по меньшей мере к одному из одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов.
Кроме того, устройство содержит блок 130 вычисления сигналов для вычисления одного или более дополнительных сигналов. Блок 130 вычисления сигналов выполнен с возможностью вычислять каждый из одного или более дополнительных сигналов на основе разности между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов.
Блок 130 вычисления сигналов, например, может вычислять разностный сигнал между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов для формирования одного из одного или более дополнительных сигналов.
Однако в других вариантах осуществления вместо определения разностного сигнала блок 130 вычисления сигналов может определять любой другой вид различия между упомянутым одним из одного или более обработанными микшированными с понижением сигналами и упомянутым одним из одного или более необработанными микшированными с понижением сигналами для формирования одного из одного или более дополнительных сигналов. Тогда блок 130 вычисления сигналов может вычислить дополнительный сигнал на основе определенного различия между двумя сигналами.
Кроме того, устройство содержит генератор 140 информации объектов для формирования параметрической информации аудиообъектов для одного или более аудиообъектов и дополнительной параметрической информации для дополнительного сигнала.
Например, для определения параметрической информации аудиообъектов и дополнительной параметрической информации могут быть определены различия уровней объектов. Например, значение энергии аудиообъекта может быть присвоено каждому одному из одного или более аудиообъектов, и дополнительное значение энергии может быть присвоено каждому одному из одного или более дополнительных сигналов.
Генератор 140 информации объектов может быть выполнен с возможностью определять опорное значение энергии таким образом, что опорное значение энергии больше или равно значению энергии аудиообъекта каждого из одного или более аудиообъектов, и что опорное значение энергии больше или равно дополнительному значению энергии каждого из одного или более дополнительных сигналов.
Кроме того, генератор 140 информации объектов может быть выполнен с возможностью определять параметрическую информацию аудиообъектов посредством определения различия уровней аудиообъектов для каждого аудиообъекта из одного или более аудиообъектов таким образом, что упомянутое различие уровней аудиообъектов указывает отношение значения энергии аудиообъекта упомянутого аудиообъекта к опорному значению энергии, или таким образом, что упомянутое различие уровней аудиообъектов указывает разность между опорным значением энергии и значением энергии аудиообъекта упомянутого аудиообъекта.
Кроме того, генератор 140 информации объектов может быть выполнен с возможностью определять дополнительную информацию объекта посредством определения дополнительного различия уровней объектов для каждого дополнительного сигнала из одного или более дополнительных сигналов таким образом, что упомянутое дополнительное различие уровней объектов указывает отношение дополнительного значения энергии упомянутого дополнительного сигнала к опорному значению энергии, или таким образом, что упомянутое дополнительное различие уровней объектов указывает разность между опорным значением энергии и дополнительным значением энергии упомянутого дополнительного сигнала.
Например, значение энергии аудиообъекта каждого из аудиообъектов может быть передано генератору 140 информации объектов как вспомогательная информация. Значение энергии каждого из дополнительных сигналов также может быть передано генератору 140 информации объектов как вспомогательная информация. Или в других вариантах осуществления генератор 140 информации объектов может самостоятельно вычислять значения энергии каждого из дополнительных сигналов, например, вычисляя квадрат каждого из значений отсчетов одного из дополнительных сигналов, суммируя упомянутые значения отсчетов для получения промежуточного результата и вычисляя квадратный корень из промежуточного результата для получения значения энергии упомянутого дополнительного сигнала. Тогда генератор 140 информации объектов, например, может определить самое большое значение энергии всех аудиообъектов и всех дополнительных сигналов как опорное значение энергии.
Затем генератор 140 информации объектов, например, может определить отношение дополнительного значения энергии дополнительного сигнала и опорного значения энергии как дополнительное различие уровней объектов. Например, если дополнительное значение энергии составляет 3,0, и опорное значение энергии составляет 6,0, то дополнительное различие уровней объектов составляет 0,5.
В качестве альтернативы, генератор 140 информации объектов, например, может определить разность опорного значения энергии и дополнительного значения энергии дополнительного сигнала как дополнительное различие уровней объектов. Например, если дополнительное значение энергии составляет 7,0, и опорное значение энергии составляет 10,0, то дополнительное различие уровней объектов составляет 3,0. Вычисление дополнительного различия уровней объектов посредством определения разности является особенно подходящим, если значения энергии выражены относительно логарифмического масштаба.
В других вариантах осуществления параметрическая информация также может содержать информацию о межобъектной когерентности между пространственными аудиообъектами и/или скрытыми объектами.
Кроме того, устройство содержит интерфейс 150 вывода для вывода закодированного сигнала. Закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов. С этой целью в некоторых вариантах осуществления интерфейс 150 вывода может быть выполнен с возможностью формировать закодированный сигнал таким образом, что закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов. Или в других вариантах осуществления генератор 140 информации объектов может формировать уже закодированный сигнал таким образом, что закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов и передает закодированный сигнал на интерфейс 150 вывода.
Фиг. 2 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с другим вариантом осуществления. В варианте осуществления на фиг. 2 модуль 120 выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством кодирования одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов. Блок 130 вычисления сигналов на фиг. 2 содержит модуль 240 декодирования и блок 250 объединения. Модуль 240 декодирования выполнен с возможностью декодировать один или более обработанных микшированных с понижением сигналов для получения одного или более декодированных сигналов. Кроме того, блок 250 объединения выполнен с возможностью формировать каждый из одного или более дополнительных сигналов посредством формирования разностного сигнала между одним из одного или более декодированных сигналов и одним из одного или более необработанных микшированных с понижением сигналов.
Варианты осуществления основаны на обнаружении того, что после микширования с понижением пространственных аудиообъектов полученные в результате микшированные с понижением сигналы могут быть (непреднамеренно или преднамеренно) модифицированы последующим модулем обработки. Посредством обеспечения генератора вспомогательной информации, который кодирует информацию о модификациях микшированных с понижением сигналов как вспомогательную информацию скрытого объекта, например, как скрытые объекты, такие эффекты могут либо быть удалены при воспроизведении пространственных аудиообъектов (в частности, когда модификации микшированных с понижением сигналов были непреднамеренными), либо может быть решено, до какой степени или до какой величины следует воспроизвести (преднамеренные) модификации микшированных с понижением сигналов при формировании аудиоканалов из воспроизведенных пространственных аудиообъектов.
В варианте осуществления на фиг. 2 модуль 240 декодирования формирует один или более уже декодированных сигналов на стороне кодера таким образом, что один или более декодированных сигналов может быть сравнен с одним или более необработанными микшированными с понижением сигналами для определения различия, вызванного кодированием, проводимым посредством модуля 120 обработки.
Фиг. 3 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с дополнительным вариантом осуществления. Каждый из одного или более необработанных микшированных с понижением сигналов может содержать множество первых сигнальных отсчетов, каждый из первых сигнальных отсчетов присвоен одному из множества моментов времени. Каждый из одного или более декодированных сигналов может содержать множество вторых сигнальных отсчетов, каждый из вторых сигнальных отсчетов присвоен одному из множества моментов времени.
Вариант осуществления на фиг. 3 отличается от варианта осуществления на фиг. 2 в том, что блок вычисления сигналов, кроме того, содержит блок 345 выравнивания по времени, выполненный с возможностью выравнивать по времени один из одного или более декодированных сигналов и один из одного или более необработанных микшированных с понижением сигналов таким образом, что один из первых сигнальных отсчетов упомянутого необработанного микшированного с понижением сигнала присвоен одному из вторых сигнальных отсчетов упомянутого декодированного сигнала, упомянутый первый сигнальный отсчет упомянутого необработанного микшированного с понижением сигнала и упомянутый второй сигнальный отсчет упомянутого декодированного сигнала присвоены одному и тому же моменту времени из множества моментов времени.
Другими словами, поскольку обработка посредством модуля 120 обработки и декодирование посредством модуля 240 декодирования занимают время, необработанные микшированные с понижением сигналы и декодированные микшированные с понижением сигналы должны быть соответствующим образом выровнены по времени для их сравнения и определения различия между ними.
Фиг. 4 иллюстрирует устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала в соответствии с другим вариантом осуществления. В частности, фиг. 4 иллюстрирует устройство для кодирования одного или более аудиообъектов посредством формирования информации дополнительных параметров, которая параметризует один или более дополнительных сигналов (например, один или более сигналов ошибки кодирования) посредством дополнительных параметров. Эти дополнительные параметры могут упоминаться как "скрытые объекты", поскольку на стороне декодера они могут быть скрыты от пользователя.
Устройство на фиг. 4 содержит микшер 110 (блок понижающего микширования), аудиокодер в качестве модуля 120 обработки, блок 130 вычисления сигналов и генератор 140 информации объектов (который также может упоминаться как блок оценки вспомогательной информации), блок 130 вычисления сигналов обозначен пунктирными линиями и содержит модуль 240 декодирования 240 ("аудиодекодер"), блок 345 выравнивания по времени и блок 250 объединения.
В варианте осуществления на фиг. 4 блок 250 объединения, например, может сформировать по меньшей мере одно различие, например, по меньшей мере один разностный сигнал, между по меньшей мере одним из (выровненных по времени) микшированных с понижением сигналов и по меньшей мере одним из (выровненных по времени) закодированных сигналов. Микшер 110 и блок 260 оценки вспомогательной информации могут содержаться в модуле кодера SAOC.
Перцепционные аудиокодеки производят сигнальные изменения микшированных с понижением сигналов, которые могут быть описаны посредством сигнала шума кодирования. Этот сигнал шума кодирования может вызвать заметные ухудшения сигнала при использовании гибкие возможностей воспроизведения на стороне декодирования (ISS5, ISS6). Шум кодирования может быть описан как скрытый объект, который не предназначен для воспроизведения на стороне декодирования. Он может быть параметризован аналогично сигналам объекта "реального" источника.
В частности, например, это может быть сделано следующим образом.
- Микшированные с понижением сигналы кодируются/декодируются посредством аудиокодека (или обрабатываются посредством другого алгоритма) для получения по меньшей мере одного декодированного сигнала (например, кодирование может быть проведено посредством модуля 120 обработки; например, декодирование может быть проведено посредством модуля 240 декодирования).
- Декодированные (выровненные по времени) микшированные с понижением сигналы затем вычитаются из (первоначальных) микшированных с понижением сигналов x1,..., xP, что дает в результате один или более разностных сигналов (являющихся комбинированными сигналами), которые представляют собой один или более сигналов q1,..., qP ошибки (шума) кодирования (обработки).
- Сигналы q1,..., qP ошибки (разностные сигналы) и параметры dq,1,..., dq,P микширования сигнала ошибки (которые устанавливаются равными 1 по умолчанию) обеспечиваются блоку 140 оценки вспомогательной информации (часть анализа объектов) кодера SAOC, что дает в результате информацию параметров дополнительного (скрытого) шумового объекта. Для MPEG SAOC отношения мощностей объектов (скрытых объектов и объектов аудиоисточника) друг относительно друга вычисляются как наиболее базовая форма такой вспомогательной информации. Дополнительный скрытый шумовой объект представляет вспомогательную информацию скрытого объекта.
- Информация параметров дополнительного шумового объекта добавляется к вспомогательной информации SAOC, которая была сформирована кодером SAOC из фактических объектов. (Вспомогательную информацию SAOC можно рассматривать как вспомогательную информацию аудиообъекта. Такая вспомогательная информация аудиообъекта, например, описывает характеристики двух или более пространственных аудиообъектов на основе двух или более пространственных аудиообъектов.)
Фиг. 5 иллюстрирует модуль 120 обработки устройства для кодирования в соответствии с вариантом осуществления. Модуль 120 обработки содержит модуль 122 акустического эффекта и модуль 121 кодирования. Модуль 122 акустического эффекта выполнен с возможностью применять акустический эффект по меньшей мере к одному из одного или более необработанных микшированных с понижением сигналов для получения одного или более акустически скорректированных микшированных с понижением сигналов. Кроме того, модуль 121 кодирования выполнен с возможностью кодировать один или более акустически скорректированных микшированных с понижением сигналов для получения одного или более обработанных сигналов.
Точки A и C сигналов могут подаваться в генератор 140 информации объектов. Таким образом, генератор информации объектов может определить воздействие модуля 122 акустического эффекта и модуля 121 кодирования на необработанный микшированный с понижением сигнал и может соответствующим образом сформировать дополнительную параметрическую информацию для представления этого воздействия.
Факультативно, сигнал в точке B также может подаваться в генератор 140 информации объектов. Посредством этого генератор 140 информации объектов может определить индивидуальное воздействие модуля 122 акустического эффекта на необработанный микшированный с понижением сигнал, принимая во внимание сигналы в точках A и B. Например, это может быть реализовано посредством формирования разностных сигналов между сигналами в точке A и сигналами в точке B.
Кроме того, посредством этого генератор 140 информации объектов может определить индивидуальное воздействие модуля 121 кодирования, принимая во внимание сигналы в точках B и C во внимание. Например, это может быть реализовано посредством декодирования сигналов в точке C и формирования разностных сигналов между этими декодированными сигналами и сигналами в точке B.
Фиг. 6 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с вариантом осуществления. Закодированный сигнал содержит параметрическую информацию аудиообъектов об одном или более аудиообъектах и дополнительную параметрическую информацию.
Устройство содержит интерфейс 210 для приема одного или более обработанных микшированных с понижением сигналов и для приема закодированного сигнала. Дополнительная параметрическая информация отражает обработку, выполненную над одним или более необработанными микшированными с понижением сигналами, для получения одного или более обработанных микшированных с понижением сигналов.
Кроме того, устройство содержит генератор 220 аудиосцены для формирования аудиосцены, содержащей множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения. Информация воспроизведения указывает размещение одного или более аудиообъектов в аудиосцене. Генератор 220 аудиосцены выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией, в аудиосцене.
Например, относительно пространственного кодирования аудиообъектов (SAOC) в области техники известно, каким образом размещение одного или более аудиообъектов может быть сделано на основе информации воспроизведения, когда один или более аудиообъектов закодированы посредством одного или более обработанных микшированных с понижением сигналов и параметрической информации аудиообъектов.
Однако, в соответствии с этим вариантом осуществления интерфейс, кроме того, выполнен с возможностью принимать дополнительную параметрическую информацию, которая отражает обработку, выполненную над одним или более необработанными микшированными с понижением сигналами, для получения одного или более обработанных микшированных с понижением сигналов. Таким образом, дополнительная параметрическая информация отражает обработку, например, проводимую устройством для кодирования в соответствии с фиг. 1.
Так, в конкретном варианте осуществления дополнительная параметрическая информация может зависеть от одного или более дополнительных сигналов, причем дополнительные сигналы указывают различие между одним из одного или более обработанных микшированных с понижением сигналов и одним из одного или более необработанных микшированных с понижением сигналов, причем один или более необработанных микшированных с понижением сигналов указывает понижающее микширование одного или более аудиообъектов, и причем один или более обработанных микшированных с понижением сигналов получаются в результате обработки одного или более необработанных микшированных с понижением сигналов.
Декодеры существующего уровня техники, которые принимают обработанные микшированные с понижением сигналы и закодированный сигнал, сформированный устройством для кодирования в соответствии с фиг. 1, не будут использовать дополнительную параметрическую информацию, содержащуюся в закодированном сигнале. Вместо этого они сформируют аудиосцену, используя только обработанные микшированные с понижением сигналы, параметрическую информацию аудиообъектов закодированного сигнала и информацию воспроизведения.
Однако, устройство для декодирования в соответствии с вариантом осуществления на фиг. 6 использует дополнительную параметрическую информацию закодированного сигнала. Это позволяет устройству для декодирования отменять или частично отменять обработку, проводимую модулем 120 обработки устройства для кодирования в соответствии с фиг. 1.
Дополнительная параметрическая информация, например, может указывать разностный сигнал между одним из необработанных микшированных с понижением сигналов на фиг. 1 и одним из обработанных микшированных с понижением сигналов на фиг. 1. Такой разностный сигнал можно рассматривать как выходной сигнал аудиосцены. Например, каждый из обработанных микшированных с понижением сигналов можно рассматривать как комбинацию одного из необработанных микшированных с понижением сигналов и разностного сигнала.
Генератор 220 аудиосцены тогда, например, может быть выполнен с возможностью ослаблять или устранять этот выходной сигнал в аудиосцене таким образом, что воспроизводится только необработанный микшированный с понижением сигнал, или таким образом, что воспроизводится необработанный микшированный с понижением сигнал и только частично воспроизводится разностный сигнал, например, в зависимости от информации воспроизведения.
Фиг. 7 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с другим вариантом осуществления. Генератор 220 аудиосцены содержит генератор 610 аудиообъектов и блок 620 воспроизведения.
Генератор 610 аудиообъектов выполнен с возможностью формировать один или более аудиообъектов на основе на одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов и дополнительной параметрической информации.
Блок 620 воспроизведения выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, параметрической информации аудиообъектов и информации воспроизведения.
В соответствии с вариантом осуществления блок 620 воспроизведения, например, может быть выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, дополнительной параметрической информации и информации воспроизведения, причем блок 620 воспроизведения может быть выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией в аудиосцене, в зависимости от одного или более коэффициентов воспроизведения, содержащихся в информации воспроизведения.
Фиг. 8 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с дополнительным вариантом осуществления. На фиг. 8 устройство, кроме того, содержит пользовательский интерфейс 710 для установки одного или более коэффициентов воспроизведения для регулирования, должен ли быть ослаблен или устранен выходной сигнал, представленный дополнительной параметрической информацией, в аудиосцене. Например, пользовательский интерфейс может дать пользователю возможность установить один из коэффициентов воспроизведения равным значению 0,5, указывающему, что выходной сигнал, представленный дополнительной параметрической информацией, частично подавляется. Или, например, пользовательский интерфейс может дать пользователю возможность установить один из коэффициентов воспроизведения равным значению 0, указывающему, что выходной сигнал, представленный дополнительной параметрической информацией, полностью подавляется. Или, например, пользовательский интерфейс может дать пользователю возможность установить один из коэффициентов воспроизведения равным значению 1, указывающему, что выходной сигнал, представленный дополнительной параметрической информацией, вообще не подавляется.
В соответствии с альтернативным вариантом осуществления генератор 220 аудиосцены может быть выполнен с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене, причем генератор аудиосцены может быть выполнен с возможностью не формировать один или более аудиообъектов, чтобы сформировать аудиосцену.
Фиг. 9 иллюстрирует устройство для декодирования закодированного сигнала в соответствии с другим вариантом осуществления. В варианте осуществления на фиг. 9 устройство, кроме того, содержит аудиодекодер 510 для декодирования одного или более обработанных микшированных с понижением сигналов (называемых "закодированными микшированными с понижением") для получения одного или более декодированных сигналов, причем генератор аудиосцены выполнен с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более декодированных сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения.
В устройстве на фиг. 9 устройство, кроме того, содержит аудиодекодер 510 для декодирования одного или более обработанных микшированных с понижением сигналов, которые подаются от интерфейса (не показан) в декодер 510. Полученные в результате декодированные сигналы затем подаются в генератор аудиообъектов (на фиг. 9 называемый разделителем 520 виртуальных объектов) генератора 220 аудиосцены, которым в варианте осуществления на фиг. 9 является декодер SAOC. Генератор 220 аудиосцены, кроме того, содержит блок 530 воспроизведения.
В частности, фиг. 9 иллюстрирует соответствующее декодирование/воспроизведение SAOC с подавлением скрытого объекта в соответствии с вариантом осуществления.
На фиг. 9 дополнительная вспомогательная информация, например, кодера на фиг. 4, может использоваться на стороне декодирования, например, декодером на фиг. 9, для подавления шума кодирования, и тем самым улучшается воспринимаемое качество воспроизведенной акустической сцены. В частности, это может быть сделано следующим образом:
1. Дополнительная информация скрытого объекта встроена в качестве дополнительного объекта в процессе разделения (виртуального) объекта. Ошибка кодирования рассматривается таким же образом, как "регулярный" объект аудиоисточника. Дополнительный объект может быть представлен как часть дополнительной параметрической информации.
2. Каждый из N аудиообъектов выделяется из микшированного сигнала посредством подавления N-1 оказывающих помехи сигналов источников и сигналов q1,..., qP ошибки кодирования. Это приводит к улучшенной оценке сигналов аудиообъектов по сравнению со случаем, когда на этом этапе рассматриваются только регулярные (не скрытые) аудиообъекты (объекты аудиоисточников). Следует отметить, что оценка ошибки кодирования может быть вычислена таким же образом.
3. Желаемая аудиосцена (также называемая "акустической целевой сценой") формируется посредством воспроизведения улучшенных оценок аудиоисточников посредством умножения оцененных сигналов аудиообъектов на соответствующие коэффициенты воспроизведения. Любые дополнительно вычисленные оцененные сигналы ошибки кодирования опускаются в процессе воспроизведения.
На практике в такой системе, как MPEG-D SAOC, второй и третий этап предпочтительно могут быть выполнены в одном эффективном процессе транскодирования.
В других вариантах осуществления концепция скрытого аудиообъекта также может быть использована для отмены или управления определенными аудиоэффектами на стороне декодера, которые применены к смеси сигналов на стороне кодера. Любой эффект, примененный к микшированным с понижением каналам, может вызвать ухудшение процесса разделения объектов в декодере. Отмена этого эффекта, например, отмена примененного аудиоэффекта из микшированных с понижением сигналов на стороне декодирования улучшает выполнение этапа разделения и, таким образом, улучшает воспринимаемое качество воспроизведенной акустической сцены. Для более непрерывной операции величиной эффекта, который появляется в воспроизведенном аудиовыходе, можно управлять посредством управления уровнем воспроизведения скрытого объекта в декодере SAOC. Воспроизведение скрытого объекта (который представлен дополнительной параметрической информацией) с нулевым уровнем дает в результате почти полное подавление примененного эффекта в воспроизведенном выходном сигнале. Воспроизведение скрытого объекта с низким уровнем приводит к низкому уровню примененного эффекта в воспроизведенном выходном сигнале.
В качестве примера, применение ревербератора к микшированным с понижением каналам может быть отменено посредством передачи параметризованной версии реверберации как скрытого объекта (эффектов) и применения воспроизведения с регулярным декодированием SAOC с нулевым уровнем воспроизведения для скрытого объекта (эффектов).
В частности, это может быть сделано следующим образом.
На стороне кодера аудиоэффект (например, ревербератор) применяется к микшированным с понижением сигналам x1,..., xP, что дает в результате модифицированный микшированный с понижением сигнал x'1,..., x'P.
Обработанные и выровненные по времени микшированные с понижением сигналы x'1,..., x'P вычитаются из необработанных (первоначальных) микшированных с понижением сигналов x1,..., xP, что дает в результате сигналы реверберации q1,..., qP (сигналы эффекта).
Сигналы q1,..., qP эффекта и сигнал параметры dq,1,..., dq,P микширования сигнала эффекта обеспечиваются части анализа объекта кодера SAOC, что дает в результате информацию параметров дополнительного объекта (скрытого) эффекта.
Параметризованное описание сигнала эффекта получается и добавляется как информация дополнительного скрытого объекта (эффектов) для вспомогательной информации, сформированной блоком оценки вспомогательной информации SAOC, что дает в результате передачу/сохранение обогащенной вспомогательной информации.
На стороне декодера информация скрытого объекта включена как дополнительный объект в процессе разделения (виртуальных) объектов. Скрытый объект (сигнал эффекта) рассматривается таким же образом, как "регулярный" объект аудиоисточника.
Каждый из N аудиообъектов выделяется из микшированного сигнала посредством подавления N-1 оказывающих помехи сигналов источников и сигналов q1,..., qP эффекта. Это приводит к улучшенной оценке первоначальных сигналов аудиообъектов по сравнению со случаем, когда на этом этапе рассматриваются только регулярные (не скрытые) объекты аудиоисточников. Кроме того, оценка сигнала реверберации может быть вычислена таким же образом.
Желаемая акустическая целевая сцена формируется посредством воспроизведения улучшенных оценок аудиоисточников посредством умножения оцененных сигналов аудиообъектов на соответствующие коэффициенты воспроизведения. Скрытый объект (сигнал реверберации) может быть почти полностью подавлен (посредством воспроизведения сигнала реверберации с нулевым уровнем) или при желании применен с определенным уровнем посредством соответствующей установки уровня воспроизведения скрытого объекта (эффектов).
В других вариантах осуществления генератор 520 аудиообъектов может передать информацию о скрытом объекте 
блоку 530 воспроизведения.
Таким образом, в таком варианте осуществления генератор 520 аудиообъектов использует вспомогательную информацию скрытого объекта в двух целях:
С одной стороны, генератор 520 аудиообъектов использует вспомогательную информацию скрытого объекта для восстановления первоначальных пространственных аудиообъектов . Такие первоначальные пространственные аудиообъекты тогда не отражают модификацию микшированных с понижением сигналов x1,..., xP, проведенную на стороне кодера, например, модулем аудиоэффектов.
С другой стороны, генератор 520 аудиообъектов передает вспомогательную информацию скрытого объекта, которая содержит информацию о (например, преднамеренной) модификации на стороне кодера микшированных с понижением сигналов x1,..., xP блоку 530 воспроизведения, например, как скрытый объект , который блок воспроизведения аудиообъектов может принять в качестве вспомогательной информации скрытого объекта.
Тогда блок 530 воспроизведения может выполнить управление, воссоздается ли принятый скрытый объект в аудиосцене. Кроме того, блок 530 воспроизведения может быть выполнен с возможностью управлять величиной аудиоэффекта в одном или более аудиоканалах в зависимости от уровня воспроизведения аудиоэффекта. Например, блок 530 воспроизведения может принять управляющую информацию, которая обеспечивает уровень воспроизведения аудиоэффекта.
Например, блок 530 воспроизведения может быть выполненным с возможностью управлять величиной таким образом, что уровень воспроизведения одного или более сигналов комбинации может быть сконфигурирован. Уровень воспроизведения может указывать, до какой степени блок 530 воспроизведения воссоздает сигналы комбинации, например, разностные сигналы, которые представляют акустический эффект, примененный на стороне кодера, обозначенный вспомогательной информацией скрытого объекта. Например, уровень воспроизведения 0 может указать, что сигналы комбинации полностью подавляются, в то время как уровень воспроизведения 1 может указать, что сигналы комбинации не подавляются вообще. Уровень воспроизведения s, где 0<s<1, может указать, что сигналы комбинации подавляются частично.
Далее объясняется обработка скрытого объекта для примера SAOC. Следует отметить, что информация о скрытых объектах может рассматриваться как дополнительная параметрическая информация.
Сначала вводятся термины и определения:
S - матрица из N первоначальных сигналов аудиообъектов (N строк) (представляющая описанные выше аудиообъекты)
X - матрица из P необработанных микшированных с понижением каналов (P строк) (представляющая описанные выше микшированные с понижением сигналы)
X' - матрица из P обработанных микшированных с понижением каналов (P строк) (представляющая описанные выше обработанные сигналы)
Y - матрица из M воспроизведенных выходных каналов (M строк); с использованием первоначальных сигналов источников
D матрица понижающего микширования с размером P×N
G матрица оценки источника с размером N×P
OLDi - энергия объекта si источника (одного из пространственных аудиообъектов), i=i,..., N; вычислена, как определено в SAOC
IOCi,j - взаимная корреляция между объектом si источника (одним из пространственных аудиообъектов) и объектом sj, i, j=1,..., N; вычисленная, как определено в SAOC
R - матрица воспроизведения с размером M×N
Оценка объекта источника s1,..., sN в SAOC без использования вспомогательной информации скрытого объекта (своего рода дополнительной параметрической информации), например, без рассмотрения скрытых объектов, может быть проведена следующим образом:
Это приводит к наилучшей оценке первоначального источника (пространственного аудиообъекта) s1,..., sN в смысле наименьшей минимальной квадратической ошибки только для случая, в котором который X равна X'.
Если X'≠X, например, вследствие кодирования/сжатия понижающего микширования или реверберации, примененной к понижающему микшированию, оценка не приводит к наилучшей оценке первоначальных источников.
Желаемая целевая сцена может быть вычислена как:
Теперь рассматривается оценка с использованием вспомогательной информации скрытого объекта (своего рода дополнительной параметрической информации), например, оценка рассматриваемого объекта источника s1,..., sN изменений понижающего микширования, как скрытые объекты в соответствии с вариантом осуществления.
Если изменения сигнала (кодирование, эффект реверберации) рассматриваются в процессе разделения, можете быть проведена улучшенная оценка первоначальных источников s1,..., sN.
В SAOC эти изменения в их самой простой форме могут быть интерпретированы как дополнительные скрытые объекты в понижающем микшировании и рассмотрены в процессе оценки источника.
Теперь рассматривается вычисление с использованием вспомогательной информации скрытого объекта, например, для примера одного скрытого объекта, который состоит из P каналов сигнала. С этой целью вводятся некоторые дополнительные термины и определения.
G’ - матрица оценки источника с размером (N+P)×P; рассматривающая первоначальные источники и скрытые объектов,
OLD'i - энергия первоначальных источников и скрытого объекта si, i = 1,..., (N+P); вычисленная, как определено в SAOC,
IOC'i,j - взаимная корреляция между всеми объектами (первоначальными источниками и скрытыми объектами) si и sj, i, j = 1,..., (N+P); вычисленная, как определено в SAOC.
Следует отметить: взаимная корреляция между первоначальными источниками и скрытыми объектами для большинства случаев может подразумеваться равной нулю и не обязательно должна вычисляться,
D' - матрица понижающего микширования с размером M×(N+P), описывающая коэффициенты микширования первоначальных источников и скрытых объектов, которые по умолчанию равны 1 для скрытых объектов (например, информация, относящаяся к понижающему микшированию),
R’ - матрица воспроизведения с размером M×(N+P).
Улучшенная оценка первоначальных источников s1,..., sN может быть вычислена как:
Это приводит к улучшенной оценке объектов первоначального источника s1,..., sN.
В отличие от обработки по умолчанию части сигнала из скрытых объектов подавляются в оценках 
первоначальных источников. Следует отметить, что это также приводит к оценке скрытого объекта.
Желаемая целевая сцена тогда может быть вычислена следующим образом:
В зависимости от сценария применения:
- скрытые объекты могут быть опущены из воспроизведения посредством установки соответствующих коэффициентов воспроизведения в R' равными нулю (это сценарий по умолчанию для подавления шума кодирования от кодирования микшированного с понижением сигнала), или
- воспроизведение с уровнем, не равным нулю.
Например, воспроизведение скрытого объекта с низким уровнем приводит к низкому уровню скрытого объекта (например, реверберации) в воспроизведенном выходном сигнале.
Фиг. 10 иллюстрирует систему в соответствии с вариантом осуществления. Система содержит устройство 810 для кодирования одного или более аудиообъектов в соответствии с одним из описанных выше вариантов осуществления и устройство 820 для декодирования закодированного сигнала в соответствии с одним из описанных выше вариантов осуществления.
Устройство 810 для кодирования выполнено с возможностью обеспечивать один или более обработанных микшированных с понижением сигналов и закодированный сигнал устройству 820 для декодирования, закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов. Устройство 820 для декодирования выполнено с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене.
Хотя некоторые аспекты были описаны в контексте устройства, понятно, что эти аспекты также представляют описание соответствующего способа, в котором блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или признака соответствующего устройства.
Разложенный сигнал изобретения может быть сохранен на цифровом запоминающем носителе или может быть передан в среде передачи, такой как среда беспроводной передачи или среда проводной передачи, такая как Интернет.
В зависимости от конкретных требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные на нем электронно-читаемые управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ.
Некоторые варианты осуществления в соответствии с изобретением содержат некратковременный носитель данных, имеющий электронно-читаемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой таким образом, что выполняется один из описанных здесь способов.
В целом варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, программный код выполнен с возможностью выполнять один из способов, когда компьютерный программный продукт исполняется на компьютере. Программный код программы, например, может быть сохранен на компьютерно-читаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных здесь способов, сохраненную на компьютерно-читаемом носителе.
Другими словами, вариант осуществления способа изобретения, таким образом, является компьютерной программой, имеющей программный код для выполнения одного из описанных здесь способов, когда компьютерная программа работает на компьютере.
Дополнительный вариант осуществления способов изобретения, таким образом, является носителем информации (или цифровым носителем, или компьютерно-читаемым носителем), содержащим записанную на нем компьютерную программу для выполнения одного из описанных здесь способов.
Дополнительный вариант осуществления способа изобретения, таким образом, является потоком данных или последовательностью сигналов, представляющими компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью быть переданными через соединение передачи данных, например, через Интернет или по радиоканалу.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью выполнять один из описанных здесь способов.
Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных здесь способов.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторой или всей функциональности описанных здесь способов. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы выполнить один из описанных здесь способов. В общем случае способы предпочтительно выполняются любым аппаратным устройством.
Описанные выше варианты осуществления являются лишь иллюстративными для принципов настоящего изобретения. Подразумевается, что модификации и изменения описанных здесь устройств и деталей будут очевидны для специалистов в области техники. Таким образом, изобретение ограничено только объемом последующей формулы изобретения, а не конкретными деталями, представленными здесь посредством описания и разъяснения вариантов осуществления.
Ссылки
(BCC) C. Faller и F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
(JSC) C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.
(SAOC1) J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK, AES Conference, Cambridge, UK, April 2007.
(SAOC2) J. Engdegárd, B. Resch, C. Falch, O. Helmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers и W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
(SAOC) ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTCI/SC29/WG1 I (MPEG) International Standard 23003-2.
(ISS1) M. Parvaix и L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
(ISS2) M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
(ISS3) A. Liutkus и J. Pinel и R. Badeau и L. Girin и G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
(ISS4) A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
(ISS5) Shuhua Zhang и Laurent Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
(ISS6) L. Girin и J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.
Claims (70)
1. Устройство для декодирования закодированного сигнала, причем устройство содержит:
интерфейс (210) для приема одного или более обработанных микшированных с понижением сигналов и для приема закодированного сигнала, причем один или более обработанных микшированных с понижением сигналов кодирует один или более необработанных микшированных с понижением сигналов, и причем закодированный сигнал содержит информацию аудиообъекта для одного или более аудиообъектов и дополнительную параметрическую информацию, причем дополнительная параметрическая информация параметризует один или более дополнительных сигналов, причем каждый из одного или более дополнительных сигналов получен в результате формирования, посредством устройства для кодирования, разностного сигнала между одним из одного или более первых декодированных сигналов и одним из одного или более необработанных сигналов, причем один или более первых декодированных сигналов получен в результате декодирования, посредством устройства для кодирования, одного или более обработанных сигналов,
аудиодекодер (510) для декодирования одного или более обработанных микшированных с понижением сигналов для получения одного или более вторых декодированных сигналов, и
генератор (220) аудиосцены для формирования аудиосцены, содержащей множество пространственных аудиосигналов, на основе одного или более вторых декодированных сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене, причем генератор (220) аудиосцены выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией, в аудиосцене.
2. Устройство по п. 1, в котором один или более необработанных микшированных с понижением сигналов указывают микширование с понижением одного или более аудиообъектов.
3. Устройство по п. 1,
в котором генератор (220) аудиосцены содержит генератор (520; 610) аудиообъектов и блок (530; 620) воспроизведения,
причем генератор (520; 610) аудиообъектов выполнен с возможностью формировать один или более аудиообъектов на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов и дополнительной параметрической информации, и
причем блок (530; 620) воспроизведения выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, параметрической информации аудиообъектов и информации воспроизведения.
4. Устройство по п. 3,
в котором блок (530; 620) воспроизведения выполнен с возможностью формировать множество пространственных аудиосигналов аудиосцены на основе одного или более аудиообъектов, дополнительной параметрической информации и информации воспроизведения, причем блок (530; 620) воспроизведения выполнен с возможностью ослаблять или устранять выходной сигнал, представленный дополнительной параметрической информацией, в аудиосцене в зависимости от одного или более коэффициентов воспроизведения, содержащихся в информации воспроизведения.
5. Устройство по п. 4, причем устройство дополнительно содержит пользовательский интерфейс для установки одного или более коэффициентов воспроизведения для регулирования, является ли выходной сигнал, представленный дополнительной параметрической информацией, ослабленным или устраненным в аудиосцене.
6. Устройство по п. 1, в котором генератор (220) аудиосцены выполнен с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более обработанных микшированных с понижением сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене, причем генератор (220) аудиосцены выполнен с возможностью не формировать один или более аудиообъектов для формирования аудиосцены.
7. Устройство по п. 1,
в котором генератор (220) аудиосцены выполнен с возможностью формировать аудиосцену с использованием формул
где 
- первая матрица, указывающая аудиосцену, причем 
содержит множество строк, указывающих множество пространственных аудиосигналов,
где R' - вторая матрица, указывающая информацию воспроизведения,
где 
- третья матрица,
где X' - четвертая матрица, указывающая один или более обработанных микшированных с понижением сигналов,
где G' - пятая матрица,
где D' - шестая матрицей, являющаяся матрицей понижающего микширования, и
где Е' - седьмая матрица, содержащая множество коэффициентов седьмой матрицы, причем коэффициенты седьмой матрицы определены формулой:
где E'i,j - один из коэффициентов седьмой матрицы в строке i и в столбце j, i - индекс строки, и j - индекс столбца,
где IOC'i,j указывает значение взаимной корреляции, и
где OLD'i указывает первое относящееся к энергии значение, и OLD'j указывает второе относящееся к энергии значение.
8. Устройство для кодирования одного или более аудиообъектов для получения закодированного сигнала, причем устройство содержит:
блок (110) понижающего микширования для понижающего микширования одного или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов,
модуль (120) обработки для обработки одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов,
причем модуль (120) обработки выполнен с возможностью обрабатывать один или более необработанных микшированных с понижением сигналов посредством кодирования одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов,
блок (130) вычисления сигналов для вычисления одного или более дополнительных сигналов, причем блок (130) вычисления сигналов содержит модуль (240) декодирования и блок (250) объединения,
причем модуль (240) декодирования выполнен с возможностью декодировать один или более обработанных микшированных с понижением сигналов для получения одного или более декодированных сигналов,
и причем блок (250) объединения выполнен с возможностью формировать каждый из одного или более дополнительных сигналов посредством формирования разностного сигнала между одним из одного или более декодированных сигналов и одним из одного или более необработанных микшированных с понижением сигналов,
генератор (140) информации объектов для формирования параметрической информации аудиообъектов для одного или более аудиообъектов и дополнительной параметрической информации для одного или более дополнительных сигналов, и
интерфейс (150) вывода для вывода закодированного сигнала, причем закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов.
9. Устройство по п. 8,
в котором каждый из одного или более необработанных микшированных с понижением сигналов содержит множество первых сигнальных отсчетов, каждый из первых сигнальных отсчетов присвоен одному из множества моментов времени,
причем каждый из одного или более декодированных сигналов содержит множество вторых сигнальных отсчетов, каждый из вторых сигнальных отсчетов присвоен одному из множества моментов времени, и
причем блок (130) вычисления сигналов, кроме того, содержит блок (345) выравнивания по времени, выполненный с возможностью выравнивать по времени один из одного или более декодированных сигналов и один из одного или более необработанных микшированных с понижением сигналов таким образом, что один из первых сигнальных отсчетов упомянутого необработанного микшированного с понижением сигнала присвоен одному из вторых сигнальных отсчетов упомянутого декодированного сигнала, упомянутый первый сигнальный отсчет упомянутого необработанного микшированного с понижением сигнала и упомянутый второй сигнальный отсчет упомянутого декодированного сигнала присвоены одному и тому же моменту времени из множества моментов времени.
10. Устройство по п. 8,
в котором значение энергии аудиообъекта присвоено каждому одному из одного или более аудиообъектов,
причем дополнительное значение энергии присвоено каждому одному из одного или более дополнительных сигналов,
причем генератор (140) информации объектов выполнен с возможностью определять опорное значение энергии таким образом, что опорное значение энергии больше или равно значению энергии аудиообъекта каждого из одного или более аудиообъектов, и таким образом, что опорное значение энергии больше или равно дополнительному значению энергии каждого из одного или более дополнительных сигналов,
причем генератор (140) информации объектов выполнен с возможностью определять параметрическую информацию аудиообъектов посредством определения различия уровней аудиообъектов для каждого аудиообъекта из одного или более аудиообъектов таким образом, что упомянутое различие уровней аудиообъектов указывает отношение значения энергии аудиообъекта упомянутого аудиообъекта к опорному значению энергии, или таким образом, что упомянутое различие уровней аудиообъектов указывает разность между опорным значением энергии и значением энергии аудиообъекта упомянутого аудиообъекта, и
причем генератор (140) информации объектов выполнен с возможностью определять дополнительную информацию объекта посредством определения дополнительного различия уровней объектов для каждого дополнительного сигнала из одного или более дополнительных сигналов таким образом, что упомянутое дополнительное различие уровней объектов указывает отношение дополнительного значения энергии упомянутого дополнительного сигнала к опорному значению энергии, или таким образом, что упомянутое дополнительное различие уровней объектов указывает разность между опорным значением энергии и дополнительным значением энергии упомянутого дополнительного сигнала.
11. Устройство по п. 8,
в котором модуль (120) обработки содержит модуль (122) акустического эффекта и модуль (121) кодирования,
причем модуль (122) акустического эффекта выполнен с возможностью применять акустический эффект по меньшей мере к одному из одного или более необработанных микшированных с понижением сигналов для получения одного или более акустически скорректированных микшированных с понижением сигналов, и
причем модуль (121) кодирования выполнен с возможностью кодировать один или более акустически скорректированных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов.
12. Система для кодирования одного или более аудиообъектов для получения закодированного сигнала и декодирования закодированного сигнала, содержащая:
устройство (810) по п. 8, и
устройство (820) по п. 1,
причем устройство (810) по п. 8 выполнено с возможностью обеспечивать один или более обработанных микшированных с понижением сигналов и закодированный сигнал устройству (820) по п. 1, причем закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов, и
причем устройство (820) по п. 1 выполнено с возможностью формировать аудиосцену, содержащую множество пространственных аудиосигналов, на основе параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене.
13. Способ для декодирования закодированного сигнала, причем способ содержит этапы, на которых:
принимают один или более обработанных микшированных с понижением сигналов и принимают закодированный сигнал, причем один или более обработанных микшированных с понижением сигналов кодирует один или более необработанных микшированных с понижением сигналов, и причем закодированный сигнал содержит информацию аудиообъекта для одного или более аудиообъектов и дополнительную параметрическую информацию, причем дополнительная параметрическая информация параметризует один или более дополнительных сигналов, причем каждый из одного или более дополнительных сигналов получен в результате формирования, посредством устройства для кодирования, разностного сигнала между одним из одного или более первых декодированных сигналов и одним из одного или более необработанных сигналов, причем один или более первых декодированных сигналов получен в результате декодирования, посредством устройства для кодирования, одного или более обработанных сигналов,
декодируют один или более обработанных микшированных с понижением сигналов для получения одного или более вторых декодированных сигналов, и
формируют аудиосцену, содержащую множество пространственных аудиосигналов, на основе одного или более вторых декодированных сигналов, параметрической информации аудиообъектов, дополнительной параметрической информации и информации воспроизведения, указывающей размещение одного или более аудиообъектов в аудиосцене,
причем формирование аудиосцены проводится посредством ослабления или устранения выходного сигнала, представленного дополнительной параметрической информацией в аудиосцене.
14. Способ кодирования одного или более аудиообъектов для получения закодированного сигнала, причем способ содержит этапы, на которых:
микшируют с понижением один или более аудиообъектов для получения одного или более необработанных микшированных с понижением сигналов,
обрабатывают один или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов, причем обработка одного или более необработанных микшированных с понижением сигналов проводится посредством кодирования одного или более необработанных микшированных с понижением сигналов для получения одного или более обработанных микшированных с понижением сигналов,
вычисляют один или более дополнительных сигналов посредством декодирования одного или более обработанных микшированных с понижением сигналов для получения одного или более декодированных сигналов и посредством формирования каждого из одного или более дополнительных сигналов посредством формирования разностного сигнала между одним из одного или более декодированных сигналов и одним из одного или более необработанных микшированных с понижением сигналов,
формируют параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов, и
выводят закодированный сигнал, причем закодированный сигнал содержит параметрическую информацию аудиообъектов для одного или более аудиообъектов и дополнительную параметрическую информацию для одного или более дополнительных сигналов.
15. Компьютерно-читаемый носитель, содержащий компьютерную программу для реализации способа по п. 13, когда она исполняется на компьютере или процессоре сигналов.
16. Компьютерно-читаемый носитель, содержащий компьютерную программу для реализации способа по п. 14, когда она исполняется на компьютере или процессоре сигналов.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20130152197 EP2757559A1 (en) | 2013-01-22 | 2013-01-22 | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
| EP13152197.3 | 2013-01-22 | ||
| PCT/EP2014/051046 WO2014114599A1 (en) | 2013-01-22 | 2014-01-20 | Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015135593A RU2015135593A (ru) | 2017-03-02 |
| RU2635244C2 true RU2635244C2 (ru) | 2017-11-09 |
Family
ID=47563307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015135593A RU2635244C2 (ru) | 2013-01-22 | 2014-01-20 | Устройство и способ для пространственного кодирования аудиообъекта с использованием скрытых объектов для воздействия на смесь сигналов |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US10482888B2 (ru) |
| EP (2) | EP2757559A1 (ru) |
| JP (1) | JP6277202B2 (ru) |
| KR (1) | KR101756190B1 (ru) |
| CN (1) | CN105122355B (ru) |
| BR (1) | BR112015017094B8 (ru) |
| CA (1) | CA2898801C (ru) |
| ES (1) | ES2691546T3 (ru) |
| MX (1) | MX348811B (ru) |
| RU (1) | RU2635244C2 (ru) |
| TR (1) | TR201815374T4 (ru) |
| WO (1) | WO2014114599A1 (ru) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2804176A1 (en) * | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
| JP6201043B2 (ja) | 2013-06-21 | 2017-09-20 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | エラー封じ込め中の切替音声符号化システムについての向上した信号フェードアウトのための装置及び方法 |
| JP6431225B1 (ja) * | 2018-03-05 | 2018-11-28 | 株式会社ユニモト | 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム |
| EP3550561A1 (en) * | 2018-04-06 | 2019-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2376726C2 (ru) * | 2005-03-04 | 2009-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для формирования закодированного стереосигнала аудиочасти или потока данных аудио |
| WO2010010565A2 (en) * | 2008-07-24 | 2010-01-28 | Nulens Ltd | Accommodating intraocular lens (aiol) capsules |
| WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
| RU2407227C2 (ru) * | 2006-07-07 | 2010-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Концепция для объединения множества параметрически кодированных аудиоисточников |
| EP2535892A1 (en) * | 2009-06-24 | 2012-12-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3811110B2 (ja) * | 2001-08-23 | 2006-08-16 | 日本電信電話株式会社 | ディジタル信号符号化方法、復号化方法、これらの装置、プログラム及び記録媒体 |
| US7200561B2 (en) * | 2001-08-23 | 2007-04-03 | Nippon Telegraph And Telephone Corporation | Digital signal coding and decoding methods and apparatuses and programs therefor |
| US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| US7653533B2 (en) * | 2005-10-24 | 2010-01-26 | Lg Electronics Inc. | Removing time delays in signal paths |
| JP5054035B2 (ja) * | 2006-02-07 | 2012-10-24 | エルジー エレクトロニクス インコーポレイティド | 符号化／復号化装置及び方法 |
| CN101379553B (zh) * | 2006-02-07 | 2012-02-29 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
| JP2009532712A (ja) * | 2006-03-30 | 2009-09-10 | エルジー エレクトロニクス インコーポレイティド | メディア信号処理方法及び装置 |
| WO2008039041A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| WO2008046530A2 (en) * | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
| JP5450085B2 (ja) * | 2006-12-07 | 2014-03-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
| KR20080082916A (ko) * | 2007-03-09 | 2008-09-12 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 이의 장치 |
| MX2010004220A (es) * | 2007-10-17 | 2010-06-11 | Fraunhofer Ges Forschung | Codificacion de audio usando mezcla descendente. |
| KR101614160B1 (ko) * | 2008-07-16 | 2016-04-20 | 한국전자통신연구원 | 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치 |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| JP5608660B2 (ja) * | 2008-10-10 | 2014-10-15 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | エネルギ保存型マルチチャネルオーディオ符号化 |
| WO2010105695A1 (en) | 2009-03-20 | 2010-09-23 | Nokia Corporation | Multi channel audio coding |
| ES2793958T3 (es) * | 2009-08-14 | 2020-11-17 | Dts Llc | Sistema para trasmitir adaptativamente objetos de audio |
| KR101569702B1 (ko) * | 2009-08-17 | 2015-11-17 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
| RU2607266C2 (ru) * | 2009-10-16 | 2017-01-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство, способ и компьютерная программа для формирования с использованием среднего значения параметров сигнала, подстроенных для обеспечения представления микшированного с повышением сигнала на базе представления микшированного с понижением сигнала и параметрической сторонней информации, связанной с представлением микшированного с понижением сигнала |
| KR101710113B1 (ko) * | 2009-10-23 | 2017-02-27 | 삼성전자주식회사 | 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법 |
| EP2346028A1 (en) * | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
| JP5582027B2 (ja) * | 2010-12-28 | 2014-09-03 | 富士通株式会社 | 符号器、符号化方法および符号化プログラム |
| TWI573131B (zh) * | 2011-03-16 | 2017-03-01 | Ｄｔｓ股份有限公司 | 用以編碼或解碼音訊聲軌之方法、音訊編碼處理器及音訊解碼處理器 |
| RU2571561C2 (ru) * | 2011-04-05 | 2015-12-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ кодирования, способ декодирования, кодер, декодер, программа и носитель записи |
| JP5949270B2 (ja) * | 2012-07-24 | 2016-07-06 | 富士通株式会社 | オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム |
| MX351193B (es) * | 2012-08-10 | 2017-10-04 | Fraunhofer Ges Forschung | Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos. |
-
2013
- 2013-01-22 EP EP20130152197 patent/EP2757559A1/en not_active Withdrawn
-
2014
- 2014-01-20 JP JP2015554118A patent/JP6277202B2/ja active Active
- 2014-01-20 CN CN201480005738.5A patent/CN105122355B/zh active Active
- 2014-01-20 KR KR1020157022002A patent/KR101756190B1/ko active IP Right Grant
- 2014-01-20 RU RU2015135593A patent/RU2635244C2/ru active
- 2014-01-20 BR BR112015017094A patent/BR112015017094B8/pt active IP Right Grant
- 2014-01-20 CA CA2898801A patent/CA2898801C/en active Active
- 2014-01-20 EP EP14700929.4A patent/EP2948946B1/en active Active
- 2014-01-20 MX MX2015009170A patent/MX348811B/es active IP Right Grant
- 2014-01-20 WO PCT/EP2014/051046 patent/WO2014114599A1/en active Application Filing
- 2014-01-20 ES ES14700929.4T patent/ES2691546T3/es active Active
- 2014-01-20 TR TR2018/15374T patent/TR201815374T4/tr unknown
-
2015
- 2015-07-14 US US14/760,857 patent/US10482888B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2376726C2 (ru) * | 2005-03-04 | 2009-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для формирования закодированного стереосигнала аудиочасти или потока данных аудио |
| RU2407227C2 (ru) * | 2006-07-07 | 2010-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Концепция для объединения множества параметрически кодированных аудиоисточников |
| WO2010010565A2 (en) * | 2008-07-24 | 2010-01-28 | Nulens Ltd | Accommodating intraocular lens (aiol) capsules |
| WO2010125228A1 (en) * | 2009-04-30 | 2010-11-04 | Nokia Corporation | Encoding of multiview audio signals |
| EP2535892A1 (en) * | 2009-06-24 | 2012-12-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2898801C (en) | 2018-11-06 |
| CA2898801A1 (en) | 2014-07-31 |
| RU2015135593A (ru) | 2017-03-02 |
| MX2015009170A (es) | 2015-11-09 |
| US10482888B2 (en) | 2019-11-19 |
| EP2757559A1 (en) | 2014-07-23 |
| CN105122355A (zh) | 2015-12-02 |
| BR112015017094B8 (pt) | 2022-09-13 |
| KR101756190B1 (ko) | 2017-07-26 |
| JP2016508617A (ja) | 2016-03-22 |
| EP2948946A1 (en) | 2015-12-02 |
| US20150348559A1 (en) | 2015-12-03 |
| EP2948946B1 (en) | 2018-07-18 |
| ES2691546T3 (es) | 2018-11-27 |
| CN105122355B (zh) | 2018-11-13 |
| BR112015017094B1 (pt) | 2022-02-22 |
| KR20150113016A (ko) | 2015-10-07 |
| JP6277202B2 (ja) | 2018-02-07 |
| BR112015017094A2 (ru) | 2017-08-15 |
| TR201815374T4 (tr) | 2018-11-21 |
| WO2014114599A1 (en) | 2014-07-31 |
| MX348811B (es) | 2017-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11875804B2 (en) | Decoder, encoder and method for informed loudness estimation employing by-pass audio object signals in object-based audio coding systems | |
| RU2393646C1 (ru) | Усовершенствованный способ для формирования сигнала при восстановлении многоканального аудио | |
| US9489962B2 (en) | Sound signal hybrid encoder, sound signal hybrid decoder, sound signal encoding method, and sound signal decoding method | |
| KR101798117B1 (ko) | 후방 호환성 다중 해상도 공간적 오디오 오브젝트 코딩을 위한 인코더, 디코더 및 방법 | |
| AU2016234987B2 (en) | Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases | |
| RU2628900C2 (ru) | Кодер, декодер, система и способ, использующие концепцию остатка для параметрического кодирования аудиобъектов | |
| RU2696952C2 (ru) | Аудиокодировщик и декодер | |
| RU2635244C2 (ru) | Устройство и способ для пространственного кодирования аудиообъекта с использованием скрытых объектов для воздействия на смесь сигналов |