RU2650026C2 - Устройство и способ для многоканального прямого-окружающего разложения для обработки звукового сигнала - Google Patents
Устройство и способ для многоканального прямого-окружающего разложения для обработки звукового сигнала Download PDFInfo
- Publication number
- RU2650026C2 RU2650026C2 RU2015141871A RU2015141871A RU2650026C2 RU 2650026 C2 RU2650026 C2 RU 2650026C2 RU 2015141871 A RU2015141871 A RU 2015141871A RU 2015141871 A RU2015141871 A RU 2015141871A RU 2650026 C2 RU2650026 C2 RU 2650026C2
- Authority
- RU
- Russia
- Prior art keywords
- signals
- spectral density
- power spectral
- information
- matrix
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 230000005236 sound signal Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims description 49
- 238000000354 decomposition reaction Methods 0.000 title abstract description 16
- 230000003595 spectral effect Effects 0.000 claims abstract description 128
- 239000011159 matrix material Substances 0.000 claims description 78
- 238000004590 computer program Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 4
- 230000000996 additive effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 10
- 238000012935 Averaging Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Abstract
Изобретение относится к средствам для обработки звукового сигнала. Технический результат заключается в повышении эффективности многоканального прямого-окружающего разложения звукового сигнала. Каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала. Устройство для генерирования одного или нескольких выходных звуковых канальных сигналов содержит модуль определения фильтра для определения фильтра путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности. Помимо этого устройство содержит процессор обработки сигналов для генерирования одного или нескольких выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах. Первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам. 3 н. и 12 з.п. ф-лы, 7 ил.
Description
Настоящее изобретение имеет отношение к устройству и способу для многоканального прямого-окружающего разложения для обработки звукового сигнала.
Обработка звуковых сигналов становится все более важной. В этой области важную роль играет разделение звуковых сигналов на прямые и окружающие звуковые сигналы.
В большинстве случаев акустические звуки состоят из смеси прямых звуков и окружающих (или рассеянных) звуков. Прямые звуки испускаются источниками звука, например музыкальным инструментом, вокалистом или громкоговорителем, и поступают по кратчайшему пути на приемник, например ушной канал слушателя или микрофон.
При прослушивании прямого звука, он воспринимается как поступающий со стороны источника звука. Характерными слуховыми ориентирами для локализации и для других пространственных характеристик звука являются интерауральная разница интенсивности, интерауральная временная разница и интерауральная когерентность. Прямые звуковые волны, вызывающие идентичные интерауральную разницу интенсивности и интерауральную временную разницу, воспринимаются как поступающие с одной и той же стороны. В отсутствие рассеянного звука сигналы, достигающие левого и правого уха или какого-либо другого множества датчиков, являются когерентными.
Окружающие звуки, в отличие от этого, испускаются многими разнесенными источниками звука или звукоотражающими барьерами, вносящими вклад в один и тот же окружающий звук. Когда звуковая волна достигает стены в комнате, часть ее отражается, и наложение всех отражений в комнате, реверберация, является показательным примером окружающего звука. Другими примерами являются звуки аудитории (например, аплодисменты), природные звуки (например, дождь), а также другие фоновые звуки (например, неразборчивый шум). Окружающие звуки воспринимаются как рассеянные, без определенного местоположения, и вызывают ощущение окутывания ("погружения в звук") у слушателя. При захвате окружающего звукового поля с использованием множества разнесенных датчиков, записанные сигналы являются, по меньшей мере, частично некогерентными.
Различные приложения редактирования и воспроизведения звука пользуются разложением звуковых сигналов на компоненты прямого сигнала и компоненты окружающего сигнала. Главная трудность такой обработки сигналов состоит в том, чтобы добиться высокой степени разделения при сохранении высокого качества звука для произвольного числа входных канальных сигналов и для всех возможных характеристик входных сигналов. Прямое-окружающее разложение (DAD - direct-ambient decomposition), т.е. разложение звуковых сигналов на компоненты прямых сигналов и компоненты окружающих сигналов, дает возможность раздельного воспроизведения или модификации компонентов сигнала, что, например, желательно для повышающего микширования звуковых сигналов.
Термин повышающее микширование относится к технологическому процессу создания сигнала с P каналами, если имеется входной сигнал с N каналами, где P>N. Его главным применением является воспроизведение звуковых сигналов с использованием установок объемного звучания, имеющих больше каналов, чем доступно во входном сигнале. Воспроизведение содержимого при помощи усовершенствованных алгоритмов обработки сигналов позволяет слушателю использовать все доступные каналы многоканальной установки воспроизведения звука. Такая обработка может раскладывать входной сигнал на значащие компоненты сигнала (например, на основании их воспринимаемой позиции в стереофоническом изображении, прямые звуки в противоположность окружающим звукам, отдельные инструменты) или на сигналы, в которых эти компоненты сигнала ослаблены или усилены.
Широко известны две концепции повышающего микширования.
1. Управляемое повышающее микширование: повышающее микширование с дополнительной информацией, направляющей технологический процесс повышающего микширования. Дополнительная информация может быть или «закодирована» определенным образом во входном сигнале или может храниться дополнительно.
2. Неуправляемое повышающее микширование: выходной сигнал получается исключительно из звукового входного сигнала, без какой-либо дополнительной информации.
Усовершенствованные способы повышающего микширования могут быть дополнительно классифицированы с учетом позиционирования прямых и окружающих сигналов. Это различие между подходом «прямой/окружающий» и «групповым» подходом. Основным компонентом методов на основе «прямой/окружающий» является выделение окружающего сигнала, который подается, например, в задние каналы или верхние каналы многоканальной установки объемного звучания. Воспроизведение окружения с использованием задних или верхних каналов создает впечатление окутывания («погружения в звук») у слушателя. Дополнительно, источники прямого звука могут быть распределены между фронтальными каналами согласно их воспринимаемой позиции в стереопанораме. В отличие от этого, «групповой» подход нацелен на позиционирование всех звуков (как прямого звука, так и окружающих звуков) вокруг слушателя с использованием всех доступных громкоговорителей.
Разложение звукового сигнала на прямые и окружающие сигналы также дает возможность раздельной модификации окружающих звуков или прямых звуков, например, масштабируя или фильтруя их. Одним вариантом использования является обработка записи музыкального исполнения, которое было захвачено со слишком большим количеством окружающего звука. Другим вариантом использования является звукопроизводство (например, для звукового сопровождения фильма или музыки), когда объединяются звуковые сигналы, захваченные в разных местах и вследствие этого имеющие разные характеристики окружающего звука.
В любом случае требования, предъявляемые к такой обработке сигнала, состоят в том, чтобы добиться высокой степени разделения при сохранении высокого качества звука для произвольного числа входных канальных сигналов и для всех возможных характеристик входных сигналов.
Различные подходы были предоставлены на предшествующем уровне техники для DAD или для ослабления или усиления либо компонентов прямого сигнала, либо компонентов окружающего сигнала, и кратко рассматриваются ниже.
Известные концепции имеют отношение к обработке речевых сигналов с целью удаления нежелательного фонового шума из записей с микрофона.
Способ для ослабления реверберации речевых записей, имеющих два входных канала описан в документе [1]. Компоненты реверберирующего сигнала уменьшаются путем ослабления компонентов некоррелированного (или рассеянного) сигнала во входном сигнале. Обработка реализуется в частотно-временной области таким образом, что сигналы участков полосы частот обрабатываются посредством способа спектрального взвешивания. Вещественные весовые коэффициенты вычисляются с использованием спектральных плотностей мощности (СПМ)
где X(m,k) и Y(m,k) обозначают представления в частотно-временной области для входных сигналов xt[n] и yt[n] во временной области, E{∙} является операцией математического ожидания, а 
является комплексно сопряженным с X.
Авторы первоисточника указывают на то, что допустимы разные функции спектрального взвешивания, которые пропорциональны 
, например, если используются веса, равные нормированной взаимно-корреляционной функции (или функции когерентности)
С учетом подобного обоснования, способ, описанный в документе [2], выделяет окружающий сигнал, используя спектральное взвешивание с весами, полученными исходя из нормированной взаимно-корреляционной функции, вычисленной в полосах частот, см. Формула (4) (или, в формулировке авторов первоисточника, «функции межканальной кратковременной когерентности»). Отличие от документа [1] состоит в том, что вместо ослабления компонентов рассеянного сигнала, ослабляются компоненты прямого сигнала с использованием спектральных весов, которые являются монотонной непрерывной функцией (1-ρ(m,k)).
Разложение для применения повышающего микширования входных сигналов, имеющих два канала, с использованием многоканальной винеровской фильтрации, было описано в документе [3]. Обработка производится в частотно-временной области. Входной сигнал моделируется как смесь окружающего сигнала и одного активного прямого источника (для каждой полосы частот), причем прямой сигнал в одном канале ограничивается до масштабированной копии компонента прямого сигнала во втором канале, т.е. амплитудного панорамирования. Коэффициент панорамирования и мощности прямого сигнала и окружающего сигнала оцениваются с использованием нормированной взаимной корреляции и мощностей входных сигналов в обоих каналах. Прямой выходной сигнал и окружающие выходные сигналы получаются из линейных комбинаций входных сигналов, с вещественными весовыми коэффициентами. Дополнительное последующее масштабирование применяется таким образом, что мощность выходных сигналов равна оцененным величинам.
Способ, описанный в документе [4], выделяет окружающий сигнал с помощью спектрального взвешивания, на основании оценки окружающей мощности. Окружающая мощность является оценкой на основании предположений, что компоненты прямого сигнала в обоих каналах полностью коррелированы, что окружающие канальные сигналы некоррелированы друг с другом и с прямыми сигналами, и что окружающие мощности в обоих каналах равны.
Способ для повышающего микширования стереофонических сигналов на основе Направленного Звукового Кодирования (DirAC - Directional Audio Coding) описан в документе [5]. DirAC нацелено на анализ и воспроизведение направления поступления, рассеянности и спектра звукового поля. Для повышающего микширования входных стереофонических сигналов моделируются безэховые записи в B-формате входных сигналов.
Способ для выделения некоррелированной реверберации из звукового стереофонического сигнала с использованием алгоритма адаптивной фильтрации, который нацелен на предсказание компонента прямого сигнала в одном канальном сигнале, используя другой канальный сигнал, посредством алгоритма минимальной среднеквадратичной ошибки (LMS - Least Mean Square), описан в документе [6]. Затем окружающие сигналы получаются путем вычитания оцененных прямых сигналов из входных сигналов. Обоснование этого подхода состоит в том, что предсказание работает только для коррелированных сигналов, и ошибка предсказания имеет сходство с некоррелированным сигналом. Существуют различные алгоритмы адаптивной фильтрации, основанные на принципе LMS, и допустимы, например, алгоритм LMS или нормированной LMS (NLMS - Normalized LMS).
Для разложения входных сигналов с более чем двумя каналами в документе [7] описан способ, в котором многоканальные сигналы сперва подвергаются понижающему микшированию, чтобы получить 2-канальный стереофонический сигнал, а затем применяется способ для обработки входных стереофонических сигналов, представленный в документе [3].
Для обработки монофонических сигналов, способ, описанный в документе [8], выделяет окружающий сигнал с помощью спектрального взвешивания, причем спектральные веса вычисляются с использованием выделения признаков и контролируемого обучения.
Другой способ для выделения окружающего сигнала из монофонических записей для применения повышающего микширования получает представление в частотно-временной области, исходя из разницы представления в частотно-временной области входного сигнала и его сжатой версии, предпочтительно вычисленной с помощью факторизации неотрицательной матрицы [9].
Способ для выделения и изменения компонентов реверберирующего сигнала в звуковом сигнале на основании оценки абсолютной величины передаточной функции реверберационной системы, в которой генерируется реверберирующий сигнал, описан в документе [10]. Оценка абсолютных величин представления в частотной области компонентов сигнала производится при помощи рекурсивной фильтрации и может быть модифицирована.
Задачей настоящего изобретения является предоставить улучшенные концепции для многоканального прямого-окружающего разложения для обработки звукового сигнала. Задача настоящего изобретения решается благодаря устройству по п. 1 формулы изобретения, способу по п. 14 формулы изобретения и компьютерной программе по п. 15 формулы изобретения.
Предоставляется устройство для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов. Каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала. Устройство содержит модуль определения фильтра для определения фильтра путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности. Помимо этого, устройство содержит процессор обработки сигналов для генерирования одного или нескольких выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах. Первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов. Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов. Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
Варианты осуществления предоставляют концепции для разложения входных звуковых сигналов на компоненты прямого сигнала и компоненты окружающего сигнала, которые могут быть применены для монтажа и воспроизведения звука. Главная трудность такой обработки сигналов состоит в том, чтобы добиться высокой степени разделения при сохранении высокого качества звука для произвольного числа входных канальных сигналов и для всех возможных характеристик входных сигналов. Предоставляемые концепции основываются на многоканальной обработке сигнала в частотно-временной области, которая приводит к условному оптимальному решению по среднеквадратической ошибке, и, например, с учетом ограничений по искажению оцененных полезных сигналов или по снижению остаточных помех.
Предоставляются варианты осуществления для разложения входных звуковых сигналов на компоненты прямых сигналов и компоненты окружающего сигнала. Кроме того, будет предоставлено получение фильтров для вычисления компонентов окружающих сигналов, и помимо этого описываются варианты осуществления для применений этих фильтров.
Некоторые варианты осуществления имеют отношение к неуправляемому повышающему микшированию согласно подходу прямой/ окружающий в отношении входных сигналов, имеющих более одного канала.
Что касается намеченных применений описываемого разложения, интерес представляет вычисление выходных сигналов, имеющих такое же число каналов, как и входной сигнал. Для такого применения варианты осуществления обеспечивают очень хорошие результаты с точки зрения разделения и качества звука, потому что можно справиться с входными сигналами, в которых прямые сигналы задерживаются по времени между входными каналами. В отличие от других концепций, например, концепций, предоставленных в документе [3], варианты осуществления не предполагают, что прямые звуки во входных сигналах панорамируются только за счет масштабирования (амплитудное панорамирование), но также и благодаря введению разностей по времени между прямыми сигналами в каждом канале.
Кроме того, варианты осуществления могут оперировать с входным сигналом, имеющим произвольное число каналов, в отличие от всех других концепций на предшествующем уровне техники (см. выше), которые могут обрабатывать только входные сигналы, имеющие один или два канала.
Другими преимуществами вариантов осуществления являются использование управляющих параметров, оценка окружающей матрицы СПМ и дополнительные модификации фильтра, что описано ниже.
Некоторые варианты осуществления обеспечивают единообразные окружающие звуки для всех входных звуковых объектов. Когда входные сигналы раскладываются на прямые и окружающие звуки, некоторые варианты осуществления адаптируют характеристики окружающего звука посредством надлежащей обработки звукового сигнала, а другие варианты осуществления заменяют компоненты окружающего сигнала при помощи искусственной реверберации и других искусственных окружающих звуков.
Согласно одному из вариантов осуществления, устройство может дополнительно содержать анализирующий банк фильтров, выполненный с возможностью преобразования двух или более входных звуковых канальных сигналов из временной области в частотно-временную область. Модуль определения фильтра может быть выполнен с возможностью определения фильтра путем оценки первой информации спектральной плотности мощности и второй информации спектральной плотности мощности в зависимости от входных звуковых канальных сигналов, представленных в частотно-временной области. Процессор обработки сигналов может быть выполнен с возможностью генерирования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, путем применения фильтра на двух или более входных звуковых канальных сигналах, представленных в частотно-временной области. Помимо этого, устройство может дополнительно содержать синтезирующий банк фильтров, выполненный с возможностью преобразования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, из частотно-временной области во временную область.
Помимо этого, предоставляется способ для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов. Каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала. Способ содержит этапы, на которых:
- Определяют фильтр путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности. И:
- Генерируют один или несколько выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах.
Первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов. Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов. Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
Помимо этого, предоставляется компьютерная программа для реализации вышеописанного способа при исполнении на компьютере или процессоре обработки сигналов.
В дальнейшем варианты осуществления настоящего изобретения описываются более подробно со ссылкой на чертежи, на которых:
Фиг. 1 иллюстрирует устройство для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов, согласно одному из вариантов осуществления,
Фиг. 2 иллюстрирует входные и выходные сигналы разложения 5-канальной записи классической музыки, с входными сигналами (левый столбец), окружающими выходными сигналами (средний столбец) и прямыми выходными сигналами (правый столбец), согласно одному из вариантов осуществления,
Фиг. 3 изображает общее представление разложения с использованием оценки окружающего сигнала и оценки прямого сигнала, согласно одному из вариантов осуществления,
Фиг. 4 демонстрирует общее представление разложения с использованием оценки прямого сигнала, согласно одному из вариантов осуществления,
Фиг. 5 иллюстрирует общее представление разложения с использованием оценки окружающего сигнала, согласно одному из вариантов осуществления,
Фиг. 6А иллюстрирует устройство согласно другому варианту осуществления, в котором устройство дополнительно содержит анализирующий банк фильтров и синтезирующий банк фильтров, и
Фиг. 6В изображает устройство согласно еще одному варианту осуществления, иллюстрируя выделение компонентов прямого сигнала, при этом блок АБФ представляет собой набор из N анализирующих банков фильтров (один для каждого канала), и при этом СБФ представляет собой набор синтезирующих банков фильтров.
Фиг. 1 иллюстрирует устройство для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов, согласно одному из вариантов осуществления. Каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала.
Устройство содержит модуль 110 определения фильтра для определения фильтра путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности.
Помимо этого устройство содержит процессор 120 обработки сигнала для генерирования одного или нескольких выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах.
Первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов.
Или, первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
Описываются варианты осуществления, предоставляющие концепции для разложения входных звуковых сигналов на компоненты прямых сигналов и компоненты окружающих сигналов, которые могут быть применены для монтажа и воспроизведения звука. Главная трудность такой обработки сигналов состоит в том, чтобы добиться высокой степени разделения при сохранении высокого качества звука для произвольного числа входных канальных сигналов и для всех возможных характеристик входных сигналов. Предоставляемые варианты осуществления основываются на многоканальной обработке сигнала в частотно-временной области и обеспечивают оптимальное решение по среднеквадратической ошибке, с учетом ограничений по искажению оцененных полезных сигналов или по снижению остаточных помех.
Сначала описываются идеи изобретения, на которых основываются варианты осуществления настоящего изобретения.
Предполагается, что принимаются N входных канальных сигналов yt[n]:
Например, N ≥ 2. Целью предоставляемых концепций является разложение входных канальных сигналов y1[n]... yN[n] ( = [yt[n]]T) на N компонентов прямых сигналов, обозначаемых dt[n] = [d1[n]... dN[n]]T и/или N компонентов окружающих сигналов, обозначаемых at[n] = [a1[n]... aN[n]]T. Обработка может быть применена для всех входных каналов, или каналы входных сигналов разбиваются на подмножества каналов, которые обрабатываются по отдельности.
Согласно вариантам осуществления, один или несколько компонентов d1[n],..., dN[n] прямых сигналов и/или один или несколько компонентов a1[n],..., aN[n] окружающих сигналов должны оцениваться, исходя из двух или более входных канальных сигналов y1[n],..., yN[n], чтобы получить одну или несколько оценок 
компонентов d1[n],..., dN[n] прямых сигналов и/или компонентов a1[n],..., aN[n] окружающих сигналов в качестве одного или нескольких выходных канальных сигналов.
Пример обеспечиваемых выходов некоторых вариантов осуществления изображен на Фиг. 2, для N = 5. Один или несколько выходных звуковых канальных сигналов 
(
) получаются путем оценки компонентов прямых сигналов и компонентов окружающих сигналов независимо, как показано на Фиг. 3. В качестве альтернативы, вычисляется оценка (
или 
) для одного из двух сигналов (либо dt[n] либо at[n]), и другой сигнал получается путем вычитания первого результата из входного сигнала. Фиг. 4 иллюстрирует обработку для оценки сначала компонентов прямого сигнала dt[n], и получения окружающих компонентов at[n] сигналов путем вычитания оценки прямых сигналов из входного сигнала. С аналогичным обоснованием, сначала может быть получена оценка компонентов окружающих сигналов, как проиллюстрировано в схеме на Фиг. 5.
Согласно вариантам осуществления, обработка может быть, например, выполнена в частотно-временной области. Представление в частотно-временной области входного звукового сигнала может быть, например, получено при помощи банка фильтров (анализирующего банка фильтров), например, оконного преобразования Фурье (STFT - Short-time Fourier transform).
Согласно варианту осуществления, проиллюстрированному на Фиг. 6А, анализирующий банк 605 фильтров преобразует входные звуковые канальные сигналы yt[n] из временной области в частотно-временную область. Помимо этого, на Фиг. 6А, синтезирующий банк 625 фильтров преобразует оценку компонентов 
прямых сигналов из частотно-временной области во временную область, чтобы получить выходные звуковые канальные сигналы 
В варианте осуществления на Фиг. 6А анализирующий банк 605 фильтров выполнен с возможностью преобразования двух или более входных звуковых канальных сигналов из временной области в частотно-временную область. Модуль 110 определения фильтра выполнен с возможностью определения фильтра путем оценки первой информации спектральной плотности мощности и второй информации спектральной плотности мощности в зависимости от входных звуковых канальных сигналов, представленных в частотно-временной области. Процессор 120 обработки сигналов выполнен с возможностью генерирования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, путем применения фильтра на двух или более входных звуковых канальных сигналах, представленных в частотно-временной области. Синтезирующий банк 625 фильтров выполнен с возможностью преобразования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, из частотно-временной области во временную область.
Представление в частотно-временной области содержит некоторое число сигналов участков полосы частот, которые меняются с течением времени. Смежные участки полосы частот в некоторых случаях могут быть линейно объединены в сигналы более широких участков полосы частот для того, чтобы снизить сложность вычислений. Каждый участок полосы частот входных сигналов обрабатывается отдельно, как подробно описано ниже. Выходные сигналы во временной области получаются путем применения обратной обработки банка фильтров, т.е. синтезирующего банка фильтров, соответственно. Предполагается, что все сигналы имеют нулевое среднее, сигналы в частотно-временной области могут быть смоделированы как комплексные случайные величины.
В дальнейшем приводятся определения и допущения.
Приведенные ниже определения используются во всем описании изобретенного способа: Представление в частотно-временной области многоканального входного сигнала с N каналами задается следующим образом
с временным индексом m и индексом k участка полосы частот, k = 1... K, и предполагается аддитивная смесь компонента d(m,k) прямого сигнала и компонента a(m,k) окружающего сигнала, т.е.
при
где Di(m,k) обозначает прямой компонент, а Ai(m,k) окружающий компонент, в i-м канале.
Цель прямого-окружающего разложения состоит в том, чтобы оценить d(m,k) и a(m,k). Выходные сигналы вычисляются с использованием матриц HD(m,k) или HA(m,k) фильтров, или обеих. Матрицы фильтров имеют размер N×N и являются комплекснозначными, или могут быть, в некоторых вариантах осуществления, например, вещественнозначными. Оценка N-канальных сигналов компонентов прямых сигналов и компонентов окружающих сигналов получается из следующего
где I является единичной матрицей размера N × N, или, как показано в Фиг. 5, в виде
соответственно. Здесь верхний индекс H обозначает сопряженное транспонирование матрицы или вектора. Матрица HD(m,k) фильтров используется для вычисления оценок для прямых сигналов 
Матрица HA(m,k) фильтров используется для вычисления оценок для окружающих сигналов 
.
В вышеизложенных Формулах (10)-(15), y(m,k) отражает два или более входных звуковых канальных сигнала. 
отражает оценку частей окружающих сигналов, и 
отражает оценку частей прямых сигналов входных звуковых канальных сигналов, соответственно. и/или , или один или несколько векторных компонентов и/или , могут быть одним или несколькими выходными звуковыми канальными сигналами.
Одна, некоторые или все Формулы (10), (11), (12), (13), (14) и (15) могут задействоваться процессором 120 обработки сигналов, изображенным на Фиг. 1 и Фиг. 6А, для применения фильтра, изображенного на Фиг. 1 и Фиг. 6А, на входных звуковых канальных сигналах. Фильтром, изображенным на Фиг. 1 и Фиг. 6А, может быть, например, HD(m,k), HA(m,k), 
, 
или 
В других вариантах осуществления, однако, фильтр, определенный модулем 110 определения фильтра, и задействованный процессором 120 обработки сигналов, может не быть матрицей, а может быть фильтром другого типа. Например, в других вариантах осуществления, фильтр может содержать один или несколько векторов, которые задают фильтр. В дополнительных вариантах осуществления фильтр может содержать множество коэффициентов, которые задают фильтр.
Фильтрующие матрицы вычисляются, исходя из оценок статистических характеристик сигналов, как описано ниже.
В частности, модуль 110 определения фильтра выполнен с возможностью определения фильтра путем оценки первой информации спектральной плотности мощности (СПМ) и второй информации СПМ.
Зададим:
где E{∙} является оператором математического ожидания, а обозначает комплексное сопряжение с X. Для i = j получается СПМ, а для i ≠ j получаются взаимные СПМ.
Ковариационными матрицами для y(m,k), d(m,k) и a(m,k) являются
Ковариационные матрицы Φy(m,k), Φd(m,k) и Φa(m,k) содержат оценки СПМ для всех каналов на главной диагонали, тогда как недиагональные элементы являются оценками взаимной СПМ соответственных канальных сигналов. Таким образом, каждая из матриц Φy(m,k), Φd(m,k) и Φa(m,k) представляет собой оценку информации спектральной плотности мощности.
В Формулах (17)-(19), Φy(m,k) отражает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам. Φd(m,k) отражает информацию спектральной плотности мощности по компонентам прямых сигналов двух или более входных звуковых канальных сигналов. Φa(m,k) отражает информацию спектральной плотности мощности по компонентам окружающих сигналов двух или более входных звуковых канальных сигналов.
Каждую из матриц Φy(m,k), Φd(m,k) и Φa(m,k) в Формулах (17), (18) и (19) можно рассматривать как информацию спектральной плотности мощности. Тем не менее, следует отметить, что, в других вариантах осуществления, первая и вторая информация спектральной плотности мощности не является матрицей, а может быть представлена в подходящем формате любого другого типа. Например, согласно вариантам осуществления, первая и/или вторая информация спектральной плотности мощности может быть представлена в виде одного или нескольких векторов. В дополнительных вариантах осуществления первая и/или вторая информация спектральной плотности мощности может быть представлена в виде множества коэффициентов.
Предполагается, что
• Di(m,k) и Ai(m,k) являются взаимно некоррелированными:
• Ai(m,k) и Aj(m,k) являются взаимно некоррелированными:
• Окружающая мощность равна во всех каналах:
Как следствие, считается, что
Как следствие Формулы (20), из этого следует, что если определяются две матрицы из матриц Φy(m,k), Φd(m,k) и Φa(m,k), то третья из этих матриц сразу же доступна. Как дальнейшее следствие, из этого следует, что достаточно определить только:
- информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам и информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов, или
- информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам и информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, или
- информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов и информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов,
потому что третья информация спектральной плотности мощности (которая не оценивалась) сразу же становится очевидной из взаимосвязи трех типов информации спектральной плотности мощности (например, по Формуле (20) или согласно любой другой новой формулировке взаимосвязи трех типов информации спектральной плотности мощности (СПМ полного входного сигнала, СПМ окружающих компонентов и СПМ прямых компонентов), когда упомянутые три типа информации СПМ не представлены в виде матриц, но когда они доступны в подходящем представлении другого типа, например, в виде одного или нескольких векторов, или, например, в виде множества коэффициентов, и т.д.
Чтобы проанализировать эффективность изобретенного способа, задаются следующие сигналы:
• Искажение прямого сигнала:
• Остаточный окружающий сигнал:
• Искажение окружающего сигнала:
• Остаточный прямой сигнал:
В дальнейшем, получение матриц фильтров описывается ниже в соответствии с Фиг. 4 и в соответствии с Фиг. 5. Для лучшей удобочитаемости отброшены индексы участков полосы частот и временные индексы.
Сначала описываются варианты осуществления для оценки компонентов прямых сигналов.
Обоснованием изобретенного способа является вычисление фильтров таким образом, чтобы остаточный окружающий сигнал ra сводился к минимуму при ограничении искажения qd прямого сигнала. Это приводит к задаче условной оптимизации
где 
является максимальным допустимым искажением прямого сигнала. Решение дается формулой
Фильтр для вычисления прямого выходного сигнала i-го канала равен
где ui является нулевым вектором длины N с 1 в i-й позиции. Параметр βi позволяет согласовать снижение остаточного окружающего сигнала и искажение окружающего сигнала. Для системы, изображенной на Фиг. 4, более низкие уровни остаточного окружения в прямом выходном сигнале приводят к более высоким уровням окружения в окружающих выходных сигналах. Меньшее искажение прямого сигнала приводит к большему ослаблению компонентов прямых сигналов в окружающих выходных сигналах. Зависящий от времени и частоты параметр βi может устанавливаться отдельно для каждого канала и может регулироваться при помощи входных сигналов или сигналов, соответственно полученных, как описано ниже.
Следует отметить, что аналогичное решение может быть получено посредством формульного выражения задачи условной оптимизации в виде
Когда Φd является матрицей первого ранга, отношение между и βi для i-го канального сигнала выводится в виде
где 
представляет собой СПМ прямого сигнала в i-м канале, а λ является многоканальным отношением прямой/окружающий (DAR - direct-to-ambient ratio)
где след квадратной матрицы A равняется сумме элементов на главной диагонали, 
.
Следует отметить, что утверждение, что Φd является матрицей первого ранга, является только допущением. Независимо от того, верно или нет в действительности это допущение, варианты осуществления настоящего изобретения задействуют вышеприведенные Формулы (26), (27) и (28) даже в тех ситуациях, когда в действительности точный результат для Φd таков, что Φd не является матрицей первого ранга. В таких ситуациях варианты осуществления настоящего изобретения тоже обеспечивают хорошие результаты, даже когда утверждение, что Φd является матрицей первого ранга, не соответствует действительности.
В дальнейшем описывается оценка компонентов окружающих сигналов.
Обоснованием изобретенного способа является вычисление фильтров таким образом, чтобы остаточный прямой сигнал rd сводился к минимуму при ограничении искажения qa прямого сигнала. Это приводит к задаче условной оптимизации
где 
является максимальным допустимым искажением окружающего сигнала. Решение дается формулой
Фильтр для вычисления окружающего выходного сигнала i-го канала равен
В дальнейшем в деталях предоставлены варианты осуществления, которые реализуют идеи настоящего изобретения.
Чтобы определить информацию спектральной плотности мощности, например, может непосредственно оцениваться матрица СПМ входных звуковых канальных сигналов Φy с помощью кратковременного скользящего усреднения или рекурсивного усреднения. Окружающая матрица Φa СПМ может, например, оцениваться, как описано ниже. Прямая матрица Φd СПМ тогда может быть, например, получена с использованием Формулы (20).
В дальнейшем, снова предполагается, что не более чем один прямой источник звука активен в каждый момент времени на каждом участке полосы частот (единственный прямой источник), и что, следовательно, Φd является матрицей первого ранга.
Следует отметить, что утверждения, что не более чем один прямой источник звука активен, и что Φd является матрицей первого ранга, являются только допущениями. Независимо от того, верны или нет в действительности эти допущения, варианты осуществления настоящего изобретения задействуют нижеприведенные формулы, в частности, Формулы (32) и (33) даже в ситуациях, когда в действительности активен больше, чем один прямой источник звука, и даже когда в действительности точный результат для Φd таков, что Φd не является матрицей первого ранга. В таких ситуациях варианты осуществления настоящего изобретения тоже обеспечивают хорошие результаты, даже когда утверждения, что не более чем один прямой источник звука активен, и что Φd является матрицей первого ранга, не соответствуют действительности.
Таким образом, при допущении, что не более чем один прямой источник звука активен, и что Φd является матрицей первого ранга, Формула (23) может быть записана в виде
Формула (33) предоставляет решение для задачи условной оптимизации Формулы (22).
В вышеприведенных Формулах (32) и (33), 
является обратной матрицей для Φa. Очевидно, что тоже отражает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
Чтобы определить HD(βi), должны быть определены и Φd. Когда доступна Φa, может быть немедленно определена. λ задается в соответствии с Формулами (27) и (28), и ее значение доступно, когда доступны и Φd. Помимо определения , Φd и λ, должно быть выбрано подходящее значение для βi.
Помимо этого, Формула (33) может быть переформулирована (см. Формулу (20)) таким образом, что:
и, следовательно, таким образом, что должны быть определены только информация Φy СПМ по входным звуковым канальным сигналам и информация Φd СПМ по частям прямых сигналов входных звуковых канальных сигналов.
Помимо этого, Формула (33) может быть переформулирована (см. Формулу (20)) таким образом, что:
и, следовательно, таким образом, что должны быть определены только информация 
СПМ по частям окружающих сигналов входных звуковых канальных сигналов и информация Φd СПМ по частям прямых сигналов входных звуковых канальных сигналов.
Кроме того, Формула (33) может быть переформулирована таким образом, что:
и, следовательно, таким образом, что определяется HA(βi).
Формула (33c) предоставляет решение для задачи условной оптимизации Формулы (29).
Аналогично, Формулы (33a) и (33b) могут быть переформулированы в виде:
или в виде:
Следует отметить, что благодаря определению HD(βi) немедленно доступен фильтр HA(βi) в виде: 
.
Кроме того, следует отметить, что, благодаря определению HA(βi), немедленно доступен фильтр HD(βi) в виде: 
Как указано выше, чтобы определить HD(βi), например, в соответствии с Формулой (33), могут быть определены Φy и Φa:
Матрица СПМ звуковых сигналов Φa(m,k) может быть, например, оценена непосредственно, например, при помощи рекурсивного усреднения
где α является коэффициентом фильтра, который определяет время интеграции, или
например, при помощи кратковременного скользящего взвешенного усреднения
где L представляет собой, например, количество последних значений, используемых для вычисления СПМ, а b0 … bL являются коэффициентами фильтра, которые находятся, например, в диапазоне [0 1] (например, 0 ≤ коэффициент фильтра ≤ 1), или
например, при помощи кратковременного скользящего усреднения, в соответствии с Уравнением (34b), но при 
для всех i = 0 … L.
Далее описывается оценка матрицы Φa окружающей СПМ в соответствии с вариантами осуществления.
Матрица Φa окружающей СПМ задается следующим образом
где 
является единичной матрицей размером N × N. 
является, например, числом.
Одно из решений в соответствии с вариантом осуществления, например, получается с использованием постоянного значения, при помощи Формулы (21) и полагая 
равным вещественной положительной константе ε. Преимущество этого подхода состоит в том, что вычислительная сложность незначительна.
В вариантах осуществления, модуль 110 определения фильтра выполнен с возможностью определения в зависимости от двух или более входных звуковых канальных сигналов.
Вариантом с очень низкой вычислительной сложностью, в соответствии с одним из вариантов осуществления, является использование доли входной мощности и установление на среднее значение или минимальное значение входной СПМ или ее доли, например
где параметр g регулирует количество окружающей мощности, и 0<g<1.
Согласно дополнительному варианту осуществления, оценка проводится на основании среднего арифметического. С учетом допущения, которое приводит к Формуле (20) и Формуле (21), можно продемонстрировать, что СПМ может быть вычислена с помощью
В то время как tr{Φy} может быть непосредственно вычислен при помощи, например, рекурсивного интегрирования по Формуле (34a), или, например, кратковременного скользящего взвешенного усреднения по Формуле (34b), tr{Φd} оценивается как
В качестве альтернативы, СПМ 
может быть вычислена для N > 2 посредством выбора двух входных канальных сигналов и оценки только для одной пары сигнальных каналов. Более точные результаты получаются при применении этой процедуры более чем к одной паре входных канальных сигналов и объединении результатов, например, путем усреднения полных оценок. Подмножества могут выбираться, воспользовавшись каналами, заведомо имеющих аналогичную окружающую мощность, например, оценивая окружающую мощность отдельно во всех тыловых каналах и всех фронтальных каналах записи в формате 5.1.
Помимо этого, следует отметить, что из Формул (20) и (35) следует, что
Согласно некоторым вариантам осуществления, Φd определяется путем определения (например, согласно Формуле (35) или Формуле (36) или согласно Формулам (37)-(40)) и с использованием Формулы (35a), чтобы получить информацию спектральной плотности мощности по частям окружающих сигналов входных звуковых канальных сигналов. Затем может быть определен HD(βi), например, используя Формулу (33a).
В дальнейшем рассматривается выбор для параметра βi.
βi является параметром согласования. Параметр βi согласования представляет собой число.
В некоторых вариантах осуществления, определяется только один параметр βi согласования, который действителен для всех входных звуковых канальных сигналов, и тогда этот параметр согласования рассматривается как информация согласования входных звуковых канальных сигналов.
В других вариантах осуществления, один параметр βi согласования определяется для каждого из двух или более входных звуковых канальных сигналов, и тогда эти два или более параметры согласования входных звуковых канальных сигналов вместе формируют информацию согласования.
В дополнительных вариантах осуществления, информация согласования может не представляться в виде параметра, а может быть представлена в подходящем формате иного типа.
Как отмечалось выше, параметр βi позволяет согласовать снижение окружающего сигнала и искажение прямого сигнала. Он может выбираться либо постоянным, либо зависящим от сигнала, как показано на Фиг. 6В.
Фиг. 6b иллюстрирует устройство согласно дополнительному варианту осуществления. Устройство содержит анализирующий банк 605 фильтров для преобразования входных звуковых канальных сигналов yt[n] из временной области в частотно-временную область. Помимо этого устройство содержит синтезирующий банк 625 фильтров для преобразования одного или нескольких выходных звуковых канальных сигналов (например, оцененных компонентов 
прямых сигналов входных звуковых канальных сигналов) из частотно-временной области во временную область.
Множество из K модулей 1111, …, 11K1 определения бета-параметра («вычисление Бета-параметра») определяют параметры βi. Помимо этого, множество из K модулей 1112, …, 11K2 вычисления субфильтров определяют субфильтры 
. Множество модулей 1111, …, 11K1 определения бета-параметра и множество модулей 1112, …, 11K2 вычисления субфильтров вместе формируют модуль 110 определения фильтра, изображенный на Фиг. 1 и Фиг. 6А, согласно конкретному варианту осуществления. Множество субфильтров вместе формируют фильтр, изображенный на Фиг. 1 и Фиг. 6А, согласно конкретному варианту осуществления.
Помимо этого, Фиг. 6В иллюстрирует множество субустройств 121, …, 12K обработки сигналов, причем каждое субустройство 121, …, 12K обработки сигнала выполнен с возможностью применения одного из субфильтров на одном из входных звуковых канальных сигналов для получения одного из выходных звуковых канальных сигналов. Множество субустройств 121, …, 12K обработки сигналов вместе формируют процессор обработки сигналов, изображенный на Фиг. 1 и Фиг. 6А, согласно конкретному варианту осуществления.
В дальнейшем описываются различные сценарии использования регулирования параметра βi посредством анализа сигнала.
Сначала рассматриваются сигналы с переходами (зонами резкого изменения характеристик).
Согласно одному из вариантов осуществления, модуль 110 определения фильтра выполнен с возможностью определения информации (βi, βj) согласования в зависимости от того, присутствует ли переход, по меньшей мере, в одном из двух или более входных звуковых канальных сигналов.
Оценка входной матрицы СПМ лучше всего работает для стационарного сигнала. С другой стороны, разложение входного сигнала с переходами может привести к утечке компонента переходного сигнала в окружающий выходной сигнал. Регулирование βi посредством анализа сигнала на предмет степени нестационарности или вероятности присутствия перехода, таким образом, чтобы βi был меньше, когда сигнал содержит переходы, и больше в устойчивых частях, приводит к более единообразным выходным сигналам при применении фильтров HD(βi). Регулирование βi посредством анализа сигнала на предмет степени нестационарности или вероятности присутствия перехода, таким образом, чтобы βi был больше, когда сигнал содержит переходы, и меньше в устойчивых частях, приводит к более единообразным выходным сигналам при применении фильтров HA(βi).
Далее рассматриваются мешающие окружающие сигналы.
В одном из вариантов осуществления, модуль 110 определения фильтра выполнен с возможностью определения информации (βi, βj) согласования в зависимости от присутствия аддитивного шума, по меньшей мере, в одном сигнальном канале, через который передается один из двух или более входных звуковых канальных сигналов.
Предлагаемый способ раскладывает входные сигналы независимо от характера компонентов окружающего сигнала. Когда входные сигналы были переданы по зашумленным сигнальным каналам, целесообразно оценить вероятность присутствия мешающего аддитивного шума и регулировать βi таким образом, чтобы выходное DAR (отношение прямой/окружающий) увеличивалось.
Далее описывается регулирование интенсивности выходных сигналов.
Для того чтобы регулировать интенсивность выходных сигналов, βi может устанавливаться отдельно для i-го канала. Фильтры для вычисления окружающего выходного сигнала i-го канала задаются Формулой (31).
Для любых двух каналов, βi может быть вычислен, давая такой βi, чтобы СПМ остаточных окружающих сигналов ra,i и ra,j на i-ом и j-ом выходном канале были равны, т.е.,
или
В качестве альтернативы, βi может быть вычислен таким образом, чтобы СПМ выходных окружающих сигналов 
и 
были равны для всех пар i и j.
Далее рассматривается использование информации панорамирования.
Для случая двух входных каналов, информация панорамирования представляет в количественной форме разницу интенсивности между обоими каналами на каждом участке полосы частот. Информация панорамирования может применяться для регулирования βi, чтобы регулировать воспринимаемый диапазон выходных сигналов.
В дальнейшем рассматривается коррекция выходных окружающих канальных сигналов.
Описанная обработка не гарантирует, что все выходные окружающие канальные сигналы имеют равные мощности в участке полосы частот. Чтобы гарантировать, что все выходные окружающие канальные сигналы имеют равные мощности в участке полосы частот, фильтры модифицируются как описано в дальнейшем для варианта осуществления с использованием фильтров HD, который описан выше. Ковариационная матрица окружающего выходного сигнала (содержащая автоматические СПМ каждого канала на главной диагонали) может быть получена следующим образом
Для того чтобы гарантировать, что СПМ всех выходных окружающих каналов равны, фильтры HD заменяются на 
:
где G является диагональной матрицей, элементы которой на главной диагонали представляют собой
Для варианта осуществления с использованием фильтров HA, который описан выше, ковариационная матрица окружающего выходного сигнала (содержащая автоматические СПМ каждого канала на главной диагонали) может быть получена следующим образом
Хотя некоторые аспекты были описаны в контексте устройства, понятно, что эти аспекты также отражают описание соответствующего способа, при этом блок или устройство соответствуют этапу способа или функциональной характеристике этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также отражают и описание соответствующего блока или элемента или функциональную характеристику соответствующего устройства.
Разложенный сигнал согласно изобретению может быть сохранен на цифровой среде хранения или может быть передан по передающей среде, например, беспроводной передающей среде или проводной передающей среде, такой как сеть Интернет.
В зависимости от определенных требований реализации, варианты осуществления настоящего изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с использованием цифровой среды хранения, например гибкого диска, DVD, CD, ПЗУ, ППЗУ, СППЗУ, ЭСППЗУ или запоминающего устройства с групповой перезаписью, с сохраненными на ней электронно-считываемыми управляющими сигналами, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой так, что выполняется соответственный способ.
Некоторые варианты осуществления согласно настоящему изобретению содержат долговременный носитель данных с электронно-считываемыми управляющими сигналами, которые способны взаимодействовать с программируемой компьютерной системой так, что выполняется один из способов, описанных в данном документе.
В большинстве случаев варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с программным кодом, причем программный код используется для выполнения одного из способов, при запуске компьютерного программного продукта на компьютере. Программный код может, например, храниться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в данном документе, хранящуюся на машиночитаемом носителе.
Другими словами, тем самым, одним из вариантов осуществления способа согласно изобретению является компьютерная программа с программным кодом для выполнения одного из способов, описанных в данном документе, при запуске компьютерной программы на компьютере.
Тем самым, дополнительным вариантом осуществления согласно изобретению является носитель данных (или цифровая среда хранения или машиночитаемая среда), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в данном документе.
Тем самым, дополнительным вариантом осуществления согласно изобретению является поток данных или последовательность сигналов, представляющие компьютерную программу для выполнения одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, могут быть сформированы с возможностью передачи через соединение для обмена данными, например через сеть Интернет.
Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, выполненное с возможностью или приспособленное для выполнения одного из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер с установленной на нем компьютерной программой для выполнения одного из способов, описанных в данном документе.
В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, для того чтобы выполнить один из способов, описанных в данном документе. В большинстве случаев предпочтительно, чтобы способы выполнялись каким-либо аппаратным устройством.
Описанные выше варианты осуществления служат лишь для иллюстрации принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и деталей, описанных в данном документе, будут очевидными для специалистов в данной области техники. Намерение, соответственно, состоит в том, чтобы ограничиваться только объемом приведенной ниже патентной формулы, а не конкретными деталями, представленными посредством описания и объяснения вариантов осуществления в данном документе.
ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ДОКУМЕНТОВ
[1] J.B. Allen, D.A. Berkeley, and J. Blauert, "Multimicrophone signal-processing technique to remove room reverberation from speech signals", журнал Американского акустического общества, том 62, 1977.
[2] C. Avendano and J.-M. Jot, "A frequency-domain approach to multi-channel upmix”, журнал Общества звукоинженеров, том 52, 2004.
[3] C. Faller, "Multiple-loudspeaker playback of stereo signals", журнал Общества звукоинженеров, том 54, 2006.
[4] J. Merimaa, M. Goodwin, and J.-M. Jot, "Correlation-based ambience extraction from stereo recordings”, материалы 123-й конвенции AES, 2007.
[5] Ville Pulkki, "Directional audio coding in spatial sound reproduction and stereo upmixing", материалы 28-й международной конференции AES, 2006.
[6] J. Usher and J. Benesty, "Enhancement of spatial sound quality: A new reverberation-extraction audio upmixer", протоколы IEEE по обработке звука, речи и языка, том 15, стр. 2141-2150, 2007.
[7] A. Walther and C. Faller, "Direct-ambient decomposition and upmix of surround sound signals", материалы WASPAA (Workshop on Applications of Signal Processing to Audio and Acoustics - семинар по применениям обработки сигналов к звуку и акустике) IEEE, 2011.
[8] C. Uhle, J. Herre, S. Geyersberger, F. Ridderbusch, A. Walter; and O. Moser, "Apparatus and method for extracting an ambient signal in an: apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program", заявка на патент США 2009/0080666, 2009.
[9] C. Uhle, J. Herre, A. Walther, O. Hellmuth, and C. Janssen, "Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program", заявка на патент США 2010/0030563, 2010.
[10] G. Soulodre, "System for extracting and changing the reverberant content of an audio input signal", Патент США 8,036,767, дата издания описания изобретения к патенту: 11 октября, 2011.
Claims (75)
1. Устройство для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов, причем каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала, при этом устройство содержит:
модуль (110) определения фильтра для определения фильтра путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности, и
процессор (120) обработки сигналов для генерирования одного или нескольких выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах,
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов, или
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, или
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
2. Устройство по п. 1,
в котором устройство дополнительно содержит анализирующий банк (605) фильтров для преобразования двух или более входных звуковых канальных сигналов из временной области в частотно-временную область,
при этом модуль (110) определения фильтра выполнен с возможностью определения фильтра путем оценки первой информации спектральной плотности мощности и второй информации спектральной плотности мощности в зависимости от входных звуковых канальных сигналов, представленных в частотно-временной области,
при этом процессор (120) обработки сигналов выполнен с возможностью генерирования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, путем применения фильтра на двух или более входных звуковых канальных сигналах, представленных в частотно-временной области, и
при этом устройство дополнительно содержит синтезирующий банк (625) фильтров для преобразования одного или нескольких выходных звуковых канальных сигналов, представленных в частотно-временной области, из частотно-временной области во временную область.
3. Устройство по п. 1, в котором модуль (110) определения фильтра выполнен с возможностью определения фильтра путем оценки первой информации спектральной плотности мощности, оценки второй информации спектральной плотности мощности и определения информации (β i , β j ) канала в зависимости, по меньшей мере, от одного из двух или более входных звуковых канальных сигналов.
4. Устройство по п. 3, в котором модуль (110) определения фильтра выполнен с возможностью определения информации (β i , β j ) канала в зависимости от того, присутствует ли переход, указывающий на резкое изменение характеристик сигнала, по меньшей мере, в одном из двух или более входных звуковых канальных сигналов.
5. Устройство по п. 3, в котором модуль (110) определения фильтра выполнен с возможностью определения информации (β i , β j ) канала в зависимости от присутствия аддитивного шума, по меньшей мере, в одном сигнальном канале, через который передается один из двух или более входных звуковых канальных сигналов.
6. Устройство по п. 3,
в котором модуль (110) определения фильтра выполнен с возможностью определения информации спектральной плотности мощности по двум или более входным звуковым канальным сигналам в зависимости от первой матрицы (Φy), причем первая матрица (Φy) содержит оценку спектральной плотности мощности для каждого канального сигнала из двух или более входных звуковых канальных сигналов на главной диагонали первой матрицы (Φy), и выполнен с возможностью определения информации спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов в зависимости от второй матрицы (Φa) или в зависимости от обратной матрицы 
для второй матрицы (Φa), причем вторая матрица (Φa) содержит оценку спектральной плотности мощности для частей окружающих сигналов каждого канального сигнала из двух или более входных звуковых канальных сигналов на главной диагонали второй матрицы (Φa), или
в котором модуль (110) определения фильтра выполнен с возможностью определения информации спектральной плотности мощности по двум или более входным звуковым канальным сигналам в зависимости от первой матрицы (Φy) и выполнен с возможностью определения информации спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов в зависимости от третьей матрицы (Φd) или в зависимости от обратной матрицы 
для третьей матрицы (Φd), причем третья матрица (Φd) содержит оценку спектральной плотности мощности для прямых частей сигналов каждого канального сигнала из двух или более входных звуковых канальных сигналов на главной диагонали третьей матрицы (Φd), или
в котором модуль (110) определения фильтра выполнен с возможностью определения информации спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов в зависимости от второй матрицы (Φa) или в зависимости от обратной матрицы для второй матрицы (Φa) и выполнен с возможностью определения информации спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов в зависимости от третьей матрицы (Φd) или в зависимости от обратной матрицы для третьей матрицы (Φd).
7. Устройство по п. 6,
в котором модуль (110) определения фильтра выполнен с возможностью определения первой матрицы (Φy), чтобы определить информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, и выполнен с возможностью определения второй матрицы (Φa) или обратной матрицы для второй матрицы (Φa), чтобы определить информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов, или
в котором модуль (110) определения фильтра выполнен с возможностью определения первой матрицы (Φy), чтобы определить информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, и выполнен с возможностью определения третьей матрицы (Φd) или обратной матрицы для третьей матрицы (Φd), чтобы определить информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, или
в котором модуль (110) определения фильтра выполнен с возможностью определения второй матрицы (Φa) или обратной матрицы для второй матрицы (Φa), чтобы определить информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов, и выполнен с возможностью определения третьей матрицы (Φd) или обратной матрицы для третьей матрицы (Φd), чтобы определить информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
8. Устройство по п. 6,
в котором модуль (110) определения фильтра выполнен с возможностью определения фильтра H D (β i ) по формуле
или по формуле
или по формуле
в котором модуль (110) определения фильтра выполнен с возможностью определения фильтра H A (β i ) по формуле
или по формуле
или по формуле
где Φy является первой матрицей,
где Φa является второй матрицей,
где 
является обратной матрицей для второй матрицы,
где Φd является третьей матрицей,
где 
является единичной матрицей размером N × N,
где N указывает количество входных звуковых канальных сигналов,
где β i является параметром согласования, представляющим собой число, и
где 
при этом tr является оператором следа.
9. Устройство по п. 3, в котором модуль (110) определения фильтра выполнен с возможностью определения параметра (β i , β j ) согласования для каждого из двух или более входных звуковых канальных сигналов в качестве информации (β i , β j ) канала, причем параметр (β i , β j ) согласования каждого из входных звуковых канальных сигналов зависит от упомянутого входного звукового канального сигнала.
10. Устройство по п. 8,
в котором модуль (110) определения фильтра выполнен с возможностью определения параметра (β i , β j ) согласования для каждого из двух или более входных звуковых канальных сигналов в качестве информации (β i , β j ) канала так, чтобы для каждой пары первого входного звукового канального сигнала из числа входных звуковых канальных сигналов и другого второго входного звукового канального сигнала из числа входных звуковых канальных сигналов верно следующее
где β i является параметром согласования упомянутого первого входного звукового канального сигнала,
где β j является параметром согласования упомянутого второго входного звукового канального сигнала,
при этом
где 
является сопряженной транспонированной матрицей для 
и
где u i является нулевым вектором длины N с 1 в i-й позиции.
11. Устройство по п. 8,
в котором модуль (110) определения фильтра выполнен с возможностью определения второй матрицы Φa согласно формуле
в котором модуль (110) определения фильтра выполнен с возможностью определения второй матрицы Φd согласно формуле
где 
представляет собой число.
12. Устройство по п. 11, в котором модуль (110) определения фильтра выполнен с возможностью определения в зависимости от двух или более входных звуковых канальных сигналов.
13. Устройство по п. 1,
в котором модуль (110) определения фильтра выполнен с возможностью определения промежуточной матрицы H D фильтров путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности, и
в котором модуль (110) определения фильтра выполнен с возможностью определения фильтра 
в зависимости от промежуточной матрицы H D фильтров согласно формуле
где I является единичной матрицей и
где G является диагональной матрицей,
при этом процессор (120) обработки сигналов выполнен с возможностью генерирования одного или нескольких выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах.
14. Способ для генерирования одного или нескольких выходных звуковых канальных сигналов в зависимости от двух или более входных звуковых канальных сигналов, причем каждый из двух или более входных звуковых канальных сигналов содержит части прямого сигнала и части окружающего сигнала, при этом способ содержит этапы, на которых:
определяют фильтр путем оценки первой информации спектральной плотности мощности и оценки второй информации спектральной плотности мощности, и
генерируют один или несколько выходных звуковых канальных сигналов путем применения фильтра на двух или более входных звуковых канальных сигналах,
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов, или
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по двум или более входным звуковым канальным сигналам, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, или
при этом первая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям прямых сигналов двух или более входных звуковых канальных сигналов, а вторая информация спектральной плотности мощности указывает информацию спектральной плотности мощности по частям окружающих сигналов двух или более входных звуковых канальных сигналов.
15. Машиночитаемый носитель, содержащий компьютерную программу для реализации способа по п. 14 при исполнении на компьютере или обрабатывающем устройстве.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361772708P | 2013-03-05 | 2013-03-05 | |
| US61/772,708 | 2013-03-05 | ||
| PCT/EP2013/072170 WO2014135235A1 (en) | 2013-03-05 | 2013-10-23 | Apparatus and method for multichannel direct-ambient decomposition for audio signal processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2015141871A RU2015141871A (ru) | 2017-04-07 |
| RU2650026C2 true RU2650026C2 (ru) | 2018-04-06 |
Family
ID=49552336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015141871A RU2650026C2 (ru) | 2013-03-05 | 2013-10-23 | Устройство и способ для многоканального прямого-окружающего разложения для обработки звукового сигнала |
Country Status (18)
| Country | Link |
|---|---|
| US (1) | US10395660B2 (ru) |
| EP (1) | EP2965540B1 (ru) |
| JP (2) | JP6385376B2 (ru) |
| KR (1) | KR101984115B1 (ru) |
| CN (1) | CN105409247B (ru) |
| AR (1) | AR095026A1 (ru) |
| AU (1) | AU2013380608B2 (ru) |
| BR (1) | BR112015021520B1 (ru) |
| CA (1) | CA2903900C (ru) |
| ES (1) | ES2742853T3 (ru) |
| HK (1) | HK1219378A1 (ru) |
| MX (1) | MX354633B (ru) |
| MY (1) | MY179136A (ru) |
| PL (1) | PL2965540T3 (ru) |
| RU (1) | RU2650026C2 (ru) |
| SG (1) | SG11201507066PA (ru) |
| TW (1) | TWI639347B (ru) |
| WO (1) | WO2014135235A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2772607C1 (ru) * | 2021-10-18 | 2022-05-23 | Константин Анатольевич Бойков | Способ декомпозиции сложного сигнала с использованием корреляционной обратной связи |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105409247B (zh) * | 2013-03-05 | 2020-12-29 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
| US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
| US20140358565A1 (en) | 2013-05-29 | 2014-12-04 | Qualcomm Incorporated | Compression of decomposed representations of a sound field |
| US9489955B2 (en) | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
| US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
| US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
| US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
| US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
| US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
| CN105992120B (zh) | 2015-02-09 | 2019-12-31 | 杜比实验室特许公司 | 音频信号的上混音 |
| EP3067885A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding a multi-channel signal |
| CN107743713B (zh) * | 2015-03-27 | 2019-11-26 | 弗劳恩霍夫应用研究促进协会 | 处理用于在汽车中再现的立体声信号以通过前置扬声器实现单独的三维声音的装置和方法 |
| CN106297813A (zh) * | 2015-05-28 | 2017-01-04 | 杜比实验室特许公司 | 分离的音频分析和处理 |
| EP3357259B1 (en) | 2015-09-30 | 2020-09-23 | Dolby International AB | Method and apparatus for generating 3d audio content from two-channel stereo content |
| US9930466B2 (en) * | 2015-12-21 | 2018-03-27 | Thomson Licensing | Method and apparatus for processing audio content |
| TWI584274B (zh) * | 2016-02-02 | 2017-05-21 | 美律實業股份有限公司 | 具逆相位衰減特性之共腔體式背箱設計揚聲器系統的音源訊號處理方法及其裝置 |
| CN106412792B (zh) * | 2016-09-05 | 2018-10-30 | 上海艺瓣文化传播有限公司 | 对原立体声文件重新进行空间化处理并合成的系统及方法 |
| GB201716522D0 (en) * | 2017-10-09 | 2017-11-22 | Nokia Technologies Oy | Audio signal rendering |
| AU2018368589B2 (en) | 2017-11-17 | 2021-10-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding directional audio coding parameters using quantization and entropy coding |
| EP3518562A1 (en) | 2018-01-29 | 2019-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
| EP3573058B1 (en) * | 2018-05-23 | 2021-02-24 | Harman Becker Automotive Systems GmbH | Dry sound and ambient sound separation |
| WO2020037282A1 (en) | 2018-08-17 | 2020-02-20 | Dts, Inc. | Spatial audio signal encoder |
| WO2020037280A1 (en) | 2018-08-17 | 2020-02-20 | Dts, Inc. | Spatial audio signal decoder |
| CN109036455B (zh) * | 2018-09-17 | 2020-11-06 | 中科上声（苏州）电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
| EP3671739A1 (en) * | 2018-12-21 | 2020-06-24 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Apparatus and method for source separation using an estimation and control of sound quality |
| WO2020247033A1 (en) * | 2019-06-06 | 2020-12-10 | Dts, Inc. | Hybrid spatial audio decoder |
| DE102020108958A1 (de) | 2020-03-31 | 2021-09-30 | Harman Becker Automotive Systems Gmbh | Verfahren zum Darbieten eines ersten Audiosignals während der Darbietung eines zweiten Audiosignals |
| WO2023170756A1 (ja) * | 2022-03-07 | 2023-09-14 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080069366A1 (en) * | 2006-09-20 | 2008-03-20 | Gilbert Arthur Joseph Soulodre | Method and apparatus for extracting and changing the reveberant content of an input signal |
| US20090080666A1 (en) * | 2007-09-26 | 2009-03-26 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
| US20100030563A1 (en) * | 2006-10-24 | 2010-02-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewan | Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program |
| WO2011104146A1 (en) * | 2010-02-24 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program |
| RU2461144C2 (ru) * | 2007-10-12 | 2012-09-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и способ для генерации многоканального сигнала, использующие обработку голосового сигнала |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8345890B2 (en) * | 2006-01-05 | 2013-01-01 | Audience, Inc. | System and method for utilizing inter-microphone level differences for speech enhancement |
| US8478587B2 (en) | 2007-03-16 | 2013-07-02 | Panasonic Corporation | Voice analysis device, voice analysis method, voice analysis program, and system integration circuit |
| TWI459828B (zh) | 2010-03-08 | 2014-11-01 | Dolby Lab Licensing Corp | 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統 |
| CN105409247B (zh) | 2013-03-05 | 2020-12-29 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
-
2013
- 2013-10-23 CN CN201380076335.5A patent/CN105409247B/zh active Active
- 2013-10-23 SG SG11201507066PA patent/SG11201507066PA/en unknown
- 2013-10-23 RU RU2015141871A patent/RU2650026C2/ru active
- 2013-10-23 KR KR1020157027285A patent/KR101984115B1/ko active IP Right Grant
- 2013-10-23 MX MX2015011570A patent/MX354633B/es active IP Right Grant
- 2013-10-23 AU AU2013380608A patent/AU2013380608B2/en active Active
- 2013-10-23 WO PCT/EP2013/072170 patent/WO2014135235A1/en active Application Filing
- 2013-10-23 MY MYPI2015002192A patent/MY179136A/en unknown
- 2013-10-23 CA CA2903900A patent/CA2903900C/en active Active
- 2013-10-23 PL PL13788708T patent/PL2965540T3/pl unknown
- 2013-10-23 EP EP13788708.9A patent/EP2965540B1/en active Active
- 2013-10-23 ES ES13788708T patent/ES2742853T3/es active Active
- 2013-10-23 JP JP2015560567A patent/JP6385376B2/ja active Active
- 2013-10-23 BR BR112015021520-3A patent/BR112015021520B1/pt active IP Right Grant
-
2014
- 2014-02-10 TW TW103104240A patent/TWI639347B/zh active
- 2014-03-05 AR ARP140100724A patent/AR095026A1/es active IP Right Grant
-
2015
- 2015-09-04 US US14/846,660 patent/US10395660B2/en active Active
-
2016
- 2016-06-23 HK HK16107293.1A patent/HK1219378A1/zh unknown
-
2017
- 2017-11-02 JP JP2017212311A patent/JP6637014B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080069366A1 (en) * | 2006-09-20 | 2008-03-20 | Gilbert Arthur Joseph Soulodre | Method and apparatus for extracting and changing the reveberant content of an input signal |
| US20100030563A1 (en) * | 2006-10-24 | 2010-02-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewan | Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program |
| US20090080666A1 (en) * | 2007-09-26 | 2009-03-26 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
| RU2461144C2 (ru) * | 2007-10-12 | 2012-09-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство и способ для генерации многоканального сигнала, использующие обработку голосового сигнала |
| WO2011104146A1 (en) * | 2010-02-24 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program |
Non-Patent Citations (1)
| Title |
|---|
| IAIN A. MCCOWAN et al, "MICROPHONE ARRAY POST-FILTER FOR DIFFUSE NOISE FIELD", Dalle Molle Institute for Perceptual Artificial Intelligence (IDIAP), 2002, страницы 905-908. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2772607C1 (ru) * | 2021-10-18 | 2022-05-23 | Константин Анатольевич Бойков | Способ декомпозиции сложного сигнала с использованием корреляционной обратной связи |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI639347B (zh) | 2018-10-21 |
| JP2018036666A (ja) | 2018-03-08 |
| AU2013380608A1 (en) | 2015-10-29 |
| JP6385376B2 (ja) | 2018-09-05 |
| CA2903900A1 (en) | 2014-09-12 |
| BR112015021520A2 (pt) | 2017-08-22 |
| EP2965540A1 (en) | 2016-01-13 |
| US10395660B2 (en) | 2019-08-27 |
| CN105409247B (zh) | 2020-12-29 |
| PL2965540T3 (pl) | 2019-11-29 |
| RU2015141871A (ru) | 2017-04-07 |
| SG11201507066PA (en) | 2015-10-29 |
| TW201444383A (zh) | 2014-11-16 |
| JP2016513814A (ja) | 2016-05-16 |
| AR095026A1 (es) | 2015-09-16 |
| ES2742853T3 (es) | 2020-02-17 |
| US20150380002A1 (en) | 2015-12-31 |
| CA2903900C (en) | 2018-06-05 |
| MY179136A (en) | 2020-10-28 |
| KR20150132223A (ko) | 2015-11-25 |
| AU2013380608B2 (en) | 2017-04-20 |
| KR101984115B1 (ko) | 2019-05-31 |
| MX354633B (es) | 2018-03-14 |
| CN105409247A (zh) | 2016-03-16 |
| BR112015021520B1 (pt) | 2021-07-13 |
| WO2014135235A1 (en) | 2014-09-12 |
| EP2965540B1 (en) | 2019-05-22 |
| HK1219378A1 (zh) | 2017-03-31 |
| MX2015011570A (es) | 2015-12-09 |
| JP6637014B2 (ja) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2650026C2 (ru) | Устройство и способ для многоканального прямого-окружающего разложения для обработки звукового сигнала | |
| AU2011340890B2 (en) | Apparatus and method for decomposing an input signal using a pre-calculated reference curve | |
| US9743215B2 (en) | Apparatus and method for center signal scaling and stereophonic enhancement based on a signal-to-downmix ratio | |
| GB2572650A (en) | Spatial audio parameters and associated spatial audio playback | |
| JP5906312B2 (ja) | スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置 |