UA125582C2 - Система і спосіб спостереження за рухом голови для одержання параметричного бінаурального вихідного сигналу - Google Patents

Abstract

Спосіб кодування вхідного аудіосигналу, що базується на каналі або об'єкті, для відтворення, при цьому спосіб включає етапи, на яких: (а) виконують початковий рендеринг вхідного аудіосигналу, що базується на каналі або об'єкті, у початкове вихідне представлення; (b) визначають оцінку домінантного аудіокомпонента з вхідного аудіосигналу, що базується на каналі або об'єкті, і визначають послідовність вагових компонентів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонент; (с) визначають оцінку напрямку або положення домінантного аудіокомпонента; і (d) кодують початкове вихідне представлення, вагові коефіцієнти домінантного аудіокомпонента, напрямок або положення домінантного аудіокомпонента як кодований сигнал для відтворення.

Description

Шк І ообня воло Й ; енер 0 ДЯУНМІКо ннняннкфрннакннккя ния Вт В ВИН

Хвнеюні на сон Е ! я і и ще Ще в її

РЖобомткккоееесетнккєьния ден НЯ і банак СКУИСНИТИ ВОІВ фер іо ббежанно речі а. о ореульсвня я 1 шк. ! домінантний о . намет о Напрямоквюлекення ек, в

ЇООО1| Даний винахід забезпечує системи і способи одержання параметричного бінаурального вихідного сигналу покращеної форми, додатково використовуючи спостереження за рухом голови.

Джерела інформації: 00021 Сипагу, К., "А Мем Маїйгіх ЮОесодег тог Зйитоцпа боцпа," АЕ5 191й Іпіегпайопа! Сопі.,

Зспіоз5 ЕІтаи, Сегптапу, 2001.

ІО0ОЗІ Міптоп, М., Месагайй, 0., Вобіпзоп, С., Вгомп, Р., "Мехі депегайоп зштоцпа десоадіпду апа ир-тіхіпа ог сопзитег апа ргоїеззіопа! арріісайопв", АЕЗ 571п Іпіегаїйопаї! Соп!, Ноїужоса, СА,

БА, 2015. 0004 М/ідпітанп, Р. Г., апа КівНег, 0. 9. (1989). "Неадрпопе 5ітшіайоп ої їтее-йейа Іібтепіпод. І.

Зійтишив5 зупіпевів," ). Асоийві. ос. Ат. 85, 858-867.

Ї0005| ІБОЛЕС 14496-3:2009 - Іптоптаїйоп їесппоЇоду -- Содіпа ої айадіо-мізца! обіесів -- Ран 3:

Ацаїйо, 2009.

ЇО00О6| Мапіа, Каїегіпа, еї аїЇ. "Регсеріца! 5епейімйу 10 Пеай ШасКіпуд Іаїбепсу іп мійцаї! епмігоптепів м/ййп магуіпуд дедгеє5 ої зсепе сотрієхйу." Ргосеєдіпд5 ої Ше ї5ї Зутрозійт оп

Арріїєйд регсерійоп іп дгарпіс5 апа мізцаїї2айоп. АСМ, 2004. 0007) Аїзоп, В. 5., На!тів, І. В., УепКіп, М., Чазіоред2Ка, Ц., б 7аснетг, 9. Е. (2001, Магесйп).

Тоіегапсе ої їетрогаї аеїіау іп мійца! епмігоптепів. Іп Міпца! Неаїйу, 2001. Ргосеєдіпд5. ІЄЕЕ (рр. 247-254). ІЕЕЕ. 0008) Мап де Раг, іемеп, апа Агтіп Копігаивсй. "Зепвейймпу о ацайогу-мізца! азупспгопу апа іо |ЩШег іп ацайогу-мівцаї! їтіпа." ЕІесігопіс Ітадіпоу. Іпіегпайопа! босієїу Тог Оріїсз апа Рпоопісв, 2000.

Рівень техніки винаходу 00091 Будь-яке обговорення рівня техніки винаходу протягом усього опису жодним чином не повинно розглядатися як визнання, що такий рівень техніки широко відомий або є частиною звичайних загальних знань в даній галузі.

І0010)| Створення контенту, кодування, поширення і відтворення аудіоконтенту традиційно базується на каналі. Тобто, одна конкретна цільова система відтворення передбачається для контенту, що проходить по всій екосистемі контенту. Прикладами таких цільових систем відтворення є моно-, стереосистеми, системи 5.1, 7.1, 7.1.4 іт. п. 0011) Якщо контент повинен відтворюватися не на тій системі, для якої він призначений, може бути застосовано знижувальне мікшування або підвищувальне мікшування. Наприклад, контент 5.1 може відтворюватися через систему стереовідтворення, використовуючи певні відомі рівняння знижувального мікшування. Іншим прикладом є відтворення стереоконтенту на установці гучномовців 7.1, яка може містити так званий процес підвищувального мікшування, який може або не може керуватися інформацією, яка є присутньою у стереосигналі, такою, яка використовується так званими матричними кодерами, такими як ОоїБу Рго Годісє. Щоб керувати процесом підвищувального мікшування, інформація про вихідний стан сигналів перед знижувальним мікшуванням може бути повідомлена неявно, вводячи у рівняння знижувального мікшування спеціальні фазові співвідношення або, говорячи інакше, застосовуючи рівняння знижувального мікшування з комплексними значеннями. Відомим прикладом такого способу знижувального мікшування, що використовує коефіцієнти знижувального мікшування з комплексними значеннями для контенту з гучномовцями, розташованими у двох вимірах, є «ВІЇ (міпоп і ін., 2015).

І0012| Одержаний у результаті (стерео)сигнал зі зниженим мікшуванням може бути відтворений через систему стереофонічних гучномовців або може мікшуватися вгору для установок з гучномовцями звукового оточення і/або верхніми фронтальними гучномовцями.

Цільове місце розташування сигналу може бути одержане за допомогою підвищувального мікшування з міжканальних фазових співвідношень. Наприклад, у стереопредставлені ІК, сигнал, що не співпадає по фазі (наприклад, має нормований коефіцієнт взаємної кореляції, близький до -1, для форми міжканального сигналу), повинен, в ідеалі, відтворюватися одним або більше гучномовцями з ефектом навколишнього звуку, тоді як позитивний коефіцієнт кореляції (близький до 1) вказує, що сигнал повинен відтворюватися фронтальними гучномовцями, розташованими перед слухачем.

І0013| Була розроблена множина алгоритмів і стратегій підвищувального мікшування, які різняться своїми стратегіями відтворення багатоканального сигналу зі стереодаунміксу. Що стосується відносно простих підвищувальних мікшерів, то нормований коефіцієнт взаємної кореляції стереосигналів відслідковується як функція часу, тоді як сигнал(и) на фронтальні або тилові гучномовці регулюються залежно від значення нормованого коефіцієнта взаємної бо кореляції. Цей підхід добре працює для відносно простого контенту, в якому у той самий час присутній тільки один об'єкт прослуховування. Більш досконалі підвищувальні мікшери базуються на статистичній інформації, яку одержують з конкретних частотних ділянок для керування сигнальним потоком від стереовходу до мультиканальних виходів (Зипагу 2001,

Міпіоп і ін., 2015). Конкретно, модель сигналу, основана на регульованому або домінантному компоненті і залишковому (дифузійному) стереосигналі, може використовуватися в індивідуальних часових/частотних елементах розбиття. Крім оцінки домінантного компонента і залишкових сигналів, також оцінюється кут напрямку (по азимуту, можливо, який зростає з кутом місця) і у подальшому сигнал домінантного компонента регулюється для одного або більше гучномовців, щоб під час відтворення реконструювати (оцінювальне) положення.

ІЇ0014| Використання матричних кодерів і декодерів/підвищувальних мікшерів не обмежується контентом, основаним на каналах. Останні розробки в аудіоіндустрії основані на аудіооб'єктах, а не на каналах, де один або більше об'єктів складаються з аудіосигналу і асоційованих метаданих, що вказують, крім іншого, його цільове місце розташування як функцію часу. Як відзначено у Міпіоп і ін., 2015, для такого аудіоконтенту, основаного на об'єктах, можуть також використовуватися матричні кодери. В такій системі сигнали від об'єктів піддаються знижувальному мікшуванню у представлення стереосигналу за допомогою коефіцієнтів знижувального мікшування, що залежать від позиційних метаданих об'єкта.

І0015| Підвищувальне мікшування і відтворення матрично кодованого контенту не обов'язково обмежуються відтворенням через гучномовці. Представлення регульованого або домінантного компонента, що складається з домінантного компонентного сигналу і (цільового) місця розташування, забезпечує можливість відтворення через навушники за допомогою згортки з імпульсними реакціями, пов'язаними з головою (НКІК) (УмМідпітап і ін., 1989).

Спрощена схема системи 1, що реалізує цей спосіб, показана на фіг. 1. Вхідний сигнал 2 у форматі кодованої матриці спочатку аналізується 3, щоб визначити напрямок і величину домінантного компонента. Домінантний компонентний сигнал згортається 4, 5 за допомогою пари НЕК, одержаної з довідкової інформації 6 на основі напрямку домінантного компонента, щоб обчислити вихідний сигнал для відтворення 7 через навушники, так щоб відтворений сигнал сприймався як такий, що надходить з напрямку, який був визначений на етапі З аналізу домінантного компонента. Ця схема може бути застосована для широкосмугових сигналів, а також для індивідуальних піддіапазонів, і може бути вдосконалена різними способами за допомогою спеціалізованої обробки залишкового (або дифузійного) сигналу.

І0016| Використання матричних кодерів значною мірою придатне для розподілення і відтворення на АМ-приймачах, але може бути проблематичним для мобільних застосувань, що вимагають низьких швидкостей передачі даних і низького споживання енергії.

ІЇ0017| Незалежно від того, чи використовується контент, оснований на каналах або на об'єктах, матричні кодери і декодери покладаються на достатньо точні міжканальні фазові співвідношення сигналів, які поширюються з матричного кодера на декодер. Інакше кажучи, формат розподілення повинен значною мірою зберігати форму сигналу. Така залежність від збереження форми сигналу може створювати проблеми в умовах обмеженого бітрейту, коли аудіокодеки використовують параметричні способи, а не інструменти кодування форми сигналу, щоб одержати кращу якість звуку. Приклади таких параметричних інструментів, які загальновідомі як такі, що не зберігають форму сигналу, часто згадуються як спектральна реплікація діапазону, параметричне стереокодування, просторове аудіокодування і т. п., як вони використовуються в аудіокодеках МРЕС 4 (14496-3:2009 ІЗОЛЕС). 0018) Як коротко описано у попередньому розділі, підвищувальне мікшування складається з аналізу і регулювання (або згортки НКІК) сигналів. Для пристроїв, що живляться від мережі, таких як АМ-приймачі, це звичайно не викликає проблем, але для пристроїв, що працюють від батареї, таких як мобільні телефони і планшети, обчислювальна складність і відповідні вимоги до пам'яті, пов'язані з цими процесами, часто є небажаними через їх негативний вплив на час роботи від батареї.

І0019| Вищезгаданий аналіз звичайно також вводить додаткову аудіозатримку. Така аудіозатримка небажана, тому що (1) вона вимагає відеозатримки для підтримання синхронізації руху губ з фонограмою, для якої необхідний значний об'єм пам'яті і обчислювальної потужності, і (2) така затримка може викликати асинхронність/затримку між рухами голови і рендерингом аудіо у випадку спостереження за рухом голови. (0020) Матрично кодований даунмікс також може не звучати оптимально на стереофонічних гучномовцях або навушниках через потенційну присутність сильно неспівпадаючих по фазі сигнальних компонентів.

Суть винаходу бо ІЇ0021| Задача винаходу полягає в забезпеченні покращеної форми параметричного бінаурального вихідного сигналу. 00221 Згідно з першим аспектом даного винаходу, забезпечується спосіб кодування вхідного аудіосигналу, що базується на каналі або об'єкті, для відтворення, причому згаданий спосіб включає в себе етапи, на яких: (а) спочатку проводять рендеринг вхідного аудіосигналу, що базується на каналі або об'єкті, у початкове вихідне представлення (наприклад, початкову вихідну презентацію); (Б) визначають оцінку домінантного аудіокомпонента з вхідного аудіосигналу, що базується на каналі або об'єкті і визначають послідовність вагових коефіцієнтів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонент; (с) визначають оцінку напрямку і положення домінантного аудіокомпонента; і (4) кодують початкове вихідне представлення, вагові коефіцієнти домінантного аудіокомпонента, напрямок або положення домінантного аудіокомпонента як кодований сигнал для відтворення. Забезпечуючи послідовність вагових коефіцієнтів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонент можна дозволити використовувати вагові коефіцієнти домінантного аудіокомпонента і початкове вихідне представлення для визначення оцінки домінантного компонента. 0023) У деяких варіантах здійснення спосіб додатково включає в себе визначення оцінки залишкового міксу, що є початковим вихідним представленням за винятком рендерингу домінантного аудіокомпонента або його оцінки. Спосіб може також включати в себе генерацію безехового бінаурального міксу вхідного аудіосигналу, що базується на каналі або об'єкті, і визначення оцінки залишкового міксу, причому оцінка залишкового міксу може бути безеховим бінауральним міксом за винятком рендерингу домінантного аудіокомпонента або його оцінки.

Додатково, спосіб може включати в себе визначення послідовності залишкових матричних коефіцієнтів для відображення початкового вихідного представлення у оцінку залишкового міксу.

І0024| Початкове вихідне представлення може містити представлення за допомогою гучномовця або навушників. Вхідний аудіосигнал, що базується на каналі або об'єкті, може бути розбитий на елементи розбиття за часом і за частотою і етап кодування може повторюватися для послідовності часових етапів і послідовності діапазонів частот. Початкове вихідне

Зо представлення може містити мікс стереогучномовців. 00251 Згідно з додатковим аспектом даного винаходу, забезпечується спосіб декодування кодованого аудіосигналу, причому кодований аудіосигнал включає в себе: перше (наприклад, початкове) вихідне представлення (наприклад, першу/початкову вихідну презентацію); напрямок домінантного аудіокомпонента і вагові коефіцієнти домінантного аудіокомпонента; причому спосіб містить етапи, на яких: (а) використовують вагові коефіцієнти домінантного аудіокомпонента і початкове вихідне представлення для визначення оцінювального домінантного компонента; (б) проводять рендеринг оцінювального домінантного компонента за допомогою бінауралізації у просторовому місці розташування відносно цільового слухача згідно з напрямком домінантного аудіокомпонента, щоб сформувати відрендерений бінауралізований оцінювальний домінантний компонент; (с) реконструюють оцінку залишкового компонента з першого (наприклад, початкового) вихідного представлення; і (4) об'єднують відрендерений бінауралізований оцінювальний домінантний компонент і оцінку залишкового компонента, щоб сформувати вихідний просторово орієнтований кодований аудіосигнал. (0026) Кодований аудіосигнал додатково може включати в себе послідовність залишкових матричних коефіцієнтів, що представляють залишковий аудіосигнал, і етап (с) додатково може включати етап (с1), на якому застосовують залишкові матричні коефіцієнти до першого (наприклад, початкового) вихідного представлення, щоб реконструювати оцінку залишкового компонента.

ІЇ0027| У деяких варіантах здійснення оцінка залишкового компонента може бути реконструйована відніманням відрендереного бінауралізованого оцінювального домінантного компонента з першого (наприклад, початкового) вихідного представлення. Етап (Б) може включати в себе початковий поворот оцінювального домінантного компонента згідно з вхідним сигналом спостереження за рухом голови, що вказує орієнтацію голови цільового слухача. 0028) Згідно з додатковим аспектом даного винаходу, забезпечується спосіб декодування і відтворення аудіопотоку для слухача, що використовує навушники, причому згаданий спосіб включає етапи, на яких: (а) приймають потік даних, що містить першу аудіопрезентацію і додаткові дані аудіоперетворення; (б) приймають дані орієнтації голови, що представляють орієнтацію слухача; (с) створюють один або більше допоміжних сигналів, базуючись на першій аудіопрезентації і прийнятих даних перетворення; (4) створюють другу аудіопрезентацію, що бо складається з об'єднання першої аудіопрезентації і допоміжного сигналу(ів), в якій один або більше допоміжних сигналів були модифіковані у відповідь на дані орієнтації голови; і (є) виводять другу аудіопрезентацію як вихідний аудіопотік.

І0029| Деякі варіанти здійснення можуть додатково включати в себе модифікацію допоміжних сигналів, яка складається з моделювання акустичного шляху проходження від положення джерела звуку до вух слухача. Дані перетворення можуть складатися з коефіцієнтів матрицювання і щонайменше одного з положення джерела звуку і напрямку джерела звуку.

Процес перетворення може застосовуватися як функція часу або частоти. Допоміжні сигнали можуть представляти щонайменше один домінантний компонент. Положення або напрямок джерела звуку може бути прийнято як частина даних перетворення і може повертатися у відповідь на дані орієнтації голови. У деяких варіантах здійснення максимальна величина повороту обмежується значенням менше 360 градусів по азимуту або куту місця. Вторинна презентація може бути одержана з першої презентації шляхом матрицювання перетворення в ділянці перетворення або набору фільтрів. Дані перетворення додатково можуть містити додаткові коефіцієнти матрицювання і етап (4) додатково може містити модифікацію першого аудіопредставлення як реакцію на додаткові коефіцієнти матрицювання перед об'єднанням першого аудіопредставлення і допоміжного аудіосигналу(ів).

Короткий опис креслень

ІЇ0О30| Тепер тільки для прикладу будуть описані варіанти здійснення винаходу з посиланням на супроводжувальні креслення, на яких: 00311 фіг. 1 схематично ілюструє декодер навушників для матрично кодованого контенту; 00321 фіг. 2 схематично ілюструє кодер, що відповідає варіанту здійснення; 00331 фіг. З являє собою блок-схему декодера; 00341 фіг. 4 являє собою докладну візуалізацію кодера; і 00351 фіг. 5 більш докладно ілюструє одну з форм декодера.

Здійснення винаходу 0036) Варіанти здійснення показують систему і спосіб представлення аудіоконтенту, що базується на каналі або об'єкті, який (1) сумісний зі стереовідтворенням, (2) дозволяє бінауральне відтворення, що включає в себе спостереження за рухом голови, (3) має невелику складність декодера, і (4) не опирається, але, проте, сумісний з матричним кодуванням.

Зо І0037| Це досягається шляхом об'єднання виконуваного на боці кодера аналізу одного або більше домінантних компонентів (або домінантного об'єкта або їх поєднання), що включає в себе ваги для прогнозування цих домінантних компонентів з даунміксу, у комбінації з додатковими параметрами, які мінімізують помилку між бінауральним рендерингом, основаним на одних тільки регульованих або домінантних компонентах, і бажаного бінаурального представлення повного контенту. 0038) У варіанті здійснення аналіз домінантного компонента (або численних домінантних компонентів) забезпечується в кодері, а не в декодері/рендерері. Аудіопотік потім наростає за допомогою метаданих, що вказують напрямок домінантного компонента, і інформації про те, як домінантний компонент(и) може бути одержаний з супутнього сигналу даунміксу. 0039) На фіг. 2 показана одна форма кодера 20 переважного варіанта здійснення. Контент 21, оснований на об'єкті або каналі, піддається аналізу 23, щоб визначити домінантний компонент(и). Цей аналіз може мати місце як функція часу і частоти (передбачається, що аудіоконтент розбивається на часові елементи і частотні піделементи). Результатом цього процесу є домінантний компонентний сигнал 26 (або численні домінантні компонентні сигнали) і асоційована інформація 25 про положення або про напрямок(и). Далі роблять оцінку 24 і виводять 27 ваги, щоб дозволити реконструкцію домінантного компонентного сигналу(ів) з переданого даунміксу. Цей генератор 22 даунміксу не обов'язково повинен точно відповідати правилам даунміксу КІ, а може бути стандартним даунміксом ІТО (ГоКо), що використовує ненегативні, з дійсними значеннями коефіцієнти даунміксу. Нарешті, вихідний сигнал 29 даунміксу, ваги 27 і позиційні дані 25 упаковують аудіокодером 28 і готують до поширення.

І0040| На фіг. З показаний відповідний декодер 30 з переважного варіанта здійснення.

Аудіодекодер реконструює сигнал даунміксу. Сигнал вводять 31 і розпаковують за допомогою аудіодекодера 32 у сигнал даунміксу, ваги і напрямок домінантних компонентів. Далі, ваги оцінювальних домінантних компонентів використовують для реконструкції 34 регульованих компонентів, які рендеруються 36, використовуючи позиційні дані або дані про напрямок.

Позиційні дані, як варіант, можуть модифікуватися 33 залежно від повороту голови або інформації 38 перетворення. Додатково, реконструйований домінантний компонент(и) може відніматися 35 з даунміксу. Як варіант, має місце віднімання домінантного компонентак(ів) в межах шляху проходження даун-міксу, але, альтернативно, віднімання може також відбуватися 60 в кодері, як описано нижче.

0041) Щоб покращити видалення або відміну реконструйованого домінантного компонента у віднімальному пристрої 35, вихідний сигнал домінантного компонента може спочатку бути рендерований, використовуючи перед відніманням передані позиційні дані або дані напрямку.

Цей необов'язковий етап 39 рендерингу показаний на фіг. 3.

І0042| Вертаючись тепер назад, щоб спочатку описати кодер більш докладно, на фіг. 4 представлена одна з форм кодера 40 для обробки аудіоконтенту, основаного на об'єкті (наприклад, система Бору Айто5). Аудіооб'єкти спочатку зберігаються як об'єкти 41 Аїтоз і спочатку діляться на часові і частотні елементи, використовуючи набір 42 гібридних дзеркальних квадратурних фільтрів з комплексними значеннями (Ппубгій соптріех-маінеа диаагайге тіггог ЯКег, НСОМЕ). Вхідні сигнали об'єктів можуть бути позначеніяк 14 3, коли ми опускаємо відповідні часові і частотні індекси; відповідне положення в межах поточного кадру задається одиничним вектором р; ; і індекс і належить до номера об'єкта, а індекс п належить до часу (наприклад, індекс вибірки піддіапазону). Вхідні сигнали 7 об'єкта є прикладом вхідного аудіосигналу, що базується на каналі або об'єкті.

Ї0043| Безеховий, піддіапазонний, бінауральний мікс У (Усе У) створюють 43,

Н,енН,, Н використовуючи скаляри з комплексними значеннями " " (наприклад, однополюсні НКТЕ 48), які представляють презентацію піддіапазону для НЕК, що відповідають положенню Р; :

УДеЧе У, Ні п і

У те У Н, хіп і

І0044| Альтернативно, бінауральний мікс У (Уе У) може бути створений за допомогою згортки, використовуючи пов'язані 3 головою імпульсні реакції (НКІК). Додатково, стереодаунмікс бої, (що як приклад реалізує початкове вихідне представлення) створюють 44, використовуючи коефіцієнти 55, підсилення амплітудного панорамування:

Діві У виківі і те|п) - ) вної) і . (0045) Вектор напрямку домінантного компонента Ро (що як приклад реалізує напрямок або положення домінантного аудіокомпонента) може оцінюватися шляхом обчислення домінантного компонента 45, спочатку обчислюючи зважену суму одиничних векторів напрямку для кожного об'єкта: ї- 5 Хор

Роз

Хо; і з 2 б; : хДп де 7! - енергія сигналу 1:

2. ж о; -УхДпіх; (м) " з і (37 - комплексний оператор згортки.

І0046| Домінантний/регулюючий сигнал ((п| (що як приклад реалізує домінантний аудіокомпонент) далі задається наступним чином: фе У хи Вр» р; і

ЗУрер . . сш

І0047| де функція, що виконує підсилення, яке зменшується зі збільшенням відстані між одиничними векторами РР», Наприклад, щоб створити віртуальний мікрофон за допомогою моделі спрямованості, основаної на сферичних гармоніках вищого порядку, одна з реалізацій повинна відповідати наступному: еру т

Урі ро) (ар, бра) де Р. одиничний вектор напрямку в дво- або тривимірній системі координат,(.) - оператор скалярного добутку двох векторів, і а, р, с - зразкові параметри (наприклад а-р-0,5; с-1). (0048) Ваги або коефіцієнти прогнозування ма, ма обчислюються 46 і використовуються для обчислення 47 оцінювального регульованого сигналу ап). дп - Уа ТУ, ах, де ваги м/ла, ма мінімізують середньоквадратичну помилку між | и дп). заданими сигналами Єр, даунміксу. Ваги ма, ма Є прикладом вагових коефіцієнтів домінантного аудіокомпонента для відображення початкового вихідного представлення (наприклад, Я) у домінантний аудіокомпонент (наприклад, ап). Відомий спосіб одержання цих ваг полягає у застосуванні пристрою прогнозування мінімальної середньоквадратичної помилки (ММЗЕ):

Уа 1 -Кк.ЄЇ) Ка

Уа де Наь - матриця коваріації між сигналами для сигналів а і сигналів Б, і є - параметр

Зо регуляризації.

Ї0049| Ми можемо потім відняти 49 відрендерену оцінку домінантного компонентного сигналу п) з безехового бінаурального міксу Ук, щоб створити залишковий бінауральний я у,У Н.Н - мікс Ук використовуючи НЕТЕ (НВІБ) 227777? 50, пов'язаний з напрямком/положенням

Ро домінантного компонентного сигналу 4 :

У, (е1-», (г|- н оа|п

УДи|-уДи|- Н, оп)

ІЇ0050| Нарешті, оцінюють 51 інший набір коефіцієнтів прогнозування або ваг мі/,, які дозволяють реконструкцію залишкового бінаурального міксу Ус Ук зі стереоміксу беж використовуючи оцінювальні мінімальні середньоквадратичні помилки:

МОМ

, |. - -(К. Є) Кк. нене ю де Наь - матриця коваріації між сигналами для презентації а і презентації Б, і є - параметр регуляризації. Коефіцієнти прогнозування або ваги м/;) є прикладом залишкових матричних коефіцієнтів для відображення початкового вихідного представлення (наприклад, Я) у оцінювальний залишковий бінауральний мікс Ус Ук, Наведений вище вираз може бути підданий додатковим обмеженням рівня, щоб подолати будь-які втрати прогнозування. Кодер виводить наступну інформацію:

І0О51| стереомікс ех, (як приклад реалізації початкового вихідного представлення); (00521 коефіцієнтами для оцінки домінантного компонента ула, ума (що як приклад реалізує вагові коефіцієнти домінантного аудіокомпонента) є: 0053) положення або напрямок домінантного компонента Ро ;

ІЇ0054| і, додатково, залишкові ваги м/, (як приклад реалізації залишкових матричних коефіцієнтів).

Ї0055| Хоча представлений вище опис належить до рендерингу, основаного на одному єдиному домінантному компоненті, у деяких варіантах здійснення кодер може бути виконаний з можливістю виявлення численних домінантних компонентів, визначення ваг і напрямків для кожного з численних домінантних компонентів, рендерингу і віднімання кожного з численних домінантних компонентів з безехового бінаурального міксу У, і потім визначення залишкових ваг після того, як кожний з численних домінантних компонентів був віднятий з безехового бінаурального міксу У.

Декодер/рендерер

ІЇ0О056| На фіг. 5 більш докладно показана одна з форм декодера/рендерера 60.

Декодер/рендерер 60 застосовує процес, направлений на реконструкцію бінаурального міксу

У У, для виводу слухачу 71 з розпакованої вхідної інформації 721, 2; Ума, Умга; Ро, мі). Тут стереомікс 7, 77 Є прикладом першої аудіопрезентації і коефіцієнти або ваги прогнозування мі; або напрямок/положення Ро домінантного компонентного сигналу й є прикладами додаткових даних аудіоперетворення.

Зо І0057| Спочатку, стереодаунмікс розбивається на часові/частотні елементи, використовуючи відповідний набір фільтрів або перетворення 61, таке як аналітична група НСОМЕ 61. Інші перетворення, такі як дискретне перетворення Фур'є, (модифіковане) косинусне або синусне перетворення, набір фільтрів в часовій ділянці або вейвлет-перетворення також можуть бути застосовні рівною мірою. У подальшому, оцінювальний домінантний компонентний сигнал дп) обчислюється 63, використовуючи ваги ума, мга коефіцієнтів прогнозування: дп. мая.

Оцінювальний домінантний компонентний сигнал дп) є прикладом допоміжного сигналу.

Отже, можна сказати, що цей етап відповідає створенню одного або більше допоміжних сигналів, основаних на згаданій першій аудіопрезентації і прийнятих даних перетворення.

Ї0058| Цей домінантний компонентний сигнал у подальшому рендерується 65 і модифікується 68 за допомогою НЕКТЕ 69, основаних на переданих даних положення/напрямку

Ро, можливо, модифікованих (повернених) на основі інформації, одержаної з пристрою 62 спостереження за головою. Нарешті, загальний приглушений бінауральний вихідний сигнал складається з відрендереного домінантного компонентного сигналу, підсумованого 66 з реконструйованими залишками У Ук, основаними на вагах мі; коефіцієнтів прогнозування:

Е - УМ ОМ 2 М

У, УМ 1 Моз т,

М їй Мо | М г, " ї реа та

У, У 22 Н, в г,

Повний приглушений бінауральний вихідний сигнал є прикладом другої аудіопрезентації.

Отже, цей етап, можна сказати, повинен відповідати створенню другої аудіопрезентації, що складається з поєднання згаданої першої аудіопрезентації і згаданого допоміжного сигналу(ів), в якій один або більше зі згаданих допоміжних сигналів були модифіковані у відповідь на згадані дані орієнтації голови.

ІЇ0059| Додатково слід зазначити, що, якщо прийнята інформація про більше ніж один домінантний сигнал, кожний домінантний сигнал може бути рендерований і доданий до реконструйованого залишкового сигналу. 0060) Поки ніяке обертання або переміщення голови не застосовується, вихідні сигнали

У У, повинні бути дуже близькі (з точки зору середньоквадратичної помилки) до опорних бінауральних сигналів Ук, поки дп)» а|п|.

Основні властивості

ЇОО61| Як можна бачити з наведених вище рівнянь, ефективна операція по створенню приглушеного бінаурального представлення зі стереопредставлення складається з матриці 2х2 70, в якій матричні коефіцієнти залежать від переданої інформації Ума, Умга; Ро, мі і повороту або переміщення пристрою спостереження за головою. Це вказує, що складність процесу є відносно низькою, оскільки аналіз домінантних компонентів застосовується в кодері замість декодера.

І0062| Якщо ніякий домінантний компонент не оцінений (наприклад, ульа, мга-0), описане розв'язання еквівалентне параметричному бінауральному способу.

Ї0О63| У випадках, коли є бажання виключити визначені об'єкти зі спостереження за обертанням/переміщенням голови, ці об'єкти можуть бути виключені з (1) аналізу напрямку домінантних компонентів, і (2) прогнозування домінантних компонентних сигналів. У результаті ці об'єкти будуть перетворюватися зі стерео в бінауральні за допомогою коефіцієнтів мі, і тому на них не впливає ніяке обертання або переміщення голови.

Зо І0064| При подібному ході думок об'єкти можуть бути встановлені в режимі "раз5 Шгоцдіи" (наскрізного проходження), що означає, що в бінауральному представлені вони будуть піддані амплітудному панорамуванню, а не згортці НКІК. Це може бути одержано, просто використовуючи коефіцієнти підсилення амплітудного панорамування для коефіцієнтів Ні замість однополюсних НЕТЕ або будь-якого іншого відповідного бінаурального процесу.

Розширення

І0065| Варіанти здійснення не обмежуються використанням даунміксів, оскільки також можуть використовуватися відліки інших каналів. (0066) Декодер 60, описаний з посиланням на фіг. 5, має вихідний сигнал, що складається з відрендереного напрямку домінантного компонента плюс вхідний сигнал, матрицьований за допомогою матричних коефіцієнтів м/). Останні коефіцієнти можуть бути одержані різними способами, наприклад:

І0О67| 1. Коефіцієнти м; можуть бути визначені в кодері за допомогою параметричної реконструкції сигналів Усе Ух, Інакше кажучи, в цій реалізації, коефіцієнти м/,; направлені на точну реконструкцію бінауральних сигналів У Ук, які могли б бути одержані при рендерингу початкових вхідних об'єктів/каналів бінауральним чином; інакше кажучи, коефіцієнти мі, керуються контентом. 0068) 2. Коефіцієнти мі/, можуть бути передані від кодера до декодера, щоб представити

НЕТЕ для визначених просторових положень, наприклад, з кутами 47-45 градусів по азимуту.

Інакше кажучи, залишковий сигнал обробляється, щоб моделювати відтворення через два віртуальні гучномовці у визначених місцях розташування. Оскільки ці коефіцієнти, що представляють НКТЕ, передаються від кодера на декодер, місця розташування віртуальних гучномовців можуть змінюватися в часі і по частоті. Якщо цей підхід застосовується, використовуючи статичні віртуальні гучномовці, щоб представити залишковий сигнал, коефіцієнти м/; не вимагають передачі від кодера до декодера, і можуть замість цього підключатися проводами в декодері. Варіант такого підходу може складатися з обмеженого набору статичних місць розташування, які доступні в декодері, з їхніми відповідними коефіцієнтами мі, і їхній вибір, при якому для обробки залишкового сигналу використовується статичне місце розташування, повідомляється від кодера декодеру.

І0069)| Сигнали У У, можуть піддаватися так званому підвищувальному мікшуванню, реконструюючи більше 2 сигналів за допомогою статистичного аналізу цих сигналів в декодері з подальшим бінауральним рендерингом результуючих сигналів підвищувального мікшування. 0070) Описані способи можуть бути також застосовні в системі, в якій переданий сигнал 7 є бінауральним сигналом. У цьому конкретному випадку декодер 60, показаний на фіг. 5, залишається таким, як він є, у той час як блок, позначений як "Сепегаїе 5іегео (око) тіх" (згенерувати стереомікс (І око)" 44 і показаний на фіг. 4, повинен бути замінений на "Сепегаїе апеспоїс Біпацга! тіх" (згенерувати приглушений бінауральний мікс) 43 (фіг. 4), який є таким самим, як і блок, що створює сигнальну пару У. Додатково, згідно з вимогами, можуть бути згенеровані і інші форми міксів. 00711 Цей підхід може бути розширений за допомогою способів реконструкції одного або більше вхідних сигналів РОМ з переданого стереоміксу, який складається з конкретної підмножини об'єктів або каналів.

І0072| Підхід може бути розширений за допомогою множинних домінантних компонентів, що прогнозуються з переданого стереоміксу і рендеруються на боці декодера. Не існує ніякого принципового обмеження прогнозування тільки одного домінантного компонента для кожного часового/частотного елемента розбиття. Зокрема, кількість домінантних компонентів може різнитися в кожному часовому/частотному елементі розбиття.

Інтерпретація

І0073)| У цьому описі всюди посилання на "один з варіантів здійснення", "деякі варіанти здійснення" або "варіант здійснення" означає, що конкретні ознака, структура або характеристика, описані у поєднанні з варіантом здійснення, вводяться щонайменше в один варіант здійснення даного винаходу. Таким чином, поява виразів "в одному з варіантів здійснення", "у деяких варіантах здійснення" або "у варіанті здійснення" всюди в різних місцях даного опису не обов'язкова, оскільки всі вони належать до того самого варіанта здійснення.

Крім того, конкретні ознаки, структури або характеристики можуть об'єднуватися будь-яким прийнятним способом, як має бути очевидно фахівцю в даній галузі техніки, виходячи з цього розкриття, в одному або більше варіантах здійснення.

І0074| Використання порядкових числівників "перший", "другий", "третій" і т. д. для опису звичайного об'єкта, як вони використовуються тут, якщо не визначено інакше, просто вказує, що посилання робиться на різні ексемпляри схожих об'єктів, і не призначено мати на увазі, що об'єкти, описані таким чином, повинні йти у наведеній послідовності в часі або у просторі, один за одним, або будь-яким іншим способом. 0075) У наведеній нижче формулі винаходу і у наведеному тут описі, будь-який з термінів "що містить", "що міститься" або "який містить" є відкритим терміном, який означає включення щонайменше елементів/ознак, що відповідають терміну, але не виключає і інших. Таким чином, термін "що містить", коли використовується у формулі винаходу, не повинен тлумачитися як обмежувальний для засобів, елементів або етапів, перерахованих тут далі. Наприклад, обсяг виразу "пристрій, що містить А і В", не повинен обмежуватися пристроями, що складаються тільки з елементів А і В. Будь-який з термінів "що включає в себе" або "який включає в себе" або "які включають", як ці терміни використовуються тут, також є відкритими термінами, які означають включення щонайменше елементів/ознак, що відповідають терміну, але не виключають і інших. Таким чином, "що включає в себе" є синонімом і означає "що містить".

І0076| Термін "зразковий", як він використовується тут, застосовується у розумінні представлення прикладів, а не як вказування на якість. Тобто, "зразковий варіант здійснення" є варіантом здійснення, що наводиться як приклад, і не є обов'язково варіантом здійснення, зразковим по якості.

І0077| Слід розуміти, що у наведеному вище описі зразкових варіантів здійснення винаходу, різні ознаки винаходу з метою оптимізації розкриття і представлення допомоги у розумінні одного або більше різних винахідницьких підходів іноді групуються разом у єдиний варіант здійснення, креслення або їх опис. Цей спосіб розкриття, однак, не повинен інтерпретуватися як 60 відображення наміру, що заявлений винахід вимагає більшої кількості ознак, ніж явно наводиться в кожному пункті формули винаходу. Скоріше, як це відображає подальша формула винаходу, аспекти винаходу полягають у менше ніж всіх ознаках єдиного попереднього розкритого варіанта здійснення. Таким чином, формула винаходу, що йде після розділу "Здійснення винаходу", тим самим явно включається у це "Здійснення винаходу" з кожним пунктом формули винаходу, що є самостійним, як окремий варіант здійснення цього винаходу. 0078) Додатково, хоча деякі варіанти здійснення, описані тут, містять деякі, але не інші ознаки, включені в інші варіанти здійснення, поєднання ознак у різних варіантах здійснення означає, що вони знаходяться у рамках обсягу винаходу і формують різні варіанти здійснення, як це мають розуміти фахівці в даній галузі техніки. Наприклад, в подальшій формулі винаходу будь-який з заявлених варіантів здійснення може використовуватися у будь-якому поєднанні.

І0079| Додатково, деякі з варіантів здійснення описуються тут як спосіб або поєднання елементів способу, які можуть бути реалізовані процесором комп'ютерної системи або іншими засобами виконання функції. Таким чином, процесор з необхідними командами для виконання такого способу або елемента способу утворює засіб виконання способу або елемента способу.

Додатково, описаний тут елемент варіанта здійснення пристрою є прикладом засобу виконання функції, що виконується елементом з метою здійснення винаходу. 0080) У наведеному тут описі викладені численні конкретні подробиці. Однак, слід розуміти, що варіанти здійснення винаходу можуть бути здійснені на практиці без цих конкретних подробиць. В інших випадках відомі способи, структури і технології не були показані докладно, щоб не заважати розумінню даного опису.

І0081) Точно також, слід зазначити, що термін "зв'язаний", коли використовується у формулі винаходу, не повинен інтерпретуватися як обмеження тільки прямими зв'язками. Терміни "зв'язаний" і "з'єднаний", а також їх похідні можуть використовуватися. Слід розуміти, що ці терміни не маються на увазі синонімами один одного. Таким чином, контекст виразу "Пристрій

А, зв'язаний з пристроєм В" не повинен обмежуватися пристроями або системами, в яких вихід пристрою А прямо з'єднується з входом пристрою В. Це означає, що існує шлях проходження між виходом пристрою А і входом пристрою В, який може бути шляхом проходження, що містить інші пристрої або засоби. "Зв'язаний" може означати, що два або більше елементів знаходяться у прямому фізичному або електричному контакті, або що два або більше елементів не знаходяться у прямому контакті один з одним але все ще діють спільно або взаємодіють один з одним. (0082) Таким чином, хоча тут були описані варіанти здійснення винаходу, фахівці в даній галузі техніки повинні визнати, в них можуть бути зроблені інші і додаткові модифікації, не відступаючи від суті винаходу, і мається на увазі, що всі такі зміни і модифікації заявляються як такі, що входять у рамки обсягу винаходу. Наприклад, будь-які формули, наведені вище, є просто репрезентативними для процедур, які можуть використовуватися. Функціональні можливості можуть додаватися або видалятися з блок-схем, і операції можуть чергуватися між функціональними блоками. В способах, описаних у межах обсягу даного винаходу, етапи можуть додаватися або видалятися.

ІЇ0083| Різні аспекти даного винаходу можуть бути зрозумілі, виходячи з наступних пронумерованих зразкових варіантів здійснення (епитегаїей ехатріє етродітепі, ЕЕЕ).

ЕЕЕ 1. Спосіб кодування для відтворення вхідного аудіосигналу, що базується на каналі або об'єкті, причому згаданий спосіб включає етапи, на яких: (а) спочатку рендерують вхідний аудіосигнал, що базується на каналі або об'єкті, у початкове вихідне представлення; (Б) визначають оцінку домінантного аудіокомпонента з вхідного аудіосигналу, що базується на каналі або об'єкті і визначають послідовність вагових коефіцієнтів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонент; (с) визначають оцінку напрямку або положення домінантного аудіокомпонента; і (4) кодують початкове вихідне представлення, вагові коефіцієнти домінантного аудіокомпонента, напрямок або положення домінантного аудіокомпонента як кодований сигнал для відтворення.

ЕЕЕ 2. Спосіб за п. ЕЕЕ 1, який додатково включає етап, на якому визначають оцінку залишкового міксу, що є початковим вихідним представленням, зменшену на рендеринг домінантного аудіокомпонента або його оцінки.

ЕЕЕ 3. Спосіб за п. ЕЕЕ 1, який додатково включає генерацію безехового бінаурального міксу вхідного аудіосигналу, що базується на каналі або об'єкті, і визначення оцінки залишкового міксу, причому оцінка залишкового міксу є безеховим бінауральним міксом за бо винятком рендерингу домінантного аудіокомпонента або його оцінки.

ЕЕЕ 4. Спосіб за п. ЕЕЕ 2 або 3, який додатково включає визначення послідовності залишкових матричних коефіцієнтів для відображення початкового вихідного представлення в оцінку залишкового міксу.

ЕЕЕ 5. Спосіб за будь-яким з попередніх ЕЕЕ, в якому згадане початкове вихідне представлення містить навушники або гучномовець.

ЕЕЕ 6. Спосіб за будь-яким з попередніх ЕЕЕ, в якому згаданий вхідний аудіосигнал, що базується на каналі або об'єкті, розбивається на елементи за часом і за частотою і згаданий етап кодування повторюється відносно послідовності часових етапів і наборів смуг частот.

ЕЕЕ 7. Спосіб за будь-яким з попередніх ЕЕЕ, в якому згадане початкове вихідне представлення містить мікс стереогучномовців.

ЕЕЕ 8. Спосіб декодування кодованого аудіосигналу, причому кодований аудіосигнал містить: - перше вихідне представлення; - вагові коефіцієнти домінантного аудіокомпонента і напрямку домінантних аудіокомпонентів; спосіб, який включає етапи, на яких: (а) використовують вагові коефіцієнти домінантного аудіокомпонента і початкове вихідне представлення, щоб визначити оцінювальний домінантний компонент; (Б) рендерують оцінювальний домінантний компонент з бінауралізацією у просторовому місці розташування відносно цільового слухача згідно з напрямком домінантного аудіокомпонента, щоб сформувати відрендерений бінауралізований оцінювальний домінантний компонент; (с) реконструюють оцінку залишкового компонента з першого вихідного представлення; і (4) об'єднують відрендерений бінауралізований оцінювальний домінантний компонент і оцінку залишкового компонента для формування вихідного просторового кодованого аудіосигналу.

ЕЕЕ 9. Спосіб за п. ЕЕЕ 8, в якому згаданий кодований аудіосигнал додатково містить послідовність залишкових матричних коефіцієнтів, що представляють залишковий аудіосигнал, і згаданий етап (с) додатково є етапом, на якому:

Зо (С1) застосовують згадані залишкові матричні коефіцієнти до першого вихідного представлення, щоб реконструювати оцінку залишкового компонента.

ЕЕЕ 10. Спосіб ЕЕЕ 8, в якому оцінка залишкового компонента реконструюється відніманням відрендереного бінауралізованого оцінювального домінантного компонента з першого вихідного представлення.

ЕЕЕ 11. Спосіб за ЕЕЕ 8, в якому згаданий етап (Б) включає в себе початковий поворот оцінювального домінантного компонента згідно з вхідним сигналом спостереження за рухом голови, що вказує орієнтацію голови цільового слухача.

ЕЕЕ 12. Спосіб декодування і відтворення аудіопотоку для слухача, що використовує навушники, причому згаданий спосіб включає етапи, на яких: (а) приймають потік даних, що містить першу аудіопрезентацію і додаткові аудіодані перетворення; (Б) приймають дані орієнтації голови, що представляють орієнтацію слухача; (с) створюють один або більше допоміжних сигналів, базуючись на згаданій першій аудіопрезентації і прийнятих даних перетворення; (4) створюють другу аудіопрезентацію, що складається з поєднання першого аудіопредставлення і згаданого допоміжного сигналу(ів), в якій один або більше згаданих допоміжних сигналів були модифіковані у відповідь на згадані дані орієнтації голови; і (є) виводять другу аудіопрезентацію як вихідний аудіопотік.

ЕЕЕ 13. Спосіб за п. ЕЕЕ 12, в якому модифікація допоміжних сигналів складається з моделювання акустичного шляху проходження від положення джерела звуку до вух слухача.

ЕЕЕ 14. Спосіб за п. ЕЕЕ 12 або 13, в якому згадані дані перетворення складаються з коефіцієнтів матрицювання і щонайменше одного з наступного: положення джерела звуку або напрямок джерела звуку.

ЕЕЕ 15. Спосіб за будь-яким з пп. ЕЕЕ 12-14, в якому процес перетворення застосовується як функція часу або частоти.

ЕЕЕ 16. Спосіб за будь-яким з ЕЕЕ 12-15, в якому допоміжні сигнали являють собою щонайменше один домінантний компонент.

ЕЕЕ 17. Спосіб за будь-яким з пп. ЕЕЕ 12-16, в якому положення або напрямок джерела звуку, прийнятий як частина даних перетворення, повертається у відповідь на дані орієнтації (516) голови.

ЕЕЕ 18. Спосіб за п. ЕЕЕ 17, в якому максимальна величина повороту обмежується значенням менше 360 градусів по азимуту або по куту місця.

ЕЕЕ 19. Спосіб за будь-яким з пп. ЕЕЕ 12-18, в якому вторинна презентація одержується з першої презентації шляхом матрицювання в ділянці перетворення або блока фільтрів.

ЕЕЕ 20. Спосіб за будь-яким з пп. ЕЕЕ 12-19, в якому дані перетворення додатково містять додаткові коефіцієнти матрицювання і етап (4) додатково містить модифікацію першого аудіопредставлення у відповідь на додаткові коефіцієнти матрицювання до об'єднання першого аудіопредставлення і допоміжного аудіосигналу(ів).

ЕЕЕ 21. Пристрій, що містить один або більше інших пристроїв, виконаний з можливістю здійснення будь-якого зі способів за пп. ЕЕЕ 1-20.

ЕЕЕ 22. Зчитуваний комп'ютером носій, який містить програму, що складається з команд, які, коли виконуються одним або більше процесорами, змушують один або більше пристроїв виконувати спосіб за будь-яким з пп. ЕЕЕ 1-20.

РЕФЕРАТ

Спосіб кодування вхідного аудіосигналу, що базується на каналі або об'єкті, для відтворення, при цьому спосіб включає етапи, на яких: (а) виконують початковий рендеринг вхідного аудіосигналу, що базується на каналі або об'єкті, у початкове вихідне представлення; (Б) визначають оцінку домінантного аудіокомпонента з вхідного аудіосигналу, що базується на каналі або об'єкті, і визначають послідовність вагових компонентів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонент; (с) визначають оцінку напрямку або положення домінантного аудіокомпонента; і (4) кодують початкове вихідне представлення, вагові коефіцієнти домінантного аудіокомпонента, напрямок або положення домінантного аудіокомпонента як кодований сигнал для відтворення.

Claims (3)

ФОРМУЛА ВИНАХОДУ

1. Спосіб кодування вхідного аудіосигналу (21), що базується на каналі або об'єкті, для відтворення, при цьому спосіб включає етапи, на яких: Зо (а) виконують початковий рендеринг вхідного аудіосигналу (21), що базується на каналі або об'єкті, у початкове вихідне представлення; (б) визначають (23) оцінку домінантного аудіокомпонентного сигналу (26) з вхідного аудіосигналу (21), що базується на каналі або об'єкті, і визначають (24) послідовність вагових компонентів домінантного аудіокомпонента для відображення початкового вихідного представлення у домінантний аудіокомпонентний сигнал, щоб забезпечити можливість використання вагових коефіцієнтів (27) домінантного аудіокомпонента і початкового вихідного представлення для визначення оцінки домінантного аудіокомпонентного сигналу; (с) визначають оцінку напрямку або положення (25) домінантного аудіокомпонента; і (4) кодують початкове вихідне представлення, вагові коефіцієнти (27) домінантного аудіокомпонента, напрямок або положення (25) домінантного аудіокомпонента як кодований сигнал для відтворення, при цьому початкове вихідне представлення містить стереофонічний сигнал (29) знижувального мікшування.

2. Спосіб за п. 1, який відрізняється тим, що додатково включає етап, на якому визначають оцінку залишкового міксу, що являє собою початкове вихідне представлення за винятком рендерингу або домінантного аудіокомпонентного сигналу, або його оцінки.

3. Спосіб за п. 1, який відрізняється тим, що додатково включає етап, на якому генерують (43) безеховий бінауральний мікс вхідного аудіосигналу (21), що базується на каналі або об'єкті, і визначають (49) оцінку залишкового міксу, причому оцінкою залишкового міксу є безеховий бінауральний мікс за винятком або рендерингу домінантного аудіокомпонентного сигналу, або його оцінки.

4. Спосіб за п. 2 або 3, який відрізняється тим, що додатково включає етап, на якому визначають послідовність залишкових матричних коефіцієнтів для відображення початкового вихідного представлення в оцінку залишкового міксу.

5. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що початкове вихідне представлення містить представлення за допомогою навушників або гучномовця.

6. Спосіб за будь-яким з попередніх пунктів, який відрізняється тим, що вхідний аудіосигнал (21), що базується на каналі або об'єкті, розбивається на елементи розбиття за часом і частотою, і згаданий етап кодування повторюється відносно послідовності часових кроків і послідовності смуг частот.

7. Спосіб декодування кодованого аудіосигналу, причому кодований аудіосигнал включає в себе: - початкове вихідне представлення; - вагові коефіцієнти домінантного аудіокомпонента і напрямку домінантного аудіокомпонента, причому початкове вихідне представлення містить стереофонічний сигнал (29) знижувального мікшування; при цьому спосіб включає етапи, на яких: (а) використовують (63) вагові коефіцієнти домінантного аудіокомпонента і початкове вихідне представлення, щоб визначити оцінювальний домінантний компонентний сигнал; (б) виконують (65) рендеринг оцінювального домінантного компонентного сигналу з бінауралізацією у просторовому місці розташування відносно цільового слухача згідно з напрямком домінантного аудіокомпонента, щоб сформувати відрендерений бінауралізований оцінювальний домінантний компонентний сигнал; (с) реконструюють оцінку залишкового компонента з початкового вихідного представлення; і (4) об'єднують (66) відрендерений бінауралізований оцінювальний домінантний компонентний сигнал і оцінку залишкового компонента для формування вихідного просторово орієнтованого кодованого аудіосигналу.

8. Спосіб за п. 7, який відрізняється тим, що кодований аудіосигнал додатково включає в себе послідовність залишкових матричних коефіцієнтів, що представляють залишковий аудіосигнал, і етап (с) додатково включає етап, на якому: (с1) застосовують (64) згадані залишкові матричні коефіцієнти до початкового вихідного представлення, щоб реконструювати оцінку залишкового компонента.

9. Спосіб за п. 7, який відрізняється тим, що оцінка залишкового компонента реконструюється відніманням відрендереного бінауралізованого оцінювального домінантного компонентного сигналу з початкового вихідного представлення.

10. Спосіб за будь-яким з пп. 7-9, в якому етап (Б) включає в себе початковий поворот оцінювального домінантного компонентного сигналу згідно з вхідним сигналом спостереження за рухом голови, що вказує орієнтацію голови цільового слухача.

11. Апаратура, що містить один або більше пристроїв, виконаних з можливістю здійснення Зо способу за будь-яким з пп. 1-10.

12. Машиночитаний носій, який містить програму, що складається з команд, які при їхньому виконанні одним або більше процесорами приписують одному або більше пристроям виконувати спосіб за будь-яким з пп. 1-10. с в НН ос ше: їн інже щи і | не ШИ ше | о і водованний | ! ї нн щи Кк нквнннн ше вк ще іо беувенй . сн як 0. Пер сяк Щщ кеВ Кувтент на сові | | я ! нина бу еб'єюту Тс , с осноднненстрсосрвінктконн в КК шо й М се Й Ва осніжеоюототнннкі рення ння тів в НИ ше зн. ТО бЖічноизно рані ! аж о) решльовний | Зоб) "1 домінантний й і і ! І яму о Неремоюютюьния !

г. З я: Шан й : ! | Я , Зо ї о Деунміво т Ух те й пот К шк 1 ді повна (не у й. ! | КО Оу аною з р

: з. є ЗЕ НН. фіг лак йо лк лада ллжо їх ї «фі регульсиннй Йти і у о нехнеє . і ши Ї Х х к З ї о Напримею воложвчня " енанивннн ка Модерн зе ї ШЕ ще ї ї Скит опоВа. Ж СЯ м КОДЕР Кз їх Др ЯН ЯН В я Я нія ВЕ В В Я ЯК А Я і чт ЯК Я тв Я Я Я Ку Я ія іа АК ЯК Я Я я ів я я АВК ні в ня я нн м : он фрння ! Н зро дення ще Кс са древка це дк о снен Її . | союрмувати Як ге ї ШЕ Ї Боздумаов г й КО с плиту шен Очки соди пон» чу я ші Жіме 0000 НО0МК 000000 орально -е НГ Кіз ші. й ЕСЕ зв г | ї "осн нсююнто Женніденннняня Жнива рот ЯН (клінічний іч ії; ша а ВВ ; ; КК НАТЕ Конфеедня : ; Н Я й : Бе аа ЯЗ ї Е Шрі: з : : Е І ї з БендарУих :

25. І ооо: ДЕ наш вен дере У : ж фа КОНІННННЙ с «й ШЕ | : і МУНУНЯНЕ : й СЕ Ї уко З Ж : і ; і | Е Двома ди Е Її : Е ї ки нЕни 1 г Ї Е ! І З Й ШК ї дк ; : ї ї х т ке ї і У, Ї г" не ШЕ нан НН | і, й ї Корова ї Її Бої ння - Бон сСеВоМКИКО Кеннет нон коненеповеннтнфоноенокевкнонофннЙВК МИСІ еефеннифае І та ї Щі : ! ЩЕ де о я КОТ ККУ ККУ ть ЯКА КУ ККУ у я КК ую ЕК ж ДЕКОДЕКУКНЄЕЕВ Я БО ; ей : ! ен ве нан м вини нини МШИ : : р Терни ся 20 ре : - 1 ше: а я ния ї Зх - ї 7 М. Коя ци З ї йо З Е Яна |; ен и ря ЩО нен ВОВК рення с в Ну ж Меню ринках МНОСВНЕ по дрнлнндо вк З ї х ЕІ ЗВ ї : Я З | Я Ь й В Кок Б 3. Щеня і Заоихаа і кхаххААХнл я кни : Е і ! ' ши | ме: В Е В 1-5 й хх Ж й ЩЕ : Ні ХЕ х КО Кр х З помвнй я Я ЩЕ ї Заеехрвня а СД ЩЕ ше : УЗ онко дян сл зе І х що. те У з панни і Я Ї " ДИБУМЕНІНИК і ЕВ і : а : нара ро г БЕеюнюєНик З ! а ї Її ддннннння ЩЕ : : Троення ЯСНЕ ТЕАТР. лету теж нн ЗНИСТЖ ОТЕЕ Я. ях тіки вк НИ Е КОХ арх в. ! Вер зелена ДІ фена КТ КК ААУ УА тт КК пт : НН ї Н З МЕЖ : КК СИТНЕУТУ оон реженя гаНОВЯ зЕг. 5