RU2741738C1 - Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала - Google Patents
Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала Download PDFInfo
- Publication number
- RU2741738C1 RU2741738C1 RU2020127493A RU2020127493A RU2741738C1 RU 2741738 C1 RU2741738 C1 RU 2741738C1 RU 2020127493 A RU2020127493 A RU 2020127493A RU 2020127493 A RU2020127493 A RU 2020127493A RU 2741738 C1 RU2741738 C1 RU 2741738C1
- Authority
- RU
- Russia
- Prior art keywords
- audio
- mono audio
- loudspeakers
- sound
- metadata
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 title claims description 119
- 238000000034 method Methods 0.000 title claims description 52
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000004091 panning Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 32
- 239000000126 substance Substances 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 33
- 230000008569 process Effects 0.000 description 24
- 238000009826 distribution Methods 0.000 description 21
- 238000004806 packaging method and process Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000003491 array Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 150000004678 hydrides Chemical group 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Stereophonic System (AREA)
- Quality & Reliability (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Liquid Crystal Substances (AREA)
- Inverter Devices (AREA)
Abstract
Изобретение относится к области обработки аудиоданных. Технический результат заключается в повышении качества обработки звуковых сигналов, подаваемых на громкоговорители. Технический результат достигается за счет заключения ряда монофонических аудиопотоков и метаданных в битовом потоке для передачи в систему представления, выполненную с возможностью представления ряда монофонических аудиопотоков в ряд сигналов, подаваемых на громкоговорители, соответствующих громкоговорителям в среде проигрывания, при этом громкоговорители массива громкоговорителей размещают в определенных положениях в пределах среды проигрывания, и при этом элементы метаданных, связанные с каждым соответствующим монофоническим аудиопотоком на основе объектов, указывают, запрещено ли представление соответствующего монофонического аудиопотока в один или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители, так что соответствующий монофонический аудиопоток на основе объектов не представлен в любом из одного или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители. 6 н. и 14 з.п. ф-лы, 11 ил., 12 табл.
Description
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636429, поданной 20 апреля 2012 г.; обе эти заявки ссылкой включаются в данное раскрытие полностью во всех отношениях.
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯ
[0002] Одна или несколько реализаций, в общем, относятся к обработке звуковых сигналов и, конкретнее, к гибридной обработке звука на основе объектов и каналов для использования в кинематографических, домашних и других средах.
ПРЕДПОСЫЛКИ
[0003] Не следует полагать, что предмет изобретения, обсуждаемый в разделе предпосылок, представляет собой известный уровень техники единственно в результате его упоминания в разделе предпосылок. Аналогично, не следует полагать, что проблема, упоминаемая в разделе предпосылок или связанная с предметом изобретения в разделе предпосылок, является признанной на известном уровне техники. Предмет изобретения в разделе предпосылок лишь представляет различные подходы, которые сами по себе также могут представлять собой изобретения.
[0004] С момента введения звука в фильмы происходило устойчивое развитие технологии, предназначенной для фиксации художественного замысла создателя звуковой дорожки кинокартины и для его точного воспроизведения в среде кинотеатра. Основополагающая роль звука в кинематографии заключается в содействии сюжету на экране. Типичные звуковые дорожки для кинематографии содержат множество различных звуковых элементов, соответствующих элементам и изображениям на экране, диалогам, шумам и звуковым эффектам, которые исходят от различных элементов на экране и сочетаются с музыкальным фоном и эффектами окружающей среды, создавая общее впечатления от просмотра. Художественный замысел создателей и продюсеров отображает их желание воспроизводить указанные звуки таким образом, который как можно точнее соответствует тому, что демонстрируется на экране в том, что касается положения, интенсивности, перемещения и других аналогичных параметров источников звука.
[0005] Современная авторская разработка, распространение и проигрывание кинофильмов страдает от ограничений, которые сдерживают создание по-настоящему жизненного и создающего эффект присутствия звука. Традиционные аудиосистемы на основе каналов передают звуковое содержимое в форме сигналов, подаваемых на громкоговорители, для отдельных громкоговорителей в такой среде проигрывания, как стереофоническая система или система 5.1. Внедрение цифровой кинематографии создало такие новые стандарты звука в фильмах, как объединение до 16 звуковых каналов, что позволяет увеличить творческие возможности создателей содержимого, а также больший охват и реалистичность впечатлений от прослушивания для зрителей. Введение окружающих систем 7.1 обеспечило новый формат, который увеличивает количество окружающих каналов путем разбиения существующего левого и правого окружающих каналов на четыре зоны, что, таким образом, расширяет пределы возможностей операторов обработки и синтеза звука и операторов микширования при управлении местоположениями звуковых элементов в кинотеатре.
[0006] Для дальнейшего улучшения пользовательского восприятия, проигрывание звука в виртуальных трехмерных средах стало областью усиленных проектно-конструкторских разработок. Представление звука в пространстве использует звуковые объекты, которые представляют собой звуковые сигналы со связанными параметрическими описаниями источников для положений кажущегося источника (например, трехмерных координат), ширины кажущегося источника и других параметров. Звук на основе объектов во все возрастающей мере используется для многих современных мультимедийных приложений, таких как цифровые кинофильмы, видеоигры, симуляторы и трехмерное видео.
[0007] Решающим является выход за пределы традиционных сигналов, подаваемых на громкоговорители, и звука на основе каналов как средств распространения звука в пространстве, и существует значительный интерес к описанию звука на основе моделей, которое является многообещающим для того, чтобы давать слушателю/кинопрокатчику свободу выбора конфигурации проигрывания, которая соответствует их индивидуальным потребностям или бюджету, со звуком, данные которого представляются специально для выбранной ими конфигурации. На высоком уровне в настоящее время существует четыре основных формата пространственного описания звука: сигналы, подаваемые на громкоговорители, где звук описывается как сигналы, предназначенные для громкоговорителей в номинальных положениях громкоговорителей; сигнал, подаваемый на микрофон, где звук описывается как сигналы, захватываемые виртуальными или фактическими микрофонами в предварительно определяемом массиве; описание на основе моделей, в котором звук описывается в терминах последовательности звуковых событий в описываемых положениях; и бинауральный, в котором звук описывается сигналами, которые достигают ушей пользователя. Эти четыре формата описания часто связаны с одной или несколькими технологиями представления данных, которые преобразовывают звуковые сигналы в сигналы, подаваемые на громкоговорители. Современные технологии представления данных включают панорамирование, при котором аудиопоток преобразовывается в сигналы, подаваемые на громкоговорители, с использованием набора законов панорамирования и известных, или предполагаемых, положений громкоговорителей (как правило, представление данных происходит перед распространением); амбифонию, при которой сигналы микрофонов преобразовываются в подаваемые сигналы для масштабируемого массива громкоговорителей (как правило, представление данных происходит после распространения); WFS (синтез волнового поля), при котором звуковые события преобразовываются в соответствующие сигналы громкоговорителей для синтеза звукового поля (как правило, представление данных происходит после распространения); и бинауральную технологию, в которой бинауральные сигналы L/R (левый/правый) доставляются в уши L/R, как правило, с использованием наушников, но также с использованием громкоговорителей и подавления перекрестных помех (представление данных происходит до или после распространения). Среди этих форматов наиболее общим является формат подачи сигналов на громкоговорители, поскольку он является простым и эффективным. Наилучшие акустические результаты (наиболее точные, наиболее достоверные) достигаются путем микширования/текущего контроля и распространения непосредственно в сигналы, подаваемые на громкоговорители, поскольку между создателем содержимого и слушателем обработка отсутствует. Если проигрывающая система известна заранее, описание сигналов, подаваемых на громкоговорители, обычно обеспечивает наивысшую точность воспроизведения. Однако во многих применениях на практике проигрывающая система неизвестна. Наиболее адаптируемым считается описание на основе моделей, поскольку оно не делает предположений о технологии представления данных, и поэтому оно легче всего применяется для любой технологии представления данных. Несмотря на то, что описание на основе моделей эффективно собирает пространственную информацию, оно становится чрезвычайно неэффективным по мере увеличения количества источников звука.
[0008] В течение многих лет системы для кинематографии характеризовались дискретными экранными каналами в форме левого, центрального, правого и, иногда, «внутреннего левого» и «внутреннего правого» каналов. Эти дискретные источники обычно имеют достаточную амплитудно-частотную характеристику и коммутируемую мощность для того, чтобы позволять точно размещать звуки в разных областях экрана и допускать тембральное согласование по мере того, как звуки перемещаются, или панорамируются, между местоположениями. Современные разработки по усилению восприятия слушателя стремятся к точному воспроизведению местоположения звуков относительно слушателя. В установке 5.1 окружающие «зоны» включают массив громкоговорителей, все из которых несут одинаковую звуковую информацию в пределах каждой, левой окружающей или правой окружающей зоны. Указанные массивы могут быть эффективны для эффектов «окружающей среды» и рассеянного окружающего звука, однако в повседневной жизни многие звуковые эффекты возникают из случайно размещенных точечных источников. Например, в ресторане кажется, что окружающая музыка играет со всех сторон, в то время как из определенных точек возникают дискретные звуки: разговор человека – из одной точки, стук ножа по тарелке – из другой. Наличие возможности дискретного размещения этих звуков вокруг зрительного зала может создавать усиленное ощущение реальности, не являясь при этом слишком заметным. Также важной составляющей четкости окружающего звука являются звуки сверху. В реальном мире звуки приходят со всех направлений, и не всегда – из единственной горизонтальной плоскости. Дополнительное чувство реальности может достигаться, если звуки могут слышаться сверху, иными словами из «верхней полусферы». Современные системы, однако, не предлагают по-настоящему точного воспроизведения звука для разных типов звука для ряда разных сред проигрывания. Потребуется еще немало сделать в области обработки, знания и конфигурации фактических сред проигрывания, чтобы, используя существующие системы, попытаться точно воспроизводить местоположение определенных звуков и, таким образом, сделать современные системы негодными к употреблению для большинства применений.
[0009] То, что является необходимым, представляет собой систему, которая поддерживает несколько экранных каналов, что в результате приводит к повышенной четкости и улучшенной аудиовизуальной когерентности для звуков или диалога на экране и к возможности точно располагать источники где угодно в окружающих зонах, улучшая аудиовизуальный переход от экрана в помещение. Например, если герой на экране смотрит внутрь помещения в направлении источника звука, звукоинженер («оператор микширования») должен иметь возможность точно размещать звук так, чтобы он совпадал с линией взгляда героя, и чтобы этот эффект был единообразным для всех зрителей. Однако при традиционном микшировании окружающего звука 5.1 или 7.1 эффект сильно зависит от положения посадочного места слушателя, что является неблагоприятным для большинства крупных сред прослушивания. Повышенное разрешение окружающего звука создает новые возможности для использования звука центрированным в помещении образом, в отличие от традиционного подхода, где содержимое создается в предположении единственного слушателя в «зоне наилучшего восприятия».
[0010] Помимо пространственных проблем, многоканальные системы на современном уровне техники страдают в отношении тембра. Например, при воспроизведении массивом громкоговорителей может страдать тембральное качество некоторых звуков, таких как шипение пара, выходящего из поврежденной трубы. Способность направлять определенные звуки в единственный громкоговоритель дает оператору микширования возможность устранять искажения при воспроизведении массивом и добиваться более реалистичного восприятия зрителями. Традиционно, окружающие громкоговорители не поддерживают столь же полный диапазон звуковых частот и уровень, которые поддерживают большие экранные каналы. В прошлом это создавало трудности для операторов микширования, уменьшая их возможности свободно перемещать широкополосные звуки от экрана в помещение. В результате, владельцы кинотеатров не ощущали необходимости в модернизации конфигурации окружающих каналов, что препятствовало широкому внедрению более высококачественных установок.
КРАТКОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0011] Системы и способы описываются для формата звука для кинематографии и системы обработки данных, которая включает новый слой громкоговорителей (конфигурацию каналов) и связанный формат пространственного описания. Определена система адаптивного звука и формат, который поддерживает несколько технологий представления данных. Аудиопотоки передаются наряду с метаданными, которые описывают «замысел оператора микширования», включающий требуемое положение аудиопотока. Указанное положение может быть выражено как названный канал (из каналов в пределах предварительно определенной конфигурации каналов) или как информация о трехмерном положении. Такой формат – каналы плюс объекты — сочетает оптимальные способы описания звуковой картины на основе каналов и на основе моделей. Аудиоданные для системы адаптивного звука содержат некоторое количество независимых монофонических аудиопотоков. Каждый поток имеет связанные с ним метаданные, которые описывают, будет поток представлять собой поток на основе каналов или поток на основе объектов. Потоки на основе каналов содержат информацию представления данных, кодированную посредством названия канала; а потоки на основе объектов содержат информацию местоположения, кодированную через математические выражения, кодированные в дополнительных связанных метаданных. Оригинальные независимые аудиопотоки упаковываются как единая двоичная последовательность, которая содержит все аудиоданные. Данная конфигурация позволяет представлять звук в соответствии с аллоцентрической системой отсчета, в которой представление данных местоположения звука основывается на характеристиках среды проигрывания (например, на размере помещения, его форме и т.д.) для соответствия замыслу оператора микширования. Метаданные положения объекта содержат соответствующую информацию аллоцентрической системы координат, необходимую для правильного проигрывания звука с использованием положений доступных громкоговорителей в помещении, которое подготовлено для проигрывания адаптивного звукового содержимого. Это позволяет оптимально микшировать звук для определенной среды проигрывания, которая может отличаться от среды микширования, испытываемой звукоинженером.
[0012] Система адаптивного звука повышает качество звука в различных помещениях посредством таких преимуществ, как усовершенствованное управление коррекцией амплитудно-частотной характеристики в помещении и окружающими басами с тем, чтобы оператор микширования мог свободно обращаться к громкоговорителям (как находящимся на экране, так и вне экрана) без необходимости думать о тембральном согласовании. Система адаптивного звука добавляет в традиционные последовательности операций на основе каналов гибкость и возможности динамических звуковых объектов. Указанные звуковые объекты позволяют создателям контролировать дискретные звуковые элементы независимо от конкретных конфигураций проигрывающих громкоговорителей, в том числе верхних громкоговорителей. Система также вносит новую эффективность в процесс компоновки, позволяя звукоинженерам эффективно фиксировать все их замыслы а затем, в ходе текущего контроля в реальном времени или автоматически, генерировать версии окружающего звука 7.1 или 5.1.
[0013] Система адаптивного звука упрощает распространение, выделяя звуковую сущность художественного замысла в единый файл дорожки в устройстве обработки данных для цифровой кинематографии, который может точно проигрываться в широком диапазоне конфигураций кинотеатров. Система обеспечивает оптимальное воспроизведение художественного замысла, когда средства микширования и представления данных используют одинаковую конфигурацию каналов и единый инвентарь с нисходящей адаптацией к конфигурации представления данных, т.е. с понижающим микшированием.
[0014] Эти и другие преимущества представлены через варианты осуществления изобретения, которые направлены на звуковую платформу для кинематографии, обращаясь к ограничениям современных систем и доставляют впечатления от звука, который находится за пределами досягаемости систем, доступных в настоящее время.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[0015] В нижеследующих графических материалах сходные ссылочные позиции используются для ссылки на сходные элементы. Несмотря на то, что следующие фигуры изображают различные примеры, одна или несколько реализаций не ограничиваются примерами, изображенными на указанных фигурах.
[0016] ФИГ. 1 представляет собой общий вид сверху среды создания и проигрывания звука, использующей систему адаптивного звука согласно одному из вариантов осуществления изобретения.
[0017] ФИГ. 2 иллюстрирует объединение данных на основе каналов и на основе объектов с целью генерирования адаптивного звукового микса согласно одному из вариантов осуществления изобретения.
[0018] ФИГ. 3 представляет собой блок-схему, иллюстрирующую последовательность операций создания, упаковки и представления данных адаптивного звукового содержимого согласно одному из вариантов осуществления изобретения.
[0019] ФИГ. 4 представляет собой блок-схему этапа представления данных системы адаптивного звука согласно одному из вариантов осуществления изобретения.
[0020] ФИГ. 5 представляет собой таблицу, в которой перечисляются типы метаданных и связанные элементы метаданных для системы адаптивного звука согласно одному из вариантов осуществления изобретения.
[0021] ФИГ. 6 представляет собой схему, которая иллюстрирует компоновку и окончательную обработку для системы адаптивного звука согласно одному из вариантов осуществления изобретения.
[0022] ФИГ. 7 представляет собой схему одного из примеров последовательности операций процесса упаковки цифрового кинофильма с использованием файлов адаптивного звука согласно одному из вариантов осуществления изобретения.
[0023] ФИГ. 8 представляет собой вид сверху одного из примеров схемы расположения предполагаемых местоположений громкоговорителей для их использования с системой адаптивного звука в типовом зрительном зале.
[0024] ФИГ. 9 представляет собой вид спереди одного из примеров размещения предполагаемых местоположений громкоговорителей на экране для использования в типовом зрительном зале.
[0025] ФИГ. 10 представляет собой вид сбоку одного из примеров схемы расположения предполагаемых местоположений громкоговорителей для их использования с системой адаптивного звука в типовом зрительном зале.
[0026] ФИГ. 11 представляет собой один из примеров расположения верхних окружающих громкоговорителей и боковых окружающих громкоговорителей относительно начала отсчета согласно одному из вариантов осуществления изобретения.
ПОДРОБНОЕ ОПИСАНИЕ
[0027] Описываются системы и способы для системы адаптивного звука и связанного звукового сигнала и формата данных, которые поддерживают несколько технологий представления данных. Особенности для одного или нескольких вариантов осуществления изобретения, описываемые в данном раскрытии, могут реализовываться в аудиосистеме или аудиовизуальной системе, которая обрабатывает исходную звуковую информацию в системе микширования, представления данных и проигрывания, которая содержит один или несколько компьютеров или устройств обработки данных, исполняющих команды программного обеспечения. Любой из описываемых вариантов осуществления изобретения может использоваться сам по себе или совместно с какими-либо другими вариантами в любом сочетании. Несмотря на то, что различные варианты осуществления изобретения могли быть мотивированы различными недостатками на известном уровне техники, которые могут обсуждаться или упоминаться в одном или нескольких местах в данном описании, варианты осуществления изобретения необязательно обращаются к какому-либо из этих недостатков. Иными словами, различные варианты осуществления изобретения могут обращаться к различным недостаткам, которые могут обсуждаться в данном описании. Некоторые варианты осуществления изобретения могут лишь частично обращаться к некоторым недостаткам или только к одному недостатку, описываемому в данном описании, а некоторые варианты осуществления изобретения могут не обращаться ни к одному из этих недостатков.
[0028] Для целей настоящего описания, нижеследующие термины имеют следующие связанные значения:
[0029] Канал, или звуковой канал: монофонический звуковой сигнал, или аудиопоток, плюс метаданные, в которых положение закодировано как идентификатор канала, например «левый передний» или «правый верхний окружающий». Канальный объект может управлять несколькими громкоговорителями, например, левые окружающие каналы (Ls) будут подаваться на громкоговорители массива Ls.
[0030] Конфигурация каналов: предварительно определенный набор зон громкоговорителей со связанными номинальными местоположениями, например, 5.1, 7.1 и т.д.; 5.1 относится к шестиканальной аудиосистеме окружающего звука, содержащей передние левый и правый каналы, центральный канал, два окружающих канала и сверхнизкочастотный канал; 7.1 относится к восьмиканальной системе окружающего звука, в которой к системе 5.1 добавлено два дополнительных окружающих канала. Примеры конфигураций 5.1 и 7.1 включают системы Dolby® surround.
[0031] Громкоговоритель: преобразователь звука или набор преобразователей, которые представляют данные звукового сигнала.
[0032] Зона громкоговорителей: массив из одного или нескольких громкоговорителей, которые могут быть однозначно отнесены и которые принимают единственный, например, левый окружающий, звуковой сигнал, обычно находятся в кинотеатре и, в частности, предназначены для исключения или включения в представление данных объекта.
[0033] Канал громкоговорителя, или канал сигнала, подаваемого на громкоговоритель: звуковой канал, который связан с названным громкоговорителем, или зоной громкоговорителей, в пределах определенной конфигурации громкоговорителей. Канал громкоговорителя обычно представляется с использованием связанной зоны громкоговорителей.
[0034] Группа каналов громкоговорителей: набор из одного или нескольких каналов громкоговорителей, соответствующих конфигурации каналов (например, со стерео дорожками, моно дорожками и т.д.)
[0035] Объект, или канал объекта: один или несколько звуковых каналов с таким параметрическим описанием источника, как положение кажущегося источника (например, трехмерные координаты), ширина кажущегося источника и т.д. Аудиопоток плюс метаданные, в которых положение закодировано как трехмерное положение в пространстве.
[0036] Звуковая программа: полный набор каналов громкоговорителей и/или объектных каналов и связанных метаданных, которые описывают требуемое представление звука в пространстве.
[0037] Аллоцентрическая система отсчета: пространственная система отсчета, в которой звуковые объекты определяются в пределах среды представления данных относительно таких признаков, как стены и углы помещения, стандартные местоположения громкоговорителей и местоположение экрана (например, передний левый угол помещения).
[0038] Эгоцентрическая система отсчета: пространственная система отсчета, в которой объекты определяются относительно перспективы (зрителей) слушателя, и которая часто определяется относительно углов по отношению к слушателю (например, 30 градусов справа от слушателя).
[0039] Кадр: кадры представляют собой короткие, независимо декодируемые сегменты, на которые разделяется полная звуковая программа. Размер и границы аудиокадров обычно выровнены с видеокадрами.
[0040] Адаптивный звук: звуковые сигналы на основе каналов и/или на основе объектов плюс метаданные, которые представляют данные звуковых сигналов на основе среды проигрывания.
[0041] Описываемый в данном раскрытии формат звука для кинематографии и система обработки данных, также именуемая «системой адаптивного звука», используют новую технологию описания и представления пространственных данных звука, позволяющую усиливать эффект присутствия у зрителей, повышать художественный контроль, гибкость и масштабируемость системы и простоту установки и обслуживания. Варианты осуществления звуковой платформы для кинематографии включают несколько дискретных компонентов, в том числе инструментальные средства микширования, устройство упаковки/кодер, устройство распаковки/декодер, компоненты окончательного микширования и представления данных в кинотеатре, новые схемы громкоговорителей и объединенные в сеть усилители. Система включает рекомендации для новой конфигурации каналов, подлежащей использованию создателями и кинопрокатчиками. Система использует описание на основе моделей, которое поддерживает несколько таких характерных признаков, как: единый инвентарь с нисходящей и восходящей адаптацией к конфигурации представления данных, т.е. отсроченное представление данных и обеспечение возможности оптимального использования доступных громкоговорителей; улучшенный охват звука, включение оптимизированного понижающего микширования во избежание корреляции между каналами; повышенное пространственное разрешение через сквозное управление массивами (например, звуковой объект динамически приписывается к одному или нескольким громкоговорителям в пределах массива окружающего звука); и поддержка альтернативных способов представления данных.
[0042] ФИГ. 1 представляет собой общий вид сверху среды создания и проигрывания звука, использующей систему адаптивного звука, согласно одному из вариантов осуществления изобретения. Как показано на ФИГ. 1, полная, непрерывная среда 100 содержит компоненты создания содержимого, упаковки, распространения и/или проигрывания/представления данных в большое количество конечных устройств и вариантов использования. Система 100 в целом ведет свое начало от содержимого, захваченного из и для некоторого количества разных вариантов использования, которые включают восприятие 112 зрителями. Элемент 102 захвата данных содержимого включает, например, кинематографию, телевидение, прямую трансляцию, содержимое, генерируемое пользователем, записанное содержимое, игры, музыку и т.п., и может включать звуковое/визуальное или чисто звуковое содержимое. Содержимое по мере продвижения через систему 100 от этапа 102 захвата данных к восприятию 112 конечными пользователями проходит несколько ключевых этапов обработки через дискретные компоненты системы. Указанные этапы процесса включают предварительную обработку звука 104, инструментальные средства и процессы 106 авторской разработки, кодирование аудиокодеком 108, который ведет сбор, например, аудиоданных, дополнительных метаданных и информации воспроизведения, и объектные каналы. Для успешного и защищенного распространения посредством различных носителей, к объектным каналам могут применяться такие разнообразные воздействия обработки, как сжатие (с потерями или без потерь), шифрование и т.п. Для воспроизведения и передачи определенного восприятия 112 пользователем адаптивного звука, затем применяются соответствующие специфичные для конечных точек процессы 110 декодирования и представления данных. Восприятие 112 звука представляет проигрывание звукового или аудиовизуального содержимого через соответствующие громкоговорители и проигрывающие устройства, и может представлять любую среду, в которой слушатель испытывает воспроизведение захваченного содержимого, такую как кинотеатр, концертный зал, открытый кинотеатр, дом или помещение, кабинка для прослушивания, автомобиль, игровая приставка, наушники или гарнитура, система оповещения или другая проигрывающая среда.
[0043] Данный вариант осуществления системы 100 включает аудиокодек 108, который способен эффективно распространять и хранить в памяти многоканальные звуковые программы, и поэтому может именоваться как «гибридный» кодек. Кодек 108 сочетает традиционные аудиоданные на основе каналов со связанными метаданными, образуя звуковые объекты, которые облегчают создание и доставку звука, который является адаптированным и оптимизированным для представления данных и проигрывания в средах, которые, возможно, отличаются от среды микширования. Это позволяет звукоинженеру кодировать его или ее замысел в том, как конечный звук должен слышаться слушателем, на основе фактической среды прослушивания слушателем.
[0044] Традиционные аудиокодеки на основе каналов действуют в предположении, что звуковая программа будет воспроизводиться массивом громкоговорителей, находящихся в предварительно определенных положениях относительно слушателя. Для создания полной многоканальной звуковой программы, звукоинженеры обычно микшируют большое количество отдельных аудиопотоков (например, диалог, музыку, эффекты) с целью создания требуемого общего восприятия. При микшировании звука решения обычно принимаются путем прослушивания звуковой программы, воспроизводимой массивом громкоговорителей, находящихся в предварительно определенных положениях, например, в частности, в системе 5.1 или 7.1 в определенном кинотеатре. Конечный, микшированный сигнал служит вводом в аудиокодек. Пространственно точные звуковые поля достигаются при воспроизведении только тогда, когда громкоговорители размещаются в предварительно определенных положениях.
[0045] Одна из новых форм кодирования звука, называемая кодированием звуковых объектов, предусматривает в качестве ввода в кодер отдельные источники звука (звуковые объекты) в форме отдельных аудиопотоков. Примеры звуковых объектов включают диалоговые дорожки, отдельные инструменты, отдельные звуковые эффекты и другие точечные источники. Каждый звуковой объект связан с пространственными параметрами, которые могут включать в качестве неограничивающих примеров положение звука, ширину звука и информацию скорости. Для распространения и хранения, звуковые объекты и связанные параметры затем кодируются. Окончательное микширование и представление данных звукового объекта выполняется на стороне приема в цепи распространения звука как часть проигрывания звуковой программы. Этот этап может основываться на сведениях о фактических положениях громкоговорителей, поэтому результатом является система распространения звука, которая является настраиваемой в соответствии с условиями прослушивания конкретным пользователем. Две указанные формы кодирования, на основе каналов и на основе объектов, оптимально действуют для разных условий входного сигнала. Аудиокодеры на основе каналов обычно более эффективны для кодирования входных сигналов, содержащих плотные смеси разных источников звука, а также для рассеянных звуков. Кодеры звуковых объектов, наоборот, более эффективны для кодирования небольшого количества высоконаправленных источников звука.
[0046] В одном из вариантов осуществления изобретения, способы и компоненты системы 100 включают систему кодирования, распространения и декодирования звука, сконфигурированную для генерирования одного или нескольких битовых потоков, содержащих как традиционные звуковые элементы на основе каналов, так и элементы кодирования звуковых объектов. Такой комбинированный подход обеспечивает бóльшую эффективность кодирования и гибкость представления данных по сравнению с взятыми по отдельности подходами на основе каналов и на основе объектов.
[0047] Другие особенности описываемых вариантов осуществления изобретения включают расширение обратно совместимым образом предварительно определенного аудиокодека на основе каналов для включения элементов кодирования звуковых объектов. Новый «слой расширения», содержащий элементы кодирования звуковых объектов, определяется и добавляется к «основному», или «обратно совместимому», слою битового потока аудиокодека на основе каналов. Такой подход позволяет унаследованным декодерам обрабатывать один или несколько битовых потоков, которые содержат слой расширения, и, в то же время, обеспечивает улучшенное впечатление от прослушивания для пользователей с новыми декодерами. Один из примеров усиления пользовательского восприятия включает управление представлением данных звукового объекта. Дополнительным преимуществом этого подхода является то, что звуковые объекты могут добавляться или модифицироваться повсюду на протяжении цепочки распространения без декодирования/микширования/повторного кодирования многоканального звука, кодированного аудиокодеком на основе каналов.
[0048] В отношении системы координат, пространственные эффекты звуковых сигналов являются решающими при обеспечении для слушателя впечатления эффекта присутствия. Звуки, которые подразумеваются как исходящие из определенной области зрительного экрана или помещения должны воспроизводиться через громкоговоритель (громкоговорители), расположенный в том же самом относительном местоположении. Поэтому первичным элементом метаданных звука для звукового события в описании на основе моделей является положение, хотя могут также описываться и такие другие параметры, как размер, ориентация, скорость и дисперсия звука. Для передачи положения трехмерное пространственное описание звука на основе моделей требует трехмерной системы координат. Система координат, используемая для передачи (эвклидова, сферическая и т.д.), обычно выбирается для удобства или компактности, однако для обработки представления данных могут использоваться и другие системы координат. В дополнение к системе координат, для представления местоположений объектов в пространстве, требуется система отсчета. Выбор надлежащей системы отсчета может быть решающим фактором точного воспроизведения звука системами на основе положения во множестве различных сред. В аллоцентрической системе отсчета положение источника звука определяется относительно таких признаков в пределах среды представления данных, как стены и углы помещения, стандартные местоположения громкоговорителей и местоположение экрана. В эгоцентрической системе отсчета местоположения представляются относительно перспективы слушателя, как, например, «передо мной, немного влево», и т.д. Научные исследования пространственного восприятия (звука и др.) показали, что наиболее универсальным является использование эгоцентрической перспективы. Однако для кинематографа по ряду причин более подходящей является аллоцентрическая система. Например, точное местоположение звукового объекта является более важным, когда связанный объект находится на экране. При использовании аллоцентрической системы отсчета для каждого положения прослушивания и для экрана любого размера, звук будет локализоваться в одном и том же положении на экране, например, на треть левее середины экрана. Другой причиной является то, что операторы микширования склонны рассуждать и микшировать в аллоцентрическом исчислении, и средства панорамирования компонуются в аллоцентрической системе отсчета (стены помещения), и операторы микширования ожидают, что представляться эти средства будут именно таким образом, например, «этот звук должен находиться на экране», «этот звук должен находиться за экраном» или «от левой стены», и т.д.
[0049] Несмотря на использование аллоцентрической системы отсчета в среде для кинематографии, существуют некоторые случаи, для которых может быть полезна эгоцентрическая система отсчета. Эти случаи включают закадровые звуки, т.е. звуки, которые не присутствуют в «пространстве фильма», например, музыкальное сопровождение, для которого может требоваться однородное эгоцентрическое представление. Другой случай – эффекты в ближней зоне (например, жужжание комара в левом ухе слушателя), которые требуют эгоцентрического представления. В настоящее время не существует средств для представления данных такого ближнего звукового поля с использованием наушников или громкоговорителей ближней зоны. Кроме того, бесконечно удаленные источники звука (и результирующие плоские волны) кажутся приходящими из постоянного эгоцентрического положения (например, 30 градусов слева), и такие звуки легче описать в эгоцентрическом исчислении, а не в аллоцентрическом.
[0050] В некоторых случаях, можно использовать аллоцентрическую систему отсчета до тех пор, пока определено номинальное положение прослушивания, несмотря на то, что некоторые примеры требуют эгоцентрического представления, данные которого до сих пор невозможно представить. И хотя аллоцентрическая система отсчета может являться более полезной и подходящей, представление звука должно быть расширяемым, поскольку многие новые особенности, в том числе и эгоцентрическое представление, могут оказаться более желательными в некоторых приложениях и средах прослушивания. Варианты осуществления системы адаптированного звука включают гибридный подход к пространственному описанию, который включает рекомендуемую конфигурацию каналов для оптимальной точности воспроизведения и для представления данных рассеянных или сложных, многоточечных источников (например, толпа на стадионе, окружающая среда) с использованием эгоцентрической системы отсчета плюс аллоцентрическое описание звука на основе моделей – для того, чтобы допускалось высокое пространственное разрешение и масштабируемость.
Компоненты системы
[0051] Со ссылкой на ФИГ. 1, оригинальные данные 102 звукового содержимого, в первую очередь, обрабатываются в блоке 104 предварительной обработки. Блок 104 предварительной обработки системы 100 содержит компонент фильтрации объектных каналов. Во многих случаях, звуковые объекты содержат отдельные источники звука, что позволяет панорамировать звуки независимо. В некоторых случаях, как, например, при создании звуковых программ с использованием природного или «производственного» звука, может оказаться необходимым извлечение отдельных звуковых объектов из записи, которая содержит несколько источников звука. Варианты осуществления изобретения включают способ выделения независимых звуковых сигналов из более сложного сигнала. Нежелательные элементы, подлежащие отделению от независимых сигналов источников, могут включать в качестве неограничивающих примеров другие независимые источники звука и фоновый шум. Кроме того, для воссоздания «сухих» источников звука может устраняться реверберация.
[0052] Устройство 104 предварительной обработки данных также включает функциональную возможность разделения источников и обнаружения типа содержимого. Система предусматривает автоматическое генерирование метаданных путем анализа входного звука. Позиционные метаданные получаются из многоканальной записи путем анализа относительных уровней коррелированного входного сигнала между парами каналов. Обнаружение типа содержимого, такого как «речь» или «музыка», может выполняться, например, путем извлечения и классификации характерных признаков.
Инструментальные средства авторской разработки
[0053] Блок 106 инструментальных средств авторской разработки включает характерные признаки, предназначенные для усовершенствования авторской разработки звуковых программ путем оптимизации ввода и кодификации творческого замысла звукоинженера, позволяя ему создавать конечный звуковой микс, как только она будет оптимизирована для проигрывания практически в любой среде проигрывания. Это выполняется путем использования звуковых объектов и позиционных данных, которые связываются и кодируются вместе с оригинальным звуковым содержимым. Для того, чтобы точно разместить звуки по периметру зрительного зала, звукоинженеру необходимо иметь контроль над тем, как звук будет в конечном счете представляться на основе фактических ограничений и характерных признаков среды проигрывания. Система адаптивного звука предусматривает такой контроль, позволяя звукоинженеру изменять то, каким образом звуковое содержимое разрабатывается и микшируется путем использования звуковых объектов и позиционных данных.
[0054] Звуковые объекты можно считать группами звуковых элементов, которые могут восприниматься как исходящие из определенного физического местоположения, или местоположений, в зрительном зале. Такие объекты могут быть неподвижными, или они могут перемещаться. В системе 100 адаптивного звука звуковые объекты управляются метаданными, которые, среди прочего, подробно описывают местоположение звука в данный момент времени. Когда объекты подвергаются текущему контролю, или проигрываются в кинотеатре, их данные представляются согласно позиционным метаданным с использованием громкоговорителей, которые имеются в наличии, вместо обязательного вывода в физический канал. Дорожка в сессии может представлять собой звуковой объект, а стандартные данные панорамирования могут быть аналогичны позиционным метаданным. Таким образом, содержимое, размещаемое на экране, может эффективно панорамироваться точно так же, как в случае содержимого на основе каналов, однако данные содержимого, размещаемого в окружающих каналах, могут при желании представляться в отдельный канал. Несмотря на то, что использование звуковых объектов обеспечивает необходимый контроль над дискретными эффектами, другие особенности звуковой дорожки кинофильма эффективнее работают в среде на основе каналов. Например, многие эффекты окружающей среды или реверберация фактически выигрывают от подачи в массивы громкоговорителей. И хотя они могут обрабатываться как объекты с шириной, достаточной для заполнения массива, более полезным является сохранение некоторых функциональных возможностей на основе каналов.
[0055] В одном из вариантов осуществления изобретения, система адаптивного звука в дополнение к звуковым объектам поддерживает «тракты», где тракты представляют собой эффективно субмикшированные сигналы на основе каналов, или стэмы. В зависимости от замысла создателя содержимого, они могут получаться для конечного проигрывания (представления данных) либо по отдельности, либо объединенные в единый тракт. Указанные тракты могут создаваться в таких различных конфигурациях на основе каналов, как 5.1, 7.1, и являются распространяемыми на такие более обширные форматы, как 9.1 и массивы, включающие верхние громкоговорители.
[0056] ФИГ. 2 иллюстрирует сочетание данных на основе каналов и объектов при генерировании адаптивного звукового микса согласно одному из вариантов осуществления изобретения. Как показано в процессе 200, данные 202 на основе каналов, которые, например, могут представлять собой данные окружающего звука 5.1 или 7.1, представленные в форме данных с импульсно-кодовой модуляцией (PCM), объединяются с данными 204 звуковых объектов, образуя адаптивный звуковой микс 208. Данные 204 звуковых объектов генерируются путем объединения элементов оригинальных данных на основе каналов со связанными метаданными, которые указывают некоторые параметры, имеющие отношение к местоположению звуковых объектов.
[0057] Как концептуально показано на ФИГ. 2, инструментальные средства авторской разработки обеспечивают возможность создания звуковых программ, которые одновременно содержат комбинацию групп каналов громкоговорителей и объектных каналов. Например, звуковая программа может содержать один или несколько каналов громкоговорителей, необязательно, организованных в группы (или дорожки, например, стереофоническую дорожку или дорожку 5.1), и описательные метаданные для одного или нескольких каналов громкоговорителей, один или несколько объектных каналов, и описательные метаданные для одного или нескольких объектных каналов. В пределах звуковой программы, каждая группа каналов громкоговорителей и каждый объектный канал могут быть представлены с использованием одной или нескольких частот дискретизации. Например, приложения Digital Cinema (D-Cinema) поддерживают частоты дискретизации 48 кГц и 96 кГц, однако также могут поддерживаться и другие частоты дискретизации. Кроме того, также может поддерживаться принятие, сохранение в памяти и редактирование каналов с различными частотами дискретизации.
[0058] Создание звуковой программы требует этапа звуковой сценографии, который включает объединение звуковых элементов как суммы составных звуковых элементов с отрегулированными уровнями для создания требуемого нового звукового эффекта. Инструментальные средства авторской разработки системы адаптивного звука позволяют создавать звуковые эффекты как совокупность звуковых объектов с относительными положениями, используя пространственно-визуальный графический пользовательский интерфейс звуковой сценографии. Например, визуальное отображение объекта, генерирующего звук (например, автомобиля), может использоваться в качестве шаблона для сборки звуковых элементов (шум выхлопа, шуршание шин, шум двигателя) в качестве объектных каналов, содержащих звук и соответствующее положение в пространстве (возле выхлопной трубы, шин и капота). Каналы отдельных объектов могут затем связываться и обрабатываться как группа. Инструментальное средство 106 авторской разработки включает несколько элементов пользовательского интерфейса, позволяющих звукоинженеру вводить управляющую информацию и просматривать параметры микширования, а также совершенствовать функциональные возможности системы. Процесс звуковой сценографии и авторской разработки также совершенствуется путем допуска связывания и обработки объектных каналов и каналов громкоговорителей как группы. Одним из примеров является объединение объектного канала с дискретным, сухим источником звука с набором каналов громкоговорителей, которые содержат связанный реверберированный сигнал.
[0059] Инструментальное средство 106 авторской разработки поддерживает возможность объединения нескольких звуковых каналов, общеизвестную под наименованием «микширование». Поддерживается множество способов микширования, которые могут включать традиционное микширование на основе уровней и микширование на основе громкости. При микшировании на основе уровней к звуковым каналам применяется широкополосное масштабирование, и масштабированные звуковые каналы затем суммируются. Коэффициенты широкополосного масштабирования для каждого канала выбираются так, чтобы они управляли абсолютным уровнем результирующего микшированного сигнала, а также относительными уровнями микшированных каналов в микшированном сигнале. При микшировании на основе громкости, один или несколько входных сигналов модифицируются с использованием масштабирования зависящих от частоты амплитуд, где зависящая от частоты амплитуда выбирается так, чтобы она обеспечивала требуемую воспринимаемую абсолютную и относительную громкость и, в то же время, сохраняла воспринимаемый тембр входного звука.
[0060] Инструментальные средства авторской разработки допускают возможность создания каналов громкоговорителей и групп каналов громкоговорителей. Это позволяет связывать метаданные с каждой из групп каналов громкоговорителей. Каждая из групп каналов громкоговорителей может помечаться в соответствии с типом содержимого. Тип содержимого распространяется посредством текстового описания. Типы содержимого могут включать в качестве неограничивающих примеров диалог, музыку и эффекты. Каждой из групп каналов громкоговорителей могут присваиваться уникальные команды о том, как следует выполнять повышающее микширование из одной конфигурации каналов в другую, где повышающее микширование определяется как создание М звуковых каналов из N звуковых каналов, где M>N. Команды повышающего микширования могут включать в качестве неограничивающих примеров следующие команды: флаг разблокирования/блокирования, указывающий допустимость повышающего микширования; матрицу повышающего микширования, предназначенную для управления присваиванием между каждым входным и выходным каналами; а разблокирование по умолчанию и установки матрицы могут присваиваться на основе типа содержимого, например, разблокировать повышающее микширование только для музыки. Каждой из групп каналов громкоговорителей также могут присваиваться уникальные команды о том, каким образом выполнять понижающее микширование от одной конфигурации каналов к другой, где понижающее микширование определяется как создание Y звуковых каналов из X звуковых каналов, где Y>X. Команды понижающего микширования могут включать в качестве неограничивающих примеров следующие команды: матрицу, предназначенную для управления присваиванием между каждым входным и выходным каналами; и настройки матрицы по умолчанию, которые могут присваиваться на основе типа содержимого, например, диалог должен подвергаться понижающему микшированию на экран; эффекты должны подвергаться понижающему микшированию за пределы экрана. Каждый канал громкоговорителей также может быть связан с флагом метаданных, блокирующим управление басами в ходе представления данных.
[0061] Варианты осуществления изобретения включают характерный признак, который допускает создание объектных каналов и групп объектных каналов. Изобретение позволяет связывать метаданные с каждой из групп объектных каналов. Каждая из групп объектных каналов может помечаться в соответствии с типом содержимого. Тип содержимого распространяется посредством текстового описания, где типы содержимого могут включать в качестве неограничивающих примеров диалог, музыку и эффекты. Каждой из групп объектных каналов могут присваиваться метаданные для описания того, как следует представлять данные объекта (объектов).
[0062] Информация положения предусматривается для указания требуемого положения кажущегося источника. Положение может указываться с использованием эгоцентрической или аллоцентрической системы отсчета. Эгоцентрическая система отсчета является подходящей тогда, когда положение источника должно опираться на слушателя. Для описания положения в эгоцентрической системе пригодны сферические координаты. Аллоцентрическая система отсчета является типичной системой отсчета для кинематографических или других аудиовизуальных представлений, где положение источника указывается относительно таких объектов в среде представления, как положение экрана видеомонитора или границы помещения. Информация трехмерной (3D) траектории предоставляется для того, чтобы позволять интерполировать положение, или для использования других решений представления данных, таких как разблокирование «привязки к режиму». Информация размера представляется для указания требуемого воспринимаемого размера кажущегося источника звука.
[0063] Пространственное квантование предусматривается посредством элемента управления «привязка к ближайшему громкоговорителю», которое указывает замысел звукоинженера, или оператора микширования, представить данные объекта в точности одним громкоговорителем (потенциально жертвуя пространственной точностью). Предел допустимого пространственного искажения может указываться посредством пороговых значений допусков возвышения и азимута с тем, чтобы, если пороговое значение превышается, функция «привязка» не выполнялась. В дополнение к пороговым значениям расстояний, может указываться параметр скорости плавного перехода, предназначенный для контроля над тем, насколько быстро движущийся объект перейдет, или совершит скачок, из одного громкоговорителя в другой, когда требуемое положение находится между громкоговорителями.
[0064] В одном из вариантов осуществления изобретения, для некоторых метаданных положения используются зависимые пространственные метаданные. Например, метаданные могут автоматически генерироваться для «ведомого» объекта путем связывания его с «ведущим» объектом, за котором должен следовать ведомый объект. Для ведомого объекта может задаваться задержка во времени или относительная скорость. Также могут предусматриваться механизмы, позволяющие определять акустический центр тяжести для наборов, или групп, объектов с тем, чтобы данные объекта могли представляться таким образом, чтобы он воспринимался как движущийся около другого объекта. В этом случае, один или несколько объектов могут вращаться вокруг некоторого объекта, или определенной области, как господствующей точки или приямка помещения. Тогда акустический центр тяжести можно было бы использовать на этапе представления данных для того, чтобы способствовать определению информации местоположения для каждого и звуков на основе объектов, даже если окончательная информация местоположения будет выражаться как местоположение относительно помещения, в отличие от местоположения относительно другого объекта.
[0065] Когда представляются данные объекта, он, в соответствии с метаданными положения и местоположением проигрывающих громкоговорителей, присваивается одному или нескольким громкоговорителям. С целью ограничения громкоговорителей, которые могли бы использоваться, с объектом могут связываться дополнительные метаданные. Использование ограничений может запрещать использование указанных громкоговорителей или только подавлять указанные громкоговорители (допускать в громкоговоритель, или громкоговорители, меньше энергии, чем могло бы применяться). Наборы громкоговорителей, подлежащие ограничению, могут включать в качестве неограничивающих примеров какие-либо названные громкоговорители, или зоны громкоговорителей (например, L, C, R и т.д.), или такие зоны громкоговорителей, как передняя стена, задняя стена, левая стена, правая стена, потолок, пол, громкоговорители в помещении и т.д. Аналогично, в ходе указания требуемого микширования нескольких звуковых элементов, можно вызвать превращение одного или нескольких звуковых элементов в неслышимые, или «замаскированные», по причине присутствия других, «маскирующих» звуковых элементов. Например, если обнаруживаются «замаскированные» звуковые элементы, их можно идентифицировать посредством графического дисплея.
[0066] Как описано в другом месте, описание звуковой программы может адаптироваться для представления данных на широком выборе установок громкоговорителй и конфигураций каналов. Когда автором разрабатывается звуковая программа, важно выполнять текущий контроль программы в ожидаемых конфигурациях проигрывания с тем, чтобы убедиться, что достигаются требуемые результаты. Данное изобретение включает возможность выбора целевых конфигураций проигрывания и осуществлять текущий контроль результата. Кроме того, система может автоматически отслеживать худший случай уровней сигнала (т.е. самые высокие уровни), которые могли бы генерироваться в каждой из ожидаемых конфигураций воспроизведения и предусматривать указатель, если будет возникать обрезка или ограничение.
[0067] ФИГ. 3 представляет собой блок-схему, иллюстрирующую последовательность операций создания, упаковки и представления данных адаптивного звукового содержимого согласно одному из вариантов осуществления изобретения. Последовательность операций 300 по ФИГ. 3 разделена на три отдельные группы задач, помеченных как создание/авторская разработка, упаковка и демонстрация. В общем, гибридная модель трактов и объектов, показанная на ФИГ. 2, позволяет выполнять большинство задач, – звуковую сценографию, редактирование, предварительное микширование и окончательное микширование, – таким же образом, каким они выполняются в настоящее время, без добавления к современным процессам избыточных служебных данных. В одном из вариантов осуществления изобретения, функциональная возможность адаптации звука предусматривается в форме программного обеспечения, аппаратно-программного обеспечения или схемы, которая используется в сочетании с оборудованием для генерирования и обработки звука, где указанное оборудование может представлять собой новые аппаратные системы или модификации существующих систем. Например, для рабочих станций цифрового звука могут предусматриваться модульные приложения, позволяющие оставлять без изменения существующие методики панорамирования в ходе звуковой сценографии и редактирования. Таким образом, можно сформировать как тракты, так и объекты для рабочей станции в рабочей станции 5.1 или аналогичных монтажных, оснащенных окружающими каналами. Метаданные объектов и звука записываются в ходе сессии по подготовке этапов предварительного и окончательного микширования в дублирующем кинотеатре.
[0068] Как показано на ФИГ. 3, создание или авторская разработка задач включает ввод пользователем, например, в нижеследующем примере, звукоинженером, управляющих сигналов 302 микширования в микшерный пульт или звуковую рабочую станцию 304. В одном из вариантов осуществления изобретения, метаданные встраиваются в поверхность микшерного пульта, позволяя регуляторам настройки каналов, панорамирования и обработки звука работать как с трактами, или стэмами, так и со звуковыми объектами. Метаданные могут редактироваться с использованием поверхности пульта или пользовательского интерфейса рабочей станции, а текущий контроль звука осуществляется с использованием модуля 306 представления данных и окончательной обработки (RMU). Аудиоданные трактов и объектов и связанные метаданные записываются в ходе сессии окончательной обработки с целью создания «контрольной копии», которая включает адаптивный звуковой микс 310, и любые другие конечные выдаваемые данные 308 (такие как окружающий микс 7.1 или 5.1 для кинотеатров). Для того, чтобы позволить звукоинженерам помечать отдельные звуковые дорожки в ходе сессии микширования, могут использоваться существующие инструментальные средства авторской разработки (например, такие цифровые звуковые рабочие станции, как Pro Tools). Варианты осуществления изобретения распространяют эту концепцию, позволяя пользователем помечать отдельные субсегменты в пределах дорожки для содействия поиску или быстрой идентификации звуковых элементов. Пользовательский интерфейс для микшерного пульта, который позволяет определять и создавать метаданные, может реализовываться через элементы графического пользовательского интерфейса, физические элементы управления (например, ползунки и кнопки) или любые их комбинации.
[0069] На этапе упаковки файл контрольной копии заключается в оболочку с использованием процедур заключения в оболочку согласно промышленному стандарту MXF, хешируется и, необязательно, зашифровывается для обеспечения целостности звукового содержимого при доставке к оборудованию упаковки данных цифровой кинематографии. Данный этап может выполняться устройством 312 обработки данных цифровой кинематографии (DCP), или любым подходящим устройством для обработки звука, в зависимости от конечной среды проигрывания, такой как кинотеатр 318, оснащенный стандартным окружающим звуком, кинотеатр 320, допускающий адаптивный звук, или какая-либо другая среда проигрывания. Как показано на ФИГ. 3, устройство 312 обработки данных выводит соответствующие звуковые сигналы 314 и 316 в зависимости от демонстрирующей среды.
[0070] В одном из вариантов осуществления изобретения, контрольная копия адаптивного звука содержит адаптивный аудио микс наряду со стандартным DCI-совместимым миксом с импульсно-кодовой модуляцией (РСМ). Микс РСМ может представляться модулем представления данных и окончательной обработки в дублирующем кинотеатре или, по желанию, создаваться отдельным прогоном микширования. Звук РСМ образует в устройстве 312 обработки данных для цифровой кинематографии файл стандартной основной звуковой дорожки, а адаптивный звук образует файл дополнительной дорожки. Указанный файл дорожки может быть совместимым с существующими промышленными стандартами и может игнорироваться DCI-совместимыми серверами, которые не могут его использовать.
[0071] В одном из примеров проигрывающей среды для кинематографии DCP, содержащий файл дорожки адаптивного звука, распознается сервером как достоверный пакет и принимается сервером, а затем передается в виде потока в устройство обработки адаптивных аудиоданных для кинематографии. Система, для которой доступны как линейный РСМ-, так и адаптивный звуковые файлы, может по необходимости переключаться между ними. Для распространения на этап демонстрации, схема упаковки адаптивного звука допускает доставку в кинотеатр пакетов одного типа. Пакет DCP содержит как файл РСМ, так адаптивные звуковые файлы. Для обеспечения защищенной доставки содержимого кинофильма, или другого сходного содержимого, может включаться использование ключей защиты, таких как доставка сообщения, зашифрованного на определенном ключе (KDM).
[0072] Как показано на ФИГ. 3, методология адаптивного звука реализуется путем создания для звукоинженера возможности выражения его замысла в отношении представления данных и проигрывания звукового содержимого через звуковую рабочую станцию 304. Управляя некоторыми элементами управления ввода, инженер способен указывать, где и как проигрывать звуковые объекты и звуковые элементы в зависимости от среды прослушивания. Метаданные генерируются в звуковой рабочей станции 304 в ответ на входные данные 302 микширования инженера, обеспечивая очереди на представление данных, которые управляют пространственными параметрами (например, положением, скоростью, интенсивностью, тембром и т.д.) и указывают, какой громкоговоритель (громкоговорители), или группы громкоговорителей, в среде прослушивания проигрывают соответствующие звуки в ходе демонстрации. Метаданные связываются с соответствующими аудиоданными в рабочей станции 304 или RMU 306 с целью упаковки и передачи посредством DCP 312.
[0073] Графический пользовательский интерфейс и средства программного обеспечения, которые обеспечивают управление рабочей станцией 304 инженером, содержат, по меньшей мере, часть инструментальных средств 106 авторской разработки по ФИГ. 1.
Гибридный аудиокодек
[0074] Как показано на ФИГ. 1, система 100 включает гибридный аудиокодек 108. Этот компонент содержит систему кодирования, распространения и декодирования звука, которая сконфигурирована для генерирования единого битового потока, содержащего как традиционные звуковые элементы на основе каналов, так и элементы кодирования звуковых объектов. Гибридная система кодирования звука выстраивается вокруг системы кодирования на основе каналов, которая сконфигурирована для генерирования единого (унифицированного) битового потока, который одновременно совместим с первым декодером (например, может им декодироваться), сконфигурированным для декодирования аудиоданных, кодированных в соответствии с первым протоколом кодирования (на основе каналов), и один или несколько вторичных декодеров, сконфигурированных для декодирования аудиоданных, кодированных в соответствии с одним или несколькими вторичными протоколами декодирования (на основе объектов). Битовый поток может включать как кодированный данные (в форме пакетов данных), декодируемые первым декодером (и игнорируемые любым из вторичных декодеров), и кодированные данные (например, другие пакеты данных), декодируемые одним или несколькими вторичными декодерами (и игнорируемые первым декодером). Декодированный звук и связанная информация (метаданные) из первого и одного или нескольких вторичных декодеров может затем объединяться таким образом, чтобы представление данных как информации на основе каналов, так и информации на основе объектов происходило одновременно для воссоздания точной копии среды, каналов, пространственной информации и объектов, представленных в гибридную систему кодирования (например, в пределах трехмерного пространства или среды прослушивания).
[0075] Кодек 108 генерирует битовый поток, содержащий информацию кодированного звука и информацию, относящуюся к нескольким наборам положений каналов (громкоговорителей). В одном из вариантов осуществления изобретения, один набор положений каналов фиксируется и используется для протокола кодирования на основе каналов, в то время как другой набор положений каналов является адаптивным и используется для протокола кодирования на основе звуковых объектов, и, таким образом, конфигурация каналов для звукового объекта может изменяться в зависимости от времени (в зависимости от того, где в звуковом поле размещается объект). Таким образом, гибридная система кодирования звука может нести информацию о двух наборах местоположений громкоговорителей для проигрывания, где один набор может являться фиксированным и представлять собой подмножество другого набора. Устройства, поддерживающие унаследованную информацию кодированного звука, могут декодироваться и представлять данные для звуковой информации из фиксированного подмножества, в то время как устройство, способное поддерживать больший набор, может декодировать и представлять данные для дополнительной информации кодированного звука, которая может переменным во времени образом приписываться разным громкоговорителям из большего набора. Кроме того, система не зависит от первого и одного или нескольких вторичных декодеров, одновременно присутствующих в системе и/или устройстве. Поэтому унаследованное и/или существующее устройство/система, содержащая только декодер, поддерживающий первый протокол, может выводить полностью совместимое звуковое поле, данные которого подлежат представлению через традиционные системы воспроизведения на основе каналов. В данном случае, неизвестный, или неподдерживаемый, участок (участки) протокола гибридного битового потока (т.е. звуковая информация, представленная вторичным протоколом кодирования) может игнорироваться системой или устройством декодера, поддерживающего первый протокол гибридного кодирования.
[0076] В другом варианте осуществления изобретения, кодек 108 сконфигурирован для работы в режиме, где первая подсистема кодирования (поддерживающая первый протокол) содержит комбинированное представление всей информации звукового поля (каналов и объектов), представляемое как в первой, так и в одной или нескольких вторичных подсистемах кодера, присутствующих в гибридном кодере. Это обеспечивает то, что гибридный битовый поток включает обратную совместимость с декодерами, поддерживающими только протокол первой подсистемы кодера, позволяя звуковым объектам (как правило, переносимым в одном или нескольких вторичных протоколах кодера) быть отображаемыми и представляемыми в декодерах, поддерживающих только первый протокол.
[0077] В еще одном варианте осуществления изобретения, кодек 108 включает две или большее количество подсистем кодирования, где каждая их этих подсистем сконфигурирована для кодирования аудиоданных в соответствии с отличающимся протоколом и сконфигурирована для объединения выводов подсистем с целью генерирования гибридного формата (унифицированного) битового потока.
[0078] Одной из выгод вариантов осуществления изобретения является возможность переноса гибридного битового потока кодированного звука через широкий выбор систем распространения содержимого, где каждая из систем распространения традиционно поддерживает только данные, кодированные в соответствии с первым протоколом кодирования. Это исключает необходимость в модификации/изменении протокола любой системы и/или транспортного уровня с целью специальной поддержки гибридной системы кодирования.
[0079] Системы кодирования звука, как правило, используют стандартизированные элементы битового потока, позволяющие передавать дополнительные (произвольные) данные внутри самого битового потока. Эти дополнительные (произвольные) данные, как правило, пропускаются (т.е. игнорируются) в ходе декодирования кодированного звука, заключенного в битовом потоке, но могут использоваться с иными целями чем декодирование. Разные стандарты кодирования звука выражают эти дополнительные поля данных с использованием уникальной номенклатуры. Элементы битового потока указанного общего типа могут включать в качестве неограничивающих примеров вспомогательные данные, пропущенные поля, элементы потока данных, заполняющие элементы, служебные данные и элементы вложенных потоков данных. Если не обусловлено иное, использование выражения «произвольные данные» в данном документе не подразумевает определенный тип или формат дополнительных данных, но, наоборот, его следует интерпретировать как общее выражение, которое охватывает любой или все примеры, связанные с настоящим изобретением.
[0080] Канал данных, обеспечиваемый посредством «произвольных» элементов битового потока первого протокола кодирования в комбинированном битовом потоке гибридной системы кодирования, может нести один или несколько вторичных (зависимых или независимых) битовых потоков аудиоданных (кодированных в соответствии с одним или несколькими вторичными протоколами кодирования). Один или несколько вторичных битовых звуковых потоков могут разбиваться на блоки из N дискретных значений и уплотняться в поля «вспомогательных данных» первого битового потока. Первый битовый поток декодируется соответствующим (дополнительным) декодером. Кроме того, вспомогательные данные первого битового потока могут извлекаться и снова объединяться в один или несколько вторичных битовых потоков аудиоданных, декодируемых устройством обработки данных, поддерживающим синтаксис одного или нескольких вторичных битовых потоков, а затем совместно или независимо комбинироваться и представляться. Кроме того, также можно поменять роли первого и второго битовых потоков так, чтобы блоки данных первого битового потока уплотнялись во вспомогательные данные второго битового потока.
[0081] Элементы битового потока, связанные со вторым протоколом кодирования также переносят и передают характеристики информации (метаданные) лежащего в их основе звука, которые могут в качестве неограничивающих примеров включать требуемое положение, скорость и размер источника звука. Эти метаданные используются в ходе процессов декодирования и представления данных для воссоздания надлежащего (то есть оригинального) положения связанного звукового объекта, переносимого в применимом битовом потоке. Также можно переносить вышеописанные метаданные, которые применимы к звуковым объектам, содержащимся в одном или нескольких вторичных битовых потоках, присутствующих в гибридном потоке, в элементах битового потока, связанных с первым протоколом кодирования.
[0082] Элементы битового потока, связанные с одни , первым или вторым, протоколом кодирования или с обоими протоколами кодирования гибридной системы кодирования, переносят/передают контекстные метаданные, которые идентифицируют пространственные параметры (например, сущность свойств самого сигнала) и дополнительную информацию, описывающую тип сущности лежащего в ее основе звука в форме специальных классов звука, которые переносятся в гибридном битовом потоке кодированого звука. Такие метаданные могут указывать, например, присутствие речевого диалога, музыки, диалога на фоне музыки, аплодисментов, пения и т.д., и могут использоваться для адаптивной модификации поведения взаимосвязанных модулей предварительной и последующей обработки в восходящем направлении или в нисходящем направлении относительно гибридной системы кодирования.
[0083] В одном из вариантов осуществления изобретения, кодек 108 сконфигурирован для работы с совместно используемым, или общим, битовым пулом, в котором биты, доступные для кодирования «делятся» между всеми или частью подсистем кодирования, поддерживающих один или несколько протоколов. Такой кодек может распределять доступные биты (из общего, «совместно используемого» битового пула) между подсистемами кодирования с целью оптимизации общего качества звука в унифицированном битовом потоке. Например, в течение первого промежутка времени, кодек может присваивать больше доступных битов первой подсистеме кодирования, и меньше доступных битов – остальным подсистемам, в то время как в течение второго промежутка времени, кодек может присваивать меньше доступных битов первой подсистеме кодирования, и больше доступных битов – остальным подсистемам кодирования. Решение о том, каким образом распределять биты между подсистемами кодирования, может зависеть, например, от результатов статистического анализа совместно используемого битового пула и/или от анализа звукового содержимого, кодируемого каждой из подсистем. Кодек может присваивать биты из совместно используемого пула таким образом, чтобы унифицированный битовый поток, сконструированный путем уплотнения выводов подсистем кодирования, сохранял постоянную длину кадра/битовую скорость передачи данных в течение заданного промежутка времени. Также, в некоторых случаях, возможно изменение длины кадра/битовой скорости передачи данных в течение заданного промежутка времени.
[0084] В альтернативном варианте осуществления изобретения, кодек 108 генерирует унифицированный битовый поток, включающий данные, кодированные в соответствии с первым протоколом кодирования, конфигурируемые и передаваемые как независимый подпоток потока кодированных данных (который будет декодироваться декодером, поддерживающим первый протокол кодирования), а данные, кодируемые в соответствии со вторым протоколом, передаются как независимый или зависимый подпоток потока кодированных данных (поток, который будет игнорироваться декодером, поддерживающим первый протокол). В более общем смысле, в одном из классов вариантов осуществления изобретения, кодек генерирует унифицированный битовый поток, включающий два или большее количество независимых, или зависимых подпотоков (где каждый подпоток включает данные, кодированные в соответствии с отличающимся, или идентичным, протоколом кодирования)
[0085] В еще одном альтернативном варианте осуществления изобретения, кодек 108 генерирует унифицированный битовый поток, включающий данные, кодированные в соответствии с первым протоколом кодирования, сконфигурированный и передаваемый с уникальным идентификатором битового потока (который будет декодироваться декодером, поддерживающим первый протокол кодирования, связанный с уникальным идентификатором битового потока), и данные, кодированные в соответствии со вторым протоколом, сконфигурированные и передаваемые с уникальным идентификатором битового потока, который декодер, поддерживающий первый протокол, будет игнорировать. В более общем смысле, в одном из классов вариантов осуществления изобретения, кодек генерирует унифицированный битовый поток, включающий два или большее количество подпотоков (где каждый подпоток включает данные, кодируемые в соответствии с отличающимся, или идентичным, протоколом кодирования, и где каждый подпоток несет уникальный идентификатор битового потока). Вышеописанные способы и системы, предназначенные для создания унифицированного битового потока предусматривают возможность передавать (в декодер) недвусмысленный сигнал о том, какое перемежение и/или протокол был использован в гибридном битовом потоке (например, передавать сигнал о том, используются ли данные AUX, SKIP, DSE или описанный подход на основе подпотоков).
[0086] Гибридная система кодирования сконфигурирована для поддержки устранения перемежения/разуплотнения и повторного перемежения/повторного уплотнения битовых потоков, поддерживающих один или несколько вторичных протоколов, в первый битовый поток (поддерживающий первый протокол) в любой точке обработки повсюду в системе доставки мультимедийных данных. Гибридный кодек также сконфигурирован для обладания способностью кодирования входных аудиопотоков с различными частотами дискретизации в один битовый поток. Это создает средства для эффективного кодирования и распространения источников звуковых сигналов, содержащих сигналы с разными по своему существу полосами пропускания. Например, диалоговые дорожки обычно имеют существенно меньшую ширину полосы пропускания, чем дорожки музыки и эффектов.
Представление данных
[0087] В одном из вариантов осуществления изобретения, система адаптивного звука допускает упаковку нескольких (например, до 128) дорожек, обычно, в качестве сочетания трактов и объектов. Основной формат аудиоданных для системы адаптивного звука включает несколько независимых монофонических аудиопотоков. Каждый поток содержит связанные с ним метаданные, которые указывают, является данный поток потоком на основе каналов или потоком на основе объектов. Потоки на основе каналов содержат информацию представления данных, кодированную посредством названия, или метки, канала; а потоки на основе объектов содержат информацию местоположения, кодированную через математические выражения, закодированные в дополнительных связанных метаданных. Оригинальные независимые аудиопотоки затем упаковываются в единую двоичную последовательность, которая содержит все аудиоданные в упорядоченном виде. Такая конфигурация адаптивных данных позволяет представлять данные звука в соответствии с аллоцентрической системой отсчета, в которой окончательное местоположение представления данных звука основывается на среде проигрывания так, чтобы оно соответствовало замыслу оператора микширования. Таким образом, происхождение звука может указываться в системе отсчета помещения для проигрывания (например, середина левой стены), а не из определенного помеченного громкоговорителя или группы громкоговорителей (например, левой окружающей). Метаданные положения объекта содержат информацию соответствующей аллоцентрической системы отсчета, необходимую для правильного проигрывания звука с использованием положений доступных громкоговорителей в помещении, которое подготовлено для проигрывания адаптивного звукового содержимого.
[0088] Оператор представления данных принимает битовый поток, кодирующий звуковые дорожки, и обрабатывает содержимое в соответствии с типом сигнала. Тракты подаются на массивы, что потенциально будет требовать иных задержек и обработки уравнивания, чем отдельные объекты. Процесс поддерживает представление данных указанных трактов и объектов в несколько (до 64) выходных сигналов громкоговорителей. ФИГ. 4 представляет собой блок-схему этапа представления данных системы адаптивного звука согласно одному из вариантов осуществления изобретения. Как показано в системе 400 по ФИГ. 4, несколько входных сигналов, таких как звуковые дорожки в количестве до 128, которые включают адаптивные звуковые сигналы 402, создаются определенными компонентами этапов создания, авторской разработки и упаковки системы 300, такими как RMU 306 и устройство 312 обработки данных. Эти сигналы содержат тракты на основе каналов и объекты, которые используются оператором 404 представления данных. Звук на основе каналов (тракты) и объекты вводятся в устройство 406 управления уровнем, которое обеспечивает управление выходными уровнями, или амплитудами, различных звуковых составляющих. Некоторые звуковые составляющие могут обрабатываться компонентом 408 коррекции массивов. Адаптивные звуковые сигналы затем пропускаются через компонент 410 обработки в цепи В, который генерирует несколько (например, до 64) выходных сигналов, подаваемых на громкоговорители. В общем, сигналы цепи В относятся к сигналам, обрабатываемым усилителями мощности, разделителями спектра сигнала и громкоговорителями, в отличие от содержимого цепи А, которое составляет звуковую дорожку на кинопленке.
[0089] В одном из вариантов осуществления изобретения, оператор 404 представления данных запускает алгоритм представления данных, который как можно лучше, разумно использует возможности окружающих громкоговорителей в кинотеатре. Путем улучшения коммутации мощности и амплитудно-частотных характеристик окружающих громкоговорителей, а также путем поддержания одинакового опорного уровня текущего контроля для каждого выходного канала, или громкоговорителя, в кинотеатре, объекты, панорамируемые между экранными и окружающими громкоговорителями, могут сохранять уровень их звукового давления и иметь более близкое тембральное согласование, что важно, без увеличения общего уровня звукового давления в кинотеатре. Массив соответствующим образом указанных окружающих громкоговорителей, как правило, будет иметь достаточный запас по уровню для воспроизведения максимального доступного динамического диапазона в пределах окружающей звуковой дорожки 7.1 или 5.1 (т.е. на 20 дБ выше опорного уровня), однако маловероятно, чтобы единичный окружающий громкоговоритель имел такой же запас по уровню, что и большой многопозиционный экранный громкоговоритель. Как результат, вероятны случаи, когда объект, помещенный в окружающее поле потребует большего звукового давления, чем звуковое давление, достижимое с использованием единственного окружающего громкоговорителя. В этих случаях, оператор представления данных будет распространять звук по соответствующему количеству громкоговорителей с целью достижения требуемого уровня звукового давления. Система адаптивного звука улучшает качество и коммутацию мощности окружающих громкоговорителей, обеспечивая улучшение достоверности представления данных. Она предусматривает поддержку управления басами окружающих громкоговорителей через использование необязательных задних сверхнизкочастотных громкоговорителей, которые позволяют каждому окружающему громкоговорителю достигать улучшенной коммутации мощности, одновременно потенциально используя корпуса громкоговорителей меньшего размера. Она также позволяет добавлять боковые окружающие громкоговорители ближе к экрану, чем в современной практике, для того, чтобы обеспечить плавный переход объектов от экрана к окружению.
[0090] Путем использования метаданных для указания информации местоположения звуковых объектов наряду с определенными процессами представления данных, система 400 предоставляет создателям содержимого всесторонний, гибкий способ выхода за пределы ограничений существующих систем. Как определено выше, современные системы создают и распространяют звук, который является фиксированным в местоположениях определенных громкоговорителей с ограниченными сведениями о типе содержимого, передаваемого в звуковой сущности (в той части звука, которая проигрывается). Система 100 адаптивного звука предусматривает новый, гибридный подход, который включает возможности как для звука, специфичного для местоположений громкоговорителей (левый канал, правый канал и т.д.), так и для объектно-ориентированных звуковых элементов, которые содержат обобщенную пространственную информацию, которая может в качестве неограничивающих примеров включать местоположение, размер и скорость. Такой гибридный подход обеспечивает сбалансированный подход к точности (обеспечиваемой фиксированными местоположениями громкоговорителей) и гибкости представления данных (обобщенные звуковые объекты). Система также предусматривает дополнительную полезную информацию о звуковом содержимом, которую создатель содержимого спаривает со звуковой сущностью в момент создания содержимого. Эта информация обеспечивает значительную, подробную информацию о характерных свойствах звука, которая может использоваться чрезвычайно действенными способами в ходе представления данных. Указанные характерные свойства могут включать в качестве неограничивающих примеров тип содержимого (диалог, музыка, эффект, шумовой эффект, фон/окружающая среда и т.д.), характерные свойства в пространстве (трехмерное положение, трехмерный размер, скорость) и информацию представления данных (привязку к местоположению громкоговорителя, весовые коэффициенты каналов, коэффициент усиления, информация управления басами и т.д.)
[0091] Система адаптивного звука, описываемая в данном раскрытии, предусматривает значительную информацию, которая может использоваться для представления данных широко варьируемым количеством конечных точек. Во многих случаях, применяемая оптимальная методика представления данных в значительной степени зависит от устройства в конечной точке. Например, системы домашних кинотеатров и звуковые панели могут содержать 2, 3, 5, 7 или даже 9 отдельных громкоговорителей. Системы многих других типов, такие как телевизоры, компьютеры и музыкальные аппаратные модули содержат лишь два громкоговорителя, и почти все традиционно используемые устройства имеют бинауральный выход для наушников (ПК, ноутбук, планшетный компьютер, сотовый телефон, музыкальный проигрыватель и т.д.). Однако для традиционного звука, распространяемого в настоящее время (монофонические, стереофонические каналы, каналы 5.1, 7.1) устройства в конечных точках часто нуждаются в принятии упрощенных решений и компромиссах для представления данных и воспроизведения звука, который в настоящее время распространяется в форме, специфичной для каналов/громкоговорителей. Кроме того, имеется немного или совсем не имеется информации, передаваемой в отношении фактического содержимого, которое распространяется (диалог, музыка, окружение), а также имеется немного или совсем не имеется информации о замысле создателя содержимого для воспроизведения звука. Однако система 100 адаптивного звука предоставляет эту информацию и, потенциально, доступ к звуковым объектам, которые могут использоваться для создания захватывающего пользовательского впечатления нового поколения.
[0092] Система 100 позволяет создателю содержимого внедрять пространственный замысел микса в битовом потоке, используя такие метаданные, как метаданные положения, размера, скорости и т.д., через уникальные и веские метаданные и формат передачи адаптивного звука. Это позволяет намного увеличить гибкость при воспроизведении звука в пространстве. С точки зрения пространственного представления данных, адаптивный звук позволяет адаптировать микс к точному положению громкоговорителей в конкретном помещении, избегая пространственного искажения, которое возникает тогда, когда геометрия системы проигрывания не идентична системе авторской разработки. В современных системах воспроизведения звука, где передается только звук для канала громкоговорителя, замысел создателя содержимого неизвестен. Система 100 использует метаданные, передаваемые по всему конвейеру создания и распространения. Система воспроизведения, ориентированная на адаптивный звук, может использовать эту информацию метаданных для воспроизведения содержимого тем способом, который согласуется с оригинальным замыслом создателя содержимого. Более того, микс может адаптироваться к точной конфигурации аппаратного обеспечения системы воспроизведения. В настоящее время, в таком оборудовании для представления данных, как телевизоры, домашние кинотеатры, звуковые панели, переносные аппаратные модули музыкальных проигрывателей и т.д., существует множество различных возможных конфигураций и типов громкоговорителей. Когда эти системы в настоящее время передают специфичную для каналов звуковую информацию (т.е. звук левого и правого каналов или многоканальный звук), система должна обрабатывать звук так, чтобы он соответствующим образом согласовывался с возможностями оборудования для представления данных. Одним из примеров является стандартный стереофонический звук, передаваемый на звуковую панель, содержащую больше двух громкоговорителей. В современном звуковоспроизведении, где передается только звук для каналов громкоговорителей, замысел создателя содержимого неизвестен. Путем использования метаданных, передаваемых по всему процессу создания и распространения, система воспроизведения, ориентированная на адаптивный звук, может использовании эту информацию для воспроизведения содержимого тем способом, который согласуется с оригинальным замыслом создателя содержимого. Например, некоторые звуковые панели содержат боковые дополнительные громкоговорители, предназначенные для создания ощущения охвата. Для адаптивного звука, пространственная информация и тип содержимого (такой как эффекты окружающей среды) могут использоваться звуковой панелью для передачи на указанные боковые дополнительные громкоговорители только соответствующего звука.
[0093] Система адаптивного звука допускает неограниченную интерполяцию громкоговорителей в системе во всех передних/задних, левых/правых, верхних/нижних, ближних/дальних размерах. В современных системах звуковоспроизведения не существует информации о том, каким образом обрабатывать звук тогда, когда может быть желательно расположить звук так, чтобы он воспринимался слушателем как находящийся между двумя громкоговорителями. В настоящее время, для звука, который присваивается только определенному громкоговорителю, вводится коэффициент пространственного квантования. В случае адаптивного звука, пространственное расположение звука может быть известно точно, и оно может соответствующим образом воспроизводиться системой звуковоспроизведения.
[0094] В отношении представления данных наушниками, замысел создателя реализуется путем приведения передаточных функций, относящихся к голове (HRTF), в соответствие с положением в пространстве. Когда звук воспроизводится через наушники, пространственная виртуализация может достигаться путем применения передаточной функции, относящейся к голове, которая обрабатывает звук, добавляя воспринимаемые свойства, которые создают восприятие звука, проигрываемого в трехмерном пространстве, а не через наушники. Точность пространственного воспроизведения зависит от выбора подходящей HRTF, которая может меняться на основе нескольких факторов, включающих положение в пространстве. Использование пространственной информации, предусматриваемое системой адаптивного звука, может в результате приводить к выбору одной HRTF, или постоянно изменяющегося количества HRTF для того, чтобы значительно усилить восприятие воспроизведения.
[0095] Пространственная информация, передаваемая системой адаптивного звука, может использоваться не только создателем содержимого для создания захватывающего развлекательного впечатления (от фильма, телевизионной программы, музыки и т.д.), но также пространственная информация также может указывать, где располагается слушатель относительно таких физических объектов, как здания или представляющие интерес географические точки. Это могло бы позволить пользователю взаимодействовать с виртуализированным звуковым впечатлением, которое связано с реальным миром, т.е. с дополнительной реальностью.
[0096] Варианты осуществления изобретения допускают пространственное повышающее микширование путем выполнения усовершенствованного повышающего микширования посредством считывания метаданных только в том случае, если аудиоданные объектов недоступны. Сведения о положении всех объектов и их типов позволяют оператору повышающего микширования лучше различать элементы в дорожках на основе каналов. Для создания высококачественного повышающего микширования с минимальными слышимыми искажениями или с их отсутствием, существующим алгоритмам повышающего микширования приходится выводить такую информацию, как тип звукового содержимого (речь, музыка, эффекты окружающей среды), а также местоположение различных элементов в аудиопотоке. Во многих случаях указанная выведенная информация может оказаться неверной или несоответствующей. Для адаптивного звука, дополнительная информация, доступная из метаданных, относящихся, например, к типу звукового содержимого, положению в пространстве, скорости, размеру звукового объекта и т.д., может использоваться алгоритмом повышающего микширования для создания высококачественного результата воспроизведения. Система также пространственно соотносит звук и видеоизображение, точно располагая звуковой объект на экране по отношению к видимым элементам. В этом случае, возможно захватывающее впечатление от воспроизведения звука/видеоизображения, в особенности, на экранах большого размера, если воспроизводимое местоположение некоторых звуковых элементов в пространстве соответствует элементам изображения на экране. Одним из примеров является диалог в фильме или телевизионной программе, пространственно совпадающий с человеком или героем, который говорит на экране. Для обычного звука на основе каналов громкоговорителей не существует простого способа определения того, где в пространстве должен располагаться диалог для того, чтобы он совпадал с местоположением человека или героя на экране. Для звуковой информации, доступной через адаптивный звук, такое аудиовизуальное выравнивание может достигаться. Визуальное позиционное и пространственное звуковое выравнивание также может использоваться для таких неролевых/недиалоговых объектов, как автомобили, грузовики, анимация и т. д.
[0097] Система 100 способствует обработке пространственной маскировки, поскольку сведения о пространственном замысле микширования, доступные через метаданные адаптивного звука, означают, что микс может быть адаптирован к любой конфигурации громкоговорителей. Однако, возникает риск понижающего микширования объектов в таком же или почти таком же местоположении по причине ограничений проигрывающей системы. Например, объект, который, как подразумевается, подлежит панорамированию в левый задний канал, может подвергаться понижающему микшированию в левый передний канал, если окружающие каналы отсутствуют, однако если, в то же время, в левом переднем канале возникает более громкий элемент, подвергнутый понижающему микшированию объект будет маскироваться и исчезать из микса. С использованием метаданных адаптивного звука пространственная маскировка может предугадываться оператором представления данных, и параметры понижающего микширования в пространстве и/или по громкости для каждого объекта могут корректироваться так, чтобы все звуковые элементы микса оставались воспринимаемыми точно так же, как и в оригинальном миксе. Так как оператор представления данных понимает пространственную взаимосвязь между миксом и системой проигрывания, он имеет возможность «привязывать» объекты к ближайшим громкоговорителям вместо создания паразитного изображения между двумя или большим количеством громкоговорителей. Несмотря на то, что может несколько искажаться пространственное представление микса, это также позволяет оператору представления данных избегать непреднамеренного паразитного изображения. Например, если угловое положение левого громкоговорителя на этапе микширования не соответствует угловому положению левого громкоговорителя в воспроизводящей системе, использование функции привязки к ближайшему громкоговорителю может позволить избежать воспроизведения проигрывающей системой постоянного паразитного изображения левого канала этапа микширования.
[0098] В отношении обработки содержимого, система 100 адаптивного звука позволяет создателю содержимого создавать отдельные звуковые объекты и добавлять информацию о содержимом, которая может передаваться в воспроизводящую систему. Это допускает большую гибкость при обработке звука перед воспроизведением. С точки зрения обработки содержимого и представления данных, система адаптивного звука позволяет адаптировать обработку к типу объекта. Например, диалоговое усиление может применяться только к диалоговым объектам. Диалоговое усиление относится к способу обработки звука, который содержит диалог, таким образом, чтобы слышимость и/или разборчивость диалога повышалась и/или улучшалась. Во многих случаях, обработка звука, которая применяется к диалогу, является неподходящей для недиалогового звукового содержимого (т.е. музыки, эффектов окружающей среды и т.д.) и в результате может приводить к нежелательным слышимым искажениям. Для адаптивного звука, звуковой объект может содержать только диалог в одном из фрагментов содержимого, и он может соответствующим образом помечаться так, чтобы решение представления данных могло избирательно применять диалоговое усиление только к диалоговому содержимому. Кроме того, если звуковой объект представляет собой только диалог (а не, как часто бывает, смесь диалога и другого содержимого), то обработка диалогового усиления может обрабатывать исключительно диалог (таким образом, ограничивая любую обработку, выполняемую на любом другом содержимом). Аналогично, управление басами (фильтрация, ослабление, усиление) может быть нацелено на определенные объекты на основе их типа. Управление басами относится к избирательному выделению и обработке только басовых (или еще более низких) частот в определенном фрагменте содержимого. В современных звуковых системах и механизмах доставки, этот процесс является «слепым», т.е. применяется ко всему звуку. Для адаптивного звука, определенные звуковые объекты, для которых управление басами является подходящим, могут идентифицироваться по метаданным, и обработка представления данных может применяться соответственно.
[0099] Система 100 адаптивного звука также предусматривает сжатие динамического диапазона и избирательное повышающее микширование на основе объектов. Традиционные звуковые дорожки имеют такую же длительность, как и само содержимое, в то время как звуковой объект может появляться в содержимом лишь в течение ограниченного количества времени. Метаданные, связанные с объектом, могут содержать информацию о его средней и пиковой амплитуде сигнала, а также о времени его появления, или времени нарастания (в особенности, для кратковременного материала). Эта информация могла бы позволять устройству сжатия лучше адаптировать его постоянные сжатия и времени (нарастания, высвобождения и т.д.) для лучшего соответствия содержимому. Для избирательного повышающего микширования создатели содержимого могут выбрать указание в битовом потоке адаптивного звука того, следует подвергать объект повышающему микшированию или нет. Эта информация позволяет оператору представления данных адаптивного звука и оператору повышающего микширования различать, какие звуковые элементы могут безопасно подвергаться повышающему микшированию, в то же время, не нарушая замысел создателя.
[00100] Варианты осуществления изобретения также позволяют системе адаптивного звука выбирать предпочтительный алгоритм представления данных из некоторого количества доступных алгоритмов представления данных и/или форматов окружающего звука. Примеры доступных алгоритмов представления данных включают: бинауральный, стереодипольный, амбиофонический, синтез волнового поля (WFS), многоканальное панорамирование, необработанные стэмы с метаданными положения. Другие алгоритмы включают двойной баланс и амплитудное панорамирование на векторной основе.
[00101] Бинауральный формат распространения использует двухканальное представление звукового поля на основе сигнала, присутствующего в левом и правом ушах. Бинауральная информация может создаваться посредством внутриканальной записи или синтезироваться с использованием моделей HRTF. Проигрывание бинаурального представления, как правило, осуществляется через наушники или путем использования подавления перекрестных помех. Проигрывание через произвольную схему громкоговорителей потребовало бы анализа сигнала для определения связанного звукового поля и/или источника (источников) сигнала.
[00102] Стереодипольный способ представления данных представляет собой трансауральный процесс подавления перекрестных помех с тем, чтобы сделать бинауральные сигналы пригодными для проигрывания через стереофонические громкоговорители (например, на + и – 10 градусов от центра).
[00103] Амбиофония представляет собой формат распространения и способ воспроизведения, который кодируется в четырехканальной форме, называемой форматом В. Первый канал, W – это сигнал ненаправленного давления; второй канал, Х – это градиент направленного давления, содержащий переднюю и заднюю информацию; третий канал, Y, содержит лево и право, и Z – верх и низ. Эти каналы определяют дискретное значение первого порядка для полного звукового поля в данной точке. Амбиофония использует все доступные громкоговорители для воссоздания дискретизированного (или синтезированного) звукового поля в пределах массива громкоговорителей так, чтобы когда некоторые из громкоговорителей толкают, другие – тащили.
[00104] Синтез волнового поля представляет собой способ представления данных для звуковоспроизведения на основе точного построения волнового поля вторичными источниками. WFS основывается на принципе Гюйгенса и реализуется как массивы громкоговорителей (десятки или сотни), которые окружают кольцом пространство прослушивания и скоординированным, сфазированным образом действуют для воссоздания каждой отдельной звуковой волны.
[00105] Многоканальное панорамирование представляет собой формат распространения и/или способ представления данных и может именоваться звуком на основе каналов. В этом случае, звук отображается как некоторое количество дискретных источников для проигрывания через равное количество громкоговорителей, расположенных под определенными углами относительно слушателя. Создатель содержимого/оператор микширования может создавать виртуальные изображения путем панорамирования сигналов между смежными каналами с целью создания восприятия направления; для создания восприятия направления и свойств окружающей среды, в несколько каналов могут микшироваться первичные отражения, реверберация и т.д.
[00106] Необработанные стэмы с метаданными положения представляет собой формат распространения, который также может именоваться звуком на основе объектов. В этом формате, отчетливые источники звука «с близкого микрофона» представляются наряду с метаданными положения и среды. Данные виртуальных источников представляются на основе метаданных, проигрывающего оборудования и среды прослушивания.
[00107] Формат адаптивного звука представляет собой гидрид формата многоканального панорамирования и формата необработанных стэмов. Способом представления данных в настоящем варианте осуществления изобретения является многоканальное панорамирование. Для звуковых каналов, представление данных (панорамирование) происходит в момент авторской разработки, в то время как для объектов представление данных (панорамирование) происходит при проигрывании.
Метаданные и формат передачи адаптивного звука
[00108] Как изложено выше, метаданные генерируются на этапе создания с целью кодирования определенной информации положения для звуковых объектов и для сопровождения звуковой программы с целью содействия при представлении данных звуковой программы и, в частности, для описания звуковой программы способом, который позволяет представлять данные звуковой программы для широкого выбора проигрывающего оборудования и сред проигрывания. Метаданные генерируются для данной программы и редакторов и операторов микширования, которые создают, собирают, редактируют и обрабатывают звук в ходе компоновки. Важным характерным признаком формата адаптивного звука является возможность контроля над тем, каким образом звук будет транслироваться в системы и среды воспроизведения, которые отличаются от среды микширования. В частности, данный кинотеатр может обладать меньшими возможностями, чем среда микширования.
[00109] Оператор представления данных адаптивного звука нацелен на наилучшее использование доступного оборудования для воссоздания замысла оператора микширования. Кроме того, инструментальные средства авторской разработки адаптивного звука позволяют оператору микширования предварительно просматривать и корректировать то, каким образом данные микса будут представляться в различных конфигурациях проигрывания. Все значения метаданных могут обусловливаться средой проигрывания и конфигурацией громкоговорителей. Например, на основе конфигурации или режима проигрывания для данного звукового элемента может указываться другой уровень микширования. В одном из вариантов осуществления изобретения список обусловленных режимов проигрывания является расширяемым и включает следующие режимы: (1) проигрывание только на основе каналов: 5.1, 7.1, 7.1 (с верхними), 9.1; и (2) проигрывание дискретными громкоговорителями: трехмерное, двумерное (без верхних).
[00110] В одном из вариантов осуществления изобретения, метаданные контролируют, или диктуют, различные особенности адаптивного звукового содержимого и являются организованными на основе различных типов, в том числе: программные метаданные, метаданные звука и метаданные представления данных (для каналов и объектов). Каждый тип метаданных включает один или несколько элементов метаданных, которые предусматривают значения для характеристик, на которые ссылается идентификатор (ID). ФИГ. 5 представляет собой таблицу, которая перечисляет типы метаданных и связанные элементы метаданных для системы адаптивного звука, согласно одному из вариантов осуществления изобретения.
[00111] Как показано в таблице 500 по ФИГ. 5, метаданные первого типа представляют собой программные метаданные, которые включают элементы метаданных, определяющие частоту кадров, счет дорожек, расширяемое описание каналов и описание этапа микширования. Элемент метаданных «частота кадров» описывает частоту кадров звукового содержимого в единицах кадров в секунду (fps). Формат необработанного звука не требует включения кадрирования звука или метаданных, поскольку звук доставляется в виде полных дорожек (длительность катушки или всего кинофильма), а не сегментов звука (длительность объекта). Необработанный формат не требует переноса всей информации, необходимой для разблокирования адаптивного аудиокодера с целью кадрирования аудиоданных и метаданных, включая фактическую частоту кадров. Таблица 1 показывает ID, примеры значений и описание элемента метаданных «частота кадров».
ТАБЛИЦА 1
[00112] Элемент метаданных «счет дорожек» указывает количество звуковых дорожек в кадре. Один из примеров декодера/устройства обработки данных адаптивного звука может одновременно поддерживать до 128 звуковых дорожек, в то время как формат адаптивного звука будет поддерживать любое количество звуковых дорожек. Таблица 2 показывает ID, примеры значений и описание элемента метаданных «счет дорожек».
ТАБЛИЦА 2
[00113] Звук на основе каналов может приписываться нестандартным каналам, и элемент метаданных «описание расширяемых каналов» позволяет миксам использовать новые положения каналов. Для каждого канала расширения должны создаваться следующие метаданные, показанные в Таблице 3.
ТАБЛИЦА 3
[00114] Элемент метаданных «описание этапа микширования» определяет частоту, на которой определенный громкоговоритель генерирует половину мощности полосы пропускания. Таблица 4 показывает ID, примеры значений и описание элемента метаданных «описание этапа микширования», где LF — нижняя частота, HF — верхняя частота, точка 3 дБ – край полосы пропускания громкоговорителя.
ТАБЛИЦА 4
[00115] Как показано на ФИГ. 5, вторым типом метаданных являются метаданные звука. Каждый звуковой элемент на основе каналов или на основе объектов состоит из звуковой сущности и метаданных. Звуковая сущность представляет собой монофонический аудиопоток, переносимый одной или несколькими звуковыми дорожками. Связанные метаданные описывают то, каким образом сохраняется в памяти звуковая сущность (метаданные звука, например, частота дискретизации), или то, каким образом должны представляться ее данные (метаданные представления данных, например, требуемое положение источника звука). В общем, звуковые дорожки являются непрерывными по всей длительности звуковой программы. Редактор программы, или оператор микширования, отвечает за приписывание звуковых элементов дорожкам. Ожидается, что использование дорожек будет разреженным, т.е. среднее количество одновременно используемых дорожек может составлять лишь 16-32. В типичной реализации, звук будет эффективно передаваться с использованием кодера без потерь. Однако возможны альтернативные реализации, например, передача некодированных аудиоданных или аудиоданных, кодированных с потерями. В типичной реализации, формат состоит из звуковых дорожек количеством до 128, где каждая дорожка имеет единственную частоту дискретизации и единую систему кодирования. Каждая дорожка длится в течение длительности фильма (поддержка катушки в явном виде отсутствует). Присваивание объектов дорожкам (уплотнение во времени) входит в обязанности создателя содержимого (оператора микширования).
[00116] Как показано на ФИГ. 3, метаданные звука включают элементы «частота дискретизации», «битовая глубина» и «системы кодирования». Таблица 5 показывает ID, примеры значений и описание элемента метаданных «частота дискретизации».
ТАБЛИЦА 5
[00117] Таблица 6 показывает ID, примеры значений и описание элемента метаданных «битовая глубина» (для РСМ и сжатия без потерь).
ТАБЛИЦА 6
[00118] Таблица 7 показывает ID, примеры значений и описание элемента метаданных «система кодирования».
ТАБЛИЦА 7
[00119] Как показано на ФИГ. 5, метаданные третьего типа представляют собой метаданные представления данных. Метаданные представления данных указывают значения, которые помогают оператору представления данных устанавливать соответствие максимально близко к замыслу оператора оригинального микширования независимо от среды проигрывания. Набор элементов метаданных для звука на основе каналов и звука на основе объектов отличается. Первое поле метаданных представления данных делает выбор между двумя типами звука – звуком на основе каналов и звуком на основе объектов, как показано в Таблице 8.
ТАБЛИЦА 8
[00120] Метаданные представления данных для звука на основе каналов содержат элемент метаданных «положение», который указывает положение источника звука как одно или несколько положений громкоговорителей. Таблица 9 показывает ID и значения элемента метаданных «положение» для случая на основе каналов.
ТАБЛИЦА 9
[00121] Метаданные представления данных для звука на основе каналов также содержат элемент «управление представлением данных», который указывает некоторые характеристики в отношении проигрывания звука на основе каналов, как показано в Таблице 10.
ТАБЛИЦА 10
[00122] Для звука на основе объектов, метаданные включают элементы, аналогичные элементам для звука на основе каналов. Таблица 11 представляет ID и значения для элемента метаданных «положение объекта». Положение объекта описывается одним из трех способов: трехмерными координатами; плоскостью и двумерными координатами; или линией и одномерной координатой. Способ представления данных может адаптироваться на основе типа информации положения.
ТАБЛИЦА 11
[00123] ID и значения элементов метаданных «управление представлением метаданных объектов» показаны в Таблице 12. Эти величины обеспечивают дополнительные элементы управления, или оптимизации, представления данных для звука на основе объектов.
[00124] В одном из вариантов осуществления изобретения метаданные, описанные выше и проиллюстрированные на ФИГ. 5, генерируются и сохраняются как один или несколько файлов, которые связываются, или индексируются, с соответствующим звуковым содержимым, так чтобы аудиопотоки обрабатывались системой адаптивного звука, интерпретирующей метаданные, генерируемые оператором микширования. Следует отметить, что вышеописанные метаданные представляют собой один из примеров набора идентификаторов ID, значений и определений, и для использования в системе адаптивного звука в них могут включаться другие, или дополнительные, элементы метаданных.
[00125] В одном из вариантов осуществления изобретения, с каждым из аудиопотоков на основе каналов и на основе объектов связывается два (или больше) наборов элементов метаданных. Первый набор метаданных применяется к ряду аудиопотоков для первых условий среды проигрывания, и второй набор метаданных применяется к ряду аудиопотоков для вторых условий среды проигрывания. Второй, или последующий, набор элементов метаданных замещает первый набор элементов метаданных для данного аудиопотока на основе условий среды проигрывания. Условия могут включать такие факторы, как размер помещения, форму, состав материала внутри помещения, текущую заполненность и плотность людей в помещении, характеристики окружающего шума, характеристики окружающего света и какие-либо иные факторы, которые могут оказывать влияние на звук или даже на настроение в среде проигрывания.
Компоновка и окончательная обработка
[00126] Ступень 110 представления данных системы 100 обработки адаптивного звука может включать этапы компоновки аудиозаписи, которые приводят к созданию конечного микса. В одном из кинематографических применений, тремя основными категориями звука, используемого при микшировании звукозаписи для кинофильма, являются диалог, музыка и эффекты. Эффекты состоят из звуков, которые не являются диалогом или музыкой (например, окружающий шум, фоновый/постановочный шум). Звуковые эффекты могут записываться, или синтезироваться, звукорежиссером, или они могут браться из библиотек эффектов. Одна из подгрупп эффектов, которые включают специальные источники шума (например, звуки шагов, дверей и т.д.), известна как шумовые эффекты и осуществляется звукооформителями. Звуки разных типов соответствующим образом помечаются и панорамируются звукорежиссерами.
[00127] ФИГ. 6 иллюстрирует пример последовательности операций процесса компоновки в системе адаптивного звука согласно одному из вариантов осуществления изобретения. Как показано на схеме 600, все отдельные звуковые составляющие музыки, диалога, шумовых эффектов и эффектов сводятся вместе в дублирующем кинотеатре в ходе окончательного микширования 606, и средство (средства) 604 микширования при перезаписи используют предварительные миксы (также известные как «микшированный минус») наряду с отдельными звуковыми объектами и позиционными данными для создания стэмов в качестве способа группировки, например, диалога, музыки, эффектов, шумовых эффектов и фоновых звуков. В дополнение к формированию конечного микса 606, музыка и все стэмы эффектов могут использоваться в качестве основы для создания версий фильма, дублированных на других языках. Каждый стэм состоит из тракта на основе каналов и из нескольких звуковых объектов с метаданными. Для формирования конечного микса, стэмы объединяют. Используя информацию панорамирования объектов как из звуковой рабочей станции, так и из микшерного пульта, блок 608 представления данных и окончательной обработки представляет данные звука в местоположения громкоговорителей в дублирующем кинотеатре. Это представление данных позволяет операторам микширования слышать, как сочетаются тракты на основе каналов и звуковые объекты, а также дает возможность представить данные в разных конфигурациях. Оператор микширования может использовать условные метаданные, которые для значимых профилей являются данными по умолчанию, с целью контроля над тем, каким образом данные содержимого представляются в окружающие каналы. Таким образом, операторы микширования полностью сохраняют контроль над тем, как проигрывается кинофильм во всех масштабируемых средах. После каждого из этапов 604 перезаписи и этапа 606 окончательного микширования, или после обоих этих этапов, может включаться этап текущего контроля, позволяющий оператору микширования прослушать и оценить промежуточное содержимое, генерируемое в ходе каждого из этих этапов.
[00128] В ходе сессии окончательной обработки указанны стэмы, объекты и метаданные сводятся вместе в пакете 614 адаптивного звука, который изготавливается оператором 610 контрольной копии. Этот пакет также содержит обратно-совместимый (с унаследованными 5.1 или 7.1) микс 612 окружающего звука для кинотеатров. Модуль 608 представления данных/окончательной обработки (RMU) может в случае необходимости представлять данные этого выходного сигнала, таким образом, исключая необходимость в каких-либо дополнительных этапах последовательности операций при генерировании существующих выдаваемых данных на основе каналов. В одном из вариантов осуществления изобретения, звуковые файлы упаковываются с использованием заключения в стандартную оболочку материального коммуникативного формата (MXF). Главный файл адаптивного звукового микса также может использоваться для генерирования других выдаваемых данных, таких как пользовательские многоканальные или стереофонические миксы. Разумные профили и условные метаданные допускают управляемые представления данных, которые могут значительно сокращать время, необходимое для создания таких миксов.
[00129] В одном из вариантов осуществления изобретения, система упаковки может использоваться для создания пакета цифровой фильмокопии для выдаваемых данных, включающих адаптивный звуковой микс. Файлы звуковых дорожек могут сцепляться вместе, препятствуя ошибкам синхронизации с файлами дорожек адаптивного звука. Некоторые страны требуют добавления файлов дорожек в ходе этапа упаковки, например, добавления дорожек для лиц с ограниченным слухом (HI) или дорожек описания для лиц с ограниченным зрением (VI-N) к главному файлу звуковых дорожек.
[00130] В одном из вариантов осуществления изобретения, массив громкоговорителей в среде проигрывания может включать любое количество громкоговорителей окружающего звука, размещенных и обозначенных в соответствии со стандартами окружающего звука. Любое количество дополнительных громкоговорителей для точного представления данных звукового содержимого на основе объектов также может размещаться на основе условий среды проигрывания. Эти дополнительные громкоговорители могут устанавливаться звукоинженером, и данная установка представляется системе в форме установочного файла, который используется системой для представления в определенный громкоговоритель, или громкоговорители, в пределах общего массива громкоговорителей данных составляющих адаптивного звука на основе объектов. Указанный установочный файл содержит, по меньшей мере, список обозначений громкоговорителей и присваивания каналов отдельным громкоговорителям, информацию в отношении группировки громкоговорителей и динамического присваивания на основе относительного положения громкоговорителей в среде проигрывания. Указанное время выполнения отображения используется характерным признаком «привязка к» в системе, которая представляет данные звукового содержимого точечных источников на основе объектов в определенный громкоговоритель, который по замыслу звукоинженера является ближайшим к воспринимаемому местоположению звука.
[00131] ФИГ. 7 представляет собой схему одного из примеров последовательности операций процесса упаковки цифровой фильмокопии с использованием файлов адаптивного звука согласно одному из вариантов осуществления изобретения. Как показано на схеме 700, звуковые файлы, включающие как файлы адаптивного звука, так и звуковые файлы окружающего звука 5.1 или 7.1, вводятся в блок 704 заключения в оболочку/шифрования. В одном из вариантов осуществления изобретения, при создании пакета цифровой фильмокопии в блоке 706, файл PCM MXF (с прилагаемыми соответствующими дополнительными дорожками) зашифровывается с использованием технических условий SMPTE в соответствии с существующей практикой. MXF адаптивного звука упаковывается как файл вспомогательной дорожки и, необязательно, зашифровывается посредством технических условий SMPTE с использованием симметричного ключа управления содержимым. Этот единый DCP 708 может затем доставляться любому серверу, совместимому с требованиями организации Digital Cinema Initiatives (DCI). В общем, любые установки, которые не оснащены походящим образом, будут просто игнорировать файл дополнительной дорожки, содержащий звуковую дорожку адаптивного звука, и будет использовать существующий файл главной звуковой дорожки для стандартного проигрывания. Установки, оснащенные соответствующими устройствами обработки данных адаптивного звука будут способны принимать и воспроизводить звуковую дорожку адаптивного звука там, где это применимо, при необходимости возвращаясь к стандартной звуковой дорожке. Компонент 704 заключения в оболочку/шифрования также может доставлять входной сигнал непосредственно в блок 710 распространения KDM с целью генерирования соответствующего ключа защиты для использования в сервере цифрового кинотеатра. Другие элементы фильма, или файлы, такие как субтитры 714 и изображения 716 могут заключаться в оболочку и зашифровываться наряду с аудиофайлами 702. В этом случае, могут включаться некоторые этапы обработки, такие как сжатие 712 в случае файлов 716 изображений.
[00132] В отношении управления содержимым, система 100 адаптивного звука позволяет создателю содержимого создавать отдельные звуковые объекты и добавлять информацию о содержимом, которое должно передаваться в воспроизводящую систему. Это позволяет значительно увеличить гибкость при управлении звуковым содержимым. С точки зрения управления содержимым, способы адаптивного звука делают возможными несколько характерных признаков. Эти признаки включают изменение языка содержимого просто путем замещения диалогового объекта для экономии места, эффективности скачивания, географической адаптации проигрывания и т.д. Фильмы, телевизионные и другие развлекательные программы, как правило, распространяются по всему миру. Это часто требует, чтобы язык фрагмента содержимого менялся в зависимости от того, где оно будет воспроизводиться (французский – для фильмов, демонстрируемых во Франции, немецкий – для ТВ программ, показываемых в Германии). В настоящее время это часто требует создания, упаковки и распространения полностью независимой звуковой дорожки. В случае адаптивного звука и его неотъемлемой концепции звуковых объектов, диалог для фрагмента содержимого может представлять собой независимый звуковой объект. Это позволяет легко менять язык содержимого без обновления или изменения других элементов звуковой дорожки, таких как музыка, эффекты и т.д. Это может применяться не только для иностранных языков, но также для языка, неподходящего для некоторых зрителей (например, телевизионные программы для детей, фильмы для показа в самолетах и т.д.), целевой рекламы и т.д.
Соображения по установке и оборудованию
[00133] Формат файла адаптивного звука и связанные устройства обработки данных допускают изменения в установке, калибровке и обслуживании оборудования кинотеатра. При введении много большего количества потенциальных выходных сигналов громкоговорителей, каждый из которых корректируется и балансируется по отдельности, существует потребность в разумной и оперативной автоматической коррекции амплитудно-частотной характеристики помещения, которая может осуществляться через возможность ручной регулировки какой-либо автоматической коррекции амплитудно-частотной характеристики помещения. В одном из вариантов осуществления изобретения, система адаптивного звука использует оптимизированное средство частотной коррекции с 1/12-октавной полосой частот. Для более точного баланса звука в кинотеатре, может обрабатываться до 64 выходных сигналов. Система также допускает плановый контроль выходных сигналов отдельных громкоговорителей от вывода устройства обработки данных для кинематографии вплоть до звука, воспроизводимого в зрительном зале. Для гарантии того, что предпринято соответствующее действие, могут создаваться локальные или сетевые предупреждения. Гибкая система представления данных может автоматически удалять поврежденный громкоговоритель или усилитель из цепи воспроизведения и представлять данные в обход его, делая возможным продолжение показа.
[00134] Устройство обработки данных для кинематографии может быть подключено к серверу цифрового кинотеатра через существующие главные звуковые разъемы 8×AES и подключение к сети Ethernet для потоковых данных адаптивного звука. Проигрывание окружающего содержимого 7.1 или 5.1 использует существующие соединения PCM. Поток данных адаптивного звука передается по сети Ethernet в устройство обработки данных для кинематографии с целью декодирования и представления данных, а связь между сервером и устройством обработки данных для кинематографии позволяет идентифицировать и синхронизировать звук. В случае какой-либо проблемы с проигрыванием дорожки адаптивного звука, звук возвращается обратно к звуку PCM для Dolby Surround 7.1 или 5.1.
[00135] Несмотря на то, что варианты осуществления изобретения были описаны в отношении систем окружающего звука 5.1 и 7.1, следует учитывать, что в сочетании с указанными вариантами осуществления изобретения могут использоваться многие другие современные и будущие конфигурации окружающего звука, в том числе 9.1, 11.1 и 13.1 и далее.
[00136] Система адаптивного звука рассчитана как на создателей содержимого, так и на кинопрокатчиков – для принятия решения о том, каким образом должны представляться данные в различных конфигурациях проигрывающих громкоговорителей. Идеальное используемое количество выходных каналов громкоговорителей, будет изменяться в соответствии с размером помещения. Рекомендуемое расположение громкоговорителей, таким образом, зависит от множества факторов, таких как размер, состав, конфигурация посадочных мест, среда, средние размеры зрительных залов и т.д. Примеры, или образцы, конфигураций и схем расположения громкоговорителей, представлены в данном раскрытии лишь с целью иллюстрации и не предназначены для ограничения объема ни одного из заявленных вариантов осуществления изобретения.
[00137] Рекомендуемая схема расположения громкоговорителей для системы адаптивного звука остается совместимой с существующими системами для кинематографии, что является жизненно важным для того, чтобы не компрометировать проигрывание существующих форматов 5.1 и 7.1 на основе каналов. Для того, чтобы сохранить замысел звукоинженера адаптивной звукозаписи и замысел операторов микширования содержимого 7.1 и 5.1, положения существующих экранных каналов не должны чересчур радикально изменяться в попытке усилить, или подчеркнуть, введение новых местоположений громкоговорителей. В отличие от использования всех доступных 64 выходных каналов, данные формата адаптивного звука могут точно представляться в кинотеатре в такие конфигурации громкоговорителей, как 7.1, что даже позволяет использовать этот формат (и связанные с ним выгоды) в существующих кинотеатрах без внесения изменений в усилители или громкоговорители.
[00138] В зависимости от конструкции кинотеатра, разные местоположения громкоговорителей могут обладать разной эффективностью, поэтому в настоящее время отсутствует определяемое отраслевыми техническими условиями идеальное количество или расположение каналов. Адаптивный звук, как предполагается, является по-настоящему адаптируемым и способным точно проигрываться в различных зрительных залах, имеют они ограниченное количество проигрывающих каналов или много каналов с очень гибкими конфигурациями.
[00139] ФИГ. 8 представляет собой вид 800 сверху одного из примеров схемы расположения предполагаемых местоположений громкоговорителей для использования с системой адаптивного звука по типичному алгоритму, и ФИГ. 9 представляет собой вид 900 спереди указанного примера схемы расположения предполагаемых местоположений громкоговорителей на экране зрительного зала. Исходное положение, предпочтительное в данном случае, соответствует положению 2/3 расстояния обратно от экрана к задней стене на средней линии экрана. Стандартные экранные громкоговорители 801 показаны в их обычных положениях относительно экрана. Изучение восприятия возвышения плоскости экрана показало, что дополнительные громкоговорители 804 за экраном, такие как левый центральный (Lc) и правый центральный (Rc) экранные громкоговорители (в местоположениях левого дополнительного и правого дополнительного каналов в форматах пленки 70 мм), могут оказаться полезными при создании более плавного панорамирования через экран. Поэтому указанные необязательные громкоговорители являются рекомендуемыми, особенно в зрительных залах с экранами шириной более 12 м (40 футов). Все экранные громкоговорители должны располагаться под углом с тем, чтобы они были нацелены в направлении исходного положения. Рекомендуемое размещение сверхнизкочастотного громкоговорителя 810 за экраном должно оставаться неизменным, включая сохранение асимметричного размещения корпуса относительно центра помещения во избежание возбуждения стоячих волн. В задней части кинотеатра могут располагаться дополнительные сверхнизкочастотные громкоговорители 816.
[00140] Окружающие громкоговорители 802 должны по отдельности соединяться проводами с задней частью стойки усилителей и должны, там, где это возможно, по отдельности усиливаться назначенным каналом усиления мощности, соответствующим коммутируемой мощности громкоговорителя в соответствии с техническим паспортом. В идеальном случае, окружающие громкоговорители должны определяться техническими условиями для обработки повышенного SPL для каждого отдельного громкоговорителя, а также, там, где это возможно, для более широкой амплитудно-частотной характеристики. Как показывает практика, для кинотеатра среднего размера интервал между окружающими громкоговорителями должен находиться в пределах 2-3 м (6 футов 6 дюймов - 9 футов 9 дюймов), где левый и правый окружающие громкоговорители размещаются симметрично. Однако, считается, что, в противоположность использованию абсолютных расстояний между громкоговорителями, интервал между окружающими громкоговорителями является наиболее эффективным под углами, стягиваемыми от данного слушателя между смежными громкоговорителями. Для оптимального проигрывания повсюду в зрительном зале, угловое расстояние между смежными громкоговорителями должно составлять 30 градусов или менее при отсчете от каждого из четырех углов основной области прослушивания. Хорошие результаты могут достигаться при интервале до 50 градусов. Для каждой зоны громкоговорителей, там, где это возможно, громкоговорители должны сохранять равный линейный интервал вблизи зоны посадочных мест. Линейный интервал за пределами области прослушивания, например, между передним рядом и экраном, может быть немного больше. ФИГ. 11 представляет собой один из примеров расположения верхних окружающих громкоговорителей 808 и боковых окружающих громкоговорителей 806 относительно исходного положения согласно одному из вариантов осуществления изобретения.
[00141] Дополнительные боковые окружающие громкоговорители 806 должны монтироваться ближе к экрану, чем рекомендуется на практике в настоящее время – начиная приблизительно с одной трети расстояния до задней части зрительного зала. В ходе проигрывания звуковых дорожек Dolby Surround 7.1 или 5.1 эти громкоговорители не используются как боковые окружающие, но позволяют осуществлять плавный переход и лучшее тембральное согласование при панорамировании объектов от экранных громкоговорителей к окружающим зонам. Для максимального усиления ощущения пространства, окружающие массивы следует располагать так же низко, как используемые на практике, подвергая из следующим ограничениям: вертикальное размещение окружающих громкоговорителей в передней части массива должно быть достаточно близким к высоте акустического центра экранного громкоговорителя и достаточно высоким для сохранения хорошего охвата через зону посадочных мест в соответствии с направленностью громкоговорителя. Вертикальное размещение окружающих громкоговорителей должно быть таким, чтобы они образовывали прямую линию спереди назад и (как правило) были наклонены вверх так, чтобы относительное возвышение окружающих громкоговорителей над слушателями сохранялось в направлении задней части кинотеатра по мере того, как увеличивается возвышение посадочных мест, как показано на ФИГ. 10, которая представляет собой вид сбоку одного из примеров схемы расположения предполагаемых местоположений громкоговорителей для использования с системой адаптивного звука в типичном зрительном зале. На практике, этого проще всего достичь, выбирая возвышение для самого переднего и самого заднего боковых окружающих громкоговорителей и размещая остальные громкоговорители на линии между этими точками.
[00142] С целью обеспечения оптимального охвата для каждого громкоговорителя по всей зоне посадочных мест, боковые окружающие громкоговорители 806, задние громкоговорители 816 и верхние окружающие громкоговорители 808 должны быть нацелены в направление положения начала отсчета в кинотеатре в соответствии с определенными руководящими принципами в отношении интервала, положения, угла и т.д.
[00143] Варианты осуществления системы и формата адаптивного звука для кинематографии достигают повышенных уровней эффекта присутствия и вовлечения зрительного зала по сравнению с современными системами, предлагая новые мощные инструментальные средства авторской разработки для операторов микширования и новое устройство обработки данных для кинематографии, которые отличаются гибким средством представления данных, которое оптимизирует качество звука и окружающие эффекты звуковой дорожки для каждой схемы размещения и характеристик громкоговорителей в помещении. Кроме того, система сохраняет обратную совместимость и минимизирует воздействие на современные последовательности операций производства и распространения.
[00144] Несмотря на то, что варианты осуществления изобретения были описаны в отношении примеров и реализаций в кинематографической среде, где адаптивное звуковое содержимое связано с содержанием фильма, с целью использования в системах обработки данных для цифровой кинематографии, следует отметить, что варианты осуществления изобретения также могут реализовываться в некинематографических средах. Адаптивное звуковое содержимое, включающее звук на основе объектов и звук на основе каналов, может использоваться в сочетании с каким-либо связанным содержимым (связанной аудиозаписью, видеозаписью, графикой и т.д.), или оно может составлять автономное звуковое содержимое. Среда проигрывания может представлять собой любую среду от наушников или мониторов в ближней зоне до малых и больших помещений, автомобилей, открытых площадок, концертных залов и т.д.
[00145] Особенности системы 100 могут реализовываться в подходящей сетевой среде обработки звука на компьютерной основе, предназначенной для обработки файлов цифрового или оцифрованного звука. Части системы адаптивного звука могут включать одну или несколько сетей, которые содержат любое необходимое количество отдельных машин, в том числе один или несколько маршрутизаторов (не показаны), которые служат для буферирования и перенаправления данных, передаваемых между компьютерами. Такая сеть может быть построена на различных сетевых протоколах и может представлять собой Интернет, глобальную сеть (WAN), локальную сеть (LAN) или любую их комбинацию. В одном из вариантов осуществления изобретения, где сеть включает Интернет, одна или несколько машин могут быть сконфигурированы для доступа в Интернет через программы-навигаторы.
[00146] Один или несколько компонентов, блоков, процессов или других функциональных составляющих могут реализовываться через компьютерную программу, которая контролирует исполнение вычислительным устройством системы на основе процессора. Также следует отметить, что различные функции, раскрытые в данном описании, могут описываться с использованием любого количества комбинаций аппаратного обеспечения, программно-аппаратного обеспечения и/или как данные, и/или как команды, воплощенные в различных машиночитаемых, или читаемых компьютером, носителей данных, исходя из характеристик их поведения, регистровой пересылки, логических компонентов и др. Читаемые компьютером носители данных, в которых могут воплощаться указанные форматированные данные и/или команды, включают в качестве неограничивающих примеров физические (постоянные), энергонезависимые носители данных в различных формах, такие как оптические, магнитные или полупроводниковые носители данных.
[00147] Если контекст явно не требует иного, повсюду в данном описании и формуле изобретения, слова «содержать», «содержащий» и т.п. следует толковать во включающем смысле, в противоположность исключающему или исчерпывающему смыслу; то есть в смысле «включающий в качестве неограничивающего примера». Слова, использующие форму единственного, или множественного, числа, также, соответственно, включают форму множественного, или единственного, числа. Кроме того, выражения «в данном раскрытии», «в соответствии с данным раскрытием»,, «выше», «ниже» и схожие по смыслу слова относятся к данной заявке в целом, а не только к каким-либо частям данной заявки. Когда слово «или» используется со ссылкой на список из двух или большего количества элементов, это слово охватывает все следующие интерпретации слова: любой из элементов в списке, все элементы в списке, все элементы в списке и любая комбинация элементов в списке.
[00148] Несмотря на то, что одна или несколько реализаций были описаны посредством примеров и исходя из конкретных вариантов осуществления изобретения, следует понимать, что одна или несколько реализаций не ограничиваются раскрытыми вариантами осуществления изобретения. Наоборот, они предназначаются для охвата различных модификаций и сходных схем, что должно быть очевидно для специалистов в данной области. Поэтому объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации с тем, чтобы он охватывал все такие модификации в сходных схемах.
Claims (30)
1. Система обработки звуковых сигналов, содержащая компонент авторской разработки, выполненный с возможностью:
приема ряда звуковых сигналов;
генерирования адаптивного звукового микса, содержащего ряд монофонических аудиопотоков и метаданные, связанные с каждым из аудиопотоков и указывающие местоположение проигрывания соответствующего монофонического аудиопотока, при этом по меньшей мере некоторые из ряда монофонических аудиопотоков идентифицируют как звук на основе каналов и другие из ряда монофонических аудиопотоков идентифицируют как звук на основе объектов, и при этом местоположение проигрывания монофонического аудиопотокa на основе каналов содержит обозначение громкоговорителя в массиве громкоговорителей, и местоположение проигрывания монофонического аудиопотокa на основе объектов содержит местоположение в трехмерном пространстве, и при этом каждый монофонический аудиопоток на основе объектов представляют в по меньшей мере один определенный громкоговоритель массива громкоговорителей; и
заключения ряда монофонических аудиопотоков и метаданных в битовом потоке для передачи в систему представления, выполненную с возможностью представления ряда монофонических аудиопотоков в ряд сигналов, подаваемых на громкоговорители, соответствующих громкоговорителям в среде проигрывания, при этом громкоговорители массива громкоговорителей размещают в определенных положениях в пределах среды проигрывания, и при этом элементы метаданных, связанные с каждым соответствующим монофоническим аудиопотоком на основе объектов, указывают, запрещено ли представление соответствующего монофонического аудиопотока в один или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители, так что соответствующий монофонический аудиопоток на основе объектов не представлен в любом из одного или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители.
2. Система по п. 1, отличающаяся тем, что компонент авторской разработки содержит микшерный пульт, имеющий элементы управления, приводимые в действие пользователем для указания уровней проигрывания ряда монофонических аудиопотоков, и при этом элементы метаданных, связанные с каждым соответствующим потоком на основе объектов, автоматически генерируют при вводе пользователем управляющих сигналов в микшерный пульт.
3. Система по п. 1, отличающаяся тем, что дополнительно содержит кодер, связанный с компонентом авторской разработки и сконфигурированный для приема ряда монофонических аудиопотоков и метаданных и для генерирования единого цифрового битового потока, упорядоченным образом содержащего ряд монофонических аудиопотоков.
4. Система обработки звуковых сигналов, содержащая систему представления, выполненную с возможностью:
приема битового потока, внутри которого заключен адаптивный звуковой микс, содержащий ряд монофонических аудиопотоков и метаданные, связанные с каждым из аудиопотоков и указывающие местоположение проигрывания соответствующего монофонического аудиопотока, при этом по меньшей мере некоторые из ряда монофонических аудиопотоков идентифицируют как звук на основе каналов и другие из ряда монофонических аудиопотоков идентифицируют как звук на основе объектов, и при этом местоположение проигрывания монофонического аудиопотокa на основе каналов содержит обозначение громкоговорителя в массиве громкоговорителей, и местоположение проигрывания монофонического аудиопотокa на основе объектов содержит местоположение в трехмерном пространстве, и при этом каждый монофонический аудиопоток на основе объектов представляют в по меньшей мере один определенный громкоговоритель массива громкоговорителей; и
представления ряда монофонических аудиопотоков в ряд сигналов, подаваемых на громкоговорители, соответствующих громкоговорителям в среде проигрывания, при этом громкоговорители массива громкоговорителей размещают в определенных положениях в пределах среды проигрывания, и при этом элементы метаданных, связанные с каждым соответствующим монофоническим аудиопотоком на основе объектов, указывают, запрещено ли представление соответствующего монофонического аудиопотока в один или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители, так что соответствующий монофонический аудиопоток на основе объектов не представлен в любом из одного или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители.
5. Система по п. 4, отличающаяся тем, что один или более определенных сигналов, подаваемых на громкоговорители, в которые запрещено представление соответствующего монофонического аудиопотока, включают один или более названных громкоговорителей или зон громкоговорителей.
6. Система по п. 5, отличающаяся тем, что один или более названных громкоговорителей или зон громкоговорителей включают один или более из L, C и R.
7. Система по п. 4, отличающаяся тем, что один или более определенных сигналов, подаваемых на громкоговорители, в которые запрещено представление соответствующего монофонического аудиопотока, включают одну или более областей громкоговорителей.
8. Система по п. 7, отличающаяся тем, что одна или более областей громкоговорителей содержит одну или более из: передней стены, задней стены, левой стены, правой стены, потолка, пола и громкоговорителей в помещении.
9. Система по п. 4, отличающаяся тем, что элементы метаданных, связанные с каждым монофоническим аудиопотоком на основе объектов, дополнительно указывают пространственные параметры, управляющие проигрыванием соответствующей составляющей звука, содержащей одно или более из положения звука, ширины звука и скорости звука.
10. Система по п. 4, отличающаяся тем, что местоположение проигрывания для каждого из ряда монофонических аудиопотоков на основе объектов содержит положение в пространстве относительно экрана в среде проигрывания или поверхности, которая окружает среду проигрывания, и при этом поверхность содержит переднюю плоскость, заднюю плоскость, левую плоскость, правую плоскость, верхнюю плоскость и нижнюю плоскость.
11. Система по п. 4, отличающаяся тем, что система представления выбирает алгоритм представления, используемый системой представления, при этом алгоритм представления выбирают из группы, которая состоит из бинаурального, стереодипольного, амбиофонического, синтеза волнового поля (WFS), многоканального панорамирования, необработанных стэмов с метаданными положения, двойного баланса и амплитудного панорамирования на векторной основе.
12. Система по п. 4, отличающаяся тем, что местоположение проигрывания для каждого из ряда монофонических аудиопотоков на основе объектов независимо определяют относительно либо эгоцентрической системы отсчета, либо аллоцентрической системы отсчета, при этом эгоцентрическая система отсчета определяется относительно слушателя в среде проигрывания, и при этом аллоцентрическая система отсчета определяется относительно одной из характеристик среды проигрывания.
13. Способ авторской разработки звукового содержимого для представления, который включает:
прием ряда звуковых сигналов;
генерирование адаптивного звукового микса, содержащего ряд монофонических аудиопотоков и метаданные, связанные с каждым из аудиопотоков и указывающие местоположение проигрывания соответствующего монофонического аудиопотока, при этом по меньшей мере некоторые из ряда монофонических аудиопотоков идентифицируют как звук на основе каналов и другие из ряда монофонических аудиопотоков идентифицируют как звук на основе объектов, и при этом местоположение проигрывания звука на основе каналов содержит обозначения громкоговорителя для громкоговорителей в массиве громкоговорителей, и местоположение проигрывания звука на основе объектов содержит местоположение в трехмерном пространстве, и при этом каждый монофонический аудиопоток на основе объектов представляют в по меньшей мере один определенный громкоговоритель массива громкоговорителей; и
заключение ряда монофонических аудиопотоков и метаданных в битовом потоке для передачи в систему представления, выполненную с возможностью представления ряда монофонических аудиопотоков в ряд сигналов, подаваемых на громкоговорители, соответствующих громкоговорителям в среде проигрывания, при этом громкоговорители массива громкоговорителей размещают в определенных положениях в пределах среды проигрывания, и при этом элементы метаданных, связанные с каждым соответствующим монофоническим аудиопотоком на основе объектов, указывают, запрещено ли представление соответствующего монофонического аудиопотока в один или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители, так что соответствующий монофонический аудиопоток на основе объектов не представлен в любом из одного или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители.
14. Способ представления звуковых сигналов, который включает:
прием битового потока, внутри которого заключен адаптивный звуковой микс, содержащий ряд монофонических аудиопотоков и метаданные, связанные с каждым из аудиопотоков и указывающие местоположение проигрывания соответствующего монофонического аудиопотока, при этом по меньшей мере некоторые из ряда монофонических аудиопотоков идентифицируют как звук на основе каналов и другие из ряда монофонических аудиопотоков идентифицируют как звук на основе объектов, и при этом местоположение проигрывания монофонического аудиопотокa на основе каналов содержит обозначение громкоговорителя в массиве громкоговорителей, и местоположение проигрывания монофонического аудиопотокa на основе объектов содержит местоположение в трехмерном пространстве, и при этом каждый монофонический аудиопоток на основе объектов представляют в по меньшей мере один определенный громкоговоритель массива громкоговорителей; и
представление ряда монофонических аудиопотоков в ряд сигналов, подаваемых на громкоговорители, соответствующих громкоговорителям в среде проигрывания, при этом громкоговорители массива громкоговорителей размещают в определенных положениях в пределах среды проигрывания, и при этом элементы метаданных, связанные с каждым соответствующим монофоническим аудиопотоком на основе объектов, указывают, запрещено ли представление соответствующего монофонического аудиопотока в один или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители, так что соответствующий монофонический аудиопоток на основе объектов не представлен в любом из одного или более определенных сигналов, подаваемых на громкоговорители, ряда сигналов, подаваемых на громкоговорители.
15. Способ по п. 14, отличающийся тем, что один или более определенных сигналов, подаваемых на громкоговорители, в которые запрещено представление соответствующего монофонического аудиопотока, включают один или более названных громкоговорителей или зон громкоговорителей.
16. Способ по п. 14, отличающийся тем, что один или более определенных сигналов, подаваемых на громкоговорители, в которые запрещено представление соответствующего монофонического аудиопотока, включают одну или более областей громкоговорителей.
17. Способ по п. 14, отличающийся тем, что элементы метаданных, связанные с каждым монофоническим аудиопотоком на основе объектов, дополнительно указывают пространственные параметры, управляющие проигрыванием соответствующей составляющей звука, содержащей одно или более из положения звука, ширины звука и скорости звука.
18. Способ по п. 14, отличающийся тем, что местоположение проигрывания для каждого из ряда монофонических аудиопотоков на основе объектов содержит положение в пространстве относительно экрана в среде проигрывания или поверхности, которая окружает среду проигрывания, и при этом поверхность содержит переднюю плоскость, заднюю плоскость, левую плоскость, правую плоскость, верхнюю плоскость и нижнюю плоскость, и/или независимо определяют относительно либо эгоцентрической системы отсчета, либо аллоцентрической системы отсчета, при этом эгоцентрическая система отсчета определяется относительно слушателя в среде проигрывания, и при этом аллоцентрическая система отсчета определяется относительно одной из характеристик среды проигрывания.
19. Постоянный машиночитаемый носитель данных, содержащий последовательность команд, при этом при выполнении системой обработки звуковых сигналов последовательность команд заставляет систему осуществлять способ по п. 1.
20. Постоянный машиночитаемый носитель данных, содержащий последовательность команд, при этом при выполнении системой обработки звуковых сигналов последовательность команд заставляет систему осуществлять способ по п. 4.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161504005P | 2011-07-01 | 2011-07-01 | |
| US61/504,005 | 2011-07-01 | ||
| US201261636429P | 2012-04-20 | 2012-04-20 | |
| US61/636,429 | 2012-04-20 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017112527A Division RU2731025C2 (ru) | 2011-07-01 | 2012-06-27 | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020141861A Division RU2820838C2 (ru) | 2011-07-01 | 2020-12-18 | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2741738C1 true RU2741738C1 (ru) | 2021-01-28 |
Family
ID=46604526
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013158054A RU2617553C2 (ru) | 2011-07-01 | 2012-06-27 | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала |
| RU2017112527A RU2731025C2 (ru) | 2011-07-01 | 2012-06-27 | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала |
| RU2020127493A RU2741738C1 (ru) | 2011-07-01 | 2020-08-18 | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013158054A RU2617553C2 (ru) | 2011-07-01 | 2012-06-27 | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала |
| RU2017112527A RU2731025C2 (ru) | 2011-07-01 | 2012-06-27 | Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала |
Country Status (22)
| Country | Link |
|---|---|
| US (13) | US9179236B2 (ru) |
| EP (3) | EP2727383B1 (ru) |
| JP (11) | JP5912179B2 (ru) |
| KR (9) | KR101946795B1 (ru) |
| CN (2) | CN105792086B (ru) |
| AR (1) | AR086775A1 (ru) |
| AU (7) | AU2012279357B2 (ru) |
| BR (2) | BR112013033386B1 (ru) |
| CA (3) | CA3157717A1 (ru) |
| DK (1) | DK2727383T3 (ru) |
| ES (1) | ES2871224T3 (ru) |
| HK (1) | HK1219604A1 (ru) |
| HU (1) | HUE054452T2 (ru) |
| IL (9) | IL313393A (ru) |
| MX (1) | MX2013014684A (ru) |
| MY (1) | MY165933A (ru) |
| PL (1) | PL2727383T3 (ru) |
| RU (3) | RU2617553C2 (ru) |
| SG (1) | SG10201604679UA (ru) |
| TW (5) | TWI603632B (ru) |
| UA (1) | UA124570C2 (ru) |
| WO (1) | WO2013006338A2 (ru) |
Families Citing this family (310)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE534980C2 (sv) | 2009-08-26 | 2012-03-06 | Svenska Utvecklings Entreprenoeren Susen Ab | Metod för att väcka en insomnad motorfordonsförare |
| EP2727383B1 (en) | 2011-07-01 | 2021-04-28 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
| EP2862370B1 (en) * | 2012-06-19 | 2017-08-30 | Dolby Laboratories Licensing Corporation | Rendering and playback of spatial audio using channel-based audio systems |
| EP2875511B1 (en) | 2012-07-19 | 2018-02-21 | Dolby International AB | Audio coding for improving the rendering of multi-channel audio signals |
| JP6045696B2 (ja) | 2012-07-31 | 2016-12-14 | インテレクチュアル ディスカバリー シーオー エルティディＩｎｔｅｌｌｅｃｔｕａｌ Ｄｉｓｃｏｖｅｒｙ Ｃｏ．，Ｌｔｄ． | オーディオ信号処理方法および装置 |
| CN104604255B (zh) | 2012-08-31 | 2016-11-09 | 杜比实验室特许公司 | 基于对象的音频的虚拟渲染 |
| US9622010B2 (en) | 2012-08-31 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Bi-directional interconnect for communication between a renderer and an array of individually addressable drivers |
| CN104604256B (zh) | 2012-08-31 | 2017-09-15 | 杜比实验室特许公司 | 基于对象的音频的反射声渲染 |
| EP2891338B1 (en) | 2012-08-31 | 2017-10-25 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
| JP6186436B2 (ja) | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
| BR122021021503B1 (pt) * | 2012-09-12 | 2023-04-11 | Fraunhofer - Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d |
| KR20140047509A (ko) * | 2012-10-12 | 2014-04-22 | 한국전자통신연구원 | 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치 |
| CA2893729C (en) | 2012-12-04 | 2019-03-12 | Samsung Electronics Co., Ltd. | Audio providing apparatus and audio providing method |
| US9805725B2 (en) | 2012-12-21 | 2017-10-31 | Dolby Laboratories Licensing Corporation | Object clustering for rendering object-based audio content based on perceptual criteria |
| TWI635753B (zh) | 2013-01-07 | 2018-09-11 | 美商杜比實驗室特許公司 | 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器 |
| CN108806706B (zh) * | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
| WO2014112793A1 (ko) * | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
| KR102160218B1 (ko) * | 2013-01-15 | 2020-09-28 | 한국전자통신연구원 | 사운드 바를 위한 오디오 신호 처리 장치 및 방법 |
| EP2757558A1 (en) * | 2013-01-18 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Time domain level adjustment for audio signal decoding or encoding |
| US10178489B2 (en) * | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
| US9609452B2 (en) | 2013-02-08 | 2017-03-28 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
| US9883310B2 (en) | 2013-02-08 | 2018-01-30 | Qualcomm Incorporated | Obtaining symmetry information for higher order ambisonic audio renderers |
| US9685163B2 (en) * | 2013-03-01 | 2017-06-20 | Qualcomm Incorporated | Transforming spherical harmonic coefficients |
| KR102268933B1 (ko) * | 2013-03-15 | 2021-06-25 | 디티에스, 인코포레이티드 | 다수의 오디오 스템들로부터의 자동 다-채널 뮤직 믹스 |
| US10038957B2 (en) * | 2013-03-19 | 2018-07-31 | Nokia Technologies Oy | Audio mixing based upon playing device location |
| WO2014160717A1 (en) * | 2013-03-28 | 2014-10-02 | Dolby Laboratories Licensing Corporation | Using single bitstream to produce tailored audio device mixes |
| KR102332632B1 (ko) * | 2013-03-28 | 2021-12-02 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링 |
| TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
| JP6204683B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP2014204316A (ja) * | 2013-04-05 | 2014-10-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP6204681B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| JP6204682B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| MX2015014065A (es) * | 2013-04-05 | 2016-11-25 | Thomson Licensing | Metodo para manejar campo reverberante para audio inmersivo. |
| JP6204680B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置、音響信号作成装置 |
| JP6204684B2 (ja) * | 2013-04-05 | 2017-09-27 | 日本放送協会 | 音響信号再生装置 |
| CN105144751A (zh) * | 2013-04-15 | 2015-12-09 | 英迪股份有限公司 | 用于产生虚拟对象的音频信号处理方法 |
| EP2991383B1 (en) * | 2013-04-26 | 2021-01-27 | Sony Corporation | Audio processing device and audio processing system |
| WO2014177202A1 (en) * | 2013-04-30 | 2014-11-06 | Huawei Technologies Co., Ltd. | Audio signal processing apparatus |
| US9860669B2 (en) | 2013-05-16 | 2018-01-02 | Koninklijke Philips N.V. | Audio apparatus and method therefor |
| RU2667630C2 (ru) * | 2013-05-16 | 2018-09-21 | Конинклейке Филипс Н.В. | Устройство аудиообработки и способ для этого |
| US9706324B2 (en) | 2013-05-17 | 2017-07-11 | Nokia Technologies Oy | Spatial object oriented audio apparatus |
| US20140355769A1 (en) * | 2013-05-29 | 2014-12-04 | Qualcomm Incorporated | Energy preservation for decomposed representations of a sound field |
| KR101410976B1 (ko) | 2013-05-31 | 2014-06-23 | 한국산업은행 | 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치 |
| TWI615834B (zh) * | 2013-05-31 | 2018-02-21 | Sony Corp | 編碼裝置及方法、解碼裝置及方法、以及程式 |
| JP6022685B2 (ja) * | 2013-06-10 | 2016-11-09 | 株式会社ソシオネクスト | オーディオ再生装置及びその方法 |
| US9705953B2 (en) * | 2013-06-17 | 2017-07-11 | Adobe Systems Incorporated | Local control of digital signal processing |
| EP3011764B1 (en) * | 2013-06-18 | 2018-11-21 | Dolby Laboratories Licensing Corporation | Bass management for audio rendering |
| CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
| TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
| EP3014901B1 (en) | 2013-06-28 | 2017-08-23 | Dolby Laboratories Licensing Corporation | Improved rendering of audio objects using discontinuous rendering-matrix updates |
| KR102084646B1 (ko) * | 2013-07-04 | 2020-04-14 | 삼성전자주식회사 | 음성 인식 장치 및 음성 인식 방법 |
| WO2015006112A1 (en) | 2013-07-08 | 2015-01-15 | Dolby Laboratories Licensing Corporation | Processing of time-varying metadata for lossless resampling |
| EP2830335A3 (en) * | 2013-07-22 | 2015-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, and computer program for mapping first and second input channels to at least one output channel |
| EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| TWI560699B (en) * | 2013-07-22 | 2016-12-01 | Fraunhofer Ges Forschung | Apparatus and method for efficient object metadata coding |
| EP2830049A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for efficient object metadata coding |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| US9338573B2 (en) | 2013-07-30 | 2016-05-10 | Dts, Inc. | Matrix decoder with constant-power pairwise panning |
| CN105432098B (zh) | 2013-07-30 | 2017-08-29 | 杜比国际公司 | 针对任意扬声器布局的音频对象的平移 |
| KR102327504B1 (ko) | 2013-07-31 | 2021-11-17 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 공간적으로 분산된 또는 큰 오디오 오브젝트들의 프로세싱 |
| US10354359B2 (en) | 2013-08-21 | 2019-07-16 | Interdigital Ce Patent Holdings | Video display with pan function controlled by viewing direction |
| US9483228B2 (en) | 2013-08-26 | 2016-11-01 | Dolby Laboratories Licensing Corporation | Live engine |
| BR112016004029B1 (pt) * | 2013-08-28 | 2022-06-14 | Landr Audio Inc | Método para realizar a produção automática de áudio, meio legível por computador, e, sistema de produção automática de áudio |
| CN105493182B (zh) * | 2013-08-28 | 2020-01-21 | 杜比实验室特许公司 | 混合波形编码和参数编码语音增强 |
| US10095468B2 (en) | 2013-09-12 | 2018-10-09 | Dolby Laboratories Licensing Corporation | Dynamic range control for a wide variety of playback environments |
| US8751832B2 (en) * | 2013-09-27 | 2014-06-10 | James A Cashin | Secure system and method for audio processing |
| US9067135B2 (en) | 2013-10-07 | 2015-06-30 | Voyetra Turtle Beach, Inc. | Method and system for dynamic control of game audio based on audio analysis |
| US9716958B2 (en) * | 2013-10-09 | 2017-07-25 | Voyetra Turtle Beach, Inc. | Method and system for surround sound processing in a headset |
| US10063982B2 (en) | 2013-10-09 | 2018-08-28 | Voyetra Turtle Beach, Inc. | Method and system for a game headset with audio alerts based on audio track analysis |
| US9338541B2 (en) | 2013-10-09 | 2016-05-10 | Voyetra Turtle Beach, Inc. | Method and system for in-game visualization based on audio analysis |
| US8979658B1 (en) | 2013-10-10 | 2015-03-17 | Voyetra Turtle Beach, Inc. | Dynamic adjustment of game controller sensitivity based on audio analysis |
| WO2015056383A1 (ja) | 2013-10-17 | 2015-04-23 | パナソニック株式会社 | オーディオエンコード装置及びオーディオデコード装置 |
| KR102231755B1 (ko) | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
| ES2755349T3 (es) * | 2013-10-31 | 2020-04-22 | Dolby Laboratories Licensing Corp | Renderización binaural para auriculares utilizando procesamiento de metadatos |
| US9888333B2 (en) * | 2013-11-11 | 2018-02-06 | Google Technology Holdings LLC | Three-dimensional audio rendering techniques |
| WO2015073454A2 (en) * | 2013-11-14 | 2015-05-21 | Dolby Laboratories Licensing Corporation | Screen-relative rendering of audio and encoding and decoding of audio for such rendering |
| EP3444815B1 (en) * | 2013-11-27 | 2020-01-08 | DTS, Inc. | Multiplet-based matrix mixing for high-channel count multichannel audio |
| EP3075173B1 (en) | 2013-11-28 | 2019-12-11 | Dolby Laboratories Licensing Corporation | Position-based gain adjustment of object-based audio and ring-based channel audio |
| EP2892250A1 (en) | 2014-01-07 | 2015-07-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating a plurality of audio channels |
| US9704491B2 (en) | 2014-02-11 | 2017-07-11 | Disney Enterprises, Inc. | Storytelling environment: distributed immersive audio soundscape |
| US9578436B2 (en) * | 2014-02-20 | 2017-02-21 | Bose Corporation | Content-aware audio modes |
| JP6549605B2 (ja) * | 2014-03-18 | 2019-07-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオビジュアルコンテンツアイテムデータストリーム |
| EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
| KR101846484B1 (ko) * | 2014-03-21 | 2018-04-10 | 돌비 인터네셔널 에이비 | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 |
| US10412522B2 (en) | 2014-03-21 | 2019-09-10 | Qualcomm Incorporated | Inserting audio channels into descriptions of soundfields |
| CN109036441B (zh) * | 2014-03-24 | 2023-06-06 | 杜比国际公司 | 对高阶高保真立体声信号应用动态范围压缩的方法和设备 |
| JP6313641B2 (ja) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | チャンネル数変換装置 |
| EP2925024A1 (en) | 2014-03-26 | 2015-09-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
| EP2928216A1 (en) * | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
| KR102302672B1 (ko) | 2014-04-11 | 2021-09-15 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US10068577B2 (en) | 2014-04-25 | 2018-09-04 | Dolby Laboratories Licensing Corporation | Audio segmentation based on spatial metadata |
| HK1195445A2 (en) * | 2014-05-08 | 2014-11-07 | 黃偉明 | Endpoint mixing system and reproduction method of endpoint mixed sounds |
| WO2015177224A1 (en) * | 2014-05-21 | 2015-11-26 | Dolby International Ab | Configuring playback of audio via a home audio playback system |
| EP3151240B1 (en) * | 2014-05-30 | 2022-12-21 | Sony Group Corporation | Information processing device and information processing method |
| CA2949108C (en) * | 2014-05-30 | 2019-02-26 | Qualcomm Incorporated | Obtaining sparseness information for higher order ambisonic audio renderers |
| US10621994B2 (en) * | 2014-06-06 | 2020-04-14 | Sony Corporaiton | Audio signal processing device and method, encoding device and method, and program |
| US10139907B2 (en) | 2014-06-16 | 2018-11-27 | Immersion Corporation | Systems and methods for foley-style haptic content creation |
| EP3163570A4 (en) * | 2014-06-30 | 2018-02-14 | Sony Corporation | Information processor and information-processing method |
| EP3171605B1 (en) | 2014-07-18 | 2020-10-14 | Sony Corporation | Transmission device, transmission method, reception device, and reception method |
| EP3175446B1 (en) * | 2014-07-31 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Audio processing systems and methods |
| US10349197B2 (en) | 2014-08-13 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and device for generating and playing back audio signal |
| CN105657633A (zh) * | 2014-09-04 | 2016-06-08 | 杜比实验室特许公司 | 生成针对音频对象的元数据 |
| US9782672B2 (en) * | 2014-09-12 | 2017-10-10 | Voyetra Turtle Beach, Inc. | Gaming headset with enhanced off-screen awareness |
| US9774974B2 (en) | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
| EP3198887A1 (en) * | 2014-09-24 | 2017-08-02 | Dolby Laboratories Licensing Corp. | Overhead speaker system |
| US20160094914A1 (en) * | 2014-09-30 | 2016-03-31 | Alcatel-Lucent Usa Inc. | Systems and methods for localizing audio streams via acoustic large scale speaker arrays |
| WO2016052191A1 (ja) * | 2014-09-30 | 2016-04-07 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| KR20220066996A (ko) * | 2014-10-01 | 2022-05-24 | 돌비 인터네셔널 에이비 | 오디오 인코더 및 디코더 |
| KR102226817B1 (ko) * | 2014-10-01 | 2021-03-11 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
| MX364166B (es) | 2014-10-02 | 2019-04-15 | Dolby Int Ab | Método de decodificación y decodificador para mejora del diálogo. |
| CN106796809B (zh) * | 2014-10-03 | 2019-08-09 | 杜比国际公司 | 个性化音频的智能访问 |
| JP6812517B2 (ja) * | 2014-10-03 | 2021-01-13 | ドルビー・インターナショナル・アーベー | パーソナル化されたオーディオへのスマート・アクセス |
| WO2016066743A1 (en) | 2014-10-31 | 2016-05-06 | Dolby International Ab | Parametric encoding and decoding of multichannel audio signals |
| CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
| US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
| CN105895086B (zh) * | 2014-12-11 | 2021-01-12 | 杜比实验室特许公司 | 元数据保留的音频对象聚类 |
| US10057705B2 (en) * | 2015-01-13 | 2018-08-21 | Harman International Industries, Incorporated | System and method for transitioning between audio system modes |
| JP6550756B2 (ja) * | 2015-01-20 | 2019-07-31 | ヤマハ株式会社 | オーディオ信号処理装置 |
| EP3254435B1 (en) | 2015-02-03 | 2020-08-26 | Dolby Laboratories Licensing Corporation | Post-conference playback system having higher perceived quality than originally heard in the conference |
| WO2016126819A1 (en) | 2015-02-03 | 2016-08-11 | Dolby Laboratories Licensing Corporation | Optimized virtual scene layout for spatial meeting playback |
| US10321256B2 (en) | 2015-02-03 | 2019-06-11 | Dolby Laboratories Licensing Corporation | Adaptive audio construction |
| CN105992120B (zh) * | 2015-02-09 | 2019-12-31 | 杜比实验室特许公司 | 音频信号的上混音 |
| CN105989845B (zh) | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
| US9933991B2 (en) * | 2015-03-10 | 2018-04-03 | Harman International Industries, Limited | Remote controlled digital audio mixing system |
| TWI693594B (zh) | 2015-03-13 | 2020-05-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
| WO2016148552A2 (ko) * | 2015-03-19 | 2016-09-22 | (주)소닉티어랩 | 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 |
| US10992727B2 (en) * | 2015-04-08 | 2021-04-27 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
| US10136240B2 (en) * | 2015-04-20 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Processing audio data to compensate for partial hearing loss or an adverse hearing environment |
| US10257636B2 (en) | 2015-04-21 | 2019-04-09 | Dolby Laboratories Licensing Corporation | Spatial audio signal manipulation |
| US20160315722A1 (en) * | 2015-04-22 | 2016-10-27 | Apple Inc. | Audio stem delivery and control |
| WO2016171002A1 (ja) | 2015-04-24 | 2016-10-27 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| WO2016183379A2 (en) * | 2015-05-14 | 2016-11-17 | Dolby Laboratories Licensing Corporation | Generation and playback of near-field audio content |
| KR102357293B1 (ko) * | 2015-05-26 | 2022-01-28 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
| US9985676B2 (en) * | 2015-06-05 | 2018-05-29 | Braven, Lc | Multi-channel mixing console |
| KR102122004B1 (ko) | 2015-06-17 | 2020-06-26 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 코딩 시스템들에서 사용자 상호 작용을 위한 음량 제어 |
| TWI607655B (zh) * | 2015-06-19 | 2017-12-01 | Sony Corp | Coding apparatus and method, decoding apparatus and method, and program |
| US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
| DE102015008000A1 (de) * | 2015-06-24 | 2016-12-29 | Saalakustik.De Gmbh | Verfahren zur Schallwiedergabe in Reflexionsumgebungen, insbesondere in Hörräumen |
| WO2016210174A1 (en) * | 2015-06-25 | 2016-12-29 | Dolby Laboratories Licensing Corporation | Audio panning transformation system and method |
| GB2540226A (en) * | 2015-07-08 | 2017-01-11 | Nokia Technologies Oy | Distributed audio microphone array and locator configuration |
| CN105187625B (zh) * | 2015-07-13 | 2018-11-16 | 努比亚技术有限公司 | 一种电子设备及音频处理方法 |
| GB2540407B (en) * | 2015-07-16 | 2020-05-20 | Powerchord Group Ltd | Personal audio mixer |
| GB2529310B (en) * | 2015-07-16 | 2016-11-30 | Powerchord Group Ltd | A method of augmenting an audio content |
| GB2540404B (en) * | 2015-07-16 | 2019-04-10 | Powerchord Group Ltd | Synchronising an audio signal |
| US9934790B2 (en) * | 2015-07-31 | 2018-04-03 | Apple Inc. | Encoded audio metadata-based equalization |
| CN105070304B (zh) | 2015-08-11 | 2018-09-04 | 小米科技有限责任公司 | 实现对象音频录音的方法及装置、电子设备 |
| EP3335436B1 (en) | 2015-08-14 | 2021-10-06 | DTS, Inc. | Bass management for object-based audio |
| KR102423753B1 (ko) | 2015-08-20 | 2022-07-21 | 삼성전자주식회사 | 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
| US9832590B2 (en) * | 2015-09-12 | 2017-11-28 | Dolby Laboratories Licensing Corporation | Audio program playback calibration based on content creation environment |
| CN108292142B (zh) * | 2015-09-28 | 2021-07-06 | 雷蛇(亚太)私人有限公司 | 计算机、控制计算机的方法及计算机可读介质 |
| US10341770B2 (en) | 2015-09-30 | 2019-07-02 | Apple Inc. | Encoded audio metadata-based loudness equalization and dynamic equalization during DRC |
| US20170098452A1 (en) * | 2015-10-02 | 2017-04-06 | Dts, Inc. | Method and system for audio processing of dialog, music, effect and height objects |
| US9877137B2 (en) * | 2015-10-06 | 2018-01-23 | Disney Enterprises, Inc. | Systems and methods for playing a venue-specific object-based audio |
| CN108141674A (zh) | 2015-10-21 | 2018-06-08 | 富士胶片株式会社 | 影音系统 |
| US9807535B2 (en) | 2015-10-30 | 2017-10-31 | International Business Machines Corporation | Three dimensional audio speaker array |
| WO2017087564A1 (en) | 2015-11-20 | 2017-05-26 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
| CN105979349A (zh) * | 2015-12-03 | 2016-09-28 | 乐视致新电子科技（天津）有限公司 | 一种音频数据处理的方法和装置 |
| CN108370482B (zh) | 2015-12-18 | 2020-07-28 | 杜比实验室特许公司 | 用于呈现沉浸式音频内容的双定向扬声器 |
| WO2017126895A1 (ko) * | 2016-01-19 | 2017-07-27 | 지오디오랩 인코포레이티드 | 오디오 신호 처리 장치 및 처리 방법 |
| WO2017130210A1 (en) * | 2016-01-27 | 2017-08-03 | Indian Institute Of Technology Bombay | Method and system for rendering audio streams |
| US11290819B2 (en) | 2016-01-29 | 2022-03-29 | Dolby Laboratories Licensing Corporation | Distributed amplification and control system for immersive audio multi-channel amplifier |
| US10778160B2 (en) | 2016-01-29 | 2020-09-15 | Dolby Laboratories Licensing Corporation | Class-D dynamic closed loop feedback amplifier |
| EP3409026B1 (en) | 2016-01-29 | 2020-01-01 | Dolby Laboratories Licensing Corporation | Multi-channel cinema amplifier with power-sharing, messaging and multi-phase power supply |
| CN112218229B (zh) | 2016-01-29 | 2022-04-01 | 杜比实验室特许公司 | 用于音频信号处理的系统、方法和计算机可读介质 |
| CN105656915B (zh) * | 2016-01-29 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 即时通话方法、装置和系统 |
| US9924291B2 (en) * | 2016-02-16 | 2018-03-20 | Sony Corporation | Distributed wireless speaker system |
| US10573324B2 (en) * | 2016-02-24 | 2020-02-25 | Dolby International Ab | Method and system for bit reservoir control in case of varying metadata |
| CN105898669B (zh) * | 2016-03-18 | 2017-10-20 | 南京青衿信息科技有限公司 | 一种声音对象的编码方法 |
| WO2017165837A1 (en) | 2016-03-24 | 2017-09-28 | Dolby Laboratories Licensing Corporation | Near-field rendering of immersive audio content in portable computers and devices |
| US10325610B2 (en) * | 2016-03-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Adaptive audio rendering |
| GB2550877A (en) * | 2016-05-26 | 2017-12-06 | Univ Surrey | Object-based audio rendering |
| WO2017218973A1 (en) | 2016-06-17 | 2017-12-21 | Edward Stein | Distance panning using near / far-field rendering |
| US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
| US10951985B1 (en) * | 2016-07-01 | 2021-03-16 | Gebre Waddell | Method and system for audio critical listening and evaluation |
| US9956910B2 (en) * | 2016-07-18 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Audible notification systems and methods for autonomous vehicles |
| CN109478400B (zh) | 2016-07-22 | 2023-07-07 | 杜比实验室特许公司 | 现场音乐表演的多媒体内容的基于网络的处理及分布 |
| CN106375778B (zh) * | 2016-08-12 | 2020-04-17 | 南京青衿信息科技有限公司 | 一种符合数字电影规范的三维音频节目码流传输的方法 |
| GB201615538D0 (en) | 2016-09-13 | 2016-10-26 | Nokia Technologies Oy | A method , apparatus and computer program for processing audio signals |
| US10701508B2 (en) * | 2016-09-20 | 2020-06-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
| GB2554447A (en) | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Gain control in spatial audio systems |
| WO2018061720A1 (ja) * | 2016-09-28 | 2018-04-05 | ヤマハ株式会社 | ミキサ、ミキサの制御方法およびプログラム |
| EP4235207A3 (en) * | 2016-09-29 | 2023-10-11 | Dolby Laboratories Licensing Corporation | Automatic discovery and localization of speaker locations in surround sound systems |
| US10349196B2 (en) * | 2016-10-03 | 2019-07-09 | Nokia Technologies Oy | Method of editing audio signals using separated objects and associated apparatus |
| US10419866B2 (en) | 2016-10-07 | 2019-09-17 | Microsoft Technology Licensing, Llc | Shared three-dimensional audio bed |
| US9980078B2 (en) * | 2016-10-14 | 2018-05-22 | Nokia Technologies Oy | Audio object modification in free-viewpoint rendering |
| US10516914B2 (en) * | 2016-10-19 | 2019-12-24 | Centurylink Intellectual Property Llc | Method and system for implementing automatic audio optimization for streaming services |
| EP3470976A1 (en) * | 2017-10-12 | 2019-04-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for efficient delivery and usage of audio messages for high quality of experience |
| US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
| US10535355B2 (en) | 2016-11-18 | 2020-01-14 | Microsoft Technology Licensing, Llc | Frame coding for spatial audio data |
| JP7014176B2 (ja) | 2016-11-25 | 2022-02-01 | ソニーグループ株式会社 | 再生装置、再生方法、およびプログラム |
| JP6993774B2 (ja) * | 2016-12-07 | 2022-01-14 | シャープ株式会社 | 音声出力制御装置 |
| WO2018132417A1 (en) | 2017-01-13 | 2018-07-19 | Dolby Laboratories Licensing Corporation | Dynamic equalization for cross-talk cancellation |
| CN113923583A (zh) * | 2017-01-27 | 2022-01-11 | 奥罗技术公司 | 用于平移音频对象的处理方法和系统 |
| DE102017102234A1 (de) * | 2017-02-06 | 2018-08-09 | Visteon Global Technologies, Inc. | Verfahren und Vorrichtung zur räumlichen Darstellung virtueller Geräuschquellen in einem Fahrzeug |
| WO2018150774A1 (ja) * | 2017-02-17 | 2018-08-23 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
| WO2018173413A1 (ja) * | 2017-03-24 | 2018-09-27 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
| KR102490786B1 (ko) * | 2017-04-13 | 2023-01-20 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 그리고 프로그램 |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| US9843883B1 (en) * | 2017-05-12 | 2017-12-12 | QoSound, Inc. | Source independent sound field rotation for virtual and augmented reality applications |
| US11595774B2 (en) | 2017-05-12 | 2023-02-28 | Microsoft Technology Licensing, Llc | Spatializing audio data based on analysis of incoming audio data |
| US20180357038A1 (en) * | 2017-06-09 | 2018-12-13 | Qualcomm Incorporated | Audio metadata modification at rendering device |
| WO2018231185A1 (ru) * | 2017-06-16 | 2018-12-20 | Василий Васильевич ДУМА | Способ синхронизации звуковых сигналов |
| US10028069B1 (en) | 2017-06-22 | 2018-07-17 | Sonos, Inc. | Immersive audio in a media playback system |
| US10516962B2 (en) | 2017-07-06 | 2019-12-24 | Huddly As | Multi-channel binaural recording and dynamic playback |
| CN110998724B (zh) | 2017-08-01 | 2021-05-21 | 杜比实验室特许公司 | 基于位置元数据的音频对象分类 |
| WO2019067469A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | FILE FORMAT FOR SPACE |
| CN111052770B (zh) | 2017-09-29 | 2021-12-03 | 苹果公司 | 空间音频下混频的方法及系统 |
| CN111164679B (zh) * | 2017-10-05 | 2024-04-09 | 索尼公司 | 编码装置和方法、解码装置和方法以及程序 |
| FR3072840B1 (fr) * | 2017-10-23 | 2021-06-04 | L Acoustics | Arrangement spatial de dispositifs de diffusion sonore |
| EP3707896A4 (en) | 2017-11-10 | 2021-07-07 | Hewlett-Packard Development Company, L.P. | CONFERENCE ENVIRONMENT SURVEILLANCE |
| US10440497B2 (en) * | 2017-11-17 | 2019-10-08 | Intel Corporation | Multi-modal dereverbaration in far-field audio systems |
| US10511909B2 (en) * | 2017-11-29 | 2019-12-17 | Boomcloud 360, Inc. | Crosstalk cancellation for opposite-facing transaural loudspeaker systems |
| RU2020116581A (ru) * | 2017-12-12 | 2021-11-22 | Сони Корпорейшн | Программа, способ и устройство для обработки сигнала |
| TWI702594B (zh) | 2018-01-26 | 2020-08-21 | 瑞典商都比國際公司 | 用於音訊信號之高頻重建技術之回溯相容整合 |
| JP7261807B2 (ja) * | 2018-02-01 | 2023-04-20 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ハイブリッドエンコーダ／デコーダ空間解析を使用する音響シーンエンコーダ、音響シーンデコーダおよびその方法 |
| KR102482960B1 (ko) | 2018-02-07 | 2022-12-29 | 삼성전자주식회사 | 듀얼 스피커를 이용한 오디오 데이터 재생 방법 및 그의 전자 장치 |
| DE102018206025A1 (de) * | 2018-02-19 | 2019-08-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering |
| US10514882B2 (en) | 2018-02-21 | 2019-12-24 | Microsoft Technology Licensing, Llc | Digital audio processing system for adjoining digital audio stems based on computed audio intensity/characteristics |
| WO2019199359A1 (en) | 2018-04-08 | 2019-10-17 | Dts, Inc. | Ambisonic depth extraction |
| CN115334444A (zh) * | 2018-04-11 | 2022-11-11 | 杜比国际公司 | 用于音频渲染的预渲染信号的方法、设备和系统 |
| WO2019204214A2 (en) * | 2018-04-16 | 2019-10-24 | Dolby Laboratories Licensing Corporation | Methods, apparatus and systems for encoding and decoding of directional sound sources |
| US10672405B2 (en) * | 2018-05-07 | 2020-06-02 | Google Llc | Objective quality metrics for ambisonic spatial audio |
| US10630870B2 (en) * | 2018-06-20 | 2020-04-21 | Gdc Technology (Shenzhen) Limited | System and method for augmented reality movie screenings |
| EP3588988B1 (en) * | 2018-06-26 | 2021-02-17 | Nokia Technologies Oy | Selective presentation of ambient audio content for spatial audio presentation |
| SG11202007629UA (en) | 2018-07-02 | 2020-09-29 | Dolby Laboratories Licensing Corp | Methods and devices for encoding and/or decoding immersive audio signals |
| US20200007988A1 (en) * | 2018-07-02 | 2020-01-02 | Microchip Technology Incorporated | Wireless signal source based audio output and related systems, methods and devices |
| CN110675889A (zh) | 2018-07-03 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 音频信号处理方法、客户端和电子设备 |
| US10445056B1 (en) * | 2018-07-03 | 2019-10-15 | Disney Enterprises, Inc. | System for deliverables versioning in audio mastering |
| US10455078B1 (en) * | 2018-07-11 | 2019-10-22 | International Business Machines Corporation | Enhancing privacy in mobile phone calls by caller controlled audio delivering modes |
| GB2575510A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial augmentation |
| US11159327B2 (en) * | 2018-08-06 | 2021-10-26 | Tyson York Winarski | Blockchain augmentation of a material exchange format MXF file |
| JP7019096B2 (ja) | 2018-08-30 | 2022-02-14 | ドルビー・インターナショナル・アーベー | 低ビットレート符号化オーディオの増強を制御する方法及び機器 |
| US10404467B1 (en) * | 2018-09-09 | 2019-09-03 | Tyson York Winarski | Blockchain digest augmention of media files including group-of-pictures video streams for MXF files |
| US20200081681A1 (en) * | 2018-09-10 | 2020-03-12 | Spotify Ab | Mulitple master music playback |
| JP7363795B2 (ja) | 2018-09-28 | 2023-10-18 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
| US10932344B2 (en) | 2018-10-09 | 2021-02-23 | Rovi Guides, Inc. | Systems and methods for emulating an environment created by the outputs of a plurality of devices |
| WO2020081674A1 (en) | 2018-10-16 | 2020-04-23 | Dolby Laboratories Licensing Corporation | Methods and devices for bass management |
| EP3870991A4 (en) | 2018-10-24 | 2022-08-17 | Otto Engineering Inc. | DIRECTIONAL AUDIO COMMUNICATION SYSTEM |
| KR20210090171A (ko) * | 2018-11-13 | 2021-07-19 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 몰입형 오디오 서비스들에서의 오디오 처리 |
| CN109451417B (zh) * | 2018-11-29 | 2024-03-15 | 广州艾美网络科技有限公司 | 多声道音频处理方法及系统 |
| US11474776B2 (en) * | 2018-12-18 | 2022-10-18 | Intel Corporation | Display-based audio splitting in media environments |
| JP2022515266A (ja) | 2018-12-24 | 2022-02-17 | ディーティーエス・インコーポレイテッド | 深層学習画像解析を用いた室内音響シミュレーション |
| US11503422B2 (en) * | 2019-01-22 | 2022-11-15 | Harman International Industries, Incorporated | Mapping virtual sound sources to physical speakers in extended reality applications |
| CN116312572A (zh) * | 2019-01-31 | 2023-06-23 | 华为技术有限公司 | 一种音频信号处理方法及装置 |
| KR20200107758A (ko) * | 2019-03-08 | 2020-09-16 | 엘지전자 주식회사 | 음향 객체 추종을 위한 방법 및 이를 위한 장치 |
| US11206504B2 (en) * | 2019-04-02 | 2021-12-21 | Syng, Inc. | Systems and methods for spatial audio rendering |
| JP7419666B2 (ja) * | 2019-04-03 | 2024-01-23 | ヤマハ株式会社 | 音信号処理装置および音信号処理方法 |
| US11087738B2 (en) * | 2019-06-11 | 2021-08-10 | Lucasfilm Entertainment Company Ltd. LLC | System and method for music and effects sound mix creation in audio soundtrack versioning |
| CN112233647A (zh) * | 2019-06-26 | 2021-01-15 | 索尼公司 | 信息处理设备和方法以及计算机可读存储介质 |
| CN112153530B (zh) * | 2019-06-28 | 2022-05-27 | 苹果公司 | 用于存储捕获元数据的空间音频文件格式 |
| US11841899B2 (en) | 2019-06-28 | 2023-12-12 | Apple Inc. | Spatial audio file format for storing capture metadata |
| JP2022539217A (ja) | 2019-07-02 | 2022-09-07 | ドルビー・インターナショナル・アーベー | 離散指向性情報の表現、符号化、および復号化のための方法、装置、およびシステム |
| US10972852B2 (en) * | 2019-07-03 | 2021-04-06 | Qualcomm Incorporated | Adapting audio streams for rendering |
| US11580213B2 (en) | 2019-07-03 | 2023-02-14 | Qualcomm Incorporated | Password-based authorization for audio rendering |
| EP3997700A1 (en) | 2019-07-09 | 2022-05-18 | Dolby Laboratories Licensing Corporation | Presentation independent mastering of audio content |
| JP7533461B2 (ja) | 2019-07-19 | 2024-08-14 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
| FR3100680B1 (fr) * | 2019-09-09 | 2022-11-04 | L Acoustics | Dispositif de diffusion sonore a directivite large bande controlee |
| JP2021048500A (ja) * | 2019-09-19 | 2021-03-25 | ソニー株式会社 | 信号処理装置、信号処理方法および信号処理システム |
| TWI735968B (zh) * | 2019-10-09 | 2021-08-11 | 名世電子企業股份有限公司 | 音場型自然環境音效系統 |
| JP7373724B2 (ja) * | 2019-10-28 | 2023-11-06 | パナソニックＩｐマネジメント株式会社 | 環境制御システム |
| TW202123220A (zh) | 2019-10-30 | 2021-06-16 | 美商杜拜研究特許公司 | 使用方向性元資料之多通道音頻編碼及解碼 |
| US11096006B1 (en) * | 2019-11-04 | 2021-08-17 | Facebook Technologies, Llc | Dynamic speech directivity reproduction |
| CN110782865B (zh) * | 2019-11-06 | 2023-08-18 | 上海音乐学院 | 一种三维声音创作交互式系统 |
| US11533560B2 (en) | 2019-11-15 | 2022-12-20 | Boomcloud 360 Inc. | Dynamic rendering device metadata-informed audio enhancement system |
| WO2021098957A1 (en) * | 2019-11-20 | 2021-05-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains |
| CN114731459A (zh) * | 2019-11-20 | 2022-07-08 | 杜比国际公司 | 用于个性化音频内容的方法和设备 |
| US12094476B2 (en) | 2019-12-02 | 2024-09-17 | Dolby Laboratories Licensing Corporation | Systems, methods and apparatus for conversion from channel-based audio to object-based audio |
| RU2721180C1 (ru) * | 2019-12-02 | 2020-05-18 | Самсунг Электроникс Ко., Лтд. | Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его |
| WO2021118107A1 (en) | 2019-12-09 | 2021-06-17 | Samsung Electronics Co., Ltd. | Audio output apparatus and method of controlling thereof |
| US20230010466A1 (en) * | 2019-12-09 | 2023-01-12 | Dolby Laboratories Licensing Corporation | Adjusting audio and non-audio features based on noise metrics and speech intelligibility metrics |
| CN115299079A (zh) | 2020-03-19 | 2022-11-04 | 松下电器（美国）知识产权公司 | 音响再现方法、计算机程序及音响再现装置 |
| JP7443870B2 (ja) * | 2020-03-24 | 2024-03-06 | ヤマハ株式会社 | 音信号出力方法および音信号出力装置 |
| US11900412B2 (en) * | 2020-03-25 | 2024-02-13 | Applied Minds, Llc | Audience participation application, system, and method of use |
| CN111586553B (zh) | 2020-05-27 | 2022-06-03 | 京东方科技集团股份有限公司 | 显示装置及其工作方法 |
| US11275629B2 (en) * | 2020-06-25 | 2022-03-15 | Microsoft Technology Licensing, Llc | Mixed reality complementary systems |
| WO2022010454A1 (en) * | 2020-07-06 | 2022-01-13 | Hewlett-Packard Development Company, L.P. | Binaural down-mixing of audio signals |
| CA3187342A1 (en) * | 2020-07-30 | 2022-02-03 | Guillaume Fuchs | Apparatus, method and computer program for encoding an audio signal or for decoding an encoded audio scene |
| CN112398455B (zh) * | 2020-10-21 | 2022-09-27 | 头领科技（昆山）有限公司 | 一种自适应功率放大器芯片及其自适应控制方法 |
| CN112312298A (zh) | 2020-11-19 | 2021-02-02 | 北京小米松果电子有限公司 | 音频播放方法及装置、电子设备和存储介质 |
| KR102500694B1 (ko) | 2020-11-24 | 2023-02-16 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법 |
| JP7536733B2 (ja) * | 2020-11-24 | 2024-08-20 | ネイバー コーポレーション | オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法 |
| JP7536735B2 (ja) * | 2020-11-24 | 2024-08-20 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
| US11521623B2 (en) | 2021-01-11 | 2022-12-06 | Bank Of America Corporation | System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording |
| CN114915874B (zh) * | 2021-02-10 | 2023-07-25 | 北京全景声信息科技有限公司 | 音频处理方法、装置、设备及介质 |
| RU2759666C1 (ru) * | 2021-02-19 | 2021-11-16 | Общество с ограниченной ответственностью «ЯЛОС СТРИМ» | Система воспроизведения аудио-видеоданных |
| KR20220146165A (ko) * | 2021-04-23 | 2022-11-01 | 삼성전자주식회사 | 오디오 신호 처리를 위한 전자 장치 및 그 동작 방법 |
| US11581862B2 (en) | 2021-04-30 | 2023-02-14 | That Corporation | Passive sub-audible room path learning with noise modeling |
| EP4310839A4 (en) * | 2021-05-21 | 2024-07-17 | Samsung Electronics Co Ltd | DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL |
| BR112023021544A2 (pt) * | 2021-05-28 | 2023-12-19 | Dolby Laboratories Licensing Corp | Ajuste de alcance dinâmico de objetos de áudio espacial |
| CN113905321A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于对象音频通道元数据和生成方法、设备及存储介质 |
| CN113905322A (zh) * | 2021-09-01 | 2022-01-07 | 赛因芯微(北京)电子科技有限公司 | 基于双耳音频通道元数据和生成方法、设备及存储介质 |
| CN113923584A (zh) * | 2021-09-01 | 2022-01-11 | 赛因芯微(北京)电子科技有限公司 | 基于矩阵音频通道元数据和生成方法、设备及存储介质 |
| CN113938811A (zh) * | 2021-09-01 | 2022-01-14 | 赛因芯微(北京)电子科技有限公司 | 基于音床音频通道元数据和生成方法、设备及存储介质 |
| CN113963724A (zh) * | 2021-09-18 | 2022-01-21 | 赛因芯微(北京)电子科技有限公司 | 音频内容元数据和产生方法、电子设备及存储介质 |
| CN114143695A (zh) * | 2021-10-15 | 2022-03-04 | 赛因芯微(北京)电子科技有限公司 | 一种音频流元数据和生成方法、电子设备及存储介质 |
| CN114363791A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频元数据生成方法、装置、设备及存储介质 |
| CN114363790A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 串行音频块格式元数据生成方法、装置、设备及介质 |
| CN114363792A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 传输音轨格式串行元数据生成方法、装置、设备及介质 |
| US11902771B2 (en) * | 2021-12-27 | 2024-02-13 | Spatialx Inc. | Audio space simulation in a localized audio environment |
| CN114510212B (zh) * | 2021-12-31 | 2023-08-08 | 赛因芯微(北京)电子科技有限公司 | 一种基于串行数字音频接口的数据传输方法、装置及设备 |
| CN114509043B (zh) * | 2022-02-15 | 2024-04-30 | 深圳须弥云图空间科技有限公司 | 空间对象编码方法、装置、设备及介质 |
| CN117581566A (zh) * | 2022-05-05 | 2024-02-20 | 北京小米移动软件有限公司 | 音频处理方法、装置及存储介质 |
| KR102504081B1 (ko) * | 2022-08-18 | 2023-02-28 | 주식회사 킨트 | 사운드 파일 마스터링 시스템 |
| WO2024074282A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for encoding and decoding of audio bitstreams |
| WO2024074284A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for efficient encoding and decoding of audio bitstreams |
| WO2024074283A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby International Ab | Method, apparatus, and medium for decoding of audio signals with skippable blocks |
| WO2024076828A1 (en) * | 2022-10-05 | 2024-04-11 | Dolby Laboratories Licensing Corporation | Method, apparatus, and medium for encoding and decoding of audio bitstreams with parametric flexible rendering configuration data |
| KR102608935B1 (ko) * | 2023-04-06 | 2023-12-04 | 뉴튠(주) | 사용자 정보에 기초한 실시간 오디오 믹싱 서비스 제공 방법 및 장치 |
| CN116594586B (zh) * | 2023-07-18 | 2023-09-26 | 苏州清听声学科技有限公司 | 一种车载自适应调节的音频播放系统及方法 |
| CN117809697A (zh) * | 2024-01-23 | 2024-04-02 | 深圳蔓延科技有限公司 | 依据音频生成可视动画的方法以及电子装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050075882A1 (en) * | 2001-03-07 | 2005-04-07 | Microsoft Corporation | Accessing audio processing components in an audio generation system |
| US20050222841A1 (en) * | 1999-11-02 | 2005-10-06 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
| US20070101249A1 (en) * | 2005-11-01 | 2007-05-03 | Tae-Jin Lee | System and method for transmitting/receiving object-based audio |
| RU2347282C2 (ru) * | 2003-07-07 | 2009-02-20 | Конинклейке Филипс Электроникс Н.В. | Система и способ обработки звукового сигнала |
| US20100198378A1 (en) * | 2007-07-13 | 2010-08-05 | Dolby Laboratories Licensing Corporation | Audio Processing Using Auditory Scene Analysis and Spectral Skewness |
Family Cites Families (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5155510A (en) | 1990-11-29 | 1992-10-13 | Digital Theater Systems Corporation | Digital sound system for motion pictures with analog sound track emulation |
| RU1332U1 (ru) | 1993-11-25 | 1995-12-16 | Магаданское государственное геологическое предприятие "Новая техника" | Гидромонитор |
| US5717765A (en) | 1994-03-07 | 1998-02-10 | Sony Corporation | Theater sound system with upper surround channels |
| JPH0951600A (ja) * | 1995-08-03 | 1997-02-18 | Fujitsu Ten Ltd | 効果音再生システム |
| US5642423A (en) | 1995-11-22 | 1997-06-24 | Sony Corporation | Digital surround sound processor |
| US5970152A (en) * | 1996-04-30 | 1999-10-19 | Srs Labs, Inc. | Audio enhancement system for use in a surround sound environment |
| US6229899B1 (en) | 1996-07-17 | 2001-05-08 | American Technology Corporation | Method and device for developing a virtual speaker distant from the sound source |
| US6164018A (en) | 1997-12-08 | 2000-12-26 | Shopro, Inc. | Cinematic theater and theater multiplex |
| US6624873B1 (en) | 1998-05-05 | 2003-09-23 | Dolby Laboratories Licensing Corporation | Matrix-encoded surround-sound channels in a discrete digital sound format |
| US6771323B1 (en) | 1999-11-15 | 2004-08-03 | Thx Ltd. | Audio visual display adjustment using captured content characteristics |
| EP1134724B1 (en) | 2000-03-17 | 2008-07-23 | Sony France S.A. | Real time audio spatialisation system with high level control |
| CA2406926A1 (en) * | 2000-04-19 | 2001-11-01 | Sonic Solutions | Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions |
| US7212872B1 (en) | 2000-05-10 | 2007-05-01 | Dts, Inc. | Discrete multichannel audio with a backward compatible mix |
| KR20030015806A (ko) | 2001-08-17 | 2003-02-25 | 최해용 | 극장용 영상,음향 광학계(劇場用 映像,音響 光學係) |
| BR0304231A (pt) * | 2002-04-10 | 2004-07-27 | Koninkl Philips Electronics Nv | Métodos para codificação de um sinal de canais múltiplos, método e disposição para decodificação de informação de sinal de canais múltiplos, sinal de dados incluindo informação de sinal de canais múltiplos, meio legìvel por computador, e, dispositivo para comunicação de um sinal de canais múltiplos |
| JP2003348700A (ja) * | 2002-05-28 | 2003-12-05 | Victor Co Of Japan Ltd | 臨場感信号の生成方法、及び臨場感信号生成装置 |
| US20030223603A1 (en) | 2002-05-28 | 2003-12-04 | Beckman Kenneth Oren | Sound space replication |
| DE10254404B4 (de) * | 2002-11-21 | 2004-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals |
| GB0301093D0 (en) * | 2003-01-17 | 2003-02-19 | 1 Ltd | Set-up method for array-type sound systems |
| GB0304126D0 (en) * | 2003-02-24 | 2003-03-26 | 1 Ltd | Sound beam loudspeaker system |
| FR2853802B1 (fr) | 2003-04-11 | 2005-06-24 | Pierre Denis Rene Vincent | Installation pour la projection d'oeuvres cinematographiques ou numeriques sonores |
| US6972828B2 (en) | 2003-12-18 | 2005-12-06 | Eastman Kodak Company | Method and system for preserving the creative intent within a motion picture production chain |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| SE0400997D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding of multi-channel audio |
| US7106411B2 (en) | 2004-05-05 | 2006-09-12 | Imax Corporation | Conversion of cinema theatre to a super cinema theatre |
| EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| EP1851656A4 (en) | 2005-02-22 | 2009-09-23 | Verax Technologies Inc | SYSTEM AND METHOD FOR FORMATTING MULTIMODE CONTENT OF SOUNDS AND METADATA |
| DE102005008366A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten |
| DE102005008343A1 (de) * | 2005-02-23 | 2006-09-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System |
| DE102005008342A1 (de) * | 2005-02-23 | 2006-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Speichern von Audiodateien |
| JP2006304165A (ja) * | 2005-04-25 | 2006-11-02 | Yamaha Corp | スピーカアレイシステム |
| DE102005033238A1 (de) * | 2005-07-15 | 2007-01-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP |
| CA2568916C (en) * | 2005-07-29 | 2010-02-09 | Harman International Industries, Incorporated | Audio tuning system |
| JP5054035B2 (ja) * | 2006-02-07 | 2012-10-24 | エルジー エレクトロニクス インコーポレイティド | 符号化／復号化装置及び方法 |
| ATE491314T1 (de) * | 2006-04-05 | 2010-12-15 | Harman Becker Automotive Sys | Verfahren zum automatischen entzerren eines beschallungssystems |
| DE102006022346B4 (de) * | 2006-05-12 | 2008-02-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Informationssignalcodierung |
| US8150065B2 (en) | 2006-05-25 | 2012-04-03 | Audience, Inc. | System and method for processing an audio signal |
| EP1879293B1 (en) | 2006-07-10 | 2019-02-20 | Harman Becker Automotive Systems GmbH | Partitioned fast convolution in the time and frequency domain |
| WO2008039041A1 (en) | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| WO2008046530A2 (en) | 2006-10-16 | 2008-04-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for multi -channel parameter transformation |
| CN101001485A (zh) * | 2006-10-23 | 2007-07-18 | 中国传媒大学 | 一种有限声源多通道声场系统及声场模拟方法 |
| JP5450085B2 (ja) | 2006-12-07 | 2014-03-26 | エルジー エレクトロニクス インコーポレイティド | オーディオ処理方法及び装置 |
| US7788395B2 (en) | 2007-02-14 | 2010-08-31 | Microsoft Corporation | Adaptive media playback |
| ATE526663T1 (de) | 2007-03-09 | 2011-10-15 | Lg Electronics Inc | Verfahren und vorrichtung zum verarbeiten eines audiosignals |
| EP3712888B1 (en) | 2007-03-30 | 2024-05-08 | Electronics and Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
| EP2278582B1 (en) | 2007-06-08 | 2016-08-10 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| US8194882B2 (en) | 2008-02-29 | 2012-06-05 | Audience, Inc. | System and method for providing single microphone noise suppression fallback |
| CN101978424B (zh) * | 2008-03-20 | 2012-09-05 | 弗劳恩霍夫应用研究促进协会 | 扫描环境的设备、声学显示的设备和方法 |
| JP5174527B2 (ja) | 2008-05-14 | 2013-04-03 | 日本放送協会 | 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置 |
| US8315396B2 (en) | 2008-07-17 | 2012-11-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating audio output signals using object based metadata |
| US7996422B2 (en) * | 2008-07-22 | 2011-08-09 | At&T Intellectual Property L.L.P. | System and method for adaptive media playback based on destination |
| US7796190B2 (en) | 2008-08-15 | 2010-09-14 | At&T Labs, Inc. | System and method for adaptive content rendition |
| US8793749B2 (en) | 2008-08-25 | 2014-07-29 | Broadcom Corporation | Source frame adaptation and matching optimally to suit a recipient video device |
| US8798776B2 (en) | 2008-09-30 | 2014-08-05 | Dolby International Ab | Transcoding of audio metadata |
| JP5629429B2 (ja) | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | オーディオ再生装置及びオーディオ再生方法 |
| EP2194527A3 (en) * | 2008-12-02 | 2013-09-25 | Electronics and Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
| US8786682B2 (en) * | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
| WO2010148244A1 (en) | 2009-06-19 | 2010-12-23 | Dolby Laboratories Licensing Corporation | User-specific features for an upgradeable media kernel and engine |
| US8136142B2 (en) | 2009-07-02 | 2012-03-13 | Ericsson Television, Inc. | Centralized content management system for managing distribution of packages to video service providers |
| ES2793958T3 (es) | 2009-08-14 | 2020-11-17 | Dts Llc | Sistema para trasmitir adaptativamente objetos de audio |
| CA2715362A1 (en) * | 2009-09-22 | 2011-03-22 | Thwapr, Inc. | Interoperable mobile media sharing |
| US20110088076A1 (en) * | 2009-10-08 | 2011-04-14 | Futurewei Technologies, Inc. | System and Method for Media Adaptation |
| WO2011045813A2 (en) | 2009-10-15 | 2011-04-21 | Tony Joy | A method and product to transparently deliver audio through fusion of fixed loudspeakers and headphones to deliver the sweet spot experience |
| AU2010321013B2 (en) * | 2009-11-20 | 2014-05-29 | Dolby International Ab | Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter |
| EP2507788A4 (en) | 2009-12-02 | 2014-06-18 | Thomson Licensing | OPTIMIZATION OF CONTENT CALIBRATION FOR HOME CINEMAS |
| EP2727383B1 (en) * | 2011-07-01 | 2021-04-28 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
| US20130163794A1 (en) * | 2011-12-22 | 2013-06-27 | Motorola Mobility, Inc. | Dynamic control of audio on a mobile device with respect to orientation of the mobile device |
| RS1332U (en) | 2013-04-24 | 2013-08-30 | Tomislav Stanojević | FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS |
| EP2830336A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
-
2012
- 2012-06-27 EP EP12743261.5A patent/EP2727383B1/en active Active
- 2012-06-27 CN CN201610142870.1A patent/CN105792086B/zh active Active
- 2012-06-27 BR BR112013033386-3A patent/BR112013033386B1/pt active IP Right Grant
- 2012-06-27 KR KR1020187008804A patent/KR101946795B1/ko active IP Right Grant
- 2012-06-27 SG SG10201604679UA patent/SG10201604679UA/en unknown
- 2012-06-27 DK DK12743261.5T patent/DK2727383T3/da active
- 2012-06-27 KR KR1020147037035A patent/KR101845226B1/ko active IP Right Grant
- 2012-06-27 PL PL12743261T patent/PL2727383T3/pl unknown
- 2012-06-27 AU AU2012279357A patent/AU2012279357B2/en active Active
- 2012-06-27 TW TW105113526A patent/TWI603632B/zh active
- 2012-06-27 MY MYPI2013004181A patent/MY165933A/en unknown
- 2012-06-27 RU RU2013158054A patent/RU2617553C2/ru active
- 2012-06-27 US US14/130,386 patent/US9179236B2/en active Active
- 2012-06-27 AR ARP120102308A patent/AR086775A1/es active IP Right Grant
- 2012-06-27 IL IL313393A patent/IL313393A/en unknown
- 2012-06-27 IL IL291043A patent/IL291043B2/en unknown
- 2012-06-27 KR KR1020137034894A patent/KR101685447B1/ko active IP Right Grant
- 2012-06-27 TW TW107142737A patent/TWI722342B/zh active
- 2012-06-27 EP EP21169907.9A patent/EP3893521B1/en active Active
- 2012-06-27 JP JP2014518958A patent/JP5912179B2/ja active Active
- 2012-06-27 CA CA3157717A patent/CA3157717A1/en active Pending
- 2012-06-27 EP EP24181312.0A patent/EP4404594A3/en active Pending
- 2012-06-27 TW TW106125585A patent/TWI651005B/zh active
- 2012-06-27 IL IL295733A patent/IL295733B2/en unknown
- 2012-06-27 WO PCT/US2012/044388 patent/WO2013006338A2/en active Application Filing
- 2012-06-27 UA UAA201702759A patent/UA124570C2/uk unknown
- 2012-06-27 KR KR1020207014372A patent/KR102185941B1/ko active IP Right Grant
- 2012-06-27 HU HUE12743261A patent/HUE054452T2/hu unknown
- 2012-06-27 TW TW101123003A patent/TWI543642B/zh active
- 2012-06-27 KR KR1020237041109A patent/KR20230170110A/ko not_active Application Discontinuation
- 2012-06-27 CA CA2973703A patent/CA2973703C/en active Active
- 2012-06-27 IL IL302167A patent/IL302167B1/en unknown
- 2012-06-27 RU RU2017112527A patent/RU2731025C2/ru active
- 2012-06-27 CA CA2837893A patent/CA2837893C/en active Active
- 2012-06-27 KR KR1020197003234A patent/KR102003191B1/ko active IP Right Grant
- 2012-06-27 CN CN201280032058.3A patent/CN103650539B/zh active Active
- 2012-06-27 BR BR122020001361-3A patent/BR122020001361B1/pt active IP Right Grant
- 2012-06-27 KR KR1020227018617A patent/KR102608968B1/ko active IP Right Grant
- 2012-06-27 KR KR1020197020510A patent/KR102115723B1/ko active Application Filing
- 2012-06-27 MX MX2013014684A patent/MX2013014684A/es active IP Right Grant
- 2012-06-27 KR KR1020207034194A patent/KR102406776B1/ko active IP Right Grant
- 2012-06-27 TW TW110107115A patent/TWI792203B/zh active
- 2012-06-27 ES ES12743261T patent/ES2871224T3/es active Active
-
2013
- 2013-12-19 IL IL230046A patent/IL230046A/en active IP Right Grant
-
2015
- 2015-09-25 US US14/866,350 patent/US9467791B2/en active Active
-
2016
- 2016-03-31 JP JP2016072282A patent/JP6174184B2/ja active Active
- 2016-04-11 AU AU2016202227A patent/AU2016202227B2/en active Active
- 2016-05-10 IL IL245574A patent/IL245574A0/en active IP Right Grant
- 2016-06-28 HK HK16107493.9A patent/HK1219604A1/zh unknown
- 2016-09-12 US US15/263,279 patent/US9622009B2/en active Active
-
2017
- 2017-04-10 US US15/483,806 patent/US9800991B2/en active Active
- 2017-07-05 JP JP2017131759A patent/JP6486995B2/ja active Active
- 2017-08-09 US US15/672,656 patent/US9942688B2/en active Active
-
2018
- 2018-02-26 US US15/905,536 patent/US10057708B2/en active Active
- 2018-05-28 AU AU2018203734A patent/AU2018203734B2/en active Active
- 2018-07-13 US US16/035,262 patent/US10165387B2/en active Active
- 2018-11-30 US US16/207,006 patent/US10327092B2/en active Active
-
2019
- 2019-02-20 JP JP2019028442A patent/JP6523585B1/ja active Active
- 2019-04-01 IL IL265741A patent/IL265741B/en active IP Right Grant
- 2019-04-25 JP JP2019084101A patent/JP6637208B2/ja active Active
- 2019-06-07 AU AU2019204012A patent/AU2019204012B2/en active Active
- 2019-06-17 US US16/443,268 patent/US10477339B2/en active Active
- 2019-11-11 US US16/679,945 patent/US10904692B2/en active Active
- 2019-12-19 JP JP2019229648A patent/JP6759442B2/ja active Active
-
2020
- 2020-08-18 RU RU2020127493A patent/RU2741738C1/ru active
- 2020-08-31 AU AU2020226984A patent/AU2020226984B2/en active Active
- 2020-09-02 JP JP2020147539A patent/JP6821854B2/ja active Active
- 2020-10-01 IL IL277736A patent/IL277736B/en unknown
-
2021
- 2021-01-06 JP JP2021000842A patent/JP6882618B2/ja active Active
- 2021-01-22 US US17/156,459 patent/US11412342B2/en active Active
- 2021-05-06 JP JP2021078508A patent/JP7009664B2/ja active Active
- 2021-07-04 IL IL284585A patent/IL284585B/en unknown
- 2021-10-28 AU AU2021258043A patent/AU2021258043B2/en active Active
-
2022
- 2022-01-12 JP JP2022002776A patent/JP7348320B2/ja active Active
- 2022-08-08 US US17/883,440 patent/US11962997B2/en active Active
-
2023
- 2023-01-31 AU AU2023200502A patent/AU2023200502A1/en active Pending
- 2023-09-07 JP JP2023145272A patent/JP2023164976A/ja active Pending
-
2024
- 2024-04-12 US US18/634,825 patent/US20240349010A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050222841A1 (en) * | 1999-11-02 | 2005-10-06 | Digital Theater Systems, Inc. | System and method for providing interactive audio in a multi-channel audio environment |
| US20050075882A1 (en) * | 2001-03-07 | 2005-04-07 | Microsoft Corporation | Accessing audio processing components in an audio generation system |
| RU2347282C2 (ru) * | 2003-07-07 | 2009-02-20 | Конинклейке Филипс Электроникс Н.В. | Система и способ обработки звукового сигнала |
| US20070101249A1 (en) * | 2005-11-01 | 2007-05-03 | Tae-Jin Lee | System and method for transmitting/receiving object-based audio |
| US20100198378A1 (en) * | 2007-07-13 | 2010-08-05 | Dolby Laboratories Licensing Corporation | Audio Processing Using Auditory Scene Analysis and Spectral Skewness |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
| AU2012279357A1 (en) | System and method for adaptive audio signal generation, coding and rendering | |
| RU2820838C2 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |