RU2564681C2 - Способы и системы синхронизации и переключения для системы адаптивного звука - Google Patents
Способы и системы синхронизации и переключения для системы адаптивного звука Download PDFInfo
- Publication number
- RU2564681C2 RU2564681C2 RU2013158084/07A RU2013158084A RU2564681C2 RU 2564681 C2 RU2564681 C2 RU 2564681C2 RU 2013158084/07 A RU2013158084/07 A RU 2013158084/07A RU 2013158084 A RU2013158084 A RU 2013158084A RU 2564681 C2 RU2564681 C2 RU 2564681C2
- Authority
- RU
- Russia
- Prior art keywords
- audio content
- sound
- adaptive
- audio
- content
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000005236 sound signal Effects 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 239000000872 buffer Substances 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 238000002156 mixing Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
- H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/003—Digital PA systems using, e.g. LAN or internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
Abstract
Изобретение относится к области обработки звуковых сигналов и, в частности, к синхронизации аудиопотока и переключения в системе адаптивного звука. Техническим результатом является обеспечение надлежащей синхронизации звукового содержимого и видеосодержимого и передача звука в боковой полосе соединения с сетью Ethernet. Указанный технический результат достигается тем, что сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и счетчик кадров для потока адаптивного звука, подлежащего проигрыванию. Идентификатор дорожки и счетчик кадров принятого кадра адаптивного звука сравнивается с идентификатором дорожки и счетчиком кадров, содержащимися в сигнале синхронизации. Если или идентификатор дорожки, или счетчик кадров не соответствует сигналу синхронизации, процесс переключения плавно понижает уровень дорожки адаптивного звука и плавно повышает уровень многоканальной звуковой дорожки. Система проигрывает многоканальную звуковую дорожку до тех пор, пока идентификатор дорожки и счетчик кадров сигнала синхронизации и идентификатор дорожки и счетчик кадров дорожки адаптивного звука не совпадут, после чего уровень адаптивного звукового содержимого будет снова плавно повышен. 4 н. и 23 з.п. ф-лы, 10 ил.
Description
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Данная заявка заявляет приоритет предварительной заявки на патент США №61/504005, поданной 1 июля 2011 г., и предварительной заявки на патент США №61/636456, поданной 20 апреля 2012 г., при этом обе эти заявки ссылкой включаются в данное раскрытие полностью во всех отношениях.
ОБЛАСТЬ ИЗОБРЕТЕНИЯ
[0002] Одна или несколько реализаций относятся, в общем, к обработке звуковых сигналов и, в частности, к способам синхронизации аудиопотока и переключения в системе адаптивного звука.
ПРЕДПОСЫЛКИ
[0003] Не следует полагать, что предмет изобретения, обсуждаемый в разделе предпосылок, относится к известному уровню техники только лишь в результате его упоминания в разделе предпосылок. Аналогично, не следует полагать, что проблема, упоминаемая в разделе предпосылок или связанная с предметом изобретения в разделе предпосылок, является ранее признанной в известном уровне техники. Предмет изобретения в разделе предпосылок лишь представляет различные подходы, которые сами по себе также могут представлять собой изобретения.
[0004] Современные сервера цифровых кинотеатров передают в мультимедийный блок сжатые потоки видеоданных в определенном формате (например, в формате видеоизображения JPEG 2000) наряду с несколькими каналами оцифрованного звука, например с 16 каналами звука с импульсно-кодовой модуляцией (РСМ) с частотой дискретизации 48 КГц. Звуковое содержимое представляет собой пакетированный поток, который может иметь различные форматы в зависимости от поставщика кинематографической системы. Перед вводом в мультимедийный блок звуковой сигнал и видеосигнал могут зашифровываться. Мультимедийный блок дешифрует видеоизображение JPEG в несжатый немодулированный сигнал и передает звук в устройство обработки данных для кинематографии для их подготовки к требованиям среды проигрывания. Устройство обработки данных для кинематографии выполняет такие функции, как коррекция амплитудно-частотной характеристики для среды проигрывания, и направляет звуковые сигналы в соответствующие громкоговорители массива окружающего звука на основании меток каналов громкоговорителей, доставляемых в звуковом содержимом. Окончательный вывод включает подаваемый видеосигнал, который выходит в формате HD-SDI (цифровой последовательный интерфейс высокой четкости) на проектор, и аналоговый звук, который передается в усилители и громкоговорители. Для надлежащего проигрывания звуковые дорожки должны быть надлежащим образом синхронизированы с содержимым видеоизображения.
[0005] Вообще, аудиовизуальная (A/V) синхронизация в средах кинотеатров не является очень точной, и технические специалисты кинотеатров в настоящее время обычно не измеряют аудиовизуальную синхронизацию в ходе установки/калибровки. Аудиовизуальная синхронизация кинофильма считается точной в пределах 1,5 кадров (63 мс при скорости 24 кадров/с). Поскольку звук распространяется со скоростью около 1 фута/мс, аудиовизуальная синхронизация может варьироваться в пределах до 50 мс в зависимости от местоположения слушателя в кинотеатре. В современных кинематографических системах согласование звукового сигнала и видеосигнала по времени хорошо известно, поэтому звук и видеоизображение обычно синхронизированы. Времена ожидания таких общепринятых компонентов, как устройства обработки данных и проекторы, также хорошо известны, например время ожидания проектора, как правило, указывается равным около двух кадров, или 88 мс, поэтому сервер кинотеатра обычно можно запрограммировать для приспосабливания к различным характеристикам согласования по времени с целью обеспечения надлежащей синхронизации. В типичных приложениях мультимедийный блок содержит два компонента, действующих в реальном времени: интерфейс HD-SDI и интерфейс AAS (системы звукоусиления). Эти интерфейсы являются действующими в реальном времени и могут конфигурироваться для создания аудиовизуального вывода, который является синхронизированным или, в случае необходимости, запрограммированным с некоторой задержкой. Таким образом, несмотря на некоторую неточность, имеющуюся в современных системах, согласование по времени между звуковым содержимым и видеосодержимым является фиксированным, поэтому, когда дискретное значение цифрового звука передается в устройство обработки данных для кинематографии, за ним через довольно точно определенный промежуток времени (например, спустя 1/24 секунды) следует аналоговый звуковой сигнал, передаваемый на громкоговорители.
[0006] Было разработано новое устройство обработки данных адаптивного звука и формат звука на основе объектов, что позволяет передавать звук в боковой полосе соединения с сетью Ethernet. Указанное соединение с сетью Ethernet обеспечивает канал с высокой пропускной способностью для передачи нескольких комплексных звуковых сигналов. Если предположить, что пропускная способность единичного канала цифрового звука равна 1,5 мегабит/с (Мбит/с), то пропускная способность для современной 16-канальной системы (например, AES8) имеет порядок 24 Мбит/с (16×1,5 Мбит/с). Для сравнения, пропускная способность соединения с сетью Ethernet в данном приложении имеет порядок 150 Мбит/с, допуская до 128 дискретных комплексных звуковых сигналов. Такая система адаптивного звука передает звуковое содержимое из массива RAID (или аналогичного элемента хранения данных), действующего не в реальном времени, из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука для кинематографии. Сеть Ethernet представляет собой неравномерную, действующую не в реальном времени и недетерминированную среду передачи данных. Поэтому характерный признак аудиовизуальной синхронизации в современных системах обработки данных для кинематографии не применим к системе адаптивного звука данного типа. Звук, который доставляется через сеть Ethernet, должен синхронизироваться с видеоизображением посредством явной функции синхронизации. С целью выравнивания с видеосигналом звукового содержимого, доставляемого через сеть Ethernet, для надлежащей синхронизации звукового содержимого и видеосодержимого должно существовать детерминированное время ожидания.
КРАТКОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0007] Традиционные серверы цифровых кинотеатров доставляют звуковой сигнал и видеосигнал в единый мультимедийный блок. Указанный мультимедийный блок затем декодирует, выравнивает во времени и доставляет их синхронизированным образом. В системе адаптивного звука звуковое содержимое доставляется в двух отдельных типах содержимого, в форме многоканального звука (например, содержимого окружающего звука 51 или 7.1) и в форме адаптивного звука на основе объектов, который включает звук на основе каналов с метаданными, которые кодируют информацию местоположения для проигрывания звука в среде проигрывания. В системе адаптивного звука адаптивный звук с высокой битовой скоростью передачи данных передается из сервера цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Он представляет собой не находящийся в реальном времени и недетерминированный аудиопоток. Для того чтобы синхронизировать адаптивное звуковое содержимое с видеоизображением, предоставляемым сервером цифрового кинотеатра, с многоканальным звуком связывается сигнал синхронизации, чтобы устройство обработки данных адаптивного звука могло определять, какой кадр адаптивного звука проигрывать.
[0008] В одном варианте осуществления изобретения для поддержания адаптивного звукового содержимого в синхронизации с многоканальным звуковым содержимым сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и информацию счетчика кадров. Это обеспечивает механизм обеспечения надлежащей аудиовизуальной синхронизации в среде проигрывания. Если происходит ошибка, например, кадр адаптивного звука не является доступным, или если идентификатор дорожки и информация номера кадра не совпадает с сигналом синхронизации, или если требуется проигрывать многоканальное содержимое вместо адаптивного звукового содержимого, запускается процесс переключения. Процесс переключения включает компонент плавного изменения уровня сигнала, который вызывает плавное уменьшения уровня звука до молчания с последующим плавным повышением уровня многоканальной звуковой дорожки от молчания до текущего уровня. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока номер кадра сигнала синхронизации и номер кадра адаптивного звука не совпадут, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.
[0009] Варианты осуществления изобретения предусматривают надлежащую синхронизацию звукового сигнала и видеосигнала в кинематографической системе на основе адаптивного звука. Система полагается на то, что звук на основе каналов уже является синхронизированным с видеосигналом, и предусматривает способ передачи сигналов, который синхронизирует недетерминированное адаптивное звуковое содержимое на основе объектов с содержимым на основе каналов. Такой способ аудиовизуальной синхронизации обеспечивает надлежащее согласование по времени, защиту преодоления отказов и возможности переключения между звуковым содержимым в целом (многоканальный звук и адаптивный звук) и видеосигналом.
[0010] Варианты осуществления изобретения описаны для механизма синхронизации и переключения в системе адаптивного звука, где многоканальный (т.е. окружающий) звук предусматривается наряду с адаптивным звуковым содержимым на основе объектов. Сигнал синхронизации внедряется в поток многоканального звука и содержит идентификатор дорожки и счетчик кадров для адаптивного звука, подлежащего проигрыванию. Идентификатор дорожки и счетчик кадров принятого адаптивного аудиокадра сравнивается с идентификатором дорожки и счетчиком кадров, содержащимися в сигнале синхронизации. Если идентификатор дорожки или счетчик кадров не совпадает с сигналом синхронизации, запускается процесс переключения, который плавно понижает уровень адаптивной звуковой дорожки и плавно повышает уровень многоканальной звуковой дорожки. Система будет продолжать проигрывать многоканальную звуковую дорожку до тех пор, пока идентификатор дорожки и счетчик кадров сигнала синхронизации не совпадают с идентификатором дорожки и счетчиком кадров адаптивного звука, после чего уровень адаптивного звукового содержимого будет снова плавно повышен.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
[0011] В нижеследующих графических материалах сходные ссылочные позиции используются для ссылок на сходные элементы. Несмотря на то что нижеследующие чертежи изображают различные примеры, указанная одна или несколько реализаций не ограничиваются примерами, изображенными на чертежах.
[0012] Фиг. 1 - блок-схема системы адаптивного звука, которая реализует процесс синхронизации и защитного переключения согласно варианту осуществления изобретения.
[0013] Фиг. 2A - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно варианту осуществления изобретения, в котором сигнал синхронизации связывается с многоканальным звуковым содержимым.
[0014] Фиг. 2 В - блок-схема системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука, согласно альтернативному варианту осуществления изобретения, в котором сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое.
[0015] Фиг. 3 - схема последовательности операций, которая иллюстрирует способ синхронизации адаптивной звуковой дорожки с многоканальной звуковой дорожкой согласно варианту осуществления изобретения.
[0016] Фиг. 4 иллюстрирует состав звукового содержимого и адаптивного звукового содержимого в реальном времени при вводе в устройство обработки данных адаптивного звука согласно варианту осуществления изобретения.
[0017] Фиг. 5 - схема, иллюстрирующая буферизацию и обработку адаптивного звукового содержимого согласно варианту осуществления изобретения.
[0018] Фиг. 6 иллюстрирует состав сигнала синхронизации согласно варианту осуществления изобретения.
[0019] Фиг. 7 - схема, которая иллюстрирует компоненты и последовательности операций процессов обработки сигнала синхронизации согласно варианту осуществления изобретения.
[0020] Фиг. 8 - схема последовательности операций, которая иллюстрирует способ синхронизации сигналов адаптивного звука с использованием сигнала синхронизации согласно варианту осуществления изобретения.
[0021] Фиг. 9 иллюстрирует различные примеры содержимого, которое включает как звук на основе каналов, так и адаптивный звук на основе объектов и которое может использовать варианты осуществления способа синхронизации и переключения.
ПОДРОБНОЕ ОПИСАНИЕ
[0022] Системы и способы описываются для ступени представления данных системы адаптивного звука, которая синхронизирует аудиопотоки и обеспечивает защитное переключение при проигрывании аудиопотоков различных типов в случае недоступности аудиопотока предпочтительного типа. Особенности указанного одного или нескольких вариантов осуществления изобретения, описываемых в данном раскрытии, могут реализовываться в аудиосистеме, или аудиовизуальной системе, которая обрабатывает исходную звуковую информацию в системе микширования, представления данных и проигрывания, которая содержит один или несколько компьютеров или устройств обработки данных, исполняющих команды программного обеспечения. Любой из описываемых вариантов осуществления изобретения может использоваться отдельно или совместно с любым другим в любом сочетании. Несмотря на то что разные варианты осуществления изобретения могут быть мотивированы разными недостатками в известном уровне техники, которые могут обсуждаться или упоминаться в одном или нескольких местах данного описания, указанные варианты осуществления изобретения не обязательно обращаются к какому-либо из этих недостатков. Иными словами, разные варианты осуществления изобретения могут обращаться к разным недостаткам, которые могут обсуждаться в данном описании. Некоторые варианты осуществления изобретения могут лишь частично обращаться к некоторым недостаткам или только к одному недостатку, который может обсуждаться в данном описании, а некоторые варианты осуществления изобретения могут не обращаться ни к одному из этих недостатков.
[0023] Для целей нижеследующего описания термин «канал», или «аудиоканал», означает монофонический звуковой сигнал или аудиопоток и метаданные, в которых в качестве ID-канала закодировано положение, например «левый передний» или «правый верхний окружающий». Канал может активировать несколько громкоговорителей, например левые окружающие каналы (Ls) будут подавать сигнал на все громкоговорители в левом окружающем массиве. «Конфигурация каналов» представляет собой предварительно определяемый набор зон громкоговорителей со связанными номинальными местоположениями, например 5.1, 7.1 и т.д.; 5.1 относится к шестиканальной аудиосистеме окружающего звука, содержащей передние левый и правый каналы, один центральный канал, два окружающих канала и канал низкочастотного громкоговорителя; 7.1 относится к восьмиканальной системе окружающего звука, которой к системе 5.1 добавляются два дополнительных окружающих канала. Примеры конфигураций 5.1 и 7.1 включают системы окружающего звука Dolby®. «Объект», или «объектный канал», представляет собой один или несколько аудиоканалов с параметрическим описанием источника, таким как положение (например, трехмерных координат) кажущегося источника, ширина кажущегося источника и т.д. Например, объект может представлять собой аудиопоток и метаданные, в которых положение кодируется как трехмерное положение в пространстве. Термин «адаптивный звук» означает звуковое содержимое на основе объектов или на основе каналов, которое связано с метаданными, которые управляют представлением данных звукозаписи на основе среды проигрывания.
[0024] В одном варианте осуществления изобретения аудиозапись стандартного окружающего звука может обрабатываться посредством традиционных аудиокодеков на основе каналов, которые воспроизводят звук через массив громкоговорителей, находящихся в предварительно определенных положениях относительно слушателя. Для создания завершенной многоканальной звуковой программы звукоинженеры, как правило, микшируют большое количество отдельных аудиопотоков (например, диалог, музыку, эффекты) для создания желаемого общего впечатления. Решения при микшировании звука, как правило, принимаются путем прослушивания звуковой программы, которую воспроизводят массивом громкоговорителей, находящихся в предварительно определенных положениях, например определенной системой 5.1 или 7.1 в конкретном кинотеатре. Конечный, микшированный сигнал служит вводом в аудиокодек. В отличие от звука на основе каналов кодирование объектов предусматривает в качестве ввода в кодер отчетливые источники звука (звуковые объекты) в форме отдельных аудиопотоков. Каждый звуковой объект связан с пространственными параметрами, которые среди прочего могут включать положение звука, ширину звука и информацию о скорости. Звуковые объекты и связанные параметры затем кодируются с целью распространения и хранения. Окончательное микширование звуковых объектов и представление данных выполняется как часть проигрывания звуковой программы на принимающем конце цепочки распространения аудиозаписей. Этот этап может основываться на сведениях о фактических положениях громкоговорителей, таким образом, результатом является система распространения аудиозаписей, которая является настраиваемой в соответствии со специфическими для пользователя условиями прослушивания. Обе кодированные формы, на основе каналов и на основе объектов, оптимально действуют в разных условиях входного сигнала. Например, аудиокодеры на основе каналов обычно более эффективны при кодировании входных сигналов, содержащих плотные смеси разных источников звука, и для рассеянных звуков. Напротив, кодеры звуковых объектов более эффективны при кодировании небольшого количества высоконаправленных источников звука.
[0025] Фиг. 1 представляет собой блок-схему системы адаптивного звука, которая реализует процесс синхронизации и переключения, согласно одному варианту осуществления изобретения. Как показано в системе 100, входные звуковые сигналы доставляются в блок 102 устройства обработки данных адаптивного звука. Процессор генерирует оба звуковых сигнала PCM на основе каналов, которые включают метки каналов громкоговорителей для передачи звуковых сигналов на основе каналов в определенные громкоговорители окружающего звука или в группы громкоговорителей в соответствии с известными преобразованиями окружающего звука. Указанное устройство 102 обработки данных также генерирует звук на основе объектов, который содержит метаданные, идентифицирующие определенные громкоговорители в пределах массива громкоговорителей, предназначенные для проигрывания соответствующих звуковых объектов. Информация о положении доставляется в форме математических функций местоположения и определяет местоположения внутри помещения среды проигрывания относительно объема и размеров помещения и экрана, в отличие от определенных идентификаторов громкоговорителей или местоположений относительно отдельного слушателя в помещении. Такая аудиосистема обеспечивает восприятие слушателем большего эффекта присутствия и сохраняет замысел звукоинженера или оператора микширования для всех слушателей практически в любой среде прослушивания, поскольку данные звуков представляются на основе аллоцентрической системы отсчета. Аллоцентрическая система отсчета - это пространственная система отсчета, в которой звуковые объекты определяются относительно таких характерных признаков в пределах среды представления данных, как, например, стены и углы помещения, стандартные местоположения громкоговорителей и местоположение экрана (например, левый передний угол помещения), в отличие от эгоцентрической системы отсчета, которая представляет собой пространственную систему отсчета, в которой звуковые объекты определяются относительно перспективы слушателя и часто описываются относительно углов по отношению к слушателю (например, 30 градусов справа от слушателя).
[0026] Блок 104 устройства представления данных/вывода создает вывод на соответствующие громкоговорители массива громкоговорителей, который может содержать как громкоговорители 106 окружающего звука в определенной конфигурации (например, 5.1 или 7.1), так и дополнительные громкоговорители 108, предназначенные для проигрывания адаптивного звукового содержимого. Такие дополнительные громкоговорители могут включать смонтированные на потолке верхние громкоговорители, дополнительные задние низкочастотные громкоговорители, дополнительные экранные и боковые окружающие громкоговорители и т.д. В контексте данного раскрытия, термин «проигрывающая система» относится к одному или нескольким компонентам, которые совместно служат для выполнения функций представления данных, усиления и звукового вещания, и может содержать устройство представления данных, один или несколько усилителей, буферы, громкоговорители, соединительные компоненты и любые другие подходящие компоненты в любом сочетании или с любым устройством элементов.
[0027] Система 100 также содержит аудиокодек, который способен эффективно распределять и сохранять многоканальные звуковые программы. Он объединяет традиционные аудиоданные на основе каналов со связанными метаданными для получения звуковых объектов, которые способствуют созданию и доставке звука, который является адаптированным и оптимизированным для представления данных и проигрывания в средах, которые могут отличаться от среды микширования. Это позволяет звукоинженеру кодировать его замысел в отношении того, как конечная звукозапись должна слышаться слушателем, на основе фактической среды прослушивания слушателем. Компоненты системы 100 содержат систему кодирования, распространения и декодирования аудиозаписей, сконфигурированную для генерирования одного или нескольких битовых потоков, содержащих как традиционные звуковые элементы на основе каналов, так и звуковые элементы на основе объектов. Такой комбинированный подход обеспечивает большую эффективность кодирования и гибкость представления данных по сравнению с отдельно взятыми подходами на основе каналов или на основе объектов. Варианты осуществления изобретения включают расширение обратно совместимым образом предварительно определенного кодека на основе каналов для включения элементов кодирования звуковых объектов. Новый слой расширения, содержащий элементы кодирования звуковых объектов, определяется и добавляется к «базовому», или обратно совместимому, слою битового потока аудиокодека на основе каналов. Этот подход делает возможным один или несколько битовых потоков, которые включают слой расширения, подлежащий обработке унаследованными декодерами, в то же время обеспечивая усиленные слушательские впечатления для пользователей с новыми декодерами. Одним примером усиления слушательских впечатлений является управление представлением данных звукового объекта. Дополнительное преимущество данного подхода заключается в том, что звуковые объекты могут добавляться и модифицироваться повсюду в цепочке распространения без декодирования/микширования/повторного кодирования многоканального звука, кодированного аудиокодеком на основе каналов.
[0028] В системе адаптивного звука сигнал адаптивного звука с высокой скоростью передачи битов передается сервером цифрового кинотеатра через сеть Ethernet в устройство обработки данных адаптивного звука. Фиг. 2А представляет собой блок-схему системы адаптивного звука, которая содержит боковой канал сети Ethernet для передачи сигналов адаптивного звука согласно одному варианту осуществления изобретения. Система 200 может представлять часть подсистемы представления данных в системе обработки данных для цифровой кинематографии. Как показано в системе 200, для сервера 202 цифрового кинотеатра предусмотрен аудиовизуальный (A/V) ввод 203. A/V ввод представляет звуковое содержимое и видеосодержимое, которое разработано создателями с использованием инструментальных средств авторской разработки системы обработки данных для кинематографии. Для варианта осуществления изобретения по фиг. 2А, аудиовизуальный входной сигнал 203 содержит видеоданные, аудиоданные (звук на основе каналов и объектов, а также метаданные местоположения) и сигнал синхронизации.
[0029] В том, что касается видеосодержимого, сервер 202 выводит видеосодержимое как сжатые данные (например, JPEG 2000) через первую линию Gigabit Ethernet (l000BaseT) или аналогичную линию 201 в мультимедийный блок 206, который затем передает надлежащим образом отформатированный видеосигнал (например, HD-SDI) в проектор 208.
[0030] В том, что касается звукового содержимого, сервер 202 цифрового кинотеатра выводит адаптивное звуковое содержимое через вторую линию 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука. Адаптивное звуковое содержимое содержит звуковое содержимое на основе объектов, которое связано с метаданными, управляющими представлением данных звука на основе среды проигрывания. Поскольку адаптивное звуковое содержимое передается через соединение с сетью Ethernet, оно по своей сути является недетерминированным и представляет звуковую составляющую не в реальном времени. Сервер 202 кинотеатра также генерирует из содержимого на основе каналов из A/V ввода 203 пакетированный многоканальный звук. Он передается по первому каналу 201 сети Ethernet в мультимедийный блок 206, который генерирует звуковое содержимое в реальном времени для передачи в устройство 204 обработки данных адаптивного звука по каналу 207. В варианте осуществления изобретения мультимедийный блок 206 форматирует пакетированный многоканальный звук, принимаемый по каналу 201, согласно стандарту передачи цифровых звуковых сигналов, такому как AES3, для генерирования звукового содержимого в реальном времени, передаваемого по каналу 207. В типовой реализации звук в реальном времени содержит восемь сигналов AES3 для в общей сложности 16 каналов 207.
[0031] Устройство 204 обработки данных адаптивного звука действует в двух режимах: в режиме устройства обработки данных для кинематографии (традиционной цифровой кинематографии) и в режиме адаптивного звука. В режиме устройства обработки данных для кинематографии мультимедийный блок 206 генерирует несколько аудиоканалов, и они по линии 207 принимаются для ввода в устройство 206 обработки данных адаптивного звука. В типовой реализации этот звук содержит восемь сигналов AES3 для в общей сложности 16 каналов 207. Вывод устройства 204 обработки данных адаптивного звука в режиме устройства обработки данных для кинематографии (также именуемых звуком AES или DCI) содержит, например, 64 сигналов, подаваемых на громкоговорители (или массивы 7.1), которые выводятся на усилители 212 окружающих каналов. При обработке в цепи В (EQ, управление басами, ограничение) может предусматриваться корректируемое время ожидания, например 13-170 мс. В общем, подаваемые сигналы цепи В относятся к сигналам, обрабатываемым усилителями мощности, разделителями спектра и громкоговорителями, в отличие от содержимого цепи А, которое составляет звуковую дорожку на кинопленке.
[0032] В указанном режиме адаптивного звука устройство 204 обработки данных адаптивного звука действует как звуковой мультимедийный блок с подключением к сети Ethernet l000BaseT от сервера 202 для данных/управляющих сигналов. Восемь каналов 207 AES, которые доставляются в него из мультимедийного блока 206, используются для тактирования и синхронизации сигналов адаптивного звука, передаваемых из сервера 202 по второму каналу 205 сети Ethernet. Время ожидания этих сигналов приводится в соответствие c режимом устройства обработки данных для кинематографии посредством сигнала синхронизации, который связывается со звуковым содержимым 207 в реальном времени. В том, что касается представления данных адаптивного звука и обработки в цепи В, сигнал синхронизации внедряется в определенный канал (например, канал 13) файла звуковой дорожки DCI, содержащего звук в реальном времени. Поток адаптивного звукового содержимого и информации кадров передается из сервера 202 цифрового кинотеатра по сети Ethernet не в реальном времени в устройство 204 обработки адаптивного звука. В общем, кадры представляют собой короткие, независимо кодированные сегменты, на которые разделяется полная звуковая программа, и частота и границы аудиокадра обычно выравниваются с видеокадрами. Процесс или компонент сравнения в устройстве 204 обработки данных адаптивного звука следит за номером кадра в сигнале синхронизации и информацией кадра из второго канала 205 сети Ethernet и сравнивает оба эти значения. Если они совпадают, устройство обработки данных адаптивного звука проигрывает кадр адаптивного звука через усилители 210 и 212. Если информация кадров для сигнала синхронизации и адаптивного звукового содержимого не совпадает, или если сигнал синхронизации отсутствует, устройство обработки данных возвращается к аудиопотоку в реальном времени.
[0033] Для варианта осуществления изобретения, проиллюстрированного на фиг. 2А, сигнал синхронизации генерируется и связывается со звуковым сигналом входного аудиовизуального содержимого 203, или внедряется в этот сигнал, в ходе окончательной обработки или авторской разработки содержимого. В альтернативном варианте осуществления изобретения сигнал синхронизации автоматически генерируется компонентом или процессом на ступени представления данных. Фиг. 2В представляет собой блок-схему системы адаптивного звука, в которой сигнал синхронизации генерируется мультимедийным блоком, принимающим многоканальное звуковое содержимое. Как показано в системе 220 по фиг. 2В, входное аудиовизуальное содержимое содержит звуковое содержимое и видеосодержимое 213, которое является входным в сервер 202 цифрового кинотеатра. Этот сервер 202 цифрового кинотеатра сконфигурирован для передачи информации, касающейся состава содержимого, также именуемой списком состава воспроизведения, в мультимедийный блок 206. Этот список состава воспроизведения включает (1) длину файла видеодорожки в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); (2) длину файла дорожки многоканального звука в кадрах (т.е. первый кадр видеоизображения, предназначенный для проигрывания, и последний кадр видеоизображения, предназначенный для проигрывания); и (3) длину файла звуковой дорожки в кадрах (т.е. первый кадр адаптивного звука, предназначенный для проигрывания, и последний кадр адаптивного звука, предназначенный для проигрывания). Также, по мере необходимости в зависимости от ограничений и требований реализации, может включаться дополнительная или другая информация. Сигнал синхронизации автоматически генерируется мультимедийным блоком 206 и передается в реальном времени по каналу 207 в формате AES3, например, в устройство 204 обработки данных адаптивного звука. Как результат процесса создания и окончательной обработки содержимого, файлы дорожек многоканального (по линии 201) и адаптивного (по линии 205) звука должны содержать одинаковое количество дискретных значений/кадров и должны быть выровненными во времени. Если мультимедийный блок 206 принимает список состава воспроизведения и вызывается файл дорожки адаптивного звука, мультимедийный блок может динамически представлять данные сигнала синхронизации, основываясь на номере текущего кадра файла многоканальной звуковой дорожки, который проигрывается. Это может облегчать вывод сигнала синхронизации, когда содержимое не вызывает файл дорожки адаптивного звука.
[0034] Фиг. 3 представляет собой схему последовательности операций, которая иллюстрирует способ синхронизации дорожки адаптивного звука с многоканальной звуковой дорожкой, согласно варианту осуществления изобретения. Как показано на фиг. 3, процесс начинается с внедрения сигнала синхронизации как части файла многоканального звука, который передается по первому каналу 201 сети Ethernet из сервера 202. В варианте осуществления изобретения для звукового содержимого в реальном времени, передаваемого по каналу 207, сигнал синхронизации AES форматируется как специальный незвуковой поток (например, SMPTE 337M), который содержит счетчик текущего кадра и информацию идентификатора дорожки (например, UUID), и повторяется несколько раз в каждом кадре. Как показано в отношении системы 200 по фиг. 2А, сигнал синхронизации может генерироваться во время представления данных или упаковки и вставляться в дорожку 13 файла звуковой дорожки в реальном времени (DCI), действие 304. В альтернативном варианте, как показано в отношении системы 220 по фиг. 2В, сигнал синхронизации может генерироваться мультимедийным блоком 206. Сигнал синхронизации относится к началу файла звуковой дорожки. Сигнал адаптивного звука и связанная информация кадра передаются в потоке по второму соединению 205 Gigabit Ethernet в устройство 204 обработки данных адаптивного звука, действие 306. Затем система сравнивает номер кадра в сигнале синхронизации с информацией кадра адаптивного звука, действие 308. Если номера кадров совпадают, что определяется в блоке 308, то кадр адаптивного звука проигрывается, действие 312. Иначе существует состояние ошибки, и взамен проигрывается многоканальный звук в реальном времени, действие 314.
[0035] В альтернативном варианте осуществления изобретения сигнал синхронизации может кодироваться как слышимый звуковой сигнал с использованием, например, частотной манипуляции (FSK) в противоположность незвуковому потоку в формате SMPTE 337M. Это позволяет сигналу синхронизации быть устойчивым к применению звуковых водяных знаков и преобразованию частоты дискретизации от 48 КГц до 96 КГц, которые могут применяться мультимедийным блоком перед выводом сигналов в формате AES3 по каналу 207.
[0036] Сигнал синхронизации содержит идентификатор дорожки для того, чтобы препятствовать проигрыванию звука из одной композиции с видеоизображением из другой композиции. Наличие как номера кадра, так и идентификатора кадра (например, дорожки UUID) создает уникальную связь, препятствующую появлению указанной ошибки. Такая возможность демонстрируется со ссылкой на фиг. 9, где несколько видеоклипов в показе могут содержать адаптивный звук с одинаковыми номерами кадров. В этом случае, разные идентификаторы кадров предотвращают неверное проигрывание звука, которое может быть вызвано связыванием или неверным связыванием аудиокадров с разными видеоклипами.
[0037] Пакеты сети Ethernet не в реальном времени, которые передаются из сервера 202 цифрового кинотеатра в устройство 204 обработки данных адаптивного звука по каналу 205, содержат заголовки с ID дорожки и информацией счетчика кадров. ID дорожки и счетчик кадров внедряются в звуковую дорожку в реальном времени и передаются по каналам 207 AES из мультимедийного блока 206 в устройство 204 обработки данных адаптивного звука. Устройство обработки данных адаптивного звука сравнивает данные кадра из сети Ethernet с таковыми для сигнала синхронизации и проигрывает кадр адаптивного звука, если этот кадр обнаруживается. Фиг. 4 иллюстрирует состав данных адаптивного канала в реальном времени и данных адаптивного звука в сети Ethernet согласно варианту осуществления изобретения. Как показано на фиг. 4, пакет данных, передаваемый по каналу 205 Gigabyte Ethernet из сервера 202 в устройство 204 обработки данных, включает пакеты данных, перемежаемые информацией кадров. В примере по фиг. 4 данные сети Ethernet 205 организуются в аудиокадры B1-A3-A2-A1. Аудиоданные в реальном времени, передаваемые по каналу 207 из мультимедийного блока 206 в устройство 204 обработки данных, кодируются с номерами кадров, закодированными в сигнале синхронизации звука DCI. В этом случае данный пример кодирования перечисляет кадры B1-A3-A2-A1. Поскольку кадры между двумя сигналами совпадают, будет проигрываться адаптивное звуковое содержимое из сервера 202. Если имеет место ошибка, то есть номера кадров не совпадают, или если отсутствует сигнал синхронизации, вместо сигнала адаптивного звука может проигрываться звуковой сигнал в реальном времени.
[0038] Фиг. 5 представляет собой схему, иллюстрирующую буферизацию и обработку адаптивного звукового содержимого, согласно варианту осуществления изобретения. Система 500 непрерывно обрабатывает восемь входных сигналов AES, буферирует данные и определяет, присутствует ли сигнал синхронизации. Сигналы в реальном времени являются входными в блок 502 извлечения сигнала синхронизации. ID кадра и данные РСМ передаются в устройство 510 управления последовательностью кадров. Параллельно, сигнал адаптивного звука, передаваемый по каналу 205 Gigabit Ethernet, является входным в блок 504 дешифратора, блок 506 декодера и блок 508 представления данных. ID кадра и данные РСМ, генерируемые блоком 508 представления данных, вводятся в устройство 510 управления последовательностью кадров. Затем устройство управления последовательностью кадров в зависимости от того, присутствует ли сигнал синхронизации и совпадает ли кадр синхронизации с кадром адаптивного звука, принимает решение о том, какой звуковой набор, звук в реальном времени или адаптивный звук, подлежит выводу. Выбранный вывод затем направляется в устройство 512 обработки данных в цепи В.
[0039] Фиг. 6 иллюстрирует состав сигнала синхронизации согласно варианту осуществления изобретения. Как показано на фиг. 6, примеры кадров для левого и правого каналов 602 РСМ обозначены как А1 и А2. Сигнал 606 синхронизации доставляется по специальному каналу (например, каналу 13) в звуковой дорожке DCI. Сигнал синхронизации выравнивается с началом каждого звукового кадра (42 мс звука в каждом кадре). Сигнал 606 синхронизации содержит слово синхронизации, ID файла дорожки (UUID) и счетчик кадров (UINT32).
[0040] В варианте осуществления изобретения могут существовать различные режимы синхронизации, в том числе: начальная синхронизация, поиск дорожки (который может представлять собой то же самое, что и начальная синхронизация), переключение адаптивного звука в/из DCI и повторная синхронизация при устранении ошибок. Для принятия решения о том, какой формат звука следует проигрывать, все режимы используют один и тот же механизм.
[0041] Фиг. 7 представляет собой схему, которая иллюстрирует компоненты и последовательности операций процесса обработки сигнала синхронизации, согласно одному из вариантов осуществления изобретения. Как показано на фиг. 7, каналы адаптивного звукового содержимого и звука в реальном времени (AES3) являются входными в устройство 704 управления синхронизацией. Для сигналов в реальном времени, один канал перемежаемых данных РСМ несет сигнал синхронизации, а остальные каналы несут многоканальное содержимое (окружающий звук). Устройство управления синхронизацией соединено с входным буфером 702 аудиоданных РСМ и входным буфером 706 кодированного звука. Аудиоданные РСМ направляются прямо на выходной буфер 710 аудиоданных РСМ, в то время как кодированный звук направляется в блок 708 декодирования звука, который преобразовывает кодированный звук в формат РСМ для ввода в буфер 710. Буфер 710 затем создает цифроаналоговый вывод, который является тактированным на основе входного тактового генератора AES.
[0042] Фиг. 8 представляет собой схему последовательности операций, которая иллюстрирует способ синхронизации сигналов адаптивного звука с использованием сигнала синхронизации, варианту осуществления изобретения. Процесс 800, иллюстрируемый на фиг. 8, использует компоненты буфера и устройства управления синхронизацией, проиллюстрированные на фиг. 7, а сигнал синхронизации проиллюстрирован на фиг. 6. Процесс по фиг. 8 в основном иллюстрирует буферизацию сигнала синхронизации во входном и выходном буферах и сохранение кодированного кадра из сигнала синхронизации в выходном буфере перед сравнением с номером кадра адаптивного звука. Процесс 800 начинается с предварительного заполнения выходного буфера молчанием для фиксации времени ожидания, блок 802. Затем запускается процесс ввода/вывода, блок 804. В результате он приводит к приему входного дискретного значения для звукового содержимого в реальном времени, блок 806. В блоке 808 принятия решения определяется, обнаружен или нет сигнал синхронизации. Если не обнаружен, в дальнейшем определяется, достигнуто или нет максимальное количество дискретных значений сигнала синхронизации, блок 824. Если не достигнуто, дискретное значение сохраняется во входном буфере дискретных значений, блок 826, и процесс снова продолжается из блока 806. Если в блоке 824 определяется, что было достигнуто максимальное количество, входные дискретные значения копируются в выходной буфер, блок 822, буфер входных дискретных значений очищается, блок 820, и процесс продолжается из блока 806. Если сигнал синхронизации обнаруживается, что определяется в блоке 808, процесс производит проверку того, доступен ли кодированный кадр, связанный с сигналом синхронизации, блок 810. Если указанный кадр доступен, что определяется в блоке 812 принятия решения, связанный кадр копируется в выходной буфер, блок 814, а буфер входных дискретных значений очищается, блок 818, и принимается следующее входное дискретное значение, блок 806. Если кадр недоступен, что определяется в блоке 812, входные дискретные значения затем копируются в выходной буфер, блок 816, буфер входных дискретных значений очищается, блок 818, и процесс продолжается путем приема следующего входного дискретного значения, блок 806.
[0043] Механизм синхронизации, описанный в данном раскрытии, требует минимальных изменений программного обеспечения мультимедийного блока (маршрутизации звука для дорожки синхронизации) и представляет простой механизм потоковой передачи данных не в реальном времени из сервера кинотеатра в устройство обработки данных адаптивного звука. Схема буферизации из сервера 202 в устройство 204 обработки данных использует такой же протокол потоковой передачи данных, как и при передаче из сервера 202 в мультимедийный блок 206. Это обеспечивает точную синхронизацию с мультимедийным блоком и устойчивость к ошибкам мультимедийного блока - если мультимедийный блок 206 выбрасывает кадр, устройство 204 обработки также выбросит кадр. Такой устойчивый механизм отката гарантирует то, что звук будет проигрываться всегда.
[0044] Что касается потоковой передачи данных через сеть Ethernet, протокол передачи данных из сервера 202 в устройство 204 обработки данных адаптивного звука аналогичен протоколу передачи данных из сервера 202 в мультимедийный блок 206. Он представляет собой выделенное соединение с сетью Ethernet, которое не использует полосу пропускания совместно с мультимедийным блоком и является интерфейсом не в реальном времени, который монопольно передается по сети Ethernet с несколькими секундами, буферируемыми в устройстве 204 обработки данных. Для сервера 202, который просто максимально быстро передает данные, не существует жестких сроков в реальном времени. Для управления заполнением буфера/управления потоками система использует кадрирование TCP.
[0045] В одной иллюстративной реализации битовая скорость передачи данных содержимого может быть следующей:
250 Мбит/с - видеоизображение+37 Мбит/с - звук DCI (16 каналов при 96 КГц)+147 Мбит/с - адаптивный звук (128 каналов при 48 КГц)=434 Мбит/с (текущие данные цифровой кинематографии+адаптивный звук).
[0046] В варианте осуществления изобретения система адаптивного звука содержит механизмы для обращения к некоторым состояниям ошибки, в том числе: вставленный/выброшенный аудиокадр в мультимедийном блоке, незаполнение буфера на адаптивном звуке из сервера 202 в устройство 204 обработки данных адаптивного звука, потеря соединения с сетью Ethernet между сервером и устройством обработки данных, потеря соединения с сетью Ethernet между сервером и мультимедийным блоком, потеря соединения AES от мультимедийного блока к устройству обработки данных, ошибки дешифрования/декодирования в устройстве обработки данных, операционные ошибки в устройстве обработки данных.
[0047] Дальнейшие усовершенствования включают обеспечение проигрывания адаптивного звука с исходной частотой кадров, поддержку одновременного ввода AES и файла, средства текущего контроля сигнала синхронизации на вводе звука в реальном времени, автоматическое переключение между звуком в реальном времени и адаптивным звуком на основе сигнала синхронизации с постоянным временем ожидания, и средства проверки того, что синхронизация сохраняется в других порядках содержимого DCI и адаптивного звука.
[0048] Сигнал синхронизации, внедренный в поток многоканального звука и содержащий номер кадра потока адаптивного звука, подлежащего проигрыванию, обеспечивает основу для механизма переключения в случае ошибки или возникновения события переключения в отношении кадра адаптивного звука. В ходе проигрывания кадр адаптивного звука проигрывается, если кадр адаптивного звука является доступным и номер кадра совпадает с сигналом синхронизации. Если нет, уровень звука будет плавно понижаться до тех пор, пока он не станет бесшумным. Затем будет плавно повышаться уровень звуковой дорожки в реальном времени. Система будет продолжать проигрывать звуковую дорожку в реальном времени до тех пор, пока номер кадра в сигнале синхронизации и номер кадра адаптивного звука не совпадут. В том, что касается периода плавного повышения/понижения уровня и формы изменения, параметры в типовой реализации таковы: 10 мс - периоды плавного повышения и понижения уровня с линейной формой. Как только кадры адаптивного звука становятся доступны и совпадают с сигналом синхронизации, уровень содержимого адаптивного звука снова плавно повышается. В этом случае, уровень адаптивного звука плавно повышается с использованием такого же периода плавного повышения уровня - 10 мс. Следует отметить, что в зависимости от подробностей конкретной реализации могут реализовываться и другие периоды и формы плавного повышения уровня.
[0049] В варианте осуществления изобретения способы и компоненты синхронизации и переключения реализуются в системе адаптивного звука, где звуковые объекты рассматриваются как группы звуковых элементов, которые могут восприниматься как исходящие из определенного физического местоположения, или местоположений, в зрительном зале. Такие объекты могут быть неподвижными, или они могут перемещаться. Звуковые объекты управляются метаданными, которые, среди прочего, подробно указывают положение звука в данный момент времени. Когда объекты подвергаются текущему контролю или проигрываются в кинотеатре, их данные представляются в соответствии с позиционными метаданными с использованием громкоговорителей, которые имеются в наличии, а не с необходимостью выводиться в один из физических каналов. Дорожка в сеансе может представлять собой звуковой объект, а стандартные данные панорамирования являются аналогичными позиционным метаданным. Таким образом, содержимое, размещаемое на экране, может эффективно панорамироваться таким же образом, как и содержимое на основе каналов, однако данные содержимого, размещаемого в окружающих каналах, могут при желании представляться в отдельный громкоговоритель.
[0050] Варианты осуществления изобретения могут применяться к звуковому и программному содержимому различных типов, содержащему как содержимое окружающего звука на основе каналов, так и адаптивное звуковое содержимое. Фиг. 9 представляет собой схему 900, которая иллюстрирует различные примеры содержимого, которое содержит как звук в реальном времени, так и адаптивный звук, и которое может использовать варианты осуществления процесса синхронизации и переключения. Содержимое может основываться на единичном адаптивном аудиоклипе, который содержит звук на основе объектов и связанные метаданные. Показ с таким форматом микшированного звука, как формат, который может показываться в кинотеатре, может дополнительно включать анонс и рекламу, которые используют звук в реальном времени. Показ с передовым звуком может дополнительно включать такое видеосодержимое, как анонс, который содержит видеосодержимое с большим количеством адаптивного звукового содержимого. Такой случай проиллюстрирован на фиг. 9 как перемеженный адаптивный звук / звуковая программа DCI. Наконец, пример содержимого может содержать наряду с видеопрограммой на основе адаптивного звука показ с форматом микшированного видеоизображения, которое включает рекламу на основе звука в реальном времени и содержимое анонса. В общем, устройство обработки данных адаптивного звука не нуждается в том, чтобы быть осведомленным ни о взаимосвязи синхронизации с видеосигналом, ни о топологии кинофильма. Следует отметить, что фиг. 9 включена только с целью примера в отношении реализации, и что особенности описанных вариантов осуществления изобретения могут использоваться аудиовизуальными программами многих других типов и составов.
[0051] Варианты осуществления изобретения, в общем, направлены на приложения в средах цифровой кинематографии (D-cinema), которые используют стандарт SMPTE 428-3-2006, озаглавленный «D-Cinema Distribution Master Audio Channel Mapping and Channel Labeling», который диктует идентификацию и местоположение каждого канала в аудиосистеме для цифровой кинематографии. Варианты осуществления изобретения также реализуются в системах, которые используют стандарт AES3 (Общество инженеров-акустиков) для транспорта цифровых звуковых сигналов между звуковыми устройствами профессионального уровня. Следует учитывать, что не все варианты осуществления изобретения ограничены таким образом.
[0052] Несмотря на то, что варианты осуществления изобретения были описаны в отношении примеров и реализаций в кинематографической среде, где адаптивное звуковое содержимое связано с содержимым кинофильма для использования в системах обработки данных для цифровой кинематографии, следует отметить, что варианты осуществления изобретения также могут использоваться в некинематографических средах. Адаптивное звуковое содержимое, содержащее звук на основе объектов и звук на основе каналов, может использоваться в сочетании с любым родственным содержимым (связанным звуком, видеоизображениями, графикой и т.д.), или оно может составлять автономное звуковое содержимое. Среда проигрывания может представлять собой любую подходящую среду прослушивания от наушников или мониторов в ближней зоне до малых или больших помещений, автомобилей, открытых площадок, концертных залов и т.д.
[0053] Особенности системы 100 могут реализовываться в подходящей сетевой среде обработки звука на компьютерной основе для обработки файлов цифрового или оцифрованного звука. Части системы адаптивного звука могут включать одну или несколько сетей, которые содержат любое необходимое количество отдельных машин, в том числе один или несколько маршрутизаторов (не показаны), которые служат для буферизации и маршрутизации данных, передаваемых между компьютерами. Такая сеть может строиться на разнообразных сетевых протоколах и может представлять собой сеть Интернет, глобальную сеть (WAN), локальную сеть (LAN) и любую их комбинацию. В варианте осуществления изобретения, где сеть включает сеть Интернет, одна или несколько машин могут конфигурироваться для доступа в сеть Интернет через программы сетевой навигации. Кроме того, некоторые описанные и проиллюстрированные на чертежах интерфейсы и каналы могут реализовываться с использованием различных протоколов. Например, соединения с сетью Ethernet могут реализовываться с использованием любого подходящего протокола TCP/IP и проводного носителя, такого как медный, оптоволоконный и подобный носитель, или, при необходимости, они могут замещаться другими цифровыми протоколами передачи данных.
[0054] Один или несколько из компонентов, блоков, процессов или других функциональных составляющих могут реализовываться посредством компьютерной программы, которая управляет исполнением системного вычислительного устройства на процессорной основе. Также следовало бы отметить, что различные функции, раскрытые в данном раскрытии, могут описываться с использованием любого количества сочетаний аппаратного обеспечения, программно-аппаратного обеспечения, и/или данных, и/или команд, воплощенных в различных машиночитаемых, или компьютерно-читаемых, носителях данных, исходя из характеристик их поведения, регистровой пересылки, логических компонентов и/или других характеристик. Машиночитаемые носители данных, в которых могут воплощаться указанные форматированные данные и/или команды, включают в качестве неограничивающих примеров физические (непреходящие), энергонезависимые носители данных в различных формах, такие как оптические, магнитные или полупроводниковые носители данных.
[0055] Если контекст явно не требует иного, повсюду в данном описании и формуле изобретения слова «содержать», «содержащий» и т.п. следует толковать во включающем смысле, в противоположность исключающему или исчерпывающему смыслу - то есть в смысле «включающий в качестве неограничивающего примера». Слова, использованные в форме единственного или множественного числа, также включают форму множественного или единственного числа соответственно. Кроме того, выражения «в данном раскрытии», «в соответствии с данным раскрытием», «выше», «ниже» и схожие по смыслу слова относятся к данной заявке в целом, а не только к каким-либо определенным частям данной заявки. Когда слово «или» используется со ссылкой на список из двух или более элементов, это слово охватывает все следующие интерпретации слова: любой из элементов в списке, все элементы в списке, все элементы в списке и любая комбинация элементов в списке.
[0056] Несмотря на то, что одна или несколько реализаций были описаны посредством примеров и исходя из конкретных вариантов осуществления изобретения, следует понимать, что одна или несколько реализаций не ограничиваются раскрытыми вариантами осуществления изобретения. Наоборот, они предназначаются для охвата различных модификаций и сходных схем, что должно быть очевидно для специалистов в данной области техники. Поэтому объем прилагаемой формулы изобретения должен соответствовать самой широкой интерпретации с тем, чтобы он охватывал все такие модификации в похожих схемах.
Claims (27)
1. Способ обработки звуковых сигналов, включающий этапы, на которых:
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие сигналы на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления трехмерного местоположения для звуковых сигналов на основе объектов; при этом многоканальное звуковое содержимое или адаптивное звуковое содержимое подлежат проигрыванию с видеосодержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
обеспечивают сигнал синхронизации вместе с текущим кадром многоканального звукового содержимого для синхронизирующего проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, при этом сигнал синхронизации содержит идентификатор дорожки и информацию счетчика кадров для текущей дорожки и текущего кадра адаптивного звукового содержимого; при этом текущий кадр адаптивного звукового содержимого подлежит проигрыванию при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, в противном случае проигрывают многоканальное звуковое содержимое.
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие сигналы на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления трехмерного местоположения для звуковых сигналов на основе объектов; при этом многоканальное звуковое содержимое или адаптивное звуковое содержимое подлежат проигрыванию с видеосодержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
обеспечивают сигнал синхронизации вместе с текущим кадром многоканального звукового содержимого для синхронизирующего проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, при этом сигнал синхронизации содержит идентификатор дорожки и информацию счетчика кадров для текущей дорожки и текущего кадра адаптивного звукового содержимого; при этом текущий кадр адаптивного звукового содержимого подлежит проигрыванию при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, в противном случае проигрывают многоканальное звуковое содержимое.
2. Способ по п.1, отличающийся тем, что дополнительно включает этапы, на которых:
сравнивают идентификатор дорожки и информации счетчика кадров в сигнале синхронизации для адаптивного звукового содержимого с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов в адаптивном звуковом содержимом; и
реализуют процесс переключения при несовпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов или при отсутствии сигнала синхронизации.
сравнивают идентификатор дорожки и информации счетчика кадров в сигнале синхронизации для адаптивного звукового содержимого с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов в адаптивном звуковом содержимом; и
реализуют процесс переключения при несовпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого звукового сигнала на основе объектов или при отсутствии сигнала синхронизации.
3. Способ по п.2, отличающийся тем, что процесс переключения включает:
плавное понижение уровня звуковых сигналов на основе объектов до достижения порога молчания; и
плавное повышение уровня звуковых сигналов на основе каналов.
плавное понижение уровня звуковых сигналов на основе объектов до достижения порога молчания; и
плавное повышение уровня звуковых сигналов на основе каналов.
4. Способ по п.3, отличающийся тем, что при совпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого впоследствии звукового сигнала на основе объектов процесс переключения дополнительно включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.
5. Способ по п.1, отличающийся тем, что сигнал синхронизации включают как часть входного аудиовизуального сигнала, содержащего видеосодержимое, многоканальное звуковое содержимое и адаптивное звуковое содержимое.
6. Способ по п.1, отличающийся тем, что сигнал синхронизации автоматически генерируют компонентом мультимедийного блока, форматирующим многоканальное звуковое содержимое, принятое в соответствии со стандартом передачи цифровых звуковых сигналов, для получения звукового содержимого в реальном времени.
7. Способ по п.6, отличающийся тем, что стандарт передачи цифровых звуковых сигналов включает стандарт AES3, и при этом звуковое содержимое в реальном времени содержит многоканальный звук, а также при этом идентификатор дорожки и информацию счетчика кадров, внедренные в файл многоканальной звуковой дорожки звукового содержимого в реальном времени, связывают с адаптивным звуковым содержимым через сигнал синхронизации AES.
8. Способ по п.7, отличающийся тем, что информация представления данных местоположения для звуковых сигналов на основе объектов содержит метаданные, определяющие местоположение в трехмерном пространстве, из которого предполагают испускание соответствующих сигналов из числа звуковых сигналов на основе объектов в среде проигрывания, содержащей массив громкоговорителей; и при этом многоканальное звуковое содержимое содержит аудиоданные окружающего звука на основе каналов, предназначенные для проигрывания через аудиосистему окружающего звука, использующую массив громкоговорителей.
9. Способ по п.8, отличающийся тем, что дополнительно включает прием аудиовизуального входного сигнала сервером цифрового кинотеатра и вывод видеосодержимого и многоканального звукового содержимого по первому соединению с сетью Ethernet и адаптивного звукового содержимого по второму соединению с сетью Ethernet в устройство обработки данных адаптивного звука, интерпретирующего метаданные и представляющего, а также проигрывающего сигналы на основе объектов из адаптивного звукового содержимого через определенные громкоговорители массива громкоговорителей.
10. Система синхронизации звуковых сигналов и видеосигналов, содержащая:
сервер, принимающий аудиовизуальный сигнал и выводящий видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также выводящий адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
мультимедийный блок, связанный с сервером по первому соединению с сетью Ethernet, принимающий многоканальное звуковое содержимое и выводящий многоканальное звуковое содержимое, при этом текущий кадр многоканального звукового содержимого выводят вместе с сигналом синхронизации, содержащим идентификатор дорожки и информацию счетчика кадров для текущего кадра адаптивного звукового содержимого на основе объектов с целью сравнения с идентификатором дорожки и информацией счетчика кадров адаптивного звукового содержимого на основе объектов;
устройство обработки данных адаптивного звука, связанное с сервером по второму соединению с сетью Ethernet и с мультимедийным блоком и принимающее многоканальное звуковое содержимое, сигнал синхронизации и адаптивное звуковое содержимое на основе объектов;
схему сравнения устройства обработки данных адаптивного звука, сравнивающую идентификатор дорожки и счетчик кадров принимаемого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации; и
систему проигрывания, сконфигурированную для представления данных и воспроизведения текущего кадра адаптивного звукового содержимого на основе объектов при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, а в противном случае - для проигрывания многоканального звукового содержимого.
сервер, принимающий аудиовизуальный сигнал и выводящий видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также выводящий адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
мультимедийный блок, связанный с сервером по первому соединению с сетью Ethernet, принимающий многоканальное звуковое содержимое и выводящий многоканальное звуковое содержимое, при этом текущий кадр многоканального звукового содержимого выводят вместе с сигналом синхронизации, содержащим идентификатор дорожки и информацию счетчика кадров для текущего кадра адаптивного звукового содержимого на основе объектов с целью сравнения с идентификатором дорожки и информацией счетчика кадров адаптивного звукового содержимого на основе объектов;
устройство обработки данных адаптивного звука, связанное с сервером по второму соединению с сетью Ethernet и с мультимедийным блоком и принимающее многоканальное звуковое содержимое, сигнал синхронизации и адаптивное звуковое содержимое на основе объектов;
схему сравнения устройства обработки данных адаптивного звука, сравнивающую идентификатор дорожки и счетчик кадров принимаемого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации; и
систему проигрывания, сконфигурированную для представления данных и воспроизведения текущего кадра адаптивного звукового содержимого на основе объектов при совпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров в сигнале синхронизации, а в противном случае - для проигрывания многоканального звукового содержимого.
11. Система по п.10, отличающаяся тем, что многоканальное звуковое содержимое содержит содержимое для цифровой кинематографии, в том числе звук на основе каналов для проигрывания через аудиосистему окружающего звука.
12. Система по п.11, отличающаяся тем, что дополнительно содержит массив громкоговорителей, содержащий громкоговорители окружающего звука, расположенные в определенной окружающей конфигурации, и ряд дополнительных громкоговорителей, расположенных в помещении, определяющем среду проигрывания звука.
13. Система по п.12, отличающаяся тем, что адаптивное звуковое содержимое на основе объектов содержит звуковые сигналы на основе объектов и метаданные, содержащие информацию трехмерного местоположения, определяющую местоположение в трехмерном пространстве, из которого предполагается испускание звуковых сигналов на основе объектов в среде проигрывания, содержащей массив громкоговорителей.
14. Система по п.13, отличающаяся тем, что дополнительно содержит компонент переключения, сконфигурированный для плавного понижения уровня проигрывания звука через массив громкоговорителей при несовпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, закодированными в сигнале синхронизации, плавного повышения уровня и проигрывания многоканального звукового содержимого до тех пор, пока номер кадра принятого адаптивного звукового содержимого на основе объектов не совпадает с номером кадров, закодированным в сигнале синхронизации, а также для плавного повышения уровня последующего кадра адаптивного звука при совпадении идентификатора дорожки и счетчика кадров с идентификатором дорожки и счетчиком кадров, закодированными в сигнале синхронизации, после плавного понижения уровня многоканального звукового содержимого.
15. Система по п.14, отличающаяся тем, что многоканальное звуковое содержимое отформатировано как звук в реальном времени, и при этом сигнал синхронизации содержит сигнал синхронизации AES, внедренный в файл звуковой дорожки DCI многоканального звукового содержимого.
16. Система по п.15, отличающаяся тем, что сигнал синхронизации отформатирован как незвуковой потоковый сигнал SMPTE 337M и содержит ряд полей данных, определяющих по меньшей мере идентификатор дорожки и счетчик кадров.
17. Система по п.16, отличающаяся тем, что дополнительно содержит компонент устройства управления синхронизацией, принимающий как многоканальное звуковое содержимое, так и адаптивное звуковое содержимое на основе объектов, и один или несколько входных и выходных буферов, связанных с компонентом устройства управления синхронизацией для сохранения звуковых дискретных значений многоканального звукового содержимого.
18. Способ синхронизации звуковых сигналов и видеосигналов, включающий этапы, на которых:
принимают входной аудиовизуальный сигнал и выводят видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
принимают многоканальное звуковое содержимое в мультимедийном блоке и выводят многоканальное звуковое содержимое, при этом многоканальное звуковое содержимое обеспечивают с информацией кадра, содержащей идентификатор дорожки и счетчик кадров для адаптивного звукового содержимого на основе объектов, для синхронизации кадров адаптивного звукового содержимого на основе объектов с соответствующими кадрами многоканального звукового содержимого;
сравнивают идентификатор дорожки и счетчик кадров текущего кадра принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, обеспеченным с текущим кадром многоканального звукового содержимого; и
представляют данные и проигрывают адаптивное звуковое содержимое на основе объектов при совпадении идентификатора дорожки и номера кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и номером кадров, связанными с многоканальным звуковым содержимым, и в противном случае - проигрывание многоканального звукового содержимого.
принимают входной аудиовизуальный сигнал и выводят видеосодержимое и многоканальное звуковое содержимое по первому соединению с сетью Ethernet, а также адаптивное звуковое содержимое на основе объектов по второму соединению с сетью Ethernet; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым;
принимают многоканальное звуковое содержимое в мультимедийном блоке и выводят многоканальное звуковое содержимое, при этом многоканальное звуковое содержимое обеспечивают с информацией кадра, содержащей идентификатор дорожки и счетчик кадров для адаптивного звукового содержимого на основе объектов, для синхронизации кадров адаптивного звукового содержимого на основе объектов с соответствующими кадрами многоканального звукового содержимого;
сравнивают идентификатор дорожки и счетчик кадров текущего кадра принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, обеспеченным с текущим кадром многоканального звукового содержимого; и
представляют данные и проигрывают адаптивное звуковое содержимое на основе объектов при совпадении идентификатора дорожки и номера кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и номером кадров, связанными с многоканальным звуковым содержимым, и в противном случае - проигрывание многоканального звукового содержимого.
19. Способ по п.18, отличающийся тем, что многоканальное звуковое содержимое содержит содержимое для цифровой кинематографии, содержащее звук на основе каналов для проигрывания через аудиосистему окружающего звука, содержащую громкоговорители окружающего звука, расположенные в определенной окружающей конфигурации, и ряд дополнительных громкоговорителей, расположенных в помещении, определяющем среду проигрывания звука.
20. Способ по п.19, отличающийся тем, что адаптивное звуковое содержимое на основе объектов содержит звуковые сигналы на основе объектов и метаданные, содержащие информацию трехмерного местоположения, определяющую местоположение в трехмерном пространстве, из которого предполагается испускание соответствующих сигналов из числа звуковых сигналов на основе объектов в среде проигрывания, содержащей аудиосистему окружающего звука.
21. Способ по п.20, отличающийся тем, что дополнительно включает этапы, на которых:
плавно понижают уровень проигрывания звука через аудиосистему окружающего звука при несовпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, закодированными в многоканальном звуковом содержимом; и
плавно повышают уровень многоканального звукового содержимого до тех пор, пока идентификатор дорожки и счетчик кадров принятого адаптивного звукового содержимого на основе объектов не совпадают с номером кадров, связанным с многоканальным звуковым содержимым.
плавно понижают уровень проигрывания звука через аудиосистему окружающего звука при несовпадении идентификатора дорожки и счетчика кадров принятого адаптивного звукового содержимого на основе объектов с идентификатором дорожки и счетчиком кадров, закодированными в многоканальном звуковом содержимом; и
плавно повышают уровень многоканального звукового содержимого до тех пор, пока идентификатор дорожки и счетчик кадров принятого адаптивного звукового содержимого на основе объектов не совпадают с номером кадров, связанным с многоканальным звуковым содержимым.
22. Способ обработки звуковых сигналов, включающий этапы, на которых:
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие каналы звуковых сигналов на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления данных трехмерного местоположения для звуковых сигналов на основе объектов;
предоставляют сигнал синхронизации вместе с многоканальным звуковым содержимым с целью синхронизации проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, подлежащего проигрыванию с многоканальным звуковым содержимым или адаптивным звуковым содержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
реализуют процесс переключения для проигрывания текущего кадра звуковых сигналов на основе каналов с видеосодержимым при несовпадении в результате сравнения идентификатора дорожки и информации счетчика кадров текущего кадра адаптивного звукового содержимого, содержащихся в сигнале синхронизации, с идентификатором дорожки и информацией счетчика каналов текущего кадра адаптивного звукового содержимого.
генерируют многоканальное звуковое содержимое, содержащее звуковые сигналы на основе каналов и информацию проигрывания, определяющую громкоговорители массива громкоговорителей, через которые подлежат проигрыванию соответствующие каналы звуковых сигналов на основе каналов;
генерируют адаптивное звуковое содержимое, содержащее звуковые сигналы на основе объектов и информацию представления данных трехмерного местоположения для звуковых сигналов на основе объектов;
предоставляют сигнал синхронизации вместе с многоканальным звуковым содержимым с целью синхронизации проигрывания звуковых сигналов на основе объектов относительно видеосодержимого, подлежащего проигрыванию с многоканальным звуковым содержимым или адаптивным звуковым содержимым; при этом многоканальное звуковое содержимое синхронизируют с видеосодержимым; и
реализуют процесс переключения для проигрывания текущего кадра звуковых сигналов на основе каналов с видеосодержимым при несовпадении в результате сравнения идентификатора дорожки и информации счетчика кадров текущего кадра адаптивного звукового содержимого, содержащихся в сигнале синхронизации, с идентификатором дорожки и информацией счетчика каналов текущего кадра адаптивного звукового содержимого.
23. Способ по п.22, отличающийся тем, что процесс переключения включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе объектов до достижения порога молчания; и
плавно повышают уровень звуковых сигналов на основе каналов.
плавно понижают уровень звуковых сигналов на основе объектов до достижения порога молчания; и
плавно повышают уровень звуковых сигналов на основе каналов.
24. Способ по п.23, отличающийся тем, что при совпадении идентификатора дорожки и информации счетчика кадров в сигнале синхронизации с идентификатором дорожки и информацией счетчика кадров для принятого впоследствии звукового сигнала на основе объектов процесс переключения дополнительно включает этапы, на которых:
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.
плавно понижают уровень звуковых сигналов на основе каналов; и
плавно повышают уровень последующих звуковых сигналов на основе объектов.
25. Способ по п.22, отличающийся тем, что сигнал синхронизации содержит идентификатор дорожки и информацию счетчика кадров для текущей дорожки адаптивного звукового содержимого.
26. Способ по п.25, отличающийся тем, что сигнал синхронизации включен как часть входного аудиовизуального сигнала, содержащего видеосодержимое, многоканальное звуковое содержимое и адаптивное звуковое содержимое.
27. Способ по п.22, отличающийся тем, что альтернативно сигнал синхронизации автоматически генерируют компонентом мультимедийного блока, форматирующим многоканальный звук в соответствии со стандартом передачи цифровых звуковых сигналов с целью получения звукового содержимого в реальном времени.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161504005P | 2011-07-01 | 2011-07-01 | |
| US61/504,005 | 2011-07-01 | ||
| US201261636456P | 2012-04-20 | 2012-04-20 | |
| US61/636,456 | 2012-04-20 | ||
| PCT/US2012/044427 WO2013006342A1 (en) | 2011-07-01 | 2012-06-27 | Synchronization and switchover methods and systems for an adaptive audio system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013158084A RU2013158084A (ru) | 2015-08-10 |
| RU2564681C2 true RU2564681C2 (ru) | 2015-10-10 |
Family
ID=46551866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013158084/07A RU2564681C2 (ru) | 2011-07-01 | 2012-06-27 | Способы и системы синхронизации и переключения для системы адаптивного звука |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8838262B2 (ru) |
| EP (1) | EP2727369B1 (ru) |
| JP (1) | JP5856295B2 (ru) |
| KR (1) | KR101547809B1 (ru) |
| CN (1) | CN103621101B (ru) |
| BR (1) | BR112013033574B1 (ru) |
| RU (1) | RU2564681C2 (ru) |
| WO (1) | WO2013006342A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2793271C1 (ru) * | 2019-12-02 | 2023-03-30 | Долби Лэборетериз Лайсенсинг Корпорейшн | Системы, способы и оборудование для преобразования из канально-ориентированного аудио в объектно-ориентированное аудио |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9797386B2 (en) | 2010-01-21 | 2017-10-24 | The Abell Foundation, Inc. | Ocean thermal energy conversion power plant |
| WO2014112793A1 (ko) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
| CN105009207B (zh) * | 2013-01-15 | 2018-09-25 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
| US8984569B2 (en) * | 2013-03-15 | 2015-03-17 | Echostar Technologies L.L.C. | Chunking of multiple track audio for adaptive bit rate streaming |
| US10212463B2 (en) * | 2013-03-15 | 2019-02-19 | Disney Enterprises, Inc. | Methods and systems for digital file distribution to theaters |
| CN104053021B (zh) | 2013-03-15 | 2018-09-07 | 迪斯尼企业公司 | 用于向电影院分发数字文件的方法和系统 |
| US10582330B2 (en) | 2013-05-16 | 2020-03-03 | Koninklijke Philips N.V. | Audio processing apparatus and method therefor |
| CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
| TWM487509U (zh) | 2013-06-19 | 2014-10-01 | 杜比實驗室特許公司 | 音訊處理設備及電子裝置 |
| JP6476192B2 (ja) | 2013-09-12 | 2019-02-27 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 多様な再生環境のためのダイナミックレンジ制御 |
| US8751832B2 (en) * | 2013-09-27 | 2014-06-10 | James A Cashin | Secure system and method for audio processing |
| CN109040946B (zh) * | 2013-10-31 | 2021-09-14 | 杜比实验室特许公司 | 使用元数据处理的耳机的双耳呈现 |
| EP2892240B1 (en) * | 2014-01-06 | 2020-11-25 | Harman International Industries, Inc. | Apparatus and method for automatic device selection for wireless media devices |
| JP6863359B2 (ja) * | 2014-03-24 | 2021-04-21 | ソニーグループ株式会社 | 復号装置および方法、並びにプログラム |
| CA2947549C (en) * | 2014-05-30 | 2023-10-03 | Sony Corporation | Information processing apparatus and information processing method |
| WO2015190864A1 (ko) * | 2014-06-12 | 2015-12-17 | 엘지전자(주) | 고속 인터페이스를 이용하여 객체 기반 오디오 데이터를 처리하는 방법 및 장치 |
| EP3175446B1 (en) | 2014-07-31 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Audio processing systems and methods |
| AU2015326856B2 (en) | 2014-10-02 | 2021-04-08 | Dolby International Ab | Decoding method and decoder for dialog enhancement |
| WO2016050900A1 (en) * | 2014-10-03 | 2016-04-07 | Dolby International Ab | Smart access to personalized audio |
| EP3210206B1 (en) * | 2014-10-24 | 2018-12-05 | Dolby International AB | Encoding and decoding of audio signals |
| WO2016112048A1 (en) * | 2015-01-05 | 2016-07-14 | PWV Inc | Discovery, control, and streaming of multi-channel audio playback with enhanced times synchronization |
| GB2581032B (en) * | 2015-06-22 | 2020-11-04 | Time Machine Capital Ltd | System and method for onset detection in a digital signal |
| CN108141692B (zh) | 2015-08-14 | 2020-09-29 | Dts（英属维尔京群岛）有限公司 | 用于基于对象的音频的低音管理系统和方法 |
| CN105895111A (zh) * | 2015-12-15 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 基于Android的音频内容处理方法及设备 |
| CN109417657B (zh) | 2016-06-29 | 2020-12-29 | 杜比实验室特许公司 | 用于环绕扬声器的不对称高频波导、3轴索具和球形外壳 |
| CN106375778B (zh) * | 2016-08-12 | 2020-04-17 | 南京青衿信息科技有限公司 | 一种符合数字电影规范的三维音频节目码流传输的方法 |
| US10210881B2 (en) | 2016-09-16 | 2019-02-19 | Nokia Technologies Oy | Protected extended playback mode |
| US10327091B2 (en) * | 2016-11-12 | 2019-06-18 | Ryan Ingebritsen | Systems, devices, and methods for reconfiguring and routing a multichannel audio file |
| PL3568853T3 (pl) * | 2017-01-10 | 2021-06-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder audio, enkoder audio, sposób dostarczania dekodowanego sygnału audio, sposób dostarczania enkodowanego sygnału audio, strumień audio, moduł dostarczania strumienia audio i program komputerowy używający identyfikator strumienia |
| US11609737B2 (en) | 2017-06-27 | 2023-03-21 | Dolby International Ab | Hybrid audio signal synchronization based on cross-correlation and attack analysis |
| EP3457716A1 (en) * | 2017-09-15 | 2019-03-20 | Oticon A/s | Providing and transmitting audio signal |
| EP3477952B1 (en) * | 2017-10-26 | 2020-02-12 | Christie Digital Systems USA, Inc. | Devices, systems and methods for distribution of digital content |
| US10971166B2 (en) * | 2017-11-02 | 2021-04-06 | Bose Corporation | Low latency audio distribution |
| US11095264B2 (en) * | 2017-12-20 | 2021-08-17 | Dolby Laboratories Licensing Corporation | Configurable modal amplifier system |
| US10735882B2 (en) | 2018-05-31 | 2020-08-04 | At&T Intellectual Property I, L.P. | Method of audio-assisted field of view prediction for spherical video streaming |
| CN110798743A (zh) * | 2018-08-02 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 视频播放方法、装置及计算机可读存储介质 |
| CN109637561A (zh) * | 2018-11-13 | 2019-04-16 | 成都依能科技股份有限公司 | 一种多通道音视频自动智能编辑方法 |
| CN111726669B (zh) * | 2019-03-18 | 2022-12-23 | 浙江宇视科技有限公司 | 一种分布式解码设备及其音视频同步的方法 |
| JP7412090B2 (ja) * | 2019-05-08 | 2024-01-12 | 株式会社ディーアンドエムホールディングス | オーディオシステム |
| CN111212320B (zh) * | 2020-01-08 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 一种资源合成方法、装置、设备及存储介质 |
| KR20220016676A (ko) * | 2020-08-03 | 2022-02-10 | 삼성전자주식회사 | 전자 장치 및 이를 이용한 영상 데이터와 오디오 데이터 동기화 방법 |
| IT202000016627A1 (it) * | 2020-08-17 | 2022-02-17 | Romiti Nicholas | “buffering multiplo audio/video in sistemi multisorgente gestiti da switch, in ambito di regia automatica” |
| US11930348B2 (en) | 2020-11-24 | 2024-03-12 | Naver Corporation | Computer system for realizing customized being-there in association with audio and method thereof |
| KR102505249B1 (ko) | 2020-11-24 | 2023-03-03 | 네이버 주식회사 | 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 전송하는 컴퓨터 시스템 및 그의 방법 |
| JP2022083445A (ja) * | 2020-11-24 | 2022-06-03 | ネイバー コーポレーション | ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法 |
| CN114051194A (zh) * | 2021-10-15 | 2022-02-15 | 赛因芯微(北京)电子科技有限公司 | 一种音频轨道元数据和生成方法、电子设备及存储介质 |
| CN114363792A (zh) * | 2021-11-26 | 2022-04-15 | 赛因芯微(北京)电子科技有限公司 | 传输音轨格式串行元数据生成方法、装置、设备及介质 |
| CN114500475B (zh) * | 2021-12-31 | 2024-02-09 | 赛因芯微(北京)电子科技有限公司 | 一种基于实时传输协议的网络数据传输方法、装置及设备 |
| CN116112722B (zh) * | 2023-02-17 | 2023-06-27 | 央广新媒体文化传媒(北京)有限公司 | 音频播放方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008039039A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| RU2408158C2 (ru) * | 2005-06-30 | 2010-12-27 | Нокиа Корпорейшн | Синхронизация звука и видео |
| WO2011020065A1 (en) * | 2009-08-14 | 2011-02-17 | Srs Labs, Inc. | Object-oriented audio streaming system |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0598295B1 (en) * | 1992-11-17 | 1998-10-14 | Matsushita Electric Industrial Co., Ltd. | Video and audio signal multiplexing apparatus and separating apparatus |
| US5548346A (en) * | 1993-11-05 | 1996-08-20 | Hitachi, Ltd. | Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method |
| FR2728753A1 (fr) * | 1994-12-21 | 1996-06-28 | Grenier Yves | Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage |
| JPH0993553A (ja) * | 1995-09-26 | 1997-04-04 | Matsushita Electric Ind Co Ltd | 画像通信装置および画像通信方法 |
| US6067126A (en) * | 1998-01-05 | 2000-05-23 | Intel Corporation | Method and apparatus for editing a video recording with audio selections |
| US6588015B1 (en) * | 1998-01-14 | 2003-07-01 | General Instrument Corporation | Broadcast interactive digital radio |
| JP4300662B2 (ja) * | 1999-12-21 | 2009-07-22 | ソニー株式会社 | ダビング装置 |
| US6630963B1 (en) * | 2001-01-23 | 2003-10-07 | Digeo, Inc. | Synchronizing a video program from a television broadcast with a secondary audio program |
| JP2002290932A (ja) * | 2001-03-27 | 2002-10-04 | Toshiba Corp | デジタル放送受信装置とその制御方法 |
| US6829018B2 (en) * | 2001-09-17 | 2004-12-07 | Koninklijke Philips Electronics N.V. | Three-dimensional sound creation assisted by visual information |
| JP2003244800A (ja) * | 2002-02-14 | 2003-08-29 | Matsushita Electric Ind Co Ltd | 音像定位装置 |
| JPWO2005015907A1 (ja) * | 2003-08-08 | 2006-10-12 | 松下電器産業株式会社 | データ処理装置 |
| JP2005086537A (ja) * | 2003-09-09 | 2005-03-31 | Nippon Hoso Kyokai <Nhk> | 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法 |
| US7333150B2 (en) * | 2004-05-14 | 2008-02-19 | Pixel Instruments Corporation | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| US7929902B1 (en) * | 2005-07-14 | 2011-04-19 | Zaxcom, Inc. | Virtual wireless multitrack recording system |
| EP1784020A1 (en) * | 2005-11-08 | 2007-05-09 | TCL & Alcatel Mobile Phones Limited | Method and communication apparatus for reproducing a moving picture, and use in a videoconference system |
| US8363161B2 (en) * | 2006-05-26 | 2013-01-29 | Broadcom Corporation | Systems, methods, and apparatus for synchronization of audio and video signals |
| CN101001485A (zh) * | 2006-10-23 | 2007-07-18 | 中国传媒大学 | 一种有限声源多通道声场系统及声场模拟方法 |
| CN100589565C (zh) * | 2006-12-12 | 2010-02-10 | 中兴通讯股份有限公司 | 视音频流数据恢复iso媒体文件的方法 |
| US20080154617A1 (en) * | 2006-12-21 | 2008-06-26 | Ilja Fischer | Query-related object based navigation |
| US20100040349A1 (en) * | 2008-05-01 | 2010-02-18 | Elliott Landy | System and method for real-time synchronization of a video resource and different audio resources |
| US8351612B2 (en) * | 2008-12-02 | 2013-01-08 | Electronics And Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
| JP5515389B2 (ja) * | 2009-04-22 | 2014-06-11 | ソニー株式会社 | オーディオ処理装置及びオーディオ処理方法 |
| US20100324915A1 (en) | 2009-06-23 | 2010-12-23 | Electronic And Telecommunications Research Institute | Encoding and decoding apparatuses for high quality multi-channel audio codec |
| KR101283783B1 (ko) * | 2009-06-23 | 2013-07-08 | 한국전자통신연구원 | 고품질 다채널 오디오 부호화 및 복호화 장치 |
| US9066049B2 (en) * | 2010-04-12 | 2015-06-23 | Adobe Systems Incorporated | Method and apparatus for processing scripts |
| US9185439B2 (en) * | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
| TW201210325A (en) * | 2010-07-21 | 2012-03-01 | Nokia Corp | Method and apparatus for indicating switching points in a streaming session |
| JP5641849B2 (ja) * | 2010-09-30 | 2014-12-17 | キヤノン株式会社 | 送信装置 |
-
2012
- 2012-06-27 EP EP12738280.2A patent/EP2727369B1/en active Active
- 2012-06-27 CN CN201280031776.9A patent/CN103621101B/zh active Active
- 2012-06-27 US US14/127,135 patent/US8838262B2/en active Active
- 2012-06-27 KR KR1020137033164A patent/KR101547809B1/ko active IP Right Grant
- 2012-06-27 JP JP2014518967A patent/JP5856295B2/ja active Active
- 2012-06-27 BR BR112013033574-2A patent/BR112013033574B1/pt active IP Right Grant
- 2012-06-27 WO PCT/US2012/044427 patent/WO2013006342A1/en active Application Filing
- 2012-06-27 RU RU2013158084/07A patent/RU2564681C2/ru active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2408158C2 (ru) * | 2005-06-30 | 2010-12-27 | Нокиа Корпорейшн | Синхронизация звука и видео |
| WO2008039039A1 (en) * | 2006-09-29 | 2008-04-03 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| WO2011020065A1 (en) * | 2009-08-14 | 2011-02-17 | Srs Labs, Inc. | Object-oriented audio streaming system |
Non-Patent Citations (1)
| Title |
|---|
| COSSETTE, S.G. and GUILLEN, N.G, New Techniques for Audio Metadata Use and Distribution, AES, 60 EAST 42ND STREET, ROOM 2520, New York, 24 September 1999, abstract * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2793271C1 (ru) * | 2019-12-02 | 2023-03-30 | Долби Лэборетериз Лайсенсинг Корпорейшн | Системы, способы и оборудование для преобразования из канально-ориентированного аудио в объектно-ориентированное аудио |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5856295B2 (ja) | 2016-02-09 |
| KR101547809B1 (ko) | 2015-08-27 |
| WO2013006342A1 (en) | 2013-01-10 |
| US8838262B2 (en) | 2014-09-16 |
| BR112013033574B1 (pt) | 2021-09-21 |
| KR20140018385A (ko) | 2014-02-12 |
| JP2014526168A (ja) | 2014-10-02 |
| BR112013033574A2 (pt) | 2017-02-07 |
| US20140139738A1 (en) | 2014-05-22 |
| RU2013158084A (ru) | 2015-08-10 |
| CN103621101A (zh) | 2014-03-05 |
| EP2727369B1 (en) | 2016-10-05 |
| CN103621101B (zh) | 2016-11-16 |
| EP2727369A1 (en) | 2014-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2564681C2 (ru) | Способы и системы синхронизации и переключения для системы адаптивного звука | |
| RU2741738C1 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала | |
| RU2820838C2 (ru) | Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала |